Клуб участвовал в официальных соревнованиях Кубка СССР 1936 года как «Локомотив Харьков». Он был сформирован из бригады « Красный железнодорожник», существовавшей в Харькове с 1923 года.
В первенстве команда появилась в 1938 году, играя в первой группе чемпионата УССР и заменив команду «Сталинец», представлявшую электромеханический завод.
После Великой Отечественной войны , в 1945 году, команда была допущена к советским соревнованиям второго уровня, известным как «Вторая группа» (Вторая группа) вместе с двумя другими командами из Украинской ССР , Харчовик Одесса (сегодня Черноморец) и Шахтер Сталино.
«Локомотив» был участником Высшей лиги СССР и иногда ошибочно считается прямым предшественником харьковского «Металлиста» .