Был сформирован Марком Антонием в период после 42 года до н. э. После того, как Октавиан Август стал императором, был переведён в Мёзию. В первой половине I века легион передислоцирован в Сирию, где и находился в течение следующих столетий. Принимал участие во многих конфликтах на восточной границе.
Последние упоминания о легионе относятся к началу V века. Эмблемой IV Скифского легиона является козерог[1][2].
IV Скифский легион, скорее всего, был основан триумвиром Марком Антонием в период после 42 года до н. э[2]. В настоящее время неизвестно, где он сначала был размещён[2]. Есть предположение, что IV Скифский легион дислоцировался в Сирии, и если это правильно, то тогда вполне вероятно, что он принимал участие в злополучной кампании Марка Антония против Парфянского царства и носил прозвище «Парфянский»[2]. С другой стороны, прозвание «Скифский» даёт возможность предполагать, что легион принимал участие в ведении боевых действий против скифов, кочевых племён, которые жили по соседству с римским городом Ольвией, но иногда отправлялись на юг и пытались пересечь Дунай[2]. По всей видимости, IV Скифский и V Македонский легион как раз и победили одно из этих племён, но мы не можем точно датировать эту победу, которая, как полагают, состоялась позже[2]. Выдвигалось предположение, что IV Скифский легион был набран на основе IV Соранова легиона, образованного по приказу консула 43 года до н. э. Гая Вибия Пансы Цетрониана, но сейчас оно практически полностью отвергнуто[3].
В 31 году до н. э. приёмный сын Гая Юлия Цезаря Октавиан одержал победу над Марком Антонием в морском сражении при мысе Акций. В 30 году до н. э. разгромленный триумвир покончил жизнь самоубийством. Отныне Римская империя управлялась одним человеком, Октавианом, который через некоторое время принял имя Августа[2]. Очевидно, что после этих событий IV Скифский легион перешёл на службу к Октавиану[4]. Легион, как кажется, был восстановлен Октавианом, что могла бы объяснить его новая эмблема — козерог — характерная для Октавиана, и новое прозвище «Скифский»[5][6].
Некоторые историки предполагают, что в начале единоличного правления Октавиана Августа лагерь IV Скифского легиона располагался в Сирии, но не предоставляют в поддержку этой версии достаточно весомых доказательств[7]. По всей видимости, Октавиан передислоцировал легион в Мёзию — область, расположенную в низовьях Дуная[2]. База IV Скифского легиона находилась в городе Виминациум (неподалёку от современного Костолаца, Сербия)[8].