Образование этого подразделения произошло в 290 году по приказу императора Диоклетиана, который решил набрать несколько элитных легионов. Первый легион звался Иовиями, а второй Геркулиями. Они получили свои названия от прозвищ Диоклетиана и Максимиана. Иовии и Геркулии поддержали узурпатора Магна Магненция, бывшего их начальником, в 350 году, который восстал против императора Константа. Они потерпели поражение от Констанция II в 353 году. В начале V века были два легиона Иовиев — Старшие Иовии (на Западе) и Младшие Иовии (на Востоке). В 398 году они с Геркулиями были направлены под предводительством военного магистра Стилихона в Африку воевать с бунтарями.