О происхождении и жизни Иоанна до занятия им кафедры Арля ничего не известно. Также неизвестна и точная дата начала его епископства[1]. Историк XVII века Пьер Сакси датировал это событие 800 годом, однако достоверные подтверждения этой датировки в исторических источниках отсутствуют. Согласно спискам глав Арльской архиепархии[англ.], предшественником Иоанна II был архиепископ Лупо[2].
Впервые Иоанн II упоминается в конце 811 года, когда он как один из свидетелей подписал в Ахене завещание императора Карла Великого. Кроме всего прочего, в этом документе говорилось о том, что после смерти императора Арльской архиепархии будет выделена часть личного имущества покойного монарха[3]. Предполагается, что к этому времени Иоанн II мог быть уже наделён должностью папского викария в Галлии[4].
2 апреля 812 года в Ахене Карл Великий выдал хартию в пользу готских беженцев из Испании[5]. В ней он приказывал графам приграничных с владениями мусульман земель Франкского государства[6] прекратить притеснения переселенцев, снизить налагаемые на них государственные налоги и отказаться от практики захватов принадлежавших им земель. Император дал поручение архиепископу Иоанну II доставить этот документ правителю Аквитании Людовику Благочестивому и в качестве королевских посланцев вместе с ним проконтролировать исполнение его повеления[7]. Иоанн успешно выполнил это поручение Карла Великого, за что получил от императора богатые подарки[4].
К 812 году относится и упоминание имени архиепископа Иоанна II в сочинении Теодульфа Орлеанского «О таинстве крещения» (лат. De ordine baptismi)[2].
В 813 году по приказу императора Карла Великого в Майнце, Реймсе, Туре и Арле были проведены соборы, которые были призваны выработать решения об исправлении норм жизни духовенства и о взаимоотношениях государственной власти и церкви Франкского государства. Архиепископ Иоанн II председательствовал на открывшемся 10 мая Арльском соборе[кат.], на котором также присутствовали архиепископ Нарбона[англ.] Нибридий и более двадцати епископов. Участники собора приняли 26 канонов, в основном, посвящённых вопросам церковной дисциплины[8].
Ко времени правления Карла Великого церковные предания относят и получение Арльской архиепархией реликвий Лукиана Антиохийского. Согласно Агобарду, мощи нескольких христианских святых были обнаружены в Карфагене франкскими послами, направленными императором к халифу Харуну ар-Рашиду, и в 807 году привезены в Арль. Однако в следующем году большинство реликвий по приказу монарха были переданы Лионской архиепархии, кроме останков святого Лукиана, которые архиепископ Иоанн II торжественно перенёс в церковь Нотр-Дам, один из старейших христианских храмов Арля[4].