Первые следы пребывания человека в Эльзасе датируются довольно ранним периодом в истории человечества. Археологи обнаружили скелеты, кремнёвые орудия, керамику. Но Эльзас не представляет собой ничего необычного для того периода. Районы, где были обнаружены следы первобытного общества, находятся в округе Феретта, Больвилле, Эгисхайма и в пещере Оберларг (Сунго).
Кельты появились в Эльзасе во 2-е тыс. до н. э. Эльзас тогда был территорией, через которую кельты проходили, мигрируя на юг Европы. Окончательно кельты здесь обосновались в VIII веке до н. э. Эльзас был поделён между двумя кельтскими племенами: секванами и эдуями. Эти две народности были ослаблены с появлением германских племён в регионе — свевов под командованием Ариовиста. Они смогли завоевать превосходство в Эльзасе около 63 г. до н. э.
В 58 году до н. э. римские войска под командованием Юлия Цезаря проникли в Эльзас с целью покорить всю Галлию и одержали верх над германцами около Серне. Трибоки, кельто-германская народность, ведущая своё происхождение от свевов, обосновались на севере Эльзаса в районе Брюма. После завоевания Эльзаса римлянами наступил мирный период, продолжавшийся в течение пяти веков. Именно в это время начали развиваться первые города (был основан Страсбург, носивший в то время название Аргенторат), строились первые дороги, получило распространение виноделие. Латинизация, а затем христианизация региона происходили в Эльзасе мирным путём.
Мирный период был прерван начиная с IV века набегами варваров на Римскую империю. Римляне были окончательно изгнаны из Эльзаса в 378 году, и здесь обосновались алеманны, которые принесли свою культуру и начали строить свои города. В том числе алеманны принесли и свой язык, который впоследствии преобразовался в эльзасский диалект, на котором в этом регионе говорят до сих пор. Алеманны постоянно воевали с франками, германским народом, который обосновался на севере современной Франции. Франки одержали решающую победу над алеманнами в битве при Толбиаке в 496 году. Но алеманны продолжали преобладать на территории Эльзаса, несмотря на включение региона во Франкское государство Хлодвига I. После смерти Хлодвига в 511 году, Эльзас вошёл в состав королевства Австразия.
Когда после смерти Хлодвига его королевство было разделено между четырьмя его сыновьями (511 год), Эльзас вошёл в состав Австразии, доставшейся Теодориху I. С 539 года он обособился в особое герцогство, герцоги которого находились в ленной зависимости от королей Австразии. Тогда же появилось имя Эльзас (в различных памятниках VI—X веках имя Эльзас встречается в формах Helisaz, Elisâza; в латинских рукописях жители Эльзаса называются alesaciones или alsaciones; после X века устанавливается форма Elsass).