Территория современного города была издревле населена людьми и входила в состав разных государств. До IV века город Ултик (или Ухтеац; Утеац; Олти') являлся частью армянской провинции Тайк[2], владетелями которой были представители рода Мамиконянов (наследственных военачальников Армении), правивших этой областью Армении до VIII века[3]. Подавляющее большинство населения региона было армянским.
Район подвергся разгрому во время арабского вторжения 735 года и антиарабского восстания 774—775 годов. «Житие Григория Хандзтели» свидетельствует о запустении Тайка ко времени его заселения грузинами.
К началу IX века, уже как Тао, он входил в конгломерат владений грузинской ветви династии Багратидов (см. Тао-Кларджетского княжества), после чего отошел Византии[4].
В 1074 году Григорий Пакуриан ушел с поста главнокомандующего имперскими войсками на востоке и передал земли (Теодосиополь, Олти, Карс, Вананд, Карнипори и часть Тао) царю Грузии Георгию II. Территория была полностью очищена от турецких отрядов до 1075 года[5].
В последующие века контроль над ним попеременно осуществляли сельджуки, монголы и туркменские племена. В XVI веке регион был присоединен османами к своей империи.
В результате русско-турецкой войны 1877—1878 годов к России отошла территория Карсско-Чилдырского санджака Османской империи, на которой была образована Карсская область, где город Ольты стал центром Ольтинского округа.