Согласно Страбону (XI, 14, 5), в начале II в. до н. э. армянские государства «отрезали часть (земель) от соседних народов». Среди них он называет Каренитиду (Эрзурум) и Ксерксену (Держена), земли, отрезанные армянами от халибов и моссиников[1][2]. В эпоху поздней античности территория стала ареной римско-персидских, а впоследствии — ирано-византийских войн. О Терджане Агатангехос вспоминает как о месте, откуда началось распространение христианства, а Мовсес Хоренаци рассказывал, что Месроп Маштоц поручил обучение населения армянскому алфавиту Терджана епископу Гинде. В VII—IX веках эти земли стали местом борьбы византийцев с арабами. В XI веке здесь утвердились сельджуки, а в XIII веке сюда вторглись монголы. В 1402 году сюда пришёл Тамерлан, а после его ухода эти земли стали частью державы Ак-Коюнлу. В 1473 году ак-коюнлу были разбиты османским султаном Мехмедом II, потом эти земли были захвачены кызылбашским шейхом Исмаилом. В результате последовавшей за этим османо-сефевидской войны эти земли вошли в состав Османской империи.
В 1909 г. Терджан имел в своем составе 231 село, в 31 из них жили армяне. С запада соседствовал с Екехяц, с востока — с Карно, с севера — с Апер, с юга — с провинцией Мананаха. Территория составляло около 2575 кв. км., включая поля Терджана и Ахкалая. Расположены горы Мариам, Пахр, Хачдах, Халхал. 27 июня (10 июля) 1916 в ходе Эрзинжанского сражения город был занят дербентским полком русской армии.