Сначала административным центром губернии был город Георгиевск, с сентября 1921 года — Пятигорск[2]. .
Губерния образована 20 января 1921 года в результате разделения Терской области на Терскую губернию и Горскую АССР.
В её составе утверждено пять уездов: Георгиевский, Кизлярский, Моздокский, Пятигорский, Святокрестовский[3].
13 февраля 1924 года был образован объединённый Северо-Кавказский край с центром в городе Ростов-на-Дону, в состав вновь образованной Юго-Восточной области которого вошли Терская губерния с центром в городе Георгиевске[Комм 1], Кубано-Черноморская область, Донская область, Ставропольская губерния и город Грозный.[4]
Однако уже 2 июня 1924 года Терская губерния преобразована в Терский округ в составе 16 районов[4], теперь уже с центром в Пятигорске[5].