Во времена империй Цинь и Хань эти места входили в состав Чаншаского округа (长沙郡). В эпоху Троецарствия, когда эти земли оказались в составе государства У, из Чаншаского округа были выделена Сяндунский округ (湘东郡), власти которого разместились в уезде Линсянь (酃县), и Хэнъянский округ (衡阳郡), власти которого разместились в уезде Чжэнъян (蒸阳县). После основания империи Суй эти два округа были объединены в Хэнчжоускую область (衡州), власти которой разместились в образованном путём объединения трёх уездов уезде Хэнъян. В последующие эпохи эта территория ещё несколько раз меняла статус и название, становясь то Хэнъянским округом, то вновь Хэнчжоуской областью. После монгольского завоевания и образования империи Юань Хэнчжоуская область была преобразована в Хэнчжоуский регион (衡州路). После свержения власти монголов и основания империи Мин «регионы» были переименованы в «управы» — так появилась Хэнчжоуская управа (衡州府). Во времена империи Цин У Саньгуй, начав в 1673 году своё антиманьчжурское восстание, именно здесь в 1678 году провозгласил себя императором и, переименовав Хэнчжоускую управу в Динтяньскую управу (定天府), сделал эти места столицей своей империи Чжоу; после подавления восстания управе было возвращено прежнее название. После Синьхайской революции в Китае была проведена реформа структуры административного деления, в ходе которой управы были упразднены, и поэтому в 1913 году Хэнчжоуская управа была расформирована.
В 1942 году из уезда Хэнъян был выделен город Хэнъян, который с 1943 года стал городом провинциального подчинения.
В годы Второй мировой войны местный авиаузел использовался ВВС США для совершения авианалётов на Японию, и поэтому весной 1944 года японская армия начала операцию «Ити-Го» для уничтожения авиационных баз противника в юго-западном Китае. 27 июня японские войска подошли к Хэнъяну, но защитники города оказали упорное сопротивление; японцам удалось его взять лишь после 40-дневной осады. Пять лет спустя, на завершающем этапе гражданской войны, эти места стали зоной Хэнъян-Баоцинской операции[кит.] войск китайских коммунистов.
После образования КНР в 1949 году был создан Специальный район Хэнъян (衡阳专区), состоящий из города Хэнъян и 8 уездов. В 1950 году город Хэнъян был выведен из состава Специального района, став городом провинциального подчинения. В апреле 1952 году юго-восточная часть уезда Хэнъян была выделена в отдельный уезд Хэннань.
В октябре 1952 года Специальный район Хэнъян был расформирован, и его административные единицы перешли в состав новой структуры — Сяннаньского административного района (湘南行政区). В 1954 году Сяннаньский административный район был упразднён, и был вновь образован Специальный район Хэнъян, в составе которого на этот раз оказалось 12 уездов.