唐天宝年间将
衡州改称
衡阳郡，直至唐乾元元年复用衡州。肃宗至德二年置衡州防御使，治衡州（今
衡阳市），领衡、涪、岳、潭、郴、邵、永、道八州。
确定行省制度，改置衡州路总管府，在衡州设
湖南宣慰司。元贞元年(1295) 衡永郴桂诸路人民抗粮、抗丁，起义频繁，朝廷于衡州设
行枢密院。
置
衡州府，下辖衡阳县（
衡阳市区、
衡阳县、衡南县）、衡山县（
南岳区、
衡山县、衡东县）、耒阳县（耒阳市、安仁县）、常宁县（常宁市）、茶陵州（茶陵县、攸县、炎陵县、安仁县）、桂阳州（桂阳县、临武县、蓝山县、嘉禾县），明朝中后期设雍王、桂王藩国，都
衡阳。
置衡永郴道，驻衡州府，领衡州府（衡阳县、
清泉县、衡山县、耒阳县、常宁县、安仁县、酃县、桂阳州、临武县、蓝山县、嘉禾县）、永州府（零陵县、祁阳县、东安县、道州、宁远县、永明县、江华县、新田县）、郴州（永兴县、宜章县、兴宁县、桂东县），雍正十年（1732）增领桂阳州，更名
衡永郴桂道。
1852年，曾国藩、
彭玉麟在衡州创建湘军。1854年，从衡州出师北伐太平天国。
1937年，湖南分十个行政督察区，第二行政督察区专员公署驻
衡阳，辖衡阳、衡山、常宁、耒阳、攸县、安仁、酃县、茶陵。
1941年1月，湖南省政府决定将
衡阳县东华、雁峰、西湖、石鼓、江东5镇和城郊的广福、奇罡、酃湖3乡区域设置
衡阳市，直属湖南省政府，衡阳县治仍驻市区。
1942年，国民政府设县级
衡阳市。1943年，升为省辖市。1944年，全城毁于战火。
1952年撤销
衡阳专区，设立湘南行署，行署驻
衡阳市。原
衡阳专区所属
衡阳、
衡南、
衡山、
耒阳、
安仁、
炎陵、
常宁等7县和原郴州专区所属郴县、永兴、资兴、桂东、汝城、宜章、临武、蓝山、嘉禾、桂阳等10县，原零陵专区所属零陵、东安（驻白牙市）、祁阳、祁东、新田、宁远、江华、道县、永明等9县划入
湘南行政区，辖1市26县。
1956年永明县改称江永县。1959年，
衡阳市划归衡阳专署和湖南省领导，衡南县交由衡阳市领导。1961年，原由
衡阳市领导的衡南县划归衡阳专署领导；由零陵县析置冷水滩市；衡阳县由城关镇迁驻西渡镇；衡阳专区辖2市、11县、1自治县。1962年，撤销冷水滩市，并入零陵县；将零陵、江永、道县、宁远、东安5县及江华瑶族自治县从
衡阳析出成立零陵专区；衡阳专署辖1市、6县。1963年由衡山县析置南岳县（驻南岳镇）。1966年，撤销南岳县，并入衡山县；由衡山县析置衡东县（驻吴集）。
1983年2月8日，国务院批准撤销
衡阳地区，所属的衡阳、衡南、衡山、衡东、耒阳、常宁、祁东6县划归衡阳市；祁阳县划归零陵地区。
1984年5月22日，国务院批准设立
衡阳市
南岳区，以
衡山县的部分地区为其行政区域。1986年11月11日，国务院批准（国函[1986]170号）撤销耒阳县，设立耒阳市（县级）。1996年11月26日，国务院民政部批复（民行批[1996]86号）撤销常宁县，设立常宁市。