先秦衡阳地区古属三苗、杨越，战国时为楚国所辖，为楚南重镇。
前221，秦始皇统一全国并将原楚国南部分为黔中、长沙两郡，衡阳地域属于长沙郡。
西汉高祖5年（202）始建酃县（治今珠晖区酃湖乡，中国西汉至隋朝初年酃县指衡阳市珠晖区酃湖，宋代至新中国成立之初酃县指炎陵县），后设立钟武侯国、重安侯国。
三国衡阳分属于衡阳郡和湘东郡，出现二郡分立的情况。
220年，孙吴于长沙郡东南设置湘东郡，郡治设酃县（今珠晖区酃湖乡）；并于长沙郡西部设衡阳郡，下辖蒸阳（今衡阳县）、重安（今衡南县）、湘南、湘西（今衡山、衡东、南岳区）、湘乡、益阳等县。
此为历史上首次出现以衡阳命名的郡。
西晋置衡州，治衡阳。
东晋、南北朝先后设湘东郡、衡阳王国（辖今衡阳市、娄底市、益阳市、湘乡市、宁乡县、韶山市、等地）、湘东王国（今衡阳市、茶陵、炎陵、攸县、双峰、安仁等地），首府设衡阳。
前589，隋灭陈并改郡为州，改湘东、衡阳两郡为衡州、临蒸为衡阳县，州、县城均在江东东岸。
此为历史上首次出现以衡阳命名的县。
唐朝唐天宝年间又将衡州改称衡阳郡，直至唐乾元元年才复用衡州。
肃宗至德二年置衡州防御使，领衡、涪、岳、潭、郴、邵、永、道八州。
764年，唐王朝为了加强对湖南地区的控制，设置湖南观察使。
这是历史上最早出现“湖南”之名，湖南观察使驻衡州。
宋朝为衡州衡阳郡。
元朝确定行省制度，省下设路，改置衡州路，在衡州设湖南宣慰司，属湖广行省（治武昌，今武汉）。
元贞元年(1295)衡永郴桂诸路人民抗粮、抗丁，起义频繁，朝廷于衡州设行枢密院。
明朝置衡州府，属湖广行省（治武昌，今武汉）。
下辖衡阳县（衡阳市区、衡阳县、衡南县）、衡山县（南岳区、衡山县、衡东县）、耒阳县（耒阳市、安仁县）、常宁县（常宁市）、茶陵州（茶陵县、攸县、炎陵县、安仁县）、桂阳州（桂阳县、临武县、蓝山县、嘉禾县），明朝中后期设桂王藩国，都衡阳。
清代湖广行省分为左、右布政使司，康熙三年（1664）分为湖南、湖北两省。
置衡永郴道，驻衡州府，领衡州府（衡阳县、清泉县、衡山县、耒阳县、常宁县、安仁县、酃县、桂阳州、临武县、蓝山县、嘉禾县）、永州府（零陵县、祁阳县、东安县、道州、宁远县、永明县、江华县、新田县）、郴州（永兴县、宜章县、兴宁县、桂东县），雍正十年(1732)增领桂阳州，更名衡永郴桂道。
1676年，吴三桂在衡阳称帝，国号周。
衡阳称应天府（国都）。
1914年，废府存道，改衡永郴街道为衡阳道。
1936年，湖南设立行政督察区，衡阳先后属于第五和第二行政督察区，专员公署驻衡阳，辖衡阳、衡山、常宁、耒阳、攸县、安仁、酃县、茶陵。
1939年春，因抗日战争的缘故湖南省政府自沅陵迁至耒阳，省政府设在水东江至竹市一带，秘书厅设杜陵书院（今耒阳一中）。
1942年，衡阳县东华、雁峰、西湖、石鼓、江东5镇和城郊的广福、奇罡、酃湖3乡区域设置衡阳市。