黄帝到颛顼氏，属内地偏荒。
帝喾迄唐、虞、夏、商、周，均属荆州。
春秋，属楚国南地。
战国，属楚黔中郡地。
秦，属长沙郡。
西汉，属泉陵侯国。
东汉，属泉陵县。
三国初，属蜀国地，刘备死后归吴。
孙皓元兴元年至天纪四年间（264~280），从泉陵析出永昌县、祁阳县。
县治分别设砖塘和金兰桥。
两晋、南北朝，不改。
隋开皇九年（589年），永昌、祁阳并入零陵郡。
唐武德四年（621年），复置祁阳县。
贞观元年（627年），并省州县，祁阳县被裁撤，唐太宗贞观四年（630），复置祁阳县，原永昌县地归并祁阳，至中华人民共和国建立初年，均沿袭不变。
[22]1952年4月，将原祁阳县东部的七、八、九、十区的全部及第五区、第六区的大部划出建立祁东县，因县境内区域大部分位于祁阳县之东，故名。
县城设在湘桂铁路上的洪桥镇，属零陵专区。
[22]1952年10月，属湘南行署，1954年7月，属衡阳地区。
1983年6月，属衡阳市。