春秋时期为楚之南疆。
秦属长沙郡。
西汉属零陵郡泉陵侯国。
东汉属泉陵县。
三国东吴孙亮太平二年（257），分泉陵县，置祁阳县和永昌县，仍属零陵郡。
晋永嘉元年（307），由荆州改属湘州零陵郡。
南北朝时期，祁阳隶属关系未有重大改变。
隋开皇九年（589），祁阳、永昌并入零陵县，隶属湘州永州总管府。
唐武德四年（621），析零陵县复置祁阳县。
五代时隶属江南西道永州零陵郡。
宋代属荆湖南路永州零陵郡。
元代属湖南道宣慰司永州路。
明代属湖广承宣布政使司永州府。
清代属湖南省衡永郴桂道永州府。
1914年，祁阳属衡阳道。
1920年，祁阳直属省辖。
1937年12月，祁阳属湖南省第九行政督察专员公署。
1949年10月，祁阳县解放，属永州专区专员公署。
1952年2月，析祁阳县为祁阳、祁东2县。
1983年7月，属零陵地区专员公署。
1995年5月，撤区并乡建镇，设立20个镇。
2021年1月20日，撤销祁阳县，设立祁阳市。