春秋战国时期属楚国。
秦昭襄王三十年（前277）为秦黔中郡属地。
秦始皇二十六年（前221）置郡县，属黔中郡慈姑县地。
西汉高祖五年（前202）为武陵郡属孱陵县地。
元封五年（前106），武陵郡县隶于荆州刺史部。
新王莽始建国元年（9），郡改名建平，县改名孱陆。
东汉建武六年（30）复名武陵郡，孱陵县。
东汉建武十六年（40）析孱陵县置作唐县，境内始设县治，仍隶于荆州武陵郡。
西晋太康元年（280）平吴，分南郡江南四县置南平郡，隶于荆州，始以作唐为郡治，后迁江安（由公安改名），东晋建武元年（317）复以作唐为南平郡治。
陈天嘉二年（561），析作唐西南部置安乡县，因“左挹洞庭，右接兰澧”，“洞庭兰澧诸水各安其流”而得名“安乡”，时为南义阳郡治，与作唐同隶于南荆州。
隋开皇九年（589）平陈，废郡，改作唐为孱陵，与安乡俱隶于澧州，大业三年（607）改州为郡，孱陵、安乡俱属于澧阳郡。
宋乾德元年（963）平湖南，安乡属澧州澧阳郡。
至道年间（995-997）隶于荆湖北路。
元属江南北道澧州路总管府，明属上荆南道岳州府澧州，清属岳常澧道直隶澧州，中华民国元年（1912），安乡直属于湖南省。
1949年7月安乡和平解放。
中华人民共和国建立后，安乡属于湖南省常德专员公署。
1988年5月撤销常德地区，建省辖常德市，安乡随属至今。