西汉，汉高祖析长沙郡南部设桂阳郡，置阳山县，属荆州。
汉献帝建安十九年（214），孙权取桂阳郡地，遂属孙权。
建安二十五年（220），入含洭县。
吴甘露元年（265），析桂阳郡置始兴郡，仍属荆州，以含洭县之桃乡置阳山县，属始兴郡。
晋太康元年（280），始兴郡隶属广州；永嘉元年（307），改隶属湘州；咸和三年（328），又改为隶属荆州。
南朝宋时，阳山县皆随郡改属，曾隶属广州始兴郡、湘州始兴郡、湘州宋安郡、湘州广兴郡、湘州始兴郡。
梁武帝天监六年（507），置阳山郡、梁乐郡（今县境南部，治所失考），属衡州（治所在含洭）。
阳山郡辖含洭、阳山、桂阳、广德四县，梁乐郡辖梁乐、洊安两县。
陈因之。
隋开皇十年（590），平陈，废阳山、梁乐两郡，置连州，阳山、梁乐两县属连州。
大业三年（607），废连州，置熙平郡，隶属荆州，阳山、宣乐两县属荆州熙平郡。
大业十三年（617），宣乐县并入阳山县，熙平郡属萧铣。
唐武德四年（621），平萧铣，改熙平郡为连州，阳山县属连州。
贞观元年（627），连州属江西道。
天宝元年（742），改连州为连山郡，隶属岭南道。
乾元元年（758），连山郡复为连州，隶属湖南道。
大历三年（768），连州改隶岭南道。
阳山县俱随州郡改属。
五代南汉时，阳山县属连州。
宋开宝四年（971），平南汉，阳山县属广南东路连州。
元至元十七年（1280），置连州路，阳山县属连州路。
元至十九年（1282），升桂阳县为桂阳州，初隶属湖南道，后隶属广东道，阳山县属桂阳州。
明洪武二年（1369）四月，废桂阳州，阳山县并入连山县，属韶州府。
洪武十四年（1371）十月，废连山县，复置阳山县，属广州府。
洪武十三年（1380）十一月，连山县从阳山县析出。
洪武十四年（1381），复置连州，阳山县隶属广州府连州。
清雍正七年（1729），改连州为直隶州，阳山县属连州直隶州。
1914年，阳山县属广东省岭南道。
1926年，属广东省北区。
1936年，改属广东省第二行政区。
1950年1月，属广东省北江区。
1952年9月，属广东省粤北行政区。
1956年3月，属广东省韶关专区。
1958年11月，阳山县并入连阳各族自治县，1960年10月，复置阳山县，均属广东韶关专区。
1979年，属广东省韶关地区。
1983年6月，属广东省韶关市。
1988年2月，属广东省清远市。