梁天监五年（506），设广德县。
隋开皇十年（590），改名广泽县，隶属连州。
仁寿元年（601），避太子杨广名讳，改称连山县。
唐天宝元年（742）至乾元元年（758年）升为郡，隶属岭南道。
北宋隶属江南西道连州、广南东路连州。
南宋绍兴六年（1136）废县为镇，绍兴十八年（1148）复县并移治程山下（今福堂永丰司城街），改称程山县。
元至元十五年（1278）复治古县坪，复称连山县，属江西行省湖南道连州。
明永乐元年（1403）再迁程山，隶属广东布政使司广州府连州。
清朝以后隶属广东省，嘉庆二十一年（1816）升为绥瑶直隶厅。
1912年复为县；1946年迁治永和，其间先后隶属岭南道、北区善后公署、第二行政督察公署；1949年中华人民共和国成立后，隶属北江人民行政督察专员公署、北江区行政督察专员公署。
1953年1月，与连南合并成立连南瑶族自治区，隶属粤北行署。
1954年1月恢复连山县建制。
1958年12月，与连县、连南、阳山合并成立连阳各族自治县。
1960年10月恢复阳山县后，连阳各族自治县改称连州各族自治县。
1961年10月，撤销连州各族自治县，恢复连山县，设立连南瑶族壮族自治县。
1962年3月，撤销连南瑶族壮族自治县，恢复连南瑶族自治县、连山壮族瑶族自治县。
1962年9月26日，连山壮族瑶族自治县正式成立，属韶关地区管辖；1983年6月，韶关地区与县级韶关市合并成立韶关市，隶属韶关市；1988年1月7日，成立清远市，划归清远市管辖。