明初时期，衡山县设崇岳、紫盖、义城、武阳、永平、兴乐6个乡。
洪武十一年（1378年），下编32都1坊。
洪武十四年（1381年），缩编为16都1坊，清康熙四十三年（1704年），知县李长祚将6乡16都1坊改编成朝、宗、于、海等17字，期间南岳区的南岳镇属紫盖乡七都、海字区域。
民国二十一年（1932年），撤字建区属衡山县第一区。
民国二十五年（1936年）7月，废区，实行乡、县两级自治制，衡山县设义安、南岳2个镇和55个乡。
1956年，南岳镇为衡山县3个县辖镇（城关、南岳、石湾）之一。
1958年，建南岳人民公社，1960年4月，南岳人民公社划分为南岳公社和南岳镇，属南岳管理局和衡山县双重领导。
1983年，政社分设，南岳公社建南岳乡。
1984年8月，设立南岳区南岳乡、南岳镇及后山10村从衡山县成建制析出。
1985年3月，设南岳镇。
1987年1月，南岳乡并入南岳镇。
2010年，白龙村更名南山村。