元设西山阳洞长官司。
明初废，后复置。
清改置西山汛。
民国二十九年（1940年）前，属永从县，为第五区公所和西山乡公所驻地。
民国三十年（1941年）至解放初期，属从江县，为西山乡公所驻地。
1953年，玉堂乡的卡翁、滚郎2村划入建乡，更名西瓮乡。
1956年，西瓮乡、岑杠2乡（大、小丑村划归四合乡）的11村寨组成西山乡。
1958年，西山乡改公社。
1984年8月，西山公社改镇，属五区（西山区）。
1992年，岑杠乡并入西山镇。