春秋战国时代西南沿海一带就形成村落，秦代属海盐县，后几经兴废。
后梁贞明元年（915）属华亭县。
1914年属松江县。
1929年属松江县十六区（山阳）。
1935年为第六区。
1946年改属浦南区。
1949年12月受漕泾区管辖。
1957年并山阳、金山（嘴）、松卫、马棚乡及平桥、东南乡之半建山阳乡。
1958年10月名滨海人民公社，后名山阳人民公社，隶松江县。
1966年10月山阳划归金山县（农建大队、金卫大队划归金卫公社）。
1984年政社分设，建立山阳乡人民政府。
1993年4月改建为山阳镇。
1997年5月金山撤县建区，山阳属金山区。
1997年10月海光、卫东、新江、倪界四个行政村划归市级工业区—金山嘴工业区。
2005年金山嘴工业区北移至朱行镇，并更名为金山工业区，海光、卫东、新江、倪界四个行政村又划归山阳镇。
名称使用至今。