新中国成立前属六区四乡，1955年属八区四乡，1958年香山公社设置管理区，1962年陈水公社黄区大队，文革时曾叫青岭大队，1969年陈水公社撤销划归景庄公社，1983年公社改乡，大队改为村委会，2003年12月31日，《国务院关于同意宁夏回族自治区设立地级中卫市等有关行政区划调整的批复》（国函〔2003〕139号）同意撤销中卫县，设立地级中卫市。
2004年2月6日，《宁夏回族自治区人民政府关于撤销中卫县设立地级中卫市的通知》（宁政发12号）撤销中卫县，设立地级中卫市。
2004年4月28日，举行中卫市成立大会。
香山乡属于中卫市管理，2016年正式设立沙坡头区人民政府，香山乡属沙坡头区管理，名称沿用至今。