清朝同治年间属荆门州平泰村管辖；清朝光绪年间属荆门州西北乡管辖；民国时期为荆门县第七保，属苏黄乡管辖；1949年解放，设立四村，属毛河乡管辖；1955年农村合作化时为香山初级合作社，属毛河乡管辖；1957年改为香山高级合作社，属毛河乡管辖；1958年成立人民公社，设立香山大队，属袁集万能人民公社管辖；1960年属烟墩区安团公社管辖；1968年成立烟墩区革委会，属安团公社革委会管辖；1975年撤区并社，属烟墩公社管辖；1984年恢复区建制，改“大队”为“村民委员会”，香山大队更名为香山村村民委员会，属烟墩区管辖；1986年烟墩区改为烟墩镇，属烟墩镇管辖；1987年设立乡镇，属安团乡管辖；2001年属漳河镇管辖至今。