1948年前，苏家岭隶属牛店镇平陌堡，至1948年8月密县解放后，堡甲制取消，属牛店区平陌乡。
1952年我村分别成立了五个互助组，1953年互助组转为四个农业初级合作社，1956年合并为一个高级农业合作社，1958年合并为超化人民公社。
1961年正式成立平陌人民公社，建立苏家岭大队。
1983年12月撤人民公社设乡，撤销苏家岭大队选举产生苏家岭村民委员会，隶属于平陌乡。
为传承历史文化，纪念白居易、号香山居士，在本地教民冶陶的伟绩，有县纪检干部李富裕，村支书吴新义等组织材料，在1989年申报获准改“苏家岭”村为“香山”村，同时改苏家岭村民委员会为香山村民委员会，沿用至今。
1995年5月平陌撤乡设镇后，香山村民委员会属于平陌镇，沿用至今。