枣林乡6保；1949年属枣林乡；1951年枣林乡属平梁区辖；1952年建乡为灵山村16、17两个初级社；1955年灵山撤乡划归枣林乡；1957年并为第8高级社；1958年8月人民公社化，枣林废乡成立枣林人民公社为灵山管区；1962年改为灵山大队；1966年改为8大队；1982年3月全国第一次地名普查，经县政府批准更名为阴灵山大队；1984年恢复乡制为枣林乡灵山村，2002年10月10日，撤乡并镇为划分一部分为灵云居委会，其余为枣林镇灵山村村民委员会。
2020年行政区划改革，灵云社区和灵山村合并，设立灵山村。