1949年解放初期，隶属冷集区小墨山乡。
1956年高级农业生产合作社时期以美好愿望命名为光明社隶属县辖双桥乡。
1958年人民公社时期更名为光明大队，隶属东风人民公社双桥管理区。
1961年恢复区制，隶属冷集区双桥公社。
1975年撤区并社，隶属冷集人民公社。
1981年根据县政府第27号文件以当地地名命名为小墨山大队，并分出吴家沟大队。
1984年更名为小墨山村隶属冷集区双阳桥乡。
1987年撤区建镇，隶属冷集镇。
2002年吴家沟村合并到小墨山村至今。