解放前，小雷山村分属大冶县大茗乡第六保和鄂城县灵溪乡万年里石岭堡；解放初分属大冶县第九区雷山乡和鄂城县毛家区九桥乡。
1955年10月13日鄂城县毛家区九桥乡划归大冶，雷山乡、九桥乡分属矿山区陈贵乡和南山乡；1962年分属矿山区陈贵公社四、五大队和南山公社八大队；1975年分属矿山公社矿山大队和雷山大队；1984年分属矿山乡礼洪村、下吴村和石岭村；1989年分属陈贵镇礼洪村、下吴村和石岭村；1999年合并更名为陈贵镇小雷山村至今。