民国时期，1936年属钟祥县第四区三民乡，1941年废区属钟祥县丽元乡，1946年仍属丽元乡，1949年7月钟祥县人民政府成立，属胡集区小山乡；1956年农业生产合作化时，名小山高级农业生产合作社，属胡集区白云乡；1958年9月人民公社化时，小山高级农业生产合作社更名为小山大队，属胡集人民公社白云管理区；1961年恢复胡集区，公社范围由大变小，小山大队属胡集区白云公社；1975年11月25日撤区并社，属胡集公社白云管理区；1984年3月恢复胡集区，小山大队改称小山村，设村民委员会属胡集区白云乡；1987年4月属胡集镇白云片；1994年属胡集街道办事处；2001年3月属胡集镇至今。