解放前属于城南乡第8保，1950年建政为城南乡小山村，1958年成立城南人民公社为小山管理区，1961年改为小山大队，1984年体改，改为小山村。
2004年将原光明村所属的1、2、7、8、9、10、11、12村民小组并入小山村隶属渠南乡，2019年5月渠南乡调整变更为渠南镇，2019年12月行政区划调整改革渠南镇调整为渠南街道，2020年5月村级建制调整改革小山村调整为小山社区，现隶属于渠南街道，至今。