明洪武年间（1368—1398年），小街街道境域属河西县军。
清乾隆五十年（1785年），称碌碑乡，亦称西乡。
民国十八年（1929年），属河西县西区。
民国二十九年（1940年），改为军屯镇。
1949年，属河西县第三区。
1954年，与龙武设治局的雨来救乡，同时划归峨山县为第一区（下片）。
1958年，成立小街公社。
1961年，划分为小街、宝泉2公社。
1962年，宝泉复归小街称小街区。
1963年，为第六区。
1969年，为小街公社。
1983年4月，设小街镇和宝泉乡。
1984年，改小街区和宝泉区。
1988年，改小街镇和宝泉乡。
1998年10月，宝泉乡并入小街镇。
2011年4月，撤镇设街道。