唐先天元年（712），始设临汝县城。
唐贞元八年（792），临汝县城迁往石壕驿（今临汝镇）。
宋代，为天宁街，属梁县。
明代，设小店镇，属紫逻里。
清代，为小店镇，属紫逻里。
1912年，改为小店街，属紫逻乡。
1949年，重设小店镇，属城关区。
1956年，为小店街高级社，属小店乡。
1958年，属小店钢铁公社。
1960年，为小店生产大队，属小店人民公社。
1984年，更名小店村民委员会，属小店乡。
1994年，属小店镇。