相传晋国祁午在此演兵，故名小祁。
1949年属闻喜县辖。
1956年由闻喜县划归绛县管辖。
1958年10月属郝庄公社，同年11月绛县建制撤销划归闻喜。
1961年5月恢复绛县建制，属绛县郝庄公社，同年8月郝庄公社复归闻喜县。
1971年10月再次由闻喜县划入绛县。
属郝庄公社小祁大队。
1984年属郝庄乡小祁村民委员会。
2020年2月根据绛政函[2020]7号文件合并行政村，将中董村并入小祁村，属郝庄乡小祁村民委员会。