清康熙十一年（1672年）版《滋阳县志》记有：“大明寺在小孟金大定六年（1166年）建。”光绪十二年（1886年）版《滋阳县志》记有：“大明禅寺在小孟。
金大定六年（1166年）敕建。”据此可知此村已有约千年历史。
村东首有大土丘，传说是战国时孟尝君的坟墓。
并说孟尝君排行第二，故名小孟。
1948年鲁西南解放初期，本镇为市第四区；1949年称太平区；1958年撤区分小孟、蔡庄、新驿歇马亭等4个大乡；1962年1月，曲阜、兖州分县后始称小孟公社；1966年5月改作小孟区，下分六个小公社；1968年又恢复为公社；1984年5月，行政区改革时，称小孟区。
1986年12月撤区改为小孟乡。
2002年8月撤乡改为小孟镇。