清康熙十一年（1672年）版《滋陽縣志》記有：“大明寺在小孟金大定六年（1166年）建�！惫饩w十二年（1886年）版《滋陽縣志》記有：“大明禪寺在小孟。

金大定六年（1166年）敕建�！睋�(jù)此可知此村已有約千年歷史。

村東首有大土丘，傳說是戰(zhàn)國時孟嘗君的墳?zāi)埂?/p>

并說孟嘗君排行第二，故名小孟。

1948年魯西南解放初期，本鎮(zhèn)為市第四區(qū)；1949年稱太平區(qū)；1958年撤區(qū)分小孟、蔡莊、新驛歇馬亭等4個大鄉(xiāng)；1962年1月，曲阜、兗州分縣后始稱小孟公社；1966年5月改作小孟區(qū)，下分六個小公社；1968年又恢復(fù)為公社；1984年5月，行政區(qū)改革時，稱小孟區(qū)。

1986年12月撤區(qū)改為小孟鄉(xiāng)。

2002年8月撤鄉(xiāng)改為小孟鎮(zhèn)。