明天顺年间称小岳寺，始有小岳寺之名。
清分属党段图党湖里、陈段里，青华图青龙里，遵化图遵治里、安化里。
1931年分属第七区（东洪桥）、第八区（华陂）。
1941年分属华陂镇、西洪乡、武津乡。
1949年分属华陂区、东洪区、东岸区。
1950年分属华陂区、朱里区。
1956年分属史彭、朱里中心乡。
1957年分属华陂乡、朱里乡。
1958年分属朱里、华陂人民公社。
1976年从原朱里、华陂、西洪三个人民公社各析出小岳寺、大明、西伍张、业王、望东湖、双河、边张、时庄、大岳寺、赵集、郭七、朱寨、陈集、坡吴、杨炉、大屯生产大队，成立小岳寺人民公社。
1983年改称小岳寺乡。