明末清初分属岳溪一图、岳溪二图。
清乾隆十九年（1754年），分属岳一里、岳二里。
民国十七年（1928年），属第十区。
民国二十六年（1937年），建岳溪乡、桃坪乡，翌年改为岳一乡、岳二乡。
民国二十八年（1939年），改为岳溪乡、桃坪乡。
民国三十五年（1946年），岳溪、桃坪2乡合并为岳桃乡。
1951年，属第六区。
1956年，撤区并乡，为黄土矿乡。
1958年，乡改公社。
1984年，公社改乡。
2015年，撤乡建镇。