清属宁海县西乡高枧庄。
民国二十九年（1940年）三门建县前后，均属高枧乡。
民国三十六年（1947年）三月改属高吴乡。
1949年解放初仍属高吴乡。
1950年7月至1956年2月属桐岩乡。
1954年成立岩下徐初级社，1955年转为高级社。
1958年冬改称生产队，属高枧管理区。
1956年小桐岩与王殿、涨潮联办远景初级社。
1958年初转为小桐岩高级社，同年冬改称生产队，属高枧管理区。
1962年改称岩下徐、小桐岩大队，属高枧人民公社。
1983年政社分设，成立岩下徐、小桐岩村民委员会，属高枧乡。
2013年11月属珠岙镇岩下徐、小桐岩村。
2018年8月20日行政村规模调，原小桐岩村、岩下徐村调整为新的仙人峡村村民委员会。