清属临海县承恩乡二十都，后改属承恩乡大域庄。
民国属沿江乡。
1949年解放初属赤坎乡。
1954年成立从岙初级社。
1955年成立小渔西、北坑、张家初级社。
1956年成立从岙高级社，同年2月属沿赤乡。
1957年与北坑、张家2个初级社合办小渔西高级社。
1958年冬属沿赤管理区小渔西、从岙连队。
1962年属沿赤公社小渔西、从岙大队。
1983年属沿赤乡小渔西、从岙村。
2013年11月属浦坝港镇小渔西、从岙村。
2018年8月20日行政村规模调，原小渔西村、从岙村调整为新的渔家岙村。