明代以前属昌国县（州）金塘乡，清代属定海县（厅）金塘乡。
1934年置鱼龙乡。
1947年与东沙镇合并为岱西镇。
1949年7月，定海县析分为定海和滃洲2县，复置鱼龙乡，属滃洲县。
1950年解放，属定海县岱山区。
1953年2月，成立舟山专区，属岱山县。
11月成立渔山区，辖宫山、大西2个乡。
1956年撤区并乡，合置渔山乡。
1958年为舟山县东沙公社渔山管理区，设湖底、大西、小西、南水4个大队。
1960年6月，属岱山公社。
1961年10月，建渔山公社。
1962年6月，复属岱山县。
1984年改建为渔山乡。
2001年6月，撤销渔山乡建制，行政区域并入高亭镇。
2003年11月，大西、小西、湖底、南水4村合设渔山村。
2016年改称渔山社区村民委员会。
2019年改为今名。