“衢山”之名始于清末，与朐山并用。
1923年《定海县志》“定海县总图”“列岛分图五”载为“衢山”，1923年《定海县志》册一载为“朐山”：“在岱山东北二十五里许，长三十里，宽十里，居民三千余户......亦称衢山。”清光绪《定海厅志》卷十四：“国朝蓬莱乡……光绪六年（1880）新增衢山。”1923年《定海县志》册一：“（蓬莱乡）初并五都为三都，分十六隩，后改五庄……光绪间增朐山，共六庄。”清宣统二年（1910）设朐山乡（含今属嵊泗县的大洋山）。
1919年设衢山乡，1945年设衢山区，辖衢一、衢二、长涂、黄龙、大羊5乡，均属定海县。
1949年属滃洲县，分设岛斗、乍门2乡。
1953年改属岱山县。
1958年改设衢山人民公社。
1961年分岛斗、太平、桂花、四平、万良、鼠浪5个人民公社，属岱山县衢山区。
1962年以衢山区与嵊泗县的大小洋山、滩浒、徐公等岛合建大衢县。
1964年撤县复设衢山区，属定海县。
1983年岛斗人民公社改为镇。
1984年太平、桂花等4人民公社改为乡。
1992年撤区，太平、桂花2乡并入岛斗镇，鼠浪乡并入万良乡。
2001年岛斗镇和四平乡、万良乡合置衢山镇，形成现今之政区范围。