北麂历史悠久，自古以来为海防重地，有北麂岛军事设施遗址等历史遗存。
原名东洛山，一名北岐山，地势险要，小岛回环，明初已有大陆居民到此定居，以捕鱼为业，渐成聚落。
明永乐三年（1405年）至宣德八年（1433），郑和率舟师七次下“西洋”，多次经停东洛山。
《郑和航海图地名索引》载：“东洛山，据图，东洛山在温州港外，南己（麂）之北。”《读史方舆纪要》卷九十四载：“东洛山，在县东南海中。
倭寇南北往来，往往泊舟取水于此，隆庆初设舟师戍守。”清乾隆后期至嘉庆年间，因朝廷强推禁海政策，蔡牵夫妇率所部曾踞此岛周围海洋与清军水师李长庚、许松年等部周旋达20多年之久。
今岛除，大陆村民受生活所迫者，纷纷来此海岛以捕鱼为业，重新建立村落，北麂遂成近海渔场；民国时，为逃避抓壮丁，有许多近海居民迁移定居于此。
上之大小较场、东西水门等名称，皆蔡牵所署。
蔡牵失败后，岛民被逐回大陆，复成无人岛。
鸦片战争后海禁解。