清道光二十三年（1843年），金州厅在长山列岛设置小长山岛社。
清光绪二十年（1894年），中日甲午战争后，长山列岛被日本帝国主义侵占。
清光绪二十四年（1898年），帝俄占据旅大设置关东州厅，设长山列岛行政区，下设小长山岛联合村团。
清光绪三十年（1904年），日本重新占领长山列岛。
清光绪三十二年（1906年），建小长山岛会。
民国三十四年（1945年）11月，建小长山乡，属长山区。
1949年11月，建小长山区，属长山县，时为县党政机关所在地（1960年迁驻大长山岛）。
1950年8月，改称长山县第一区。
1955年6月，复称小长山区。
1956年3月，建小长山、乌蟒2乡。
1957年，增设钯蛸乡。
1958年6月，3乡合并为小长山乡。
同年9月，撤乡建立小长山公社。
1983年10月，撤公社建小长山乡。
2017年，改小长山岛镇。