中华人民共和国成立前，桂山列岛原属中山县管辖。
1951年1月，归属广东省政府海岛管理局珠江分局（后改为珠江专区海岛管理处）。
1952年7月，海岛管理处移交给中山县；同年12月，归属中山县渔民区管辖。
1953年，划归新成立的珠海县第一区管辖；同年5月，成立桂山乡。
1958年9月，万山群岛撤乡合并成立万山公社，下设桂山大队。
1959年3月，珠海县并入中山县，属中山县珠海公社管辖。
1961年4月，归属珠海县管辖。
1974年1月，从万山公社辖区分出桂山岛、中心洲、牛头岛等岛屿，成立桂山公社，属珠海县直辖。
1983年12月，桂山公社改为桂山区公所。
1984年6月，划归珠海市香洲区（县级建制）管辖。
1987年，桂山区公所改为桂山镇。
1988年11月，经济管理权归属万山管理区。
1999年4月，改为珠海万山海洋开发试验区，行政区划仍属香洲区。