1278年属新会县龙溪乡。
民国时期，属新会县第四区，称潮连乡。
中华人民共和国成立后，属新会县第四区，称潮连乡。
1958年，成立潮连人民公社，芝山乡改称芝山大队。
1977年，潮连公社从新会县划归江门市郊区，仍称芝山大队。
1983年，撤销潮连公社设潮连区公所时，改为芝山乡。
1988年，潮连区公所改镇，称芝山管理区。
1998年，芝山管理区改名为芝山村民委员会。
2002年，属江门市潮连街道，2005年，改称芝山社区居民委员会，沿用至今。