清初设附城团柑园堡，1931年设城内乡柑园堡，均属城东南乡。
建国初设柑园乡，属五区。
1958年公社化时设柑园大队，属罗城公社，1963年改属附城公社。
1983年撤大队设乡，属附城区。
1986年11月撤乡改设村委会，属附城镇。
1988年4月，县政府把柑园村委会从文塔镇（即附城）划归罗城镇，改设居委会。
1989年5月改为管理区，属罗城镇。
1998年9月撤销管理区，恢复居委会名称，2002年3月正式定名为柑园（社区）居民委员会，属罗城街道。