1949年前属四维乡一、四保、银城镇四保，1949后属一区四维乡、银城镇，1950年属香屯、柏垣乡、一区银城二街，1953年属银城镇，1956年撤区，并入柏垣乡，1958年公社化时属香屯、柏垣、叶家大队，1962年从香屯大队划出，称杨家湾大队，1966年转为公社良种场，1968年又归香屯大队，1971年叶家大队划归香屯公社，1974年再划出，成立群山林场，1981年复称杨家湾大队，1984年更名杨家湾、叶家、柏垣、湖田村民委员会，1991年撤乡设镇仍为杨家湾、叶家、柏垣、湖田村民委员会，2002年柏垣村民委员会并入杨家湾村民委员会，叶家村民委员会并入湖田村民委员会，2005年湖田村民委员会并入杨家湾村民委员会，村民委员会驻地湖田，2006年并入泗洲镇，2011年划归香屯街道办事处，称杨家湾社区居民委员会，沿用至今。