清朝时期属蕲水县北乡；民国时期属第四区；1956年农业合作化时，成立龙二初级社、桃园一初级社，1957年转高级社时两社合并，设桃园高级社，属巴河区；1958年人民公社化时，更名为桃园大队，属巴河公社；1959年恢复区建制，属巴河区；1974年撤区并社，属巴河公社；1976年与洪峰大队、江东大队、红星大队合并，设望天大队；1979年分开，重置桃园大队；1981年以境内自然村徐家林定名为徐家林大队；1984年底，恢复区、乡、村建制，属巴河镇望天乡，原名称徐家林大队变更为徐家林村民委员会；1988年撤区建乡镇，属巴河镇；2001年合并乡镇，属巴河镇至今。