明嘉靖年间属仁义乡；清康熙年间属遵义乡；民国时期属吴溪乡；1949年5月属吴店区；1956年为永丰社，属吴店区浆溪店乡；1958年成立人民公社，为四大队，属上游公社浆溪店管理区；1959年为四大队，属郝店公社浆溪店管理区；1960年更名为7大队，属郝店公社浆溪店管理区；1961年4月恢复区（镇）建制，为7大队，属郝店区浆溪店公社；1975年2月撤区并社，更名为徐家山大队，属吴店公社；1983年底设区建乡，为徐家山村，属吴店区浆溪店乡；1987年撤区并乡，为徐家山村，属浆溪店乡；1990年10月撤浆溪店乡并入吴店镇，为徐家山村，属吴店镇至今。