明朝洪武元年柴均寿从下图山迁移到屠山，后柴氏修谱，改为上图山。
上图山有句口头禅：柴李吴屠臧金凌方郎江，反映了当时居民大姓有十姓。
原先隶属于图山乡，解放后建政时为上图山农会，1950年为场口区图山乡上图山村（一村），1956年为东图乡五一高级农业社，1958年为东图公社上图山民兵连，1960年为场口大公社上图山管理区，1961年为东图公社上图山大队，1984年3月为东图乡上图山村，2003年12月属场口镇。