1949年至1957年为高家山自然村；1958年至1961年6月公社化时为林家坪公社为高家山管理区；1961年7月划公社时归高家山公社所属；1962年分队时与下石家塔分开改为高家山大队；1984年实行乡（镇）村制时，高家山公社改为高家山乡，高家山大队改为高家山村委会；2001年1月撤乡并镇，将高家山乡并入林家坪镇；2002年7月村组撤并，石家塔并入高家山村，为林家坪镇高家山村，2020年因行政村合并，将兴旺山村并入高家山村。