春秋为晋地。
战国初属中山国，后赵灭中山，遂属赵。
秦属恒山郡。
西汉取蒲邑、番吾二名置蒲吾县。
隋开皇十六年（596），析置房县，治今平山镇，以境内房山（今王母观山）得名，属恒山郡，后属井州、恒州。
义宁初于此置房山郡。
唐武德元年（618），房山郡改名岳州（又名西平州）。
天宝十五载（756），房山县更名平山县。
后历属平山郡、恒州、镇州。
元属真定路。
明属真定府。
清初属真定府。
雍正元年（1723），真定府改为正定府，辖平山县。
1913年，平山县隶范阳道。
1914年，范阳道改名保定道，属之。
1928年，废道，直属河北省。
1937年，属河北省第十二督察区。
1937年7月，属晋察冀边区冀西区，同年秋，划归冀西三专区。
1940年上半年，属冀西五专区；8月，以平山、井陉、获鹿各一部分区域设置建屏县，与平山县同属冀西五专区。
1942年2月，归北岳区第五专区。
1944年6月，属北岳区第四专区。
1944年7月，划属冀晋区。
1945年，属冀普区第四专区。
1946年4月，属冀晋区第三专区。
1947年6月，划归冀晋区第四专区；同年11月，划属北岳区第四专区。
1949年8月，划归河北省石家庄专区。
1958年12月，撤销建屏县，并入平山县，属石家庄专区。
1960年，属石家庄市。
1961年，复属石家庄专区。
1967年，属石家庄地区。
1984年8月，平山县所辖黄壁庄乡、马山乡划归获鹿县，牛城乡划归灵寿县。
1993年，属石家庄市。