县境战国时期始置皋狼邑，属赵地，西汉置皋狼县属西河郡。
西晋置左国城，属西河国。
北齐文宣帝天保三年（552）置良泉县，属怀政郡（离石）。
北周静帝大象年间增设窟胡县。
隋文帝开皇三年（583）改窟胡县为修化县，属石州。
隋炀帝大业三年（607）建方山县。
唐高祖武德二年（619）置方州，县属之。
武德三年（620）州废，改属石州。
贞观十一年（637）方山县治移往今古贤，仍属石州，金宣宗贞祐四年（1216），县治迁于积翠山。
元世祖至元三年（1266）省方山县，并入离石县，属石州。
1918年复置方山县，属冀宁道。
1937年，属第四行政公署。
1939年属第二行政公署。
1940年晋西北成立抗日民主政权——山西省第二游击区行署，县属四专区。
1942年三、四专区合并为三专区，县属三专区。
1943年，西北行政公署改名为晋绥边区行政公署，县属晋绥边区三分区管辖。
1949年2月15日晋绥边区与陕甘宁边区合并后设晋西北行署，下设4个分区，县属离石分区。
9月，山西省人民政府成立，县属兴县专区。
1952年7月1日，撤销兴县专区，县归榆次专区。
1954年7月1日与离石县合并为离山县。
1958年11月10日中阳县并入离山县后，改名离石县。
1971年5月1日恢复方山县，县城设在圪洞镇，属吕梁地区。
2003年10月，国务院批准吕梁地区撤地建市，方山县归吕梁市管辖。