周彘地。
春秋属晋，战国属魏。
秦属河东郡。
西汉彘县地，属河东郡。
东汉阳嘉三年（134）为永安县地，三国魏晋胥属平阳郡。
南北朝北魏太平真君九年（448）置岭东县（故治今吕梁市交口县西南），属吐京郡（今吕梁市石楼县西北），太和（497）改新城县，治所徙今勍香镇迴城、云城一带。
北齐置临汾郡及临汾县，治今和平镇申村。
隋开皇三年（583）郡废，改临汾县为汾西县，同新城县俱属永安郡，十年（530）省新城县并入，十六年（596）改属汾州，十八年（598）改属吕州。
大业三年（607）属临汾郡。
义宁元年（617）属霍山郡。
唐武德元年（618）郡废，属吕州。
贞观六年（632）徙治今县城，十七年（643）改属晋州。
开元中（713～741）徙治厚义（今团柏乡后义村）。
五代属晋州。
宋太平兴国七年（982）移今治。
政和（1116）属平阳府。
金属平阳府，元属晋宁路。
明属平阳府。
清雍正二年（1724）改属隰州，九年（1731）复属平阳府。
1913年属河东道。
1927年属山西省。
1937年属山西省第六区。
1938年2月县城为日军占领。
1946年8月29日县城解放，属晋绥边区吕梁行署第九专署。
1949年2月属陕甘宁边区晋南行署隰县专区，6月为汾西中心县。
1949年10月属晋南中心专署（驻临汾）。
1954年9月属晋南专区（驻临汾）。
1958年6月与霍县合并为霍汾县。
10月撤消霍汾县并入洪洞县。
1959年7月恢复霍汾县。
1961年5月撤消霍汾县，恢复汾西县建制，属晋南专区（驻临汾）。
2000年11月属临汾市管辖至今。