夏属冀州，周属并州，春秋属晋，战国时为赵域，秦属太原郡。
汉武帝元朔四年（前125），始设县治，属西河郡，郡治在平定县（今内蒙古鄂尔多斯左翼前旗境）。
东汉永和五年（140），匈奴掠西河郡，郡治南徙509里治置离石，临水并入离石。
西晋永兴元年（304），匈奴左部帅刘渊在临县募兵起事开始，近百年时间，几易其主。
北齐天保三年（552），属西汾州，四百余里的长城纵贯境内东麓。
黑峪塔村北设乌突戌，为长城三十六戌之一。
北周大象元年（579）置郡、县，取名乌突郡、乌突县，治今大禹乡府底村。
隋开皇元年（581）废郡，改乌突县为太和县。
唐武德三年（620），改太和县为临泉县，治今白文镇故县村，属石州。
金天会元年（1123），复名临水县。
贞佑末年（1216），元兵南下，先得临水，置大定府。
元中统二年（1261），改临水为临泉，属太原郡。
至元三年（1266），临泉升为州。
至元五年（1268），州治由故县村南徙50里，置今县城。
明洪武二年（1369），州降为县，属太原府。
清咸丰三年（1853），碛口设通判署（俗称三府衙门）。
光绪三十三年（1907），改置巡司。
1912年，废除府、州，县直隶省辖。
1940年，临县解放，成立了由中国共产党领导的抗日民主政府；10月，临县分为临县、临南县2县。
1946年，临县、临南2县合并，仍称临县至今。