唐尧时，为朔方幽都地。
虞舜，属并州地（今太原）。
夏禹，为冀州地。
商，封为同性代子国西北地。
周，为要服地。
春秋，为北狄所居。
战国时，林胡族在这里游牧。
周赧王九年（前306年），赵武灵王征服林胡、楼烦，地归赵国云中郡。
秦始皇二十六年（前221年），实行郡县制。
在今托克托县城北古城置云中郡。
在今喇嘛湾镇缘胡山东南，黄河东岸拐上村东山坡处置桢陵县。
《汉书.地理志》载：“云中郡，秦置……县十一，桢陵，莽曰桢陆”。
《中国古今地名大辞典》和《中国历史地图集·并州·朔方刺史部》所载、所标，缘胡山正是喇嘛湾镇凤凰山诸山。
西汉，今清水河县隶并州定襄郡（郡治盛乐在今和林格尔县土城村北），并设置桐过县（今小缸房乡城咀子山）、武成县（县城东，遗址元考）、骆县（今窑沟乡下城一带）。
东汉，定襄郡迁置善无县（今山西省右玉县南），隶属如故。
汉末，郡县并废，县驻地变为聚落（今村镇），桢陵更为箕陵。
魏晋，黄河以北地区为崛起的鲜卑族人所占据，为新兴寄治的一县。
北魏，今清水河县为代都平城（今山西省大同市东）畿内西部地。
在今王桂窑乡小火盘村南置昆新城。
道武初，割腊汗山地方百里以封库狄氏。
其后又置尖山（今北堡乡尖山村）、树颓（今故城在杨家窑乡境内）二县，取树颓水及山为名，隶朔州神武郡（今和林格尔县境内）。
北齐，今清水河县隶北道行台。
隋朝，为紫河镇属地，隶榆林郡金河镇（今大红城）。
唐，为胜州河滨县（今伊克昭盟准格尔旗十二连城乡东境）。
贞观三年（629年），隶关内道胜州榆林郡，河滨关（今喇嘛湾镇拐上村）即古君子津。
五代，地归契丹。
辽代，境内置宁边州，不领县，其东南兼跨德州宣德县地（今内蒙古丰镇市西南部），今清水河县隶西京道。
金建国初期，以宁边州置西军，统于西南面招讨使，隶西京路。
正隆三年（1158年），依外城建宁边县，产并为州所在地。
贞祐三年（1215年），改隶岚州节度使，次年，升为防御州。
元至元二年（1265年）废宁边州，以其地之北半入东胜州（治所在今托克托县境内），南半入武州（今山西省神池西），并改旧隶德州之宣德县为宣守县，直隶大同路。
明洪武四年（1371年），今清水河县属东胜卫，置千户所，隶大同路。
洪武二十五年（1392年）置东胜左、右、中、前、后五卫。
永乐元年（1403年）废。
正统三年（1438年），复置。
正统十四年（1449年），又废。
崇祯九年（1636年），归化城土默特部编为一部两翼，分左右两旗，今清水河县属左旗。
清乾隆元年（公元1736年），设清水河协理通判厅。
乾隆六年（1741年），清水河、托克托、和林格尔、善岱、萨拉齐同时分设协理通判，隶属于山西总理旗民蒙古事务分巡归绥兵备道。
乾隆二十五年（1760年），改理事通判厅。
乾隆二十九年（1764年），清水河、萨拉齐、和林格尔、托克托城通判与归化、绥远二同知，共属归绥道，隶山西省。
光绪十年（1884年），改为抚民通判厅。
民国元年（1912年），改厅为县，隶绥远省特别行政区。
民国18年（1929年），绥远特别行政区改置绥远省后，清水河县属绥远省政府。
民国26年（1937年），抗日战争暴发，中共清水河县划归清平云（清水河、平鲁、左云）联合县，属晋绥边区。
民国27年（1938年），沦陷，属伪蒙疆政府巴颜塔拉盟。
民国28年（1939年），清水河县境内沿长城边猪毛草村以南，韭菜庄、暖泉、北堡等地划归清平（清水河、平鲁）联合县。
同年秋，又将井儿沟以北浑河以南地区，杨家窑、五良太划为凉和清（凉城、和林格尔、清水河）联合县，同属雁北地委。
民国29年（1940年），大青山地区成立晋西北行政公署驻绥远办事处，下设绥西、绥中、绥南3个专署和绥东济南区，清水河属绥南专署，同时将凉和清县改为托和清（托克托、和林格尔、清水河）县。
民国34年（1945年），清水河成立县政府，侨居偏关水泉堡。
民国35年（1946年），中共托和清县委改为工作委员会，划归右玉中心县委。
民国36年（1947年），和林格尔县政府与托和清县政府合并，仍称托和清县。
当时县境除一部分根据地外，其余大部分为游击区和敌占区。
1949年，清水河县全境解放。
1950年，清水河县改隶绥远省萨县专区。
1952年，萨县专区撤销，清水河县隶归集宁专区。
1954年，集宁专区撤销，改为平地泉行政区，清水河县改隶平地泉行政区。
同年，撤销绥远省，所辖地区划归内蒙古自治区。
1958年，划属内蒙古自治区乌兰察布盟。
1995年，划归内蒙古自治区呼和浩特市。