秦汉以前，高庙属“羌戎地”。
汉武帝元鼎六年（前111年），汉军进据湟水流域，高庙归入汉朝版图。
西汉太初年间（前104年—101年），高庙始建村寨。
北宋哲宗元符年间（1098—1100年），高庙建通湟寨。
明代时期，高庙汉族从南京和内地先后因平戎西征或因商贾迁来高庙定居，繁衍生息。
清雍正三年（1725年），改右千户所为碾伯县，高庙属碾伯县管辖。
民国十九年（1930年），高庙设镇。
民国三十八年（1949年）9月5日，乐都县解放，设高庙镇，废除保甲制，设立村民委员会。
1958年，高庙镇为金刚公社。
1984年，复名高庙镇。