早在新石器时代就有人类在这里生息繁衍，春秋时这里是山戎地，战国时属燕，秦汉时是鲜卑地，三国时属乌桓，隋为奚地，唐属饶乐都督府，后入契丹，辽属松山州，金属北京大定府，元代东部属大宁路，西北部属上都路，明洪武中期属大宁都指挥使司，后将其地赐于三卫（诺颜、泰宁、福余），归诺颜卫管辖，天聪初年归附后金，天聪九年设旗制，划分为喀喇沁左翼旗和喀喇沁右翼旗，本旗归右翼旗，属卓索图盟。
康熙四十四年（1705年）划出一部分区域，设喀喇沁中旗。
中华民国二十年（1931年）取消旗制，原喀喇沁右翼旗所辖地区东部划归建平县，西部为宁城县设治局三、四区，伪满康德七年（1940年）分出，恢复旗制，在平庄建立伪喀喇沁右旗公署。
1945年解放后属热河省建平县，1946年9月实行蒙汉分治，在王爷府设喀喇沁右旗和建西县双重机构，1947年11月合并，改为喀喇沁右旗建西县联合政府，1948年春联合政府由王爷府迁至公爷府，1949年5月改为喀喇沁旗，1956年1月撤销热河省建制，归内蒙古自治区昭乌达盟管辖，同年3月改为喀喇沁旗人民委员会，1968年3月改为喀喇沁旗革命委员会，1969年8月随昭乌达盟划归辽宁省，1979年7月又随盟划归内蒙古自治区，1980年恢复喀喇沁旗人民政府名称。
1983年昭乌达盟建制撤销，成立赤峰市，本旗归赤峰市管辖。