夏、商、西周为戎狄所居。
春秋、战国为楼烦族人游牧地，战国末期，赵国置雁门郡，治善无（今右卫镇）。
秦置善无县，属雁门郡。
西汉添置中陵县，王莽新朝雁门改为填狄，善无改为阴馆，中陵改为遮害。
东汉初恢复原郡县名称，建武二十七年（51）雁门郡治南迁，属定襄郡，治善无。
三国、西晋、十六国时期，多为鲜卑族人游牧地。
北朝北魏为畿内地，置善无郡善无县（郡县同治），初属司州，后属恒州。
北朝东魏为柔然族（蠕蠕）游牧地。
北朝北齐、北周属朔州广安郡。
隋朝属马邑郡善阳县（治所在今朔城）。
唐属云州云中县（治所在今大同市），天宝年间置静边军。
五代后唐属云州，后晋割让给契丹（后称辽）。
辽、金属大同府云中县。
元代属大同路大同县（治大同市）。
明设右卫、玉林卫和威远卫，为军民共辖的实土卫所，属大同行都司（治大同市）。
清雍正三年（1725），置朔平府，撤销右卫、玉林卫、威远卫置右玉县，府、县同治右玉城。
民国废府留县，初属雁门道，后直属山西省。
抗日战争时期，日军侵占了县城及交通要道沿线，山区由抗日民主政府管辖。
和右清县抗日民主政府辖东北部山区，后合并为右玉县抗日民主政府，右南县抗日民主政府、右山怀中心县抗日民主政府辖东南部山区，右平县抗日民主政府辖西南部山区。
这些县级政府初属晋绥边区十一专署，后改为五专署，1945年8月，人民民主政府迁入右玉城，辖全境。
1949年9月属察哈尔省雁北专区。
1953年9月，东南部48个自然村划归山阴县，辖城关1镇，47个乡。
1958年11月，并入左云县。
1961年4月，恢复县制。
1972年11月，县城由右玉城迁到梁家油坊。
1993年划归朔州市。