夏、商、西周為戎狄所居。

春秋、戰(zhàn)國為樓煩族人游牧地，戰(zhàn)國末期，趙國置雁門郡，治善無（今右衛(wèi)鎮(zhèn)）。

秦置善無縣，屬雁門郡。

西漢添置中陵縣，王莽新朝雁門改為填狄，善無改為陰館，中陵改為遮害。

東漢初恢復(fù)原郡縣名稱，建武二十七年（51）雁門郡治南遷，屬定襄郡，治善無。

三國、西晉、十六國時期，多為鮮卑族人游牧地。

北朝北魏為畿內(nèi)地，置善無郡善無縣（郡縣同治），初屬司州，后屬恒州。

北朝東魏為柔然族（蠕蠕）游牧地。

北朝北齊、北周屬朔州廣安郡。

隋朝屬馬邑郡善陽縣（治所在今朔城）。

唐屬云州云中縣（治所在今大同市），天寶年間置靜邊軍。

五代后唐屬云州，后晉割讓給契丹（后稱遼）。

遼、金屬大同府云中縣。

元代屬大同路大同縣（治大同市）。

明設(shè)右衛(wèi)、玉林衛(wèi)和威遠(yuǎn)衛(wèi)，為軍民共轄的實土衛(wèi)所，屬大同行都司（治大同市）。

清雍正三年（1725），置朔平府，撤銷右衛(wèi)、玉林衛(wèi)、威遠(yuǎn)衛(wèi)置右玉縣，府、縣同治右玉城。

民國廢府留縣，初屬雁門道，后直屬山西省。

抗日戰(zhàn)爭時期，日軍侵占了縣城及交通要道沿線，山區(qū)由抗日民主政府管轄。

和右清縣抗日民主政府轄東北部山區(qū)，后合并為右玉縣抗日民主政府，右南縣抗日民主政府、右山懷中心縣抗日民主政府轄東南部山區(qū)，右平縣抗日民主政府轄西南部山區(qū)。

這些縣級政府初屬晉綏邊區(qū)十一專署，后改為五專署，1945年8月，人民民主政府遷入右玉城，轄全境。

1949年9月屬察哈爾省雁北專區(qū)。

1953年9月，東南部48個自然村劃歸山陰縣，轄城關(guān)1鎮(zhèn)，47個鄉(xiāng)。

1958年11月，并入左云縣。

1961年4月，恢復(fù)縣制。

1972年11月，縣城由右玉城遷到梁家油坊。

1993年劃歸朔州市。