汉代前期属于阗国。
汉神爵三年（前59），西汉在西域设立西域都护府。
于阗等三十六国归属汉王朝。
魏晋南北朝时期，今墨玉县境为于阗西城所在地。
唐隶毗沙都督府。
北宋属喀喇汗王朝。
南宋属西辽。
元属斡端宣慰司都元帅府管辖。
14世纪初，属察合台汗国。
清乾隆二十四年（1759）属和阗办事大臣管辖。
清光绪九年（1883）属和阗直隶州。
1913年改和阗直隶州为和阗县，属和阗县管辖。
1919年墨玉县自和阗县析置，县治喀拉喀什。
1920年改隶和阗道。
1928年，属和阗行政长公署管辖。
1950年属和阗专员公署管辖，全县下设13个区、82个乡。
1956年，将13个区调整成11个区。
1958年又调整为8个公社。
1979年6月，墨玉县属和田地区行政公署管辖。