春秋战国时，境地先后属吴、越、楚地。
秦时，境内金沙溪以东属会稽郡太末县，金沙溪以西属九江郡余汗县。
汉献帝初平三年（192），析太末县东境置新安县，东部属新安县。
建安十五年（210），析余汗东境置葛阳县，西境属葛阳。
建安二十二年（217），析新安县东境置定阳县，东境属定阳。
三国时，为吴国领地。
西晋元年（266），分会稽西部设东阳郡，隶吴州，东境属之。
太康元年（280），新安县更名为信安县，东境分属信安、定阳两县。
南朝（陈）天嘉三年（562），东境随信安、定阳两县改隶金华郡。
隋初，郡改为州，定阳县并入信安县，东境属信安县，隶婺州。
开皇十二年（592），葛阳县更名为弋阳县，西境属弋阳县。
唐初，境地分属衢州常山、须江县（今江山市）和饶州弋阳县。
唐证圣（周）年（695），析须江、常山、弋阳之地置玉山县，以境内有怀玉山得名，隶江南道衢州。
天宝元年（742），衢州改称信安郡，随隶信安郡。
乾元元年（758）置信州，改属信州，隶江南东道，并划须江县南乡镇头墟至下镇墟归玉山县管辖。
宋仍属信州。
建炎四年（1130），隶江南路；绍兴元年（1131），隶江南东路。
元至元十四年（1277），隶江浙行中书省信州路。
至正二十年（1360）六月，改信州路为广信府，随属广信府，仍隶江浙行中书省。
明洪武四年（1371），随广信府改隶江西行中书省。
洪武九年（1376），废行中书省，设承宣布政使司，下分道，随府隶江西承宣布政使司湖东道。
清属江西省广信府。
民国元年（1912）冬，废府、州，县直隶江西省。
三年（1914），江西全省分四道，玉山属豫章道。
十五年（1926），废道，直隶省辖。
二十年（1931），省下设行政区，玉山隶江西省第九行政区。
二十一年（1932），隶江西省第六行政区。
1949年5月5日，玉山县解放，隶赣东北行政区；同年9月，赣东北行政区撤销，隶上饶专区。
1971年隶上饶地区。
2000年10月，隶上饶市。