西晋武帝泰始年间，涅县分为三县，即武乡县、辽阳县和涅县，从此有武乡县之称；十六国时代，石勒建立后赵，置武乡郡；北魏延和二年（433）武乡郡改为乡郡，武乡县改为乡县，属并州乡郡；隋开皇三年（583），废乡郡，乡县属上党郡；隋大业元年（605），废榆社县，并入乡县，撤甲水县，并入铜鞮县和乡县；隋义宁元年（617），乡县又分置榆社县，其境域形成武乡县现在的规模；唐初，属河东道韩州；唐景云元年（710），恢复武乡县名至今。
五代十国时，属后唐、后晋、后汉的潞州，后属北汉；宋初，属河东路潞州；北宋太平兴国三年（978），属威胜郡；金天会六年（1128），改威胜郡为沁州，属河东南沁州；元代，属中书省晋宁路沁州；元至元三年（1266），武乡县并入铜鞮县；元元贞二年（1296），复置武乡县；明初，属山西（省）布政司冀南道沁州；清代，属山西省冀宁道沁州；1930年，直属山西省；抗日战争爆发后，1937年9月，属山西省第三行政区专员公署。
1939年7月，属太行区；1940年7月，武乡县分成武乡（东）县和武西县。
1945年9月，恢复武乡县建制；1945年10月，太行行署成立；1948年5月，属华北行政区太行行署二专区；1949年10月，属长治专区。
1958年11月，榆社县和武乡县合并，称武乡县，属晋东南专区。
1959年7月，榆武再次分治。
1985年，撤销晋东南地区，分设长治市和晋城市，武乡县属长治市管辖至今。