秦统一六国后，废封国，实行郡县制，置县平陶，属太原郡。
北魏始光元年(424)，改平陶县为平遥县，属太原郡。
太平真君九年(448)，中都县治迁榆次县境。
平遥县后属东魏、北齐、北周控制。
隋开皇三年(583)，废郡设州，平遥县属介州。
大业三年(607)废州设郡，属西河郡(介州改)。
义宁元年(617)，于介休设介休郡，平遥县改属介休郡。
唐武德元年(618)，改介休郡为介州，平遥县属介州。
贞观元年(627)，属汾州(介州废)。
天宝元年(742)，属西河郡(汾州郡改)。
乾元元年(758)，属汾州(西河郡改)。
太平兴国四年(979)归北宋，属汾州。
明万历二十三年(1595)汾州升为府，平遥属汾州府，属山西省承宣布政使司，又设冀南道驻此。
清顺治三年(1646)，裁冀南道，隶冀宁道，仍属汾州府。
1912年废府后直属于省。
1913年3月，省县之间设道时属中路道。
1914年6月，属冀宁道(中路道改)。
1937年4月，山西废除道制后，直辖于省。
1938年4月，在县内彭坡头村建立平遥县抗日民主政府，属山西省第三行政公署领导。
后属太岳区一专区管辖。
1941年，建立平介县抗日民主政府(辖同蒲铁路北平遥境及介休、汾阳、孝义三县部分地区)，属太岳专署管辖。
1942年5月，划归晋西北行政公署八专区，实际由中共晋西南工委统一领导。
1945年9月，铁路南境的平遥县抗日民主政府改为平遥县民主政府，仍属太岳区一专区。
平介县属吕梁行署七专区管辖。
1948年7月13日，平遥解放。
8月，平遥县属晋中区。
同月，平遥县城关区升级为平遥市(县级)，与平遥县同属晋中行政公署第三专区。
10月，平介县撤销，铁北地区复归平遥县。
1949年2月，平遥县、平遥市同属太原三专区。
1949年8月10日，平遥市撤销，恢复平遥县城关区，属榆次区行政督察专员公署。
1950年8月，属榆次区专区。
1958年11月，属晋中专区。
1968年9月，属晋中地区。
2000年，晋中撤地设市，平遥县隶属于晋中市。