1949年属第六区。
1950年属第七区。
1954年，平遥县撤销区级建制，设香乐乡。
1958年9月属以宁固为中心的火箭人民公社。
1958年12月属宁固公社。
1961年12月设香乐公社。
1971年4月，划归吕梁地区汾阳县管辖。
1977年10月复归平遥县管辖。
1984年更名为香乐乡，2001年2月，根据山西省人民政府《关于平遥县调整乡镇行政区划的批复》（晋政函〔2001〕42号）文件，撤乡并镇，将西王智乡整体并入香乐乡，设置新的香乐乡。