据康熙版《祁县志》记载，武乡堡在县正东二十里。
嘉靖三十年筑，围一百二十步，高二丈五尺，底阔二丈，顶阔八尺。
女墙高五尺。
门一座，敌台一十座，俱有楼舍。
四面深沟数丈，护墙一道。
康熙年间为王乔都附村。
1949年到1952年属三区辖行政村，1953年属王乔乡辖自然村，1954年属王乔乡，1956年属南团柏乡，1958年属东观（红旗）公社王乔管理区，1961年属东观公社辖生产大队，1984年属东观镇武乡村委会至今。