约建于春秋战国时期，是一座具有悠久历史文化的古城。
据《徐水县新志》记载：“武王封召公奭于燕都易水，则徐水为古燕地，后遂建城，取名武遂。”据《中国历史地图·诸侯称雄形势图》（公元前350年）展示，在今遂城处即有“武遂”之名。
《史记》卷三十四燕召公世家：“十二年，赵李牧攻燕，拔武遂、方城。”“十二年”即燕王喜十二年（公元前243年）。
由此可知，遂城乃燕都的一个外卫城池。
《畿辅通志》记载：“北魏，营州（约今辽宁省海域一带）失陷，乃迁营州侨置于遂城，孝武以韩瓒为营州刺史，时行达此城，值卢曹构逆，就该城置南营州，以瓒为刺史，所部三千余人，雄武冠时，为此该城号英雄城。”隋、唐、五代，为遂城县治所。
北宋，该地为宋辽分界，宋为加强北方边界，以军治县。
太平兴国六年（981年），改遂城县为威虏军。
景德元年（1004年），改威虏军为广信军，领遂城县，治所仍在该地，约辖今徐水县谢坊以西地区。
时辽兵不断南侵，战衅迭起。
《宋史》记载，咸平二年（999年）冬，契丹国母萧太后率兵南侵，“宋将杨延昭时在遂城，因城小无备，契丹攻之甚急，长围数月，延昭悉集城中壮丁登城持械护守，时逢大寒，汲水灌城上，旦悉为冰，坚滑不可上，契丹溃退。”后遂城为北方重镇，西控雁门，东连雄霸，辽如终未入，故有“铁遂城”之美称。
宣和七年（1125年），遂城陷于金；天会七年（1129年），金在该城立州治，名遂州；贞元二年（1154年），改州为龙山郡；泰和四年（1204年），改郡为遂城县，贞祐二年（1214年），又在该城复置遂州；明洪武初降州为县，1375年遂城县并入安肃县。
保定郡志载，遂城在安肃县西二十五里，即今徐水县城西二十里处，为遂城村，北临瀑河，隔河为燕长城。
遂城平面呈长方形，东西约四华里，南北约五华里。
北城墙、东城墙残破严重，南城墙的西段和西城墙保存较好。
在西南城角一带，城高12米，宽30米。
城门位置及数目不明，唯今城东有东关村，可知当有东城门，城北有城北村，城西有城西村。
东、南、西三面城墙外，农田地势低洼，可能为护城濠，濠外尚有堤，但已存不多。
据保定地区文物管理所提供的资料看，城址内城面上陶、瓷片、布瓦片、灰土散布面积甚大，有的地方灰土堆积厚达2米以上。
可见该城历史之悠久，当时之兴旺。
又据《中国历史地图集》展示，战国时期燕国的古长城从武遂北通过，今遗址尚存。