三万年前的旧石器时代，就有人类在灵武县城北的临河水洞沟繁衍生息：距今五千年至七千年灵武县城北部的三道沟、东部的鸳鸯湖等地生活着新石器时代的人群；夏商二代，灵武是土方、羌方的居地；西周时期灵武境内的部落谓之戎狄。
春秋时期秦国势力逐渐发展到灵武地区，战国时期灵武为秦国北地郡辖地，秦始皇统一六国，据有宁夏平原河东地区开始在此戍边，秦推行郡县制，今灵武属北地郡富平县（富平县治在今吴忠市西南）辖地。
西汉惠帝四年（前191）治灵州县；三国时期北方魏国有十二州，灵州属于雍州管辖，东晋十六国时北方政权更替频繁，灵州先为前赵、后赵，继为前秦、后秦、大夏之地。
太延二年改灵州为薄骨律镇，孝昌二年改薄骨律镇为灵州，北魏分裂后灵州初属东魏，后属西魏。
太平三年东魏迁灵州至汾州置侨治灵州，大统六年，西魏在果园城建筑灵州城，治灵州。
北周取代西魏后灵州属北周，西魏与北周时期灵州辖境当为今之银川平原，北周设置灵州总管府，被称为塞北江南是塞上江南之称的来源。
隋朝大业元年，罢府为灵州，仍为宁夏平原最高政区机构。
隋大业三年灵州改为灵武郡。
唐初恢复灵州旧名，复置总管府。
武德七年，改都督府。
贞观元年，灵州属关内道，开元九年，灵州又置朔方节度使。
玄宗天宝元年，改灵州为灵武郡。
天宝十四年，太子李亨北赴灵武于7月12日在南门楼登基即位为肃宗，升灵武郡为大都督府。
五代十国时期五十余年，藩镇割据，灵州、灵武郡始终为朔方军节度使驻地。
宋初，政区设置沿袭后周制度为州县二级制。
宋开宝二年（969），废节度使存州，灵州领县，其辖境约为今之宁夏平原。
宋咸平五年（1002），党项首领李继迁攻占灵州，于灵州置西平府为其王国都城。
宝元元年，李元昊正式立（西）夏国，迁都兴庆府，灵州为西夏陪都置翔庆军司。
元朝仍为灵州，先后属西夏中兴路，行省和宁夏府路。
洪武十六年，古灵州城被河水浸毁，于故城北七里处筑城，置灵州河口守御千户所。
宣德三年（1428）城又被河水崩陷，复在相距旧城东北五里处筑新城，即今灵武市区所在处。
景泰三年增筑新城。
清雍正三年（1725），废除卫所，改灵州千户所为灵州直隶州，隶属宁夏府。
同治十二年（1873），将灵州之南金积堡析出改设宁灵厅，直属宁夏府。
1913年改灵州为灵武县属宁夏省。
新中国成立初，灵武县属宁夏省。
1950年吴忠堡析出设市。
1954年宁夏省撤销并入甘肃省设河东回族自治区，后改为吴忠回族自治州，灵武县属之。
1958年成立宁夏回族自治区，灵武县属自治区管辖。
1972年归银南地区所辖，1996年5月国务院批准灵武撤县设市，1997年12月将灵武纳入宁夏经济核心区范围，2001年2月规划为自治区能源化工基地，2002年10月由吴忠市移交银川市。