公元前221年，秦始皇统一中国后始行郡县制。
境内除任城县、亢父县属薛郡外，其他则属鲁郡。
西汉时，境内曾置有东平国，领任、无盐、亢父、樊、东平陆、富城、章7县。
东汉则从东平国析出任城国，领任、亢父、樊3县。
三国、两晋、南北朝时期，境内政区变化不大，或为任城国，或为任城郡，领3县如故。
隋统一后，改兖州为鲁郡，领瑕丘、任城、邹、曲阜、平阳、泗水、龚丘、梁文、博、赢10县。
唐时无大变化，但五代周广顺二年(952年)置济州，并割郓州的巨野、郓城，兖州的任城，单州的金乡归其统辖。
这期间，境内其他各县则多属兖州。
宋政和八年(1118年)兖州一度升为袭庆府，境内的仙源、泗水、瑕丘、邹县都归其统辖。
金天德二年(1150年)，济州由巨野迁往任城，并领任城、嘉祥、郓城、金乡4县。
元至元八年(1271年)，济州升为济宁府，至元十六年(1279年)，又升为济宁路。
自此以后，境内或为府、州，或为区、市，一直是历代地方二级政权机关驻地，其行政区划如下。
元时，至元十六年(1279年)，境内置济宁路，治任城，领辖3州7县，即：济州、单州、兖州，任城、巨野、郓城、肥城、金乡、砀山、丰县。
明时，洪武元年(1368年)改济宁路为府，仍治任城，领辖3州12县。
即：兖州、东平州、沂州，任城、金乡、巨野、郓城、嘉祥、曹、单、定陶、成武、鱼台、滕、峄县。
洪武十八年(1385年)改济宁府为州，只领3县。
即：嘉祥、巨野、郓城。
清时，雍正二年(1724年)济宁州升为直隶州，仍领3县，即嘉祥、巨野、郓城。
乾隆四十一年(1776年)，济宁直隶州领3县。
即：嘉祥、鱼台、汶上。
乾隆五十四年(1789年)，济宁直隶州领3县。
即：嘉祥、鱼台、金乡。
中华民国时，1914年6月境内置济宁道，领辖25县。
即：济宁、滋阳、曲阜、宁阳、邹、滕、泗水、汶上、峄、金乡、嘉祥、鱼台、兰山(后改名为临沂)、郯城、费、蒙阳、营、沂水、菏泽、曹、单、成武、定陶、巨野、郓城县。
1933年，境内置山东省第一行政督察专员公署，领辖11县。
即：济宁、滋阳、汶上、宁阳、曲阜、邹、滕、东平、嘉祥、金乡、鱼台县。
1935年7月，又改为济宁实验区长官公署，领辖14县。
即：济宁、嘉祥、巨野、郓城、寿张、鄄城、定陶、成武、曹、单、金乡、鱼台、东平、汶上县。
1935年冬，再改为山东省第一区行政督察专员公署，领辖10县。
即：济宁、滋阳、东平、汶上、邹、滕、宁阳、曲阜、嘉祥、鱼台县。
1946年9月，境内设山东省第二行政督察专员公署，领辖7县。
即：济宁、嘉祥、郓城、巨野、寿张、东平、汶上县。
中华人民共和国建立后，1953年7月，滕县专署和湖西专署合并为济宁专署，专署驻地为济宁市。
领辖济宁市、济宁县、滋阳县、曲阜县、邹县、凫山县、滕县、峄县、薛城县、微山县、鱼台县、金乡县、嘉祥县、汶上县。
1956年2月，泰安专区的泗水县划归济宁专区。
同时，境内的区划也作了调整，撤销了鱼台县并入金乡县；撤销了凫山县、薛城县。
这时的济宁专署领辖济宁市、济宁县、滋阳县、曲阜县、泗水县、邹县、滕县、峄县、微山县、金乡县、嘉祥县、汶上县。
1958年12月，经国务院批准撤销菏泽专署，原属各县划归济宁专署；撤销济宁县，分别划归济宁市和郓城、巨野、金乡县；撤销滋阳县，划归曲阜县。
这时的济宁专署领辖济宁市、曲阜县、泗水县、邹县、滕县、峄县、微山县、金乡县、汶上县、菏泽县、曹县、单县、成武县、鄄城县、巨野县、郓城县、梁山县。
1959年7月，菏泽专署恢复，济宁专署领辖济宁市、曲阜县、泗水县、邹县、滕县、峄县、微山县、金乡县、汶上县。
1960年1月，峄县撤销，划归新建的枣庄市。
这时的济宁专署领辖济宁市、枣庄市、曲阜县、泗水县、邹县、滕县、微山县、金乡县、汶上县。
1961年9月，枣庄市从济宁专区析出。
10月，恢复嘉祥县；撤销滋阳县，新设兖州县。
至此，济宁专署尚辖济宁市，兖州县、曲阜县、泗水县、邹县、滕县、微山县、金乡县、嘉祥县、汶上县。
1964年7月，恢复鱼台县；1965年4月，恢复济宁县；皆归属济宁专区。
1967年，济宁专区改称济宁地区。
1978年11月，滕县划归枣庄市。
这时的济宁地区尚有1市10县。
即：济宁市，兖州县、曲阜县、泗水县、邹县、金乡县、嘉祥县、鱼台县、汶上县、微山县、济宁县。
1983年8月30日，经国务院批准，撤销济宁地区，济宁市升格为省辖地级市。
原济宁地区的汶上县、泗水县划归泰安地区。
10月5日，经山东省人民政府批准，设立济宁市中区，以原济宁市区域为辖区；设立济宁市郊区，以原济宁县区域为辖区。
调整后，济宁市人民政府领辖2区7县，即市中区、市郊区，兖州县、曲阜县、邹县、微山县、鱼台县、金乡县、嘉祥县。
1985年3月，汶上县、泗水县重新划归济宁市。
1986年6月，曲阜县改建为曲阜市，由济宁市代管。
1989年12月，原菏泽地区的梁山县划归济宁市。
1992年兖州县、邹县分别撤县设市。
1993年12月市郊区改名为任城区。
现济宁市辖二区三市七县，即市中区、任城区、曲阜市、兖州市、邹城市、微山县、鱼台县、金乡县、嘉祥县、汶上县、泗水县、梁山县。
2013年11月根据国务院《关于同意山东省调整济宁市部分行政区划的批复》和省政府《关于调整济宁市部分行政区划的通知》精神，济宁市部分行政区划实施调整：撤销市中区、任城区，设立新的任城区，以原市中区、任城区的行政区域为新设任城区的行政区域；撤销兖州市，设立济宁市兖州区，以原兖州市的行政区域为兖州区的行政区域。
通过这次区划调整，济宁市区行政区域面积由884平方公里拓展到1534平方公里，人口由113.8万增加到177.5万。
新任城区管辖面积624平方公里、人口86.7万，兖州区管辖面积535平方公里、人口52万，高新区管理面积255平方公里、人口28.2万，太白湖新区管理面积119.7平方公里、人口11万，济宁经济技术开发区和商贸物流园区管理面积128平方公里、人口11.2万。
截至目前，辖任城区、兖州区、曲阜市、泗水县、邹城市、微山县、鱼台县、金乡县、嘉祥县、汶上县、梁山县共2区2市7县，49个街道、4个乡、103个镇。