新石器时代已有先民在此繁衍生息，先夏时期为甲父国，夏商时期为缗国，春秋战国久属宋国，秦置昌邑县，汉置山阳郡得名金乡，东汉建武元年（25）设立“金乡县”，三国时期属兖州的山阳郡，昌邑城仍为山阳郡的郡级机关所在地。
东汉、三国时期，东缗县城都在今金乡县城。
晋武帝泰始元年（265），改山阳郡为高平国，仍以昌邑城为国都，金乡县隶属之。
东缗县在西晋时期尽管没有出现，是属于更名，并未分置。
此时，东缗县已改称南平郡。
金乡置郡，仍在故城阿城铺，而不在今金乡治所。
南北朝的北魏时期，金乡县属兖州高平郡，刘宋、北齐、北周因之。
隋开皇十六年（596），金乡县分置昌邑县；大业二年（606），隋朝政区更动，罢州置郡，郡置太守，昌邑县复并入金乡县，金乡县归属济阴郡。
唐朝武德元年（618），金乡县属河南道兖州鲁郡管辖。
武德四年（621），金乡、方与两县隶属于金州。
武德五年（622），复置昌邑县，金州改称为戴州。
武德八年（625），昌邑县复并入金乡县。
贞观元年（627）废除戴州，金乡县归属兖州鲁郡管辖；五代后周时期，金乡县隶属济州。
金乡在隶属济州之前，是属于单州管辖。
宋金元明清时期。
宋朝，金乡县属京东西路济州济阳郡管辖。
宋度宗咸淳元年（1265），鱼台县并入金乡县，第二年复置鱼台县。
金乡县隶属山东西路济州管辖。
元朝，金乡县隶属济宁路。
至元三年（1266）复置鱼台县。
明朝初年，金乡县则属济宁府。
洪武十八年（1386），金乡县隶属山东布政司兖州府。
明神宗万历七年（1579），知县杨楫初修县志。
清朝，顺治初年，金乡县为兖州府领地。
清康熙四十八年（1709），乾隆四十一年（1776），金乡县从兖州府析出归属济宁直隶州。
1912年属兖沂曹济道；1913年改属岱南道；1914年属济宁道；1928年直属山东省；1934年属济宁行政督察区；1936年属山东省第二行政督察区；1938年属山东省第十一专区。
1949年解放后属湖西专员公署。
1953年，撤销平原省，属济宁地区专署。
1978年，属济宁行政公署。
1983年，属济宁市。