舜（约前22世纪）曾“渔于雷泽，躬耕于历山”。
历山即济南市历下区南部的千佛山。
所以市内还散落有各种以舜命名的地名，如“舜井”、“舜耕路”、“舜华路”、“舜耕山”等。
进入奴隶社会的商代，社会生产力高度发达。
在城子崖一带，建立了谭国。
商代末期帝乙、帝辛（纣）克东夷时甲骨文卜辞中的“泺（luò）”字即代表趵突泉，从而把济南泉水有文字记载的历史上溯至3552年前（即公元前1542年）。
西周建国后，行分封制，济南地区属齐国。
此时，谭国仍继续存在。
中国首部诗歌总集《诗经》中，收有谭国一位大夫所作的讽刺诗《大东》，是现存最早的一篇有关济南的文献。
春秋战国时期，社会发生巨大变革，分封制开始解体，奴隶社会开始向封建社会过渡。
济南属齐国，济南为齐国之泺邑。
随后，齐国又把泺邑改为历下，其时著名的齐晋之战，即发生在今济南市南部马鞍山一带。
秦朝秦始皇统一天下后，建立郡县制，济南属于济北郡，称历下邑。
2100多年前的汉代改称济南（《史记》）。
因地处古四渎之一“济水”（故道为今黄河所据）之南而得名。
设立济南郡，此为“济南”一名出现之始。
济南郡治设于东平陵（今章丘区平陵城）。
西汉文帝十六年（公元前164年）以济南郡置济南国，辖境约当今山东省济南历下区、市中区、天桥区、槐荫区、历城区、长清区、章丘区、济阳县以及滨州市邹平县等市县。
景帝三年（公元前155年）济南王刘辟光谋反被诛，国除为郡。
西晋永嘉中，移治历城县（今济南市区）。
东汉，为济南国。
灵帝时，曹操任济南相，政绩颇著。
魏晋南北朝时期，济南多处于战乱之中。
晋永嘉（307～312年）年间，济南郡治由东平陵移至历城。
自此，历城便成为济南地区的政治中心。
南朝宋元嘉九年（432年）于济南郡侨治冀州，北魏皇兴元年（467年）复名齐郡。
隋朝开皇三年废郡，改济南郡为齐州，辖历城等10县，治所仍在历城。
大业初复置齐郡。
唐武德元年（618年）改齐郡为齐州，次年置总管府。
贞观元年（627年）撤总管府，贞观七年又置总督府。
天宝年间先后改称临淄郡、济南郡，乾元元年（758年）复为齐州。
宋代至道三年（997年），分中国为15路，济南属京东路，为齐州（《宋史》）。
宋徽宗政和六年（1116年），齐州升为济南府，辖历城、禹城、章丘、长清、临邑5县，治所设历城，为府治之始。
被称为“文学之国”（济南二安）、“富饶之地”，为中国赋税最多的地区之一。
金仍置济南府，属山东东路，领历城、临邑、齐河、章丘、禹城、长清、济阳7县。
此时，在城北开凿了小清河，直通至海，使济南成为重要的盐运集散地，对后世本地经济的发展产生了重大影响。
元初改为济南路，属元王朝的“腹里”地区，直隶于中书省，领历城、章丘、邹平、济阳4县及棣、滨2州，棣州治厌次（今惠民县），辖厌次、商河、阳信、无棣4县；滨州治渤海（今滨州市），辖渤海、利津、沾化3县。
金元之际，济南仍是文化繁荣之乡。
文学家元好问曾写下“羡煞济南山水好”、“有心常做济南人”等颂扬之词。
明初仍为济南府，属山东布政使司（简称行省），洪武九年（1376年）省治由青州移治济南，济南遂成为山东首府，是山东布政使司、都指挥使司及按察使司驻地。
清仍置济南府，雍正二年（1724年）由济南府析出泰安、武定、滨州3州升为直隶州，新泰、莱芜、长清，阳信、海丰、乐陵，商河、利津、沾化、蒲台10县分属3州。
光绪年间，济南府仍辖有历城、章丘、邹平、淄川、长山、新城、齐河、齐东、济阳、禹城、临邑、长清、陵县、德平、平原15个县及德州。
明清以来，济南府一直为山东的治所所在地。
清道光二十年（1840年）鸦片战争后，中国沦为半殖民地半封建社会，帝国主义列强纷纷涌入中国，宰割掠夺，济南亦未幸免。
清光绪三十年（1904年），济南自开商埠。
城市区域随之扩大，工商各业有长足发展。
清宣统三年（1911年）末，津浦铁路黄河大桥建成通车，济南成为南北交通枢纽。
中华民国成立后，改府为道，济南初属岱北道，民国三年（1914年）改称济南道。
民国十年（1921年）春，王尽美、邓恩铭在济南建立共产主义小组，成为国内建立最早的共产主义组织之一。
民国十七年（1928年）5月3日，日本帝国主义，悍然出兵济南，在济南制造了五三惨案，屠杀济南人民1.2万。
每年这一天，济南在济南市范围内，包括各区县，都要拉响防空警报，以示纪念。
民国二十七年（1938年），日军侵占济南后，划为11个区，称城内东区、城内西区、城外东区、城外西区、商埠东区、商埠西区、商埠中区、东乡区、南乡区、西乡区、北乡区。
中国共产党领导山东人民建立山东抗日根据地，不断打击敌人，发展壮大自己，进行民族革命战争，济南在山东军区领导之下。
民国三十四年（1945年）日本投降后，仍为11个区，总面积177.62平方千米。
民国三十四年（1945年）6月何思源秘密入鲁，并在9月1日到达济南。
何思源到达济南后，先是把远在阜阳的国民党山东省政府机关迁回济南，接收了山东的日伪政权。
民国三十七年（1948年）9月27日，中国人民解放军解放了济南，设立济南特别市。
1949年5月，改为济南市。
中华人民共和国建立后，中共山东省委员会、山东省人民代表大会、山东省人民政府、政协山东省委员会、济南军区和山东省军区机关、中国人民银行济南分行均设驻于济南，济南继续保持着山东省的政治、经济、文化、交通和科技中心地位。
1991年，设立国家级济南市高新技术产业开发区。
1994年2月，济南被确定为副省级市。