古称海州，市境古为少昊氏之遗墟。
夏商时，属徐州之域。
西周时属青州。
春秋为鲁之东境，为郯子国。
战国时易为楚地。
秦实行郡县制，在今海州设朐县，属东海郡。
南朝宋泰始元年(465年)，东海郡移治朐山；六年（470年），宋明帝失淮北地，侨置青、冀2州治郁州(今云台山地区)。
东魏武定七年(549年)，青、冀2州合并为海州，州治移驻龙苴(今灌云县龙苴镇)。
北周建德六年(577年)，琅琊郡改名朐山郡，朐县更名朐山县。
隋开皇初年(581年)，朐山郡改为海州，州治由龙苴移驻朐山；大业初年(605年)，复称东海郡。
唐武德四年(621年)，置海州总管府。
南宋建炎元年(1127年)，海州为金占领，属山东东路；景定二年(1261年)，还治朐山，析置西海州，治南城的东海县为东海州。
元初，东、西海州合并为海州，治朐山；至元十五年(1278年)，海州升路，置总管府。
复改海宁府，旋又降为海宁州。
明洪武元年(1368年)，改海宁州为海州，属淮安府。
清雍正二年(1724年)，升为直隶州；乾隆年间(1736～1795年)，改隶江宁布政司；嘉庆八年(1803年)，属淮扬道。
1912年，撤销海州直隶州，置东海县，属徐海道，县治海州。
1934年，第十三行政督察区改称东海行政督察区，辖东海、灌云、赣榆、沭阳、涟水5县。
1935年1月，连云港埠设置连云市。
1938年5月，成立伪“连云市公署”。
1941年，改为伪“东海县连云特别区”。
1942年，改名伪“大海州市”，属伪淮海省。
1939年后，建立灌云、东海县民主政府，同属华中区苏皖边区；赣榆县抗日民主政府属山东省滨海专署。
1948年11月，成立新海连特区行政专员公署，隶属山东省鲁中南行政公署。
1949年11月，新海连特区行政专员公署改名新海连市人民政府。
1950年5月，新海连市、东海县合并为新海县，属山东省临沂专区；同年12月，新海县分为新海连市、东海县，仍同属山东省临沂专区。
1953年1月，新海连市、东海县、赣榆县由山东省临沂专区划归江苏省徐州专区1961年9月，新海连市更名连云港市（县级）。
1962年6月，连云港市升为地级市，改由省直辖。
1983年3月，东海、赣榆2县由徐州地区，灌云县由淮阴地区划归连云港市。
1996年7月，灌南县由淮阴市划归连云港市。
2001年，撤销云台区。
2014年5月，新浦区并入海州区，赣榆撤县设区。