古稱海州，市境古為少昊氏之遺墟。

夏商時，屬徐州之域。

西周時屬青州。

春秋為魯之東境，為郯子國。

戰(zhàn)國時易為楚地。

秦實行郡縣制，在今海州設(shè)朐縣，屬東海郡。

南朝宋泰始元年(465年)，東海郡移治朐山；六年（470年），宋明帝失淮北地，僑置青、冀2州治郁州(今云臺山地區(qū))。

東魏武定七年(549年)，青、冀2州合并為海州，州治移駐龍苴(今灌云縣龍苴鎮(zhèn))。

北周建德六年(577年)，瑯琊郡改名朐山郡，朐縣更名朐山縣。

隋開皇初年(581年)，朐山郡改為海州，州治由龍苴移駐朐山；大業(yè)初年(605年)，復(fù)稱東�？�。

唐武德四年(621年)，置海州總管府。

南宋建炎元年(1127年)，海州為金占領(lǐng)，屬山東東路；景定二年(1261年)，還治朐山，析置西海州，治南城的東�？h為東海州。

元初，東、西海州合并為海州，治朐山；至元十五年(1278年)，海州升路，置總管府。

復(fù)改海寧府，旋又降為海寧州。

明洪武元年(1368年)，改海寧州為海州，屬淮安府。

清雍正二年(1724年)，升為直隸州；乾隆年間(1736～1795年)，改隸江寧布政司；嘉慶八年(1803年)，屬淮揚道。

1912年，撤銷海州直隸州，置東�？h，屬徐海道，縣治海州。

1934年，第十三行政督察區(qū)改稱東海行政督察區(qū)，轄東海、灌云、贛榆、沭陽、漣水5縣。

1935年1月，連云港埠設(shè)置連云市。

1938年5月，成立偽“連云市公署”。

1941年，改為偽“東�？h連云特別區(qū)”。

1942年，改名偽“大海州市”，屬偽淮海省。

1939年后，建立灌云、東�？h民主政府，同屬華中區(qū)蘇皖邊區(qū)；贛榆縣抗日民主政府屬山東省濱海專署。

1948年11月，成立新海連特區(qū)行政專員公署，隸屬山東省魯中南行政公署。

1949年11月，新海連特區(qū)行政專員公署改名新海連市人民政府。

1950年5月，新海連市、東�？h合并為新�？h，屬山東省臨沂專區(qū)；同年12月，新�？h分為新海連市、東�？h，仍同屬山東省臨沂專區(qū)。

1953年1月，新海連市、東�？h、贛榆縣由山東省臨沂專區(qū)劃歸江蘇省徐州專區(qū)1961年9月，新海連市更名連云港市（縣級）。

1962年6月，連云港市升為地級市，改由省直轄。

1983年3月，東海、贛榆2縣由徐州地區(qū)，灌云縣由淮陰地區(qū)劃歸連云港市。

1996年7月，灌南縣由淮陰市劃歸連云港市。

2001年，撤銷云臺區(qū)。

2014年5月，新浦區(qū)并入海州區(qū)，贛榆撤縣設(shè)區(qū)。