1959年，连云港市图书馆创建。

1997年12月23日，连云港市图书馆被评为1994-1997年度市级劳动模范及1994-1997年度市级先进集体。

2002年1月16日，连云港市图书馆被文化部表彰为全国文化工作先进集体。

2005年7月18日，连云港市图书馆被文化部评为一级图书馆。

2006年4月24日，连云港市图书馆被江苏省文化厅评为2003-2005年度江苏省文明图书馆及公共图书馆工作先进集体。

2007年10月1日，连云港市数字图书馆正式开通，成为苏北地区的首家公共数字图书馆。

2011年7月25日，隶属于连云港市教育局管理的连云港市图书馆划归连云港市文化广电新闻传局管理。

2019年2月3日，连图24小时微型图书馆正式启动。

2020年11月23日，连云港市图书馆基藏书库开始搬迁，标志着新馆搬迁拉开了帷幕。

2020年12月7日，市图书馆老馆二、三楼开始闭馆，启动二、三楼读者开放区及办公区的搬迁工作，仅对读者开放一楼新书快借室、自修室、报刊阅览室。

2020年12月30日，连云港市图书馆新馆启用仪式在市图书馆书香大厅举行。现场举行了连云港市图书馆以及高校志愿者服务基地揭牌仪式，宣告新馆正式启用。

2023年11月8日，连云港市首期古籍保护与活化利用培训班暨古籍保护联盟成立仪式在市图书馆举行。市图书馆联合市博物馆、市民俗博物馆、市文物考古所等22家单位共同成立连云港市古籍保护联盟。