2001--2002年面向全省各地征集山东省三级方志，将已出版发行的三级方志全部征集到馆，填补了全国县(市)级公共图书馆和全省公共图书馆一项空白并获2003年度山东省文化科技成果二等奖；2001年举办的“科技图书赶大集，致富信息进农家”活动在中央电视台予以播报；为纪念中国共产党建立80周年举办的大型红岩魂展分别在《光明日报》和《大众日报》予以报道；2004年、2005年、2006年连续三年荣获全国农民读书征文组织奖。2007年市财政投入70万元于图书馆建立了文化信息资源共享工程兖州市支中心，全市三级文化信息传输网络形成，兖州市被省文化厅授予“全省文化信息资源共享工程示范县（市）”荣誉称号。同年，兖州市图书馆网站开通，实现了网上图书查询和借阅功能。2008年，在全省范围内率先实现了免费开放，进一步加大基础设施建设力度，着力提升服务质量水平，图书馆面貌焕然一新。经过几十年的发展，兖州图书馆已形成以古籍、方志、李白杜甫资料、地方文献资料为特色的四大藏书体系，建立了产业工人图书、廉政建设图书、新农村建设图书等专架，运用了读者自动化检索系统，实现了 “一卡通”借阅，软硬件建设日趋完善，现有持证读者万余人，年服务量超过18万人次，在全市精神文明建设中发挥着重要作用。

近年来，兖州图书馆各项工作取得了长足进步，先后获得全省地方文献工作先进单位、全省古籍工作先进单位、全省古籍重点保护单位、全省文化共享工程先进集体、山东省“最受读者喜爱的图书馆”等荣誉称号。目前，图书馆持证读者18000人，年发展新读者约3500人，年均借阅22万册次，总服务量超过25万人次，是全市精神文明建设的重要阵地之一。

2023年12月18日，入选文化和旅游部公布的第七次全国县级以上公共图书馆评估定级上等级馆名单，并被评为“一级图书馆”。