1953年，甘肃省图书馆在进行了图书馆的整顿和改造以后，逐渐在市区和近郊的工厂、农村、矿区和医院，建立了图书流动站，扩大了图书流通范围。为了满足离城区较远且交通不便的读者看书学习的需要，在兰州市盐场区庙滩子和七里河区王家堡建立了两处图书阅览站，这是兰州市基层地区有公共图书馆（室）的开始，也是以后成立兰州市、区两级图书馆的开端。

1956年6月，兰州市图书馆开始筹备，筹备处设兰州市儿童图书馆内。为了支持兰州市成立图书馆，甘肃省文化局决定将上述两个图书阅览站的人员、图书资料、设备等全部移交兰州市图书馆筹备处，并抽调业务能力较强的干部数人协助市上开展工作；10月，筹备处以少量经费，购置旧设备，预订了部分报刊，采购了近两万册图书，为正式开馆借阅创造条件；同时在西固工业区又增设一个图书阅览站。届时，上述三个图书阅览站各有工作人员2人，书刊近万册，均开展了图书借阅工作。

1957年初，经兰州市人民政府批准，将原兰州市教育局旧址（山字石西街31号）租给兰州市图书馆使用。最初馆址面积为504平方米，业务人员由筹备初的5人，增加到11人；图书分类采用《中小型图书分类表》（草案），同类图书依万国鼎《汉字母笔检字法》排列，进行分类；11月，兰州市图书馆经过一年半的筹备工作，正式对外开放，省、市文化局和市政府有关领导参加开馆仪式。年底，兰州市图书馆与兰州市文化馆、兰州市儿童图书馆合并，开展“反右派斗争”，从此各项业务活动全部停止。

1958年“大跃进”开始，兰州市图书馆抽调人员送书下乡、下厂、下居民点，馆内部分人员参加“大炼钢铁”。

1959年以后，各项业务工作逐步转入正常，重新开放了报刊阅览室和借书处；举办厂矿、企业单位图书馆业务干部培训班；组织读书活动；召开工矿系统图书馆先进经验交流会；建立图书流动站；同时重视对街道图书室、公社文化室的业务辅导。

1959年，兰州市图书馆先后将原盐场区庙滩子及七里河区王家堡两个图书阅览站移交给白塔山文化馆及七里河区人民政府，撤销了西固区图书阅览站。

1963年以后，国民经济逐步得到了恢复，馆内各项工作又有了新的进展，重新调整内部机构，分设采编，阅览和辅导参考部，自此读者人次显著上升，年接待读者5万余人（次），书刊流通15万余册（次）。同时，还建立和完善了一套规章制度。

1966年5月“文化大革命”开始，图书馆工作陷于停顿状态。次年4月与兰州市文化馆、兰州市儿童图书馆合并，集中在文化馆搞“文化大革命”。

1968年7月，成立“兰州市文化图书馆革命领导小组”，后因干部“接受再教育”，兰州市文化馆撤销，馆址、财产移交市委印刷厂，人员下放；市图书馆迁入兰园与市儿童图书馆合署办公。

1969年4月，又并入“兰州市革命委员会政治部毛泽东思想文化宣传队”，若重于开展“革命大批判”，致力办街头批判专栏，其余业务工作仍然处于停顿状态。

1970年12月，撤销“兰州市革命委员会政治部毛泽东思想文化宣传队”，成立“兰州市图书馆革命领导小组”，全体工作人员迁回山字石西街31号办公，首先开放了报刊阅览室，积极准备开展其他业务工作。

1971年8月，经兰州市革命委员会政治部批准，将山字石市基督教会原址划拨给兰州市图书馆，实有使用面积350平方米。经整修、改建后，将书库、阅览室、借书处及各组、室的办公室全都从山字石迁入该址（报纸库、期刊库仍在山字石西街31号），于10月1日正式对外开放。同时，开放报刊阅览室及借书处，发放成人借书证1500余个。次年，对部分房屋再次进行翻建，整修，又增开科技阅览室和马列、毛泽东主席著作学习室，重组采编、借阅、辅导、宣传和少儿组。书刊流通、宣传辅导和少儿阅览工作也逐步开展起来，平均日接待读者60余人（次），书刊流通约180册（次）。

1972年8月，召开解放以后首次市属工矿、企业、学校、农村、街道图书馆（室）座谈会；受市文化局委托举办市属各系统基层图书馆（室）业务干部培训班。

1973年，开放少年、儿童两个图书阅览室，设座位80个，平均每天接待读者1000余人（次），书刊流通3000余册（次）。

1978年12月以来，兰州市图书馆以整顿、提高为主要办馆方针，在培养提高干部业务水平、提高藏书质量，改进服务态度，加强业务辅导，改变图书馆的办馆条件和加强自身建设诸方面，做了大量工作。

1983年，兰州市图书馆完成了全馆业务干部的职称评定工作；评出馆员8人，助理馆员6人，管理员8人。1987完成全馆业务干部的职务评聘工作。

1987至1988年，牵头筹备成立兰州市图书馆学会，开展兰州市各系统图书馆的学术活动及协作、协调工作和业务交流。

2009年10月29日，甘肃省省级文明单位复查验收组对兰州市图书馆就省级文明单位建设情况进行了复查验收。

2010年4月9日，兰州市图书馆在兰州市劳动教养管理所建立图书流动站。

2012年6月30日，“兰州市民卡”工程图书馆应用启动仪式暨兰州市图书馆数字资源阅读体验活动在兰州市图书馆举办。

2023年4月22日，兰州市图书馆举行了中央广场分馆开馆暨甘肃省非遗传播基地授牌仪式。