长沙市图书馆始建于于1960年。

1960年7月，湖南省立中山图书馆（即现湖南图书馆）将其设在长沙市青少年宫内的图书外借处和青少年阅览室以及潮宗街的少儿阅览室下放给长沙市。长沙市委、市政府将其与市文化馆的图书室、少儿阅览室合并，建立独立的长沙市图书馆，同年10月1日向市民开放。

1960年11月，长沙市图书馆由青少年宫内迁到中山西路104号（先锋厅）。

1971年4月，长沙市图书馆搬迁至湘春路市工人文化宫内，与市文化馆、市工人文化宫合并，成立“长沙市工农兵文艺创作室”，下设图书组，于1972年元旦重新对社会开放。

1975年9月，长沙市图书馆恢复独立建制。

1979年开始，长沙市图书馆争取省、市政府先后拨款100余万元，在市内名胜定王台兴建新馆。

1985年6月，长沙市图书馆第一期工程竣工。

1986年7月1日，正式开放。

2007年12月，长沙市图书馆新馆在新河三角洲长沙滨江文化园内正式破土动工。

2015年12月28日，新馆正式开馆。

2022年12月，长沙图书馆二楼专题阅览室推出具有鲜明地域文化特色的阅览专区——“长沙文艺”专区，集中收藏陈列近5000册长沙市本土文艺家作品。