1980年3月，金台区图书馆始建；1992年7月，图书馆原址重建，现有馆舍面积1400平方米。

2008年，全国文化信息资源共享工程金台区支中心在金台区图书馆挂牌成立。

2006至2012，金台区图书馆连续被宝鸡市图书学会评为先进单位。

2009年，文化部授予金台区图书馆“国家三级图书馆”；同年，金台区图书馆被宝鸡市文化局、宝鸡市新闻出版局评为先进图书馆。

2012年，金台区图书馆被区委区政府评为文化工作先进单位。

2013年，金台区图书馆跃升为“国家二级图书馆”；同年，陕西省委宣传部授予其“陕西省思想文化宣传工作先进基层单位”称号。

2014年，金台区图书馆已经建立了6家馆外借阅点，分别为：西关社区、西街办事处、王家碾社区、锦园社区、石油东山社区和卧龙寺刘家台村；同年9月，完成陈仓园社区、人民路社区、新维巷社区、蟠龙镇南皋村、硖石镇红硖村等7个馆外借阅点的建立。

2018年5月14日，第六次全国县级以上公共图书馆评估定级结果公布，金台区图书馆被评为三级图书馆。