1913年9月，原中央地质调查所在北京成立，丁文江任首任所长。

1928年1月，原中央研究院地质研究所在上海成立（1933年迁至南京古生物所现址）。

1950年4月，李四光由英国辗转回国；5月7日，与周恩来总理在北京会面并接受委托；8月24日，中华人民共和国中央人民政府政务院第47次会议通过了李四光提出的“一会、两所、一局”的地质机构重组方案。

1951年5月7日，中国科学院古生物研究所正式成立。成立之初暂时由中国地质工作计划指导委员会领导，下设新生代及古脊椎动物组、古无脊椎动物组、古植物组等三个组。

1952年8月18日，中国科学院决定古生物研究所在北京的古脊椎动物室归中国科学院直接领导。

1959年4月1日，中国科学院决定古生物研究所改名为地质古生物研究所。

1971年3月，中国科学院决定地质古生物研究所改为现名，即中国科学院南京地质古生物研究所。

1998年8月，研究所成为中国科学院首批知识创新工程试点单位。

2011年，成为首批“创新2020”整体择优支持的研究所。

2017年，研究所筹建“生物演化与环境卓越创新中心”；2月，由中国科学院南京地质古生物研究所、中国科学院古脊椎动物与古人类研究所和南京大学共同创建的“南京大学生物演化与环境科教融合中心”成立暨揭牌仪式在南京大学地球科学学院举行。

2022年11月，中国科学院南京地质古生物研究所在图书馆3楼报告厅举行新生代生物演化与环境研究室成立仪式及学术研讨会。

2025年3月28日，中国科学院南京地质古生物研究所和云南大学签署科教合作协议，共同推动古生物学与分子生物学、人工智能等融合，共建标本数据共享机制，联合开展南亚东南亚古生物研究、联合培养跨学科青年人才等。