中山医院创始于1936年，医院开业于1937年。

1939年7月中山医院部分医护人员随同上海医学院迁至昆明。

1942年2月接办重庆歌乐山的中央医院，改称国立上海医学院附属医院。

1946年5月在重庆的中山医院人员分批回沪，筹备恢复上海中山医院。

1946年11月正式恢复上海中山医院。

1955年8月，中山医院改为上海第一医学院附属第二医院。恢复综合性医院建制。

1956年8月，恢复原名中山医院。

2019年12月，中国医学科学院在北京发布了《2018年度中国医院科技量值报告》，复旦大学附属中山医院综合排名位列前10位。

2022年11月18日上午，全国首个综合类国家医学中心建设项目在复旦大学附属中山医院启动。

2024年3月，复旦大学附属中山医院成为上海首个挂牌“国家卫生健康委党校培训基地”的医院。

2024年5月13日，复旦大学附属中山医院青年人才科技创新发展学院（团校）揭牌。

2024年，该医院预算收入134亿元。

2025年2月18日，全球首台零噪声dsa设备在复旦大学附属中山医院首次投入临床使用。

2025年5月底，复旦大学附属中山医院儿科中心开业。6月，复旦大学附属中山医院心脏瓣膜疾病治疗中心在中山医院正式揭牌启用。7月7日，信达生物gcg/glp-1双靶减重药物玛仕度肽注射液在上海复旦大学附属中山医院开出上海首方。