1957年，马鞍山二中诞生。

1978年，安徽省革命委员会批复，马鞍山二中被确定为省重点中学。

20世纪90年代初，学校提出走“以德育为核心、一体两翼五基地”的办学路子，构建了“2311”素质教育模式。

1998年，原马鞍山二中初中部剥离，并在此基础上创办民办普通初级中学——马鞍山成功学校。同年，安徽省教育委员会发布《关于同意马鞍山二中为首所示范高中的通知》，马鞍山二中成为安徽省首所示范高中。

2001年，马鞍山二中与马鞍山成功学校正式研究分离方案。马鞍山市教委发布《二中及成功办学问题的批复》，马鞍山二中与成功学校分离。

2002年6月，学校新校区正式立项，2002年10月通过。

2003年，学校引进外教资源，创办了“中国·新西兰友好实验班”，每年面向全省招收100名学生。

2004年，马鞍山二中和民营企业家联合创办马鞍山二中当涂分校。同年，马鞍山二中异地重建，8月28日，学校搬迁工作基本完成，新校区正式启用。

2009年，马鞍山二中当涂分校撤建。

2013年9月，被评为全国语文教师专业化发展工程基地校。10月14日上午9点，学校举办雏鹰雕塑落成仪式。同年获得2014年北京大学“中学校长实名推荐制”、清华大学“新百年领军计划”、上海交通大学“致远计划”、复旦大学“望道计划”和“腾飞计划”、天津大学自主选拔中学校长实名推荐、中国科技大学“瀚海计划”等推荐资质。

2014年9月1日，马鞍山市第二中学郑蒲港分校正式创办并按期开学。

2019年秋季，马鞍山市第二中学博望分校正式创办并按期开学。