同治十三年（1874年）重建观音殿；光绪初年（1875年）又重建铁佛殿。铁观音和三尊佛像，又开始承受人间香火。民国七年（1918年）为鉴真大师传授幽冥戒时再至扬州请来正法眼藏（法卷）。民国三十年（1941年）僧恒森接法卷为铁佛寺四十代主持。民国三十三年（1944年）重修，铁佛殿增塑阿傩，迦叶两尊佛像和十八罗汉塑像。

新中国成立以后，人民政府重视保护文物古迹，1963年铁佛寺即被列为浙江省重点文物保护单位。“文化大革命”动乱期间，铁佛寺成湖州镇蔬菜大队的耐火厂，前殿成了制砖车间，后殿变为粉碎车间。铁观音和三尊大佛，先被抛于野外，后被锤子砸、铁锯锯，又抬到炉上熔炼。结果，三尊佛像被毁，铁观音因铸造时，在铁水中加入13种稀有金属元素如钛、锰、铬、硅、铜、银、铝等，所以砸而不碎，炼而不化，无法毁掉而幸，但已失去一手指。

1978年后，省、地政府先后拨款由原嘉兴地区文物管理委员会组织施工进行重修。铁观音造像重新耸立于大殿之上，失手修复，历劫再造，佛相重现。观音殿上有李碧岩撰、沙孟海书的一副抱联，文曰：“铁佛成像，经六朝妙手，当灾无损慈容神采；匠师造型，运三昧丰姿，阅世欣看艺术巧功。”概括了铁观音像虽经千年沧桑仍然奕奕生辉的艰难历程。