铁佛寺始建于南朝梁天监年间（502-519年），原名“八政”，初为尼寺。唐武德元年（618年）改为僧寺。开元二十六年（738年）改为开元寺，供唐明皇真容。北宋乾兴初（铁观音基座盆铭为天圣三年，即1025年）有僧鉴真铸铁观音像，置于开元寺东南隅（即开元寺东廊），号铁观音院。

熙宁元年（1068年）易赐“寿圣观音禅院”，南宋绍兴二十二年（1152年）改为“广福观音禅院”，内供铁观音像。元末（1368年）广福观音禅院毁于兵乱，仅存铁观音像。

明洪武二年（1369年），移寺于今址，改名为铁佛禅寺。