佛教活动最早可追溯至东晋时期（317-420年），据记载当时已有僧道在此结庐修行。

南朝刘宋时，陆修静曾在此潜修。西汉时，苏耽传说中的仙人，又称“苏仙公”，曾在此筑亭炼丹，故曰南亭仙。元代在此山山顶建有庵堂。清康熙年间，耒邑知县张应星亲谒南岭仙庵，并撰写对联一幅：“日受千人拜，夜照万盏灯”。古代的南岭禅寺还曾开过戒场，容纳过千僧。在1942年，仙庵惨遭日寇轰炸，殿宇坍塌，僧侣逃离，佛址成为一片废墟。

现存主体建筑南亭仙寺始建于1938年，历经战乱损毁，解放后获准重建并多次修葺。2022年资料显示，寺院在保留历史风貌基础上进行了修葺。景区坐落于耒阳古城西郊丘陵地带，距城区中心直线距离约五公里，与武广高铁新耒阳站直线距离不足三公里。最高点海拔299·6米，登顶塔楼可东眺耒水蜿蜒穿城而过，西望乡野阡陌纵横。气候属亚热带季风性湿润气候，年均气温17·9℃，风光旖丽；鸟语花香、灵气可鉴。