据当地老年人回忆，早在明朝以前，南岳庙原为胡氏家庙，至明朝永乐年间，有南岳庙主持僧慧眼，将庙宇修缮一新，并供奉南岳圣帝神像，因此南岳庙名扬远近。
明万历年间，有张氏合族自江西迁入南岳庙侧（时称张家坊），因见庙宇破旧，拟重修之。恰有湖南长沙一富商途径南岳庙，见张氏诚意可嘉，慨然解囊捐资，于万历辛巳年（1581）重修南岳庙，新建大殿及两侧住房，使南岳庙焕然一新。张氏感念富商之恩，曾于庙侧立碑记述其事。时光荏苒，至清朝乾隆年间，有南岳庙附近十三个村庄的村民因敬奉南岳圣帝，每年要到南岳庙朝香敬神，以祈福求平安。时有湘东名士李乔仑提出，“胡家坊十三个庄家共有的神庙应到十三庄家各立牌位祭祀”，得到周围村民赞同。清道光乙酉年（1825），南岳庙主持僧恒宝主持，由十三个庄家的户长率工匠新建南岳大殿及宿舍各一座。大殿前建有戏台一座，大殿两侧建有看戏楼两座。同时将原胡氏家庙的牌位统统撤掉，改为十三个庄家共同奉祀南岳圣帝。大殿正中供奉南岳圣帝神像及侍童、判官、千里眼、顺风耳等神像。大殿左边供奉历代名医神像（药王），右边供奉瘟使神像（五福神）。大殿的左侧厢房供十三个庄家议事和做戏之用，右侧厢房供过往行人、观众看戏之用。整个建筑群雕梁画栋，栩栩如生。
