始建年代已不可考。据《南岳志》记载：其寺宇原来建在圆明没事上，临空架构，势颇奇险。宋时将寺舍建在现在的处所、
南宋乾道3年（公元1167年），
朱熹、张式、林用中等人游南岳时，就与当时高台住持了信和尚有过交往，并题诗赠墨，可见寺宇在这之前已经存在，并具规模。寺院后来倒毁。到明代嘉靖二十五年(公元一五四六年)才由楚石和尚在废址上重建。清乾隆十年(公元一七四五年)，再由向盛世募捐修葺一次，成为现在这样的规模。 高台寺为石墙青瓦
建筑。原来只有三间平房，面积约六十平方米。寺后是碧
萝峰，峰下有一眼泉水，叫
观音泉，流水经年不断。1983年，南岳管理局对古寺进行了修葺，既保持了寺院前门原貌，又将寺舍改建为两层，把两厢扩建，使古寺的面积达一百六十平方米。整个寺院焕然一新。
高台寺在圆明洞上，上封寺下，始创于宋，明嘉靖25年（1546）楚石和尚重建，清乾隆10年（1746）向盛世捐资重修。光绪年间，
曾国荃捐资大修。寺舍原来
建筑在圆明洞上，临空架构，势颇奇险，明代移于今址。民国年间，在旧址上重建。1983年，南岳管理局改建为两层楼房。“古高台寺”额石一方嵌正中门楣上，给人一种古寺翻新的印象。寺在高台，居高临下，南天门是它的屏障，四周群山拥簇，峰回路转，松杉献翠。台下深壑，岩泉奔泻。路口有开云亭，依峰临壑。头顶上
祝融峰耸峙云天。此去峰顶只两华里，寺后有石磴数百级的捷径，可直通不语岩、会仙桥、
罗汉洞、祝融峰、望日台。宋以后，有几个著名的诗僧在这里作住持，与文人学士相往还，结下了翰墨因缘，使高台寺名重一时。
宋乾道间（1165—1173）僧人了性住此，很有诗名。张拭游南岳时，下榻于此，他为了性诗集题诗曰：“萧然僧榻碧云端，细读群诗夜未阑。门外苍松风雪里，比君住处让高寒。”评价颇高。
明嘉靖24年（1545），江西罗念庵与诗僧楚石结为方外交。同在寺下的观音岩计书论道。11年后，嘉靖35年（1556），江西人胡直又来至高台寺，与楚石和尚的弟子园宁结为方外交，借高台寺的西楼，招引东南数省的好友
张居下、耿定向、邹善等十余人结文社于此，名曰“衡庐心缔”。其后，代有文人墨客来高台寺游览凭吊，啸咏吟哦。清魏源并将楚石禅师的11首诗收入自己的诗集，以表其倾心之意。现寺侧有古松数株，为罗念庵手植，故名“念庵松”。因山高、风大、石多，冰冻期长，松干粗大低矮，虬枝平出伸展，态势苍劲，很为奇特。松下有观音岩、圆明洞、冠石等。松石交错。洞壑嶙峋，风物奇险，游人多在此选景拍照留念。离寺出开云亭，即登山公路，公路侧石壁有多处石刻。
高台寺虽然范围不大，却是南岳高山景区一幅最引人人胜的天然画图，寺筑在高台，登高临下，南天门是座屏障，四周群峰拥簇。峰回路转，松杉苍翠，台下深壑，岩泉奔泻，远远望去，很象一座小巧玲珑的别墅，路口的开云亭依峰临壑，衬托着奇石劲松，远处的祝融峰耸入云天，无论从那个角看去，都是一幅美妙完整的画卷。