平阳
南雁荡山的华表峰下，有一个圆筒形的大洞(即东洞)，洞隙的右侧有个“石门”，出了石门就是会文书院。书院依洞而筑，建有古色古香的五间楼房。
宋代陈氏为平阳大族，因此
陈经邦、陈经正兄弟得赴汴京(今河南开封)就读
太学，后又在宋徽宗元符三年后同赴洛阳受业于
程颐。陈氏兄弟在政治上并无成就，隐居乡里，传授理学，对
乡邦学术作出了积极贡献。《
宋元学案》和孙依言《瓯海轶闻》都认为“平阳学统始于先生兄弟”。陈氏兄弟著作未传于世，仅《东瓯诗存》录有陈经邦的《南雁山诗》一首，又有陈经正《游南雁》七律一首。“老从神武挂尘冠，要与傍人分碧山。阵落风前排集雁，影翻日下舞双鸾。云关隔断尘寰杳，月牖光通宇宙宽。安得此身生羽翼，朗吟飞过万山间”(陈经邦)。“雨晴华表插天孤，雾散丹霞落雁湖。深洞不知红日过，
危峰常倩白云扶。仙家莫漫夸蓬岛，胜地分明入画图。山鸟罔知人未醒，隔林款款唤提壶”(陈经正)。
会文书院经规划，以平阳历代名人为主线，对外开放展览。内容由“
陈经邦、陈经正讲学堂”、“平阳名人馆”、“南雁风光”三部分组成，以珍贵的历史图片和丰富的文史资料，再现会文书院从北宋至明清1000多年历史沿革和文化成就，较为系统地展现会文书院的文化内涵、平阳历代名人的生平事迹和南雁的旖旎风光，成为展示平阳乃至温州
儒家文化和永嘉学派的窗口。展厅面积215.67平方米，展线长度34.28米，图片94张，配备讲解员4名。
书院门口是瑞安清代太仆射侍卿孙依言撰写的楹联：“伊洛微言持敬始，永嘉前辈读书多。”楼前有洞底花坛，四季繁花似锦。前人有诗赞曰：“翠碧丹岩带夕辉，云中鸾鹤正飞翚。会文书院依然在，冽贤名山不忍归。”
题额与对联“伊洛微言持敬始，永嘉前辈读书多”，皆系清末学者孙衣言手笔。这里曾是
浙南儒学传播重要处所，近世温州工商业发展迅速，形成举世闻名的“
温州模式”，而以儒学为代表的国学发展却不如经济。
近旁有听诗叟、洗砚池，摩崖石刻“雁荡第一泉”等景点。听诗叟在会文书院东大门外，站在辉萼院前抬头向左看，便见一块高约二三米，像正在聆听吟哦老人的怪石，这就是“听诗叟”，跟北雁的“听涛叟”相映成趣。清人华栋有诗云；“此叟善听诗，长向路边峙。过此不敢吟，听之恐洗耳。” 清
光绪重建。晚清学者
孙衣言题额与对联，联云：“伊洛微言持敬始，永嘉前辈读书多。”今尚存。 上联中“伊洛”原系
伊河、洛河，这里是指该流域所孕育的以
程颐、
程颢、朱熹等为代表的理学学派。“微言”为“微言大义”之意。“持敬”二字，作“心无杂念、毕恭毕敬”解，有这样的心态是探究理学的前提。