该祠堂位于后塘河村，当地人称“大祠堂”，始建于明正德年间，由
谢迁倡议、谢丕承建。谢丕是谢迁仲子，弘治十八年（1505）中殿试一甲第三名（探花），官至
吏部左侍郎兼翰林学士掌院事。大祠堂正门阳额上“四门谢氏始祖祠堂”八个大字，为明代谢正所书。谢正是谢迁长子，以父荫授中书舍人，后入文渊阁办事，预修皇史，升礼部员外郎，敕封辽主副使。谢正精四体书法，《东山志》说他“真草出入颜赵间，篆隶尤有秦汉人风致，西涯李公雅敬服之。”
进正门，里面三大进十五间。第一进中间奉迁姚始祖长二公神主像，东西分奉十八昭穆神主像。第二进中间奉三太傅主像，即晋太傅谢安、宋太傅谢深甫、明太傅谢迁，东西分奉于贤公（即谢选）、汝湖公（即谢丕）神主像。一、二两进都是高大的宫殿式平房，非常开阔气派。第三进为楼房，奉晋朝时迁江南始祖伯登公神主像，东西分奉绳武公、道渊公神主像。第三进建筑风格与前二进绝然不同，木件雕刻极为细致，有鲜明的徽派建筑风格。东侧楼下墙壁上嵌着一块石碑，字体圆润饱满，没有书写者落款，据考证是前清举人谢家山十岁时所书。祠堂东侧有八间平房，解放前为管祠人所住。再东首房子为停灯棚，泗门元宵灯会曾是余姚境内规模最大的灯会，起源于元代，已有600多的历史。祠堂西首有五间平房，为谢氏积谷仓。整个祠堂占地2200平方米，规模之大、保存之完整，为浙东地区所罕见。
祠堂内外，本来还有内紫禁城、外紫禁城，形制仿亲王级规格。传说宋末，有个叫“谢绪南”的义士，闻元兵攻陷临安，就投水自尽。后多次显灵助朱元璋部抗元，被明廷封王。大祠堂在规格上沾了他的光。祠堂前大通路上，原有二座牌坊，东为“太傅流芳”，西为“东山并秀”，坊额为明代余姚三阁老之一的吕本所书，都毁于解放后的政治运动中。
祠堂前河泊中还有“文房四宝”，自北向南依次为“墨、砚、笔架山、白纸”，都是人工堆积而成。如三个小土包堆成山丘状，称“笔架山”，山上植树意为“毛笔”。河泊象征白纸。“砚”是一个深水漕，通年不会干涸。“墨”则是一个形似圆墨的小岛。1950年，
中国人民解放军某部在解放舟山群岛前夕，曾在这“文房四宝”里多次作过渡水登陆的军事演习。
泗门谢氏三太傅祠泗门谢氏三太傅祠（俗称大祠堂），为泗门谢氏祖祠，三太傅是指晋太傅谢安、宋太傅谢深甫、明太傅谢迁，谢迁为谢安第三十八代嗣孙。三太傅祀原为谢氏家庙，在明正德年间由谢丕所建，在清嘉庆辛未年重建前庙，增建后庙。同治壬戌年遭太平天国乱军洗劫焚毁，光绪三年由宗长谢盈松主持重建，唯外墙正门石结构仍为明正德年初建时原物，墙门上横额“四门谢氏始祖祀堂”为谢迁长子谢正所书。祠门对出原有大石埠，对河还有笔架山，祠前原有大型石牌坊二座，均毁于天灾人祸，一为“东山并秀”坊，毁于1956年大台风；一为“太傅流芳”坊，毁于1965年“除四旧”。现由泗门镇政府重修保护，已对外开放。