四知堂出自东汉名士杨震，“天知、神知、我知、子知，何谓无知？”，其后人多以此为堂号。

四知堂为杨姓堂号，出自东汉名士杨震，公元108年（东汉永初二年）春，他调任东莱太守的时候，路过昌邑，身为命官的杨震，昌邑县令王密是他在荆州刺史任内荐举的官员，听得杨震到来，晚上悄悄去拜访，并带金十斤作为礼物。虽然东汉时的一斤只相当于250克左右，但金十斤也相当于五斤金，等于好几根金条了。王密送这样的重礼，一是对杨震过去的举荐表示感谢，二是想请这位老上司以后再多加关照。杨震当场拒绝了这份礼物，说：“故人知君，君不知故人，何也?”王密以为杨震假装客气，便道：“幕夜无知者。”杨震立即生气了，说：“天知、神知、我知、子知，何谓无知？”王密十分羞愧，只得带着礼物，狼狈而回。“四知”乃成为千古美谈，其后人以此为堂号。

据《杨氏族谱》记载，重庆双江杨氏入川始祖为杨光基，他是杨震的第38代孙。他于清康熙三十五年（1696年）在“湖广填四川”的移民运动中，举家从湖南徒蜀，来到当时的蓬溪县涪江左岸的姬家坝：“（杨光基）徏迁于此，斩艾荆榛，栉风沐雨，得废宅址，相之吉，构定为世业。”从此，姬家坝便成了双江杨氏家族的发祥地。

杨尚昆出生地“四知堂”，建于清同治年（1862年），占地约10000平方米，建筑面积2400平方米，院内有房屋40间。杨世绥发迹后掷重金在这里修建府第，并命名为“四知堂”，还在供奉祖先、教化子孙的堂屋正上方，端端正正挂上一方精心制作的“清白传家”匾额，其用意除表明自己继承先辈操守、弘扬族系文化的心志外，就是寄望后辈清清白白做人，干干净净做事，将来如有人步入仕途，更要像先祖杨震那样为官清正廉明。

“四知堂”里的楹联字画，如楹联“耕读传家远，诗书继世长”“世事让三分天宽地阔，心田留半亩子种孙耕”“读书志在圣贤，非徒科第；为官心存君国，岂计身家”“雄著经，慎著史，赫赫文章传世骥；汉时相，宋时将，堂堂姓氏炳人间”“清山开画卷拥八面春光承千年祖训，绿野泛清波赏两江美景壮万里情怀”等，也都处处反映出深厚的杨氏文化底蕴。

在“四知堂”的堂屋墙壁上，还镌刻着《杨氏家规》16条：宗约当遵，祠墓当展，谱牒当重，族类当辨，名分当正，宗族当睦，闺门当肃，蒙养当豫，姻里当厚，职业当勤，赋役当供，争讼当息，节俭当崇，邪惑当禁，守望当严，礼教当循。这16条家训，向后代传播了双江杨氏修身齐家的基本道德规范。