荣封第的主人仇（音求）氏，相传系出夏朝诸侯仇吾氏，发祥地在河南陈留。而有案可稽的是，仇氏落户扎根“中国荔枝之乡”以前，宗支明晰、确凿能详的可以上溯十三代。他们称为“宋始祖”的由十乡官考授判官，再从安微含山迁到广东南雄珠玑巷，后来据说是因为宰相贾似道胁逼宋度宗将胡贵妃出家为尼，胡贵妃抗命躲在南雄黄家，黄家逃奴泄露其行藏，受命前往缉查的兵部尚书下令州县严勒居民迁徒以消灭踪迹，仇氏才又到肇庆府高要县王臣乡开族，在那里先后经历了南宋、元、明三个朝代。十二世祖明末考授灵山县典史，病死于任上。十三世祖仇自奇（1613~1675）闻讣来灵奔丧扶榇回籍，接受灵山知县的建议考袭父职，铨授广西陆川县典史，加捐委署南宁知府，捕盗有功擢升南宁道监军，清兵入关后，他数年间颠簸流离，筹饷缮兵支持南明桂王子永明王，待到明白了历史潮流不可逆转，就隐居时属广东的灵山县西乡宋泰村，并又娶了赖氏为妻，生子治家。清顺治十一年（1672），南明的安西王李定国取道灵山攻占广东高（州）雷（州）廉（州），与清政府对抗，召他出山而不就。康熙十二年（1673）吴三桂又反叛清廷自立国号为周，派人给他送来委任状，软硬兼施，他以“只知有明不知有周”严词峻拒，并避匿深山，但最终还是被吴三桂的人杀害。他在高要县王臣乡原配谭氏所生的儿子仇伯璋往返三次，才找到躲在潭洞村的后母赖氏以及异母的弟妺，并一同落户宋泰村，自始太平仇氏分为长二三四房，连科坪村一支即四房的后代。道光十二年（1832）仇诲忠买下连科坪建设荣封第，历时二十年落成后，带领全家12人由两美村（原名岭美村）移居于此。至1929年，七十五年间累计总人口95人，又七十五年后的2004年在册居民213人。
荣封第原有房屋108间，占地面积6000平方米。主体五进深“三排九”结构（每进由正座、小院、外廊构成，横排9间）。
道光二十五年（1849），为防御
天地会，在大宅院的四角分别增建碉楼。同治三年（1864）清政府镇压了
太平天国起义重开科举考试后，再在后围墙外建设书院进修斋。1939年11月侵华日军在钦州登陆，为防避兵祸又先后给部分房屋加建夹墙。而今基本保持原貌的屋舍尚有70多间。
荣封第属岭南汉民居独特风格的传统建设，先是纵深增加院落，再横向扩展。用高大的墙垣包绕以对外隔绝。头、二座均是“三间两耳”（正房三间，耳房两间）、“明一暗二”（厅堂一间，厢房两间），厢房为上房。
头座正中为祖厅，以此为
中轴线贯通二、三、四座厅堂。二座正中为女厅，外人及执役男女不可入内。三厅三开间是会客场所，用料考究，布置堂皇，前后格门高耸，宽檐广廊，光亮、庄严。这些厅堂两侧各有一个回廊通绕的四合院，是家庭成员的住所及其附属屋舍，
尊卑有序，严格区别，自有天地。各进之间交通不必经过厅堂，既珠联璧合，又独立成章。
三、四座之间的天井两边，
女儿墙与屋檐平高，左右的第一个小四合院，廊屋两两相对，那前后也是“三间两耳”、“明一暗二”型式的男、女客厅，堪称经典之作。前向的叫司厅，是男主人书房兼接待贵宾的套间，小厅前格扇门的浅浮雕、通雕工艺精湛，格栅透风采光；大檐前廊，可以出入三厅、偏院，格调清雅。女性专用的客厅叫花厅，俗称倒朝厅，小檐廊分别与四厅和内院通行，氛围素怡。男女客厅之间有小天井正中的一堵漏窗照壁遮挡，向司厅一侧砌金鱼池，象征男士平步青云，向花厅一侧砌花坛，寓意内眷芝兰惠香。两边的廊屋都隔为两间，两端各有一垂脊小门，左廊屋靠近司厅的是放置草稿废纸的，惜字房，靠近花厅的是烧水间，功能有别，屋阶可以来往司厅、花厅，进退有度；以前习俗“男不入厨房，女不进司厅”，自得其乐，内外兼顾，宜室宜家。
四座的
过厅设置屏风门，平时紧闭忌避夕阳内射，惟有重大事故或贵客来访才“打开中门”迎瑞纳福，营造出既肃穆又规围的气氛。四、五座之间即前庭院，以前外人至此止步，非请勿进了。四座正门两侧外墙平胸高处各嵌有两块花岗岩拴马石。五座为倒廊，不设门楼，墙垣式大门两边分别是门房。显示主人家豁达庄重、文武相济的气概，还隐藏有当时期待后辈连科发甲，增广门庭的深刻意义。再往外侧两边的依次是杂务小院。围墙有五个门口出入，既与“五代恩荣”相呼应，又使得居所象是人与大自然和睦相处的田园诗。