氏源有诸多说法，一般认为是管理肥前地方官的近臣，甘南备峰城的高木君的支流。这个高木君的家系，有藤原秀乡一说和藤原隆家一说。文治二年（1186年）九月二七日、高木家的南二郎季家担任肥前国佐嘉郡小津东乡的龙造寺村的庄主职务，由此为龙造寺家的开始。

肥前龙造寺氏始于出身藤原氏流（秀乡？兼隆？）的高木氏。文治二年（1186），大 宰大弐高木秀贞之子季平来到肥前国佐嘉郡小津东乡的龙造寺村出任地头后，这一族就改姓龙造寺氏。室町时期龙造寺家作为主力协助肥前守护少弐氏与大内家、涉川家作战。但长期的作战使家内产生了分歧，到室町末期龙造寺家分裂成嫡流龙造寺家和的村中龙造寺与庶流龙造寺家兼的水ケ江龙造寺两部分。而家兼的曾孙就是龙造寺家中兴之祖隆信。