寿永元年（1182年）出生在镰仓郡
比企能员家中，此时源赖朝已经36岁，急需一名男性继承人，赖家便在一片祝福声中出生。 建久6年（1199年）源赖朝猝死，源赖家便成为了源氏家族的首领，建仁2年（1202年）7月22日升从二位、征夷大将军宣下，翌年升任为正二位。年轻的赖家习惯无视家臣而独断的裁判，并且重用岳父比企能员，疏远外祖北条氏，由于危害母系一方北条氏为中心的利益，由家臣们推出的十三人合议制，抑制赖家专政独断。
赖家希望嫡子一幡成为下任将军，而北条氏则支持其弟千幡（
源实朝）继任。建仁3年（1203年）赖家急病命危，比企氏与北条氏的冲突爆发。比企氏组织讨伐北条氏的计划失败，谋逆的比企氏一族被灭（
比企能员之变），一幡也同样被害。赖家痊愈后听闻妻儿惨状，大为震怒，但当时北条时政已经大权在握，赖家被剥夺将军之职，流放到
伊豆修禅寺(
静冈县伊豆市)中幽禁。翌年被北条氏派遣刺客暗杀，法名法华院殿金吾大禅合。源赖家的长子一幡在比企能员之变中被北条氏杀害，三子荣实死于暴乱，四子禅晓被北条氏刺客杀害，次子
公晓起初归隐出家，1219年他20岁时由于刺杀其叔父实朝而被定罪处死。女儿竹御所在32岁时难产，母子具亡。由于同母弟源实朝没有子女，竹御所去世后，源赖家的血脉完全断绝。