刘康祖，刘虔之的儿子，袭封新康县（今湖南宁乡县）男，出为长沙王
刘义欣镇军将军参军，转员外散骑侍郎。熟习弓马，膂力绝人，在乡里不经营产业，性格轻浮放荡，喜欢樗蒲、喝酒。每次犯法，都被郡县官府所通缉，刘康祖每次都能越屋翻墙，官府无法抓捕到他。刘康祖夜入人家，被官兵包围，刘康祖突围而去，官兵们都不敢追他。刘康祖当夜逃回京口，半夜便就到达。明日一早，京口当地官员很快就接到从京城建康发出的抓捕刘康祖的通牒，当地官员都表示刘康祖昨晚一夜都在京口，于是刘康祖得以逃脱罪责。刘康祖屡被检举弹劾，
宋文帝因他是功臣之子，总是宽恕了他。刘康祖任员外郎十年，又因
摴蒱而被免职。
刘康祖转太子左积弩将军，随射声校尉
裴方明西征
仇池，与
裴方明同下廷尉，刘康祖被免官。不久，武陵王
刘骏为豫州刺史，镇守
历阳，刘骏以刘康祖为豫州中兵参军，刘康祖被委任后，改变自己过往的性格开始自我修养。又转
太子翊军校尉。久之，升迁为豫州南平王
刘铄司马。
元嘉二十七年春，北魏太武帝
拓跋焘亲率大众攻围汝南，宋文帝遣诸军救援，刘康祖总统众军为先锋。刘康祖率军行至
新蔡，与魏军交战，刘康祖继续向前百余里，渡过融水。魏军全军而来，刘康祖奋击，斩杀北魏殿中尚书、任城公乞地真，距离
悬瓠四十里，拓跋焘烧营退走。刘康祖转左军将军。
宋文帝欲大举北伐，刘康祖因错过了最佳出兵时间，建议等明年再北伐。宋文帝因当时河北义军都响应，若顿兵一年，会减损义军的积极性，下令立刻发兵北伐。当年秋，
萧斌、
王玄谟、
沈庆之等入黄河，刘康祖率豫州军出许、洛。王玄谟等败归，魏军南度。南平王刘铄在寿阳，宋文帝担心被敌人包围，召刘康祖快速返回。刘康祖回军，离寿阳还有数十里处时，此时
北魏永昌王
拓拔仁率长安的兵马共八万骑，与刘康祖在尉武县（今安徽寿县）相遇。刘康祖凡共有八千人，副将胡盛之打算附山依险，走小道进入寿阳。刘康祖愤怒地说：“我受朝廷之命，要讨平河洛的敌人。敌人今天自己送上门，不需国家远征，敌军虽多，其实很容易讨灭。我的兵员强壮武器精良，这里距离寿阳才数十里，援军很快来到，有何畏惧的！”刘康祖于是把军中的运输车结成阵营前进。魏军四面来攻，刘康祖大战一日一夜，杀敌繁多。魏军将军队分为三队，轮番上阵和宋军战斗，又以军马背负着稻草焚烧刘康祖组建的车营。刘康祖率领勉励将士，宋军士兵无不以一当百，魏军被杀超过了半数。此时刘康祖被箭矢射中脖子而死，宋军于是大败，宋军阵营沦陷，被魏军屠杀殆尽，只有数十人幸存。魏军把刘康祖的首级传送给彭城，样子就像活着时候一样。
二伯：
刘谦之，始兴相。东海人徐道期流寓广州，无士行，为侨旧所陵侮。因刺史谢欣死，合率群不逞之徒作乱，攻没州城，杀士庶素憾者百余，倾府军、招集亡命，出攻始兴。谦之破走之，进平广州，诛其党与，仍行州事。即以为振威将军、广州刺史、太中大夫，撰《晋纪》二十卷。