刘粹祖籍沛郡
萧县（今安徽萧县），西晋灭亡后，家族迁居至京口（今江苏
镇江）。刘粹年少时，非常有志气和才干，最初担任兖州从事。
元兴三年（404年），
刘裕于京口举兵讨伐
桓玄，刘粹响应刘裕举事，带同刘裕诛除京口的桓氏党羽，迁刘裕建武参军事。攻克京口城后，刘粹随刘裕平定京师建康，转镇军（刘裕）参军，进号建武将军，领沛郡太守。刘裕由镇军将军转任车骑将军、中军将军时，刘粹亦随府迁转，领下邳太守，任刘裕车骑中军参军。
义熙五年（409年），刘粹跟随
刘裕北伐
南燕，在攻克
南燕都城广固城的战役中，刘粹立有很多战功。由于建立大功，封西安县五等侯。军队回师建康后，改任刘裕中军谘议参军。
义熙六年（410年），当时
卢循起兵作乱，威胁京口，京口担负着重大的责任，刘裕第三子
刘义隆当时只有四岁，刘裕派刘粹辅佐刘义隆镇守京口，改任游击将军。后来，刘粹升任建威将军、江夏相。
卫将军
刘毅是刘粹的同族兄长，刘粹对刘裕尽心尽力，不跟刘毅同心。刘裕想要诛杀刘毅，众人疑虑刘粹在夏口，刘裕却更加信任他。等到
刘裕率领军队到达，刘粹竭尽他的忠诚和能力来助刘裕。刘毅的事情平定后，封刘粹为滠阳县男，食邑五百户。由于居母亲丧事离开职位。不久，刘裕征讨
司马休之，起用刘粹为宁朔将军、竟陵太守，统率水军进入黄河。第二年，进号辅国将军，升任相国右司马、侍中、中军司马、冠军将军，后升任左卫将军。
永初元年（420年），刘裕受禅登基，建立
南朝宋政权，是为
宋武帝。由于刘粹辅助宋武帝创业立有大功，改封爵位为建安县侯，食邑一千户。
永初三年（422年）五月，宋武帝去世，宋武帝长子、皇太子
刘义符继位，史称
宋少帝。
景平二年（424年），
谯郡六十余家百姓因灾荒战乱、流亡离散，而背叛南朝宋投降
北魏，赵炅、秦刚等六家后悔而背离初衷，返回投奔陈留郡襄邑县，住宿在一个名叫谋等村的地方，刘粹派遣将领苑纵夫讨伐反叛的人家，苑纵夫未追赶上，于是就诛杀谋等村三十户人家，男丁一百三十七人，而妇女及小女孩一百六十二口，则逮捕交付制作兵器的部门。刘粹因此贬降封号为宁朔将军。当时北魏向南侵犯，刘粹派遣将军李德元袭击许昌，诛杀北魏颍川太守庾龙（《
宋书·少帝本纪》则记载此事发生在景平元年，即423年）。恰逢此时，陈留人董邈自称小黄盟主，刘粹斩杀征虏将军、广州刺史司马世贤，并将他的首级传送到京都建康。
景平二年（424年）七月，司空
徐羡之、中书令
傅亮、领军将军
谢晦废黜宋少帝，拥立宋武帝第三子宜都王
刘义隆继位，是为
宋文帝。同年八月二十日，宋文帝升任刘粹为
使持节，总督雍、梁、南秦、北秦四州和荆州的南阳、竟陵、顺阳、襄阳、新野、随郡诸军事，征虏将军，兼任宁蛮校尉，雍州刺史，襄阳、新野二郡太守。刘粹在职期间，减免劳役、抚爱百姓，遣散众佛教僧侣二千多人，任用他们来补充管理财货文书出纳的小史。
元嘉三年（426年），朝廷征讨谢晦，派遣刘粹的弟弟车骑从事中郎
刘道济、龙骧将军沈敞之归属刘粹指挥，从陆路开赴江陵。刘粹派刘道济兼摄竟陵内史，与沈敞之和南阳太守沈道兴率领步兵、骑兵到沙桥，但被谢晦的司马周超打败，士兵的伤亡超过半数，刘粹因此降贬封号为宁朔将军。当初，谢晦与刘粹交情深厚，谢晦任用刘粹的儿子刘旷之担任参军，刘粹接受朝廷的命令向南征讨谢晦，全不顾及这些，宋文帝因此嘉许他。谢晦把刘旷之遣送回刘粹那里，也不加害于他。
李延寿《
南史》：“刘怀肃、刘怀慎、刘粹、孙处、蒯恩、向靖、刘钟、虞丘进、孟怀玉、孟龙符、胡藩等，或阶缘恩旧，一其心力；或攀附风云，奋其鳞羽，咸能振拔尘滓，自致封侯。”