淮蔡平定后,刘沔随李光颜入朝。唐宪宗留刘沔宿卫,历任三将军。又任过
盐州刺史、天德军防御使,在西北边陲屡立战功。
大和末年,刘沔多次升迁至大将军,升任泾原节度使。后河西
党项反叛,刘沔率军屡次诛杀其首领,调任振武节度使、检校右散骑常侍、单于大都护。
开成三年(838年),党项(《新唐书》作突厥)侵扰河西,抢劫屯田区,刘沔征调
吐谷浑、
契苾、
沙陀三部族总共一万名士兵、三千匹战马,前往
银州、
夏州讨伐,大破敌军,俘获数以万计,使他们没有一名骑兵生还。他把缴获的马和羊都发给作战的士兵,在
都护府西北修筑四座城堡。因功升任检校户部尚书。
开成五年(840年),唐武宗
李炎继位,升任刘沔为检校左仆射。
回纥入侵天德军,朝廷诏命刘沔率兵据守云伽关,回纥于是退兵。
会昌二年(842年),回纥抢劫太原和振武军,
唐武宗派兵部郎中
李拭调集军队和粮草,并观察众将有无才能,李拭单单称赞刘沔,于是任命他为河东节度使、检校尚书左仆射、太原尹、北京留守,兼任招抚回纥使,进驻
雁门关。回纥进犯
云州,刘沔进攻他们,杀死回纥七名副将,打败他们的军队。因为夺回
太和公主的功劳,升任检校司空。有议论的人认为酬劳不够,升任
金紫光禄大夫,并任命他的一个儿子当官。回纥残兵逃跑,朝廷诏命刘沔追赶,并按
李靖讨平
颉利可汗的规格赏赐他。军队归来,驻扎在
代州时,归义军有三千投降的异族人,命他们分别受各道管辖,他们不服从命令,占据
滹沱河反叛,刘沔把他们都抓住杀死。
会昌四年(844年),潞州主帅
刘从谏去世,刘从谏的侄子
刘稹隐瞒刘从谏去世的消息,擅自主持军务,要求朝廷授予其旌钺。武宗怒,命忠武节度使
王宰、徐州节度使
李彦佐等担任潞府西南面招抚使。朝廷于是又任命刘沔为太原节度,担任潞府北面招讨使。刘沔驻扎在榆社,因与卢龙节度使
张仲武不和,才刚刚在幽州征兵,朝廷就调任刘沔为郑滑节度使(《新唐书》作调任义成军)。此时王宰不进兵,宰相
李德裕上奏要求刘沔镇守河阳,派两千滑州兵在万善扎营,呆在王宰眼皮下,以促使王宰出兵。、
刘稹被讨平后,刘沔升任检校司徒,调任忠武节度使。后因病改任
太子少保(旧唐书作太子太保),因不能上朝,改任
太子太傅退休。后来去世,享年六十五岁,赠司徒。
刘沔年少时便成为孤儿,客居在
振武军,振武军节度使
范希朝任命他为牙将。军队中大聚会时,刘沔提着刀站在大堂下面,范希朝认为他是奇才,召他来并对他说:“你今后一定会担任我这官职。”元和九年(814年),范希朝去世,刘沔进京担任
神策军将领。