在第4野战军各野战部队中，第42军成立最晚。其前身为
抗日战争胜利后，解放军从关内进军辽东北的一些部队，先后组成的辽东军区独立第1，第2，第3师。。 1948年3月，这些部队合编为东北野战军第5纵队，司令员万毅，政委刘兴元，各师分别改为第12，第14，第15师。这也是整个解放战争期间我军组建的唯一一个“第5纵队”。11月，改为第42军，军长万毅，政委刘兴元，各师再改为第124，第125，第126师。1950年10月，成为志愿军第一批入朝参战部队。1952年12月回国后进驻雷州半岛，属中南军区（1955年后改为广州军区）。后移防广东惠州。
第42军成立后，先后参加了辽沈战役，
平津战役，新安战役，豫西伏牛山剿匪。建国后该军调
黑龙江齐齐哈尔从事农业生产，准备集体转业。但1950年6月朝鲜战争爆发时，该军是当时东北地区唯一的战斗机动部队，因而成为了志愿军首批入朝参战部队之一，于10月19日夜跨过鸭绿江，开始了
抗美援朝战争。第42军先后参加了第一至
第四次战役，1951年夏秋季阵地防御战役和1952年春夏季巩固阵地作战。
第一次战役中，该军第124、第126师在东线黄草岭、赴战领地区阻击美、韩军的进攻，苦战13昼夜，歼敌2700余人，有力配合了西线的作战。第370团4连两天之内打退敌人20次进攻，歼敌250余人，荣获了“
黄草岭守备英雄连”称号。第371团4连坚守烟台峰阵地，也被授予“
烟台峰守备英雄连”称号。
1952年10月回国后，第42军在全军首批进行了苏式装备的改装试点。1979年参加了对越自卫反击作战。1985年陆军第42军改编为陆军第42集团军，同时，原属第55军的步兵第163师调入该军（解放战争中先后为冀察热辽军区独立第3师，东北野战军第11纵队第33师，第48军第144师，第55军第144师，后改为第163师。该师步兵第487团的最早前身是参加过秋收起义的“红一团”），并编入炮兵第1师（解放战争中由东北炮兵部队组成，是首批入朝参战部队之一、《志愿军战歌》的歌词便出自该师第26团5 连指导员麻扶摇）、坦克旅和高炮旅。原第125师撤销。
1990年代初，步兵第124师成为全军最早的一批应急作战机动部队之一，并担任迎外表演任务。1994年，第42集团军参与了组建驻香港部队的各项工作，时任军长刘镇武出任驻港部队首任司令员，并以步兵第487团团部机关、直属队和第1、第2营为主体，加上第41集团军“塔山英雄团”一部分，组成步兵旅。1996年，步兵第126师改为直属武警总部的机动师。1998年夏，该军参加了湖北荆江的抗洪抢险，步兵第372团4连（抗美援朝战争中曾荣获“
三八线尖刀英雄连”称号）被中央军委授予“抗洪抢险英雄连”称号。之后，坦克旅改编为装甲旅，高炮旅改编为防空旅，步兵第163师498团与原坦克第7师一个团合编为师装甲团，步兵第124师一个步兵团也被改编为装甲团。