1940年2月上旬，中共中央和八路军总部为统一太行山南部地区抗日武装的作战指挥，决定成立八路军第2纵队。八路军副参谋长
左权兼任纵队司令员，
黄克诚任政治委员，辖第115师第
344旅、
山西青年抗敌决死队第3纵队（相当旅）、新编第1旅、河北抗日民军第1旅和第129师独立游击支队。2月底，为加强
冀鲁豫边区的抗日斗争和武装建设，黄克诚率第2纵队的第344旅、河北抗日民军第1旅及第
129师独立游击支队挺进冀鲁豫边区。
1940年4月，第2纵队与
冀鲁豫支队等部合编，成立
冀鲁豫军区，
杨得志任第2纵队司令员，黄克诚任第2纵队政治委员兼
冀鲁豫军区司令员，
崔田民任军区政治委员兼第2纵队政治部主任，
卢绍武任参谋长，
唐亮任军区政治部主任。第2纵队辖第344旅、新编第2、第3旅及河北民军第1旅；军区辖第1、第2、第3军分区。
1940年5月下旬，黄克诚奉命率第344旅和新编第2旅主力南下
豫皖苏边区，参加华中地区的抗日斗争。杨得志率第2纵队新编第3旅、河北民军第1旅及新编第2旅第4团继续坚持冀鲁豫边区的抗日斗争，先后粉碎了日军的多次“扫荡”，击退了
国民党顽固派的军事进攻。
1941年初，在日伪军和国民党顽军的连续“扫荡”和夹击下，抗日根据地大为缩小，仅存的沙区（内黄、濮阳、滑县间之沙地）与鲁西南的联系亦被割断。7月，
鲁西军区与冀鲁豫军区合并为新的冀鲁豫军区。两区所属主力部队编入第2纵队，杨得志任司令员，
苏振华任政治委员，辖教导第3、第7旅及河北民军第1旅、冀中南进支队等，仍属八路军总部指挥。
1941年12月，根据中共中央军委
精兵简政的指示，第2纵队实行小团编制。1942年6月，第2纵队番号撤销，所属部队统归冀鲁豫军区指挥。