1940年4月30日，由冀鲁豫支队一部编成，第二纵队副司令员杨得志兼旅长（后田守尧任旅长），吴信泉任政治委员。1940年5月，黄克诚奉命率八路军第二纵队主力(第三四四旅、新编第二旅)共5个团1.2万余人，由冀鲁豫南下，6月到达豫东北永城南新头集与新四军第六支队会合。这支部队的南下，为发展华中抗战增加了突击力量。

1938年3月中旬，中共冀鲁豫边区省委在河北南宫成立，统一领导西起平汉路、东至津浦路、南到陇海路、北达石德路广大地区的抗日斗争。11月，冀鲁豫边区省委改称冀南区党委，该地区的军事斗争由八路军一二九师负责指挥。

随着抗日战争形势的发展，为巩固华北与华中抗日根据地的联系，加强对直南、豫北和鲁西南地区工作的领导，中共中央北方局于1940年3月底决定成立中共冀鲁豫区委员会。

1940年4月，八路军第二纵队主力在黄克诚率领下，由太行山区东进到冀鲁豫边区，同冀鲁豫支队会师合编，成立冀鲁豫军区，黄克诚兼任司令员，崔田民任政治委员。同时，成立鲁西军区，萧华任司令员兼政治委员，杨勇任副司令员。不久，黄克诚根据中央军委命令，率八路军第二纵队第三四四旅和新编第二旅由冀鲁豫南下，加强华中抗日根据地。

第2纵队辖第344旅、新编第2、第3旅及河北民军第1旅；军区辖第1、第2、第3军分区。

在徐州、郑州、安阳、阳谷、禹城之间的冀鲁豫地区进行杭日作战，反对日伪军的“扫荡”。同年6月在加入华中抗日根据地继续与日军作战。

1940年5月，黄克诚奉命率八路军第二纵队主力(第三四四旅、新编第二旅)共5个团1.2万余人，由冀鲁豫南下，6月到达豫东北永城南新头集与新四军第六支队会合。这支部队的南下，为发展华中抗战增加了突击力量。6月底，以八路军新二旅及第六八七团、苏鲁豫支队、陇海南进支队与新四军第六支队第四总队合编为八路军第五纵队，辖3个支队9个团，近2万人，由黄克诚任司令员兼政治委员，执行东进苏北任务。