抗日战争时期，中国共产党开辟豫皖苏边抗日根据地的主力部队。1938年10月，彭雪枫率新四军游击支队自河南竹沟出发，东进至西华县杜岗与吴芝圃领导的豫东人民抗日游击第三支队及肖望东领导的先遣大队会师，合编组建新四军游击支队，辖三个大队和一个警卫连，共1020人。1940年2月，根据新四军军部命令，游击支队正式改番号为新四军第六支队，辖第二、第三团、特务团四个总队、三个独立团，共1.78万人。7月，八路军第二纵队政治委员黄克诚率第三四四旅三个团和新二旅两个团，由冀鲁豫南下，与新四军第六支队合编为八路军第四纵队。