1938年12月，
八路军一一五师三四四旅六八八团一部到达鲁西南，与当地抗日武装合编为三四四旅特务团；六八七团一部扩编为三四四旅独立团，活动于
东明、
长垣(今属河南)一带。1939年2月，三四四旅副旅长
杨得志，政治部主任
崔田民率旅直部分干部及
警卫、
工兵、
炮兵各一个排，到达鲁西南，3月9日，将特务团、
独立团及当地抗日武装合编为八路军冀鲁豫支队，杨得志任司令员，崔田民任政治委员，下辖5个
大队、4700余人。冀鲁豫支队以
曹县桃源集一带为基地，一面发动群众，扩充部队，一面开展
游击战争，积极打击敌人，取得了曹县、
金乡、苗堤圈、
定陶等多次战斗的胜利，并粉碎了
日伪军的“扫荡”，开辟和巩固了冀鲁豫抗日根据地。到年底，部队发展到万余人。1940年4月，
八路军第二纵队政治委员
黄克诚率纵队主力到达
冀鲁豫，与冀鲁豫支队统一整编，仍称第二纵队(兼
冀鲁豫军区)。冀鲁豫支队改编为新二旅，第五大队编入新六八八团。