抗日战争时期，八路军先后组建过2个第4纵队：1938年5月，八路军为执行中共中央关于开展冀东敌后游击战争，创建以
雾灵山为中心的
抗日根据地的战略任务，以第
120师雁北支队和
晋察冀军区的1个支队，于平西（今北京以西）斋堂、杜家庄地区合编为第4纵队，
宋时轮任司令员，
邓华任政治委员，
李钟奇任参谋长。辖第11、第12支队和独立营、骑兵大队，共5000余人。6月8日，第4纵队由平西出发，取道平北，向冀东挺进，沿途连克昌平、延庆、永宁、四海等城镇。
随后，第4纵队留下第12支队第36大队和骑兵大队在平北坚持游击战争，主力继续东进，17日占领兴隆，21日进抵蓟县以北的将军关、靠山集、下营地区。7月，第4纵队主力配合中共冀热（热，热河省，今分属辽宁、河北、内蒙古）边特委发动和领导了冀东20余县及
开滦煤矿共20余万人的武装暴动，建立了约10万人的抗日武装，先后攻克了平谷、蓟县、迁安、玉田、乐亭、卢龙等县城，控制了冀东广大地区，并建立了抗日民主政权。
1938年8月中旬，纵队指挥机关一部和冀东暴动武装主力于遵化县铁厂镇会师。此时，日军对冀东地区开始进行“讨伐”。为统一领导冀东的抗日游击战争，第4纵队和冀热边特委及暴动武装的领导干部于8月下旬在铁厂召开会议，决定成立冀察热宁军区，由宋时轮、邓华分任正、副司令员。会后，第4纵队主力分别向都山和兴隆山地区进军，因受到日伪军阻击而分别退至滦河以西和白河以西地区。10月，第4纵队和冀东人民抗日武装留少数部队坚持冀东抗日游击战争，大部转移平西整训。在西移途中，由于日伪军的围追截击，冀东人民抗日武装遭受较大损失，一部返回冀东，一部随第4纵队撤至平西根据地。
1939年2月，遵照中共中央指示，以第4纵队为基础，在平西地区成立
冀热察挺进军，
萧克任司令员，并组成军政委员会，统一指挥平西、平北和冀东的抗日游击战争。第4纵队番号即行撤销。
1940年4月，八路军第2纵队根据中共中央军委关于协同新四军发展与巩固华中抗日根据地的指示，决定由纵队政治委员
黄克诚率第
344旅和新编第2旅（欠1个团）共1.2万余人南下
豫皖苏边区。5月，上述部队在冀鲁豫边区汇合后，梯次南下，于6月中、下旬进抵安徽省涡阳县新兴集地区。7月，与新四军第6支队（欠第4总队）合编为八路军第4纵队，归
中共中央中原局指挥。
彭雪枫任司令员，黄克诚任政治委员，
张震任参谋长，
萧望东任政治部主任。新编第2旅改称第2旅；第344旅改称第4旅，其第687、第688、第689团分别改为第7、第8、第9团；第6支队第1、第2、第3团编为第5旅；第6支队第1、第3总队编为第6旅，另设1个游击司令部。8月，第2旅和第7团编入第5纵队。此时，第4纵队共1.7万余人，协同当地中共组织，发动群众，开展游击战争，坚持并扩大了豫皖苏边抗日根据地。