新四军第二师是新四军主力部队，
红25军长征后，原红28军政委
高敬亭收集散剩人员在
大别山开展了艰苦卓绝的斗争，由于环境所限，长期脱离了党的领导。一九三七年七七事变后由
郑位三、
肖望东、
张体学、
程启文四同志赴大别山，和高敬亭接上了线，于一九三八年初将这支队伍改编为新四军四支队。一九四一年，改编为新四军二师。
1941年1月
皖南事变后，根据中共中央军委的命令，活动于淮河以南、长江以北、
津浦铁路（天津―浦口）两侧地区的
新四军江北指挥部及其所属部队编为新四军第2师。第4、第5支队改称第4、第5旅；江北游击纵队与地方武装一部合编为第6旅，同时组建津浦路东、路西联防司令部。新四军副军长
张云逸兼任第2师师长，
郑位三任政治委员（后
谭震林），
罗炳辉任副师长（后任师长），
周骏鸣任参谋长（后
韩振纪），
郭述申任政治部主任（未到职，后
萧望东）。全师共1.8万余人。
1941年3月，第2师在淮南津浦路西进行
反“扫荡”作战，击退日伪军7000余人的进攻，恢复了路西抗日根据地的中心区。4月，第2师主力一部在津浦路东
天长、
仪征、
扬州地区向日伪军发起攻击，在
六合县金牛山战斗中，歼灭日伪军500余人。5月初，江北指挥部军政干部学校扩编为抗大第八分校，归第2师建制。5～6月，粉碎日伪军5000余人的“扫荡”，第5旅参加了巩固、发展皖东北根据地的斗争。10～11月，第2师攻克安徽省
嘉山县石坝等日伪军据点，并参加江苏省
泗阳县陈道口自卫反击作战，接着又在安徽省
定远县大桥地区击退国民党顽军的进攻。
1942年2月，第2师实行
精兵简政，将主力9个团缩编为6个团（每旅辖2个团），同时缩编机关，充实连队，全师共1.2万余人。此后，由于日伪军的频繁“扫荡”及国民党顽军的不断进攻，加上严重的自然灾害，淮南军民处境十分艰难。第2师为战胜严重困难，一面坚持对敌斗争，一面开展
大生产运动和
整风运动，坚持和巩固淮南抗日阵地。11月，津浦路西军民在定远地区粉碎了日伪军2000余人的大“扫荡”，第5旅一度袭入
淮阴城。
1943年2月，第2师兼
淮南军区。津浦路东、路西联防司令部改为路东、路西军分区，分别由第5、第6旅兼。8月，第5旅一部在六合县东北桂子山战斗中，给日伪军以迎头痛击，粉碎了日伪军的抢粮企图。9月，第6旅第16团调归第7师建制，第6旅番号撤销，该旅第17团改为第15团，编入第5旅。路西军分区改由第5旅兼，路东军分区由第4旅兼。第2师经过反“蚕食”、反伪化斗争，发展到扬州以西甘泉地区，打通了与苏中第1师的联系，有效地保卫了淮南抗日阵地。
1944年，第2师连续向日伪军发动攻势作战，相继攻克
来安县雷官集、六合县
瓜埠镇、
凤阳县殷家涧等据点，袭入
盱眙、定远县城，粉碎日伪军两度对津浦路西根据地的“扫荡”，并在六合县程驾桥附近设伏，歼灭日伪军200余人。11月，粉碎日伪军7000余人对路西抗日根据地中心区的“扫荡”，又在定远西南占鸡岗（今站岗）反击国民党顽军的进攻中获胜。12月，以津浦路西地方武装重组第6旅，并兼路西军分区。第5旅执行机动作战任务。
1945年2月，歼灭进犯
高邮湖以西地区的日伪军800余人，挫败了其打通淮河交通线的企图。4月，第2师与第3、第7师各一部进行自卫反击战，在定远以南黄疃庙等地区歼灭国民党顽军3900余人。8月中旬，第2师在人民群众支援下，向淮南津浦铁路沿线的日伪军展开全面反攻，先后收复定远、
盱眙、来安、嘉山、天长、六合等县城及广大地区，并争取了伪军警卫第3师3000余人反正。
1945年8月19日，
新四军军部决定将津浦路东地方武装组编为淮南独立旅，归第2师建制。9月，第2师第6旅、独立旅留淮南，师部率第4、第5旅北调
鲁南，后与第4师第9旅组成
山东野战军第2纵队。新四军第2师在抗日战争中，共歼日伪军2万余人。到全面反攻前，主力部队发展至3.3万余人，组建地方武装1.1万余人。