4月24日，
毛泽东电令新四军副军长
项英，强调“须派电台及一有军事知识之人随去”。刚刚到达皖南岩寺集中的
粟裕被任命为先遣支队的司令员兼政治委员，4月28日他率先遣支队出发，揭开了新四军东进抗日的序幕。
此时的江南早已沦陷，
国民党几十万大军不战而溃，日军如入无人之境，烧杀淫掠。饱受蹂躏的老百姓以为先遣支队是吃了败仗的国军，不准进村，甚至开枪自卫。粟裕命令部队在野外露宿，以干粮充饥，遇到下雨无处躲避，宁肯浇成“落汤鸡”，也不扰民。
粟裕派出3个组对
常州、
南京、
镇江方向侦察，了解江南平原的地形及风俗民情，摸清敌人的军事部署和行动。
为了振奋江南民众的抗日情绪，粟裕决定主动出击，打个胜仗。经过多次侦察，他把战场选在
韦岗。韦岗位于镇江西南15公里处，是镇（江）句（容）公路必经之地，每天有五六十辆日军汽车通过这条公路。
6月15日，粟裕带队进至南京、镇江间的下蜀铁路段，执行破坏京沪铁路的任务，破路后，即率部直奔韦岗设伏。6月17日，雨雾蒙蒙，公路弯曲，5辆日军汽车一个接一个地钻入了伏击圈。粟裕一声令下，新四军机、步枪齐发，手榴弹猛掷，激战半小时，毙日军十余名，伤数十名，击毁汽车4辆、缴获长短枪10余支。
江南首战告捷！新四军一支队司令员
陈毅闻讯，当即口占七绝一首：“故国旌旗到江南，终夜喧呼敌胆寒，镇江城下初遭遇，脱手斩得小
楼兰。”国民政府军事委员会也发来嘉奖电：“叶军长：所属粟部，袭击韦岗，斩获颇多，殊堪嘉尚。”韦岗战斗的胜利打破了日军不可战胜的神话，树立了新四军在江南的威望。
6月下旬，胜利完成先遣侦察任务的粟裕回到二支队，率所部在京芜铁路以东、京杭国道以西迅速部署。为配合正面战场的武汉会战，新四军二支队作战百余次，兵锋直指南京近郊机场、麒麟门和雨花台，还首次生俘日军一名。
新四军的频繁活动，迫使日军将宁、镇、芜地区的兵力由不足3个联队猛增到2个多师团，据点则由20多个密布至百余个。8月22日，日、伪出动重兵，分8路水陆并进，企图聚歼位于小丹阳的新四军二支队。粟裕接到情报，马上率部队跳到外线，变被动为主动。他分兵三路，一路出击当涂；一路进袭南京以南的陶吴；一路夺占南京雨花台制高点，攻击中华门敌目标。新四军一支队和地方武装也将各条公路悉数破坏，兵逼南京
麒麟门。到达小丹阳的日伪军，得知后方告急电报，惊慌撤退。粟裕抓住战机，回攻退敌，毙敌50余人，粉碎了日军的合击计划。
粟裕在三年游击战争中练就的游击战术，在苏南敌后发挥得淋漓尽致，奇袭
官陡门可谓游击战之经典。官陡门位于
安徽芜湖附近，驻有伪军200余人，河沟纵横，易守难攻，周围都是敌军据点，距离最近的仅8里路。粟裕却说：“敌人认为最安全的地方，也正是我们出奇制胜的地方。”1939年1月18日，他率二支队三团出发，且行且止，迷惑敌人，于20日晨进至官陡门以西35公里处隐蔽。傍晚三团再次出发，21日4时抵官陡门，分两路发起攻击。此时敌军尚在睡梦中，三团仅用8分钟就攻占了伪军司令部。20分钟后，部队已带着57名俘虏和缴获的武器弹药踏上归途。
新四军二支队挺进江南敌后不到一年时间，军事上打击了日军，政治上扩大了影响，部队也得到了发展，从1700余人迅速扩大到6000余人，作战范围南至高淳、郎溪，西南抵芜湖，东北到镇江、金坛。
1939年11月7日，由新四军一、二支队组成的新四军江南指挥部在
溧阳县水西村正式成立，陈毅任指挥、粟裕任副指挥。两人一个长于谋略，一个精于战术，合作堪称珠联璧合。就在江南指挥部正式成立的当夜，宝堰日军一个加强中队突然出动攻击延陵，却扑了个空。次日下午，在陈毅、粟裕指挥下，王必成团在
贺甲村将回撤的日军拦截包围，毙敌168人，开创了江南敌后歼敌的新纪录。