1937年10月，东北抗日联军第二路军成立，由东北抗日联军第四、第五、第七、第八、第十军编成。周保中任总指挥，赵尚志任副总指挥(1940年2月任)，崔石泉任参谋长。
东北抗日联军第二路军于1938年春组成，辖第4、第5、第7、第8、第10军，以及
王荫武领导的救世军、
姚振山领导的义勇军，总指挥周保中，副总指挥赵尚志。
1937年春，第4、第5、第8军和第3、第9军一部协同作战，打进依兰县城，毙伤日伪军200余人。第6军攻克汤原县城。抗日联军各军经过一年多的奋战，粉碎了日伪军的“讨伐”，扩大了政治影响。
“七七”事变后，
东北抗日联军紧密依靠群众，主动出击，积极打击
日伪军，掀起了抗日斗争的新高潮。活动在吉林省东北部和黑龙江省东部的第2路军，向日伪军展开积极进攻，突袭宝清县七星河镇，全歼守军；在依兰县五道岗伏击战中，歼日伪军300余人。第5军第3师第8团第1连的16人，在宝清县小孤山被日伪军骑兵400余人包围，激战竟日，清灭日伪军120余人，连长李海峰等12人壮烈牺牲。抗日联军各军活动于70余县的广大地区，打击与钳制了日伪军几十万人，积极配合了全国的抗战。
1938年下半年，日军为巩固在中国东北地区的战略基地，将其兵力增至8个师团，对抗日联军加紧进行军事“讨伐”、政治诱降和经济封锁，并采取增建“集团部落”，推行“保甲连座法”等手段，隔离抗日联军与群众的联系，竭力破坏抗日联军的生存条件。
谢文东、
李华堂、郑鲁岩等在此期间相继叛变。抗日联军在斗争极端残酷、处境十分艰难的情况下坚持战斗。7月，第2路军为摆脱日伪军的围攻，以第4、第5军主力从宝清、牡丹江地区，向五常、舒兰西征，攻克苇河县(今苇河镇)楼山镇后，由于日伪军的围追堵截，仅一部进入五常县境内；第4军被日伪军围攻，军长
李延平、副军长
王光宇牺牲；10月，第5军一部在东返途中遭日伪军袭击，
冷云等8名女战士被围，宁死不降，毅然投入乌斯浑河，英勇牺牲；第2路军坚持原地斗争的部队，先后进行大小战斗37次，毙伤日伪军2000余人，其中第7军于饶河县西风咀子伏击日军，击毙少将日野武雄。
1939年10月，日伪军进行“大讨伐”。抗日联军在极端困难条件下继续坚持斗争。第2路军到1941年2月，先后编成第2、第5、第8支队，活动于
同江、
富锦、
虎林、
宝清地区。
1940年，日军增至11个师团，对抗日联军进行更残酷的“讨伐”，形势愈加严重。同年底，中共吉东、北满、南满省委讨论统一领导和抗日联军的统一指挥问题，确定了保存实力，培养干部，坚持斗争的方针。此时，第1、第2路军大部转移至
苏联境内，成立南、北野营，进行整训；一部分在辽宁、吉林东部边境地区和完达山区坚持斗争。1942年2月，
赵尚志在攻打鹤岗梧桐河伪警察分所时牺牲，随后部队大部转移至苏中边境。同年秋，南、北野营合编为
东北抗日联军教导旅，旅长
周保中，政治委员
李兆麟，下属4个教导营和1个通信营，继续进行军政整训。另组成十几个小分队，在东北境内侦察情况，袭击日伪军，开展群众工作，坚持到抗日战争胜利。
东北抗日联军第4军：1937年9月29日中共吉东省委决定成立抗联第2路军，第4军划归第2路军，同时4个师整编为2个师。军长
李延禄（去苏联），代军长
李延平，副军长
王光宇，政治部主任
黄玉清，参谋长陈文学。1师和4师合并为第1师，师长
张相武，师政治部主任黄玉清（兼），2师和3师合并为第2师，师长宫显庭，后任
王毓峰，政治部主任曲成山。1940年3月28日，第4军改编为东北抗联第2路军第4支队，第4军的番号取消。
东北抗日联军第5军：1937年10月第5军编入东北抗日联军第2路军，周保中任第2路军总指挥兼5军军长。1941年3月5军改编为第2路军第5支队，抗联第5军番号取消。抗联第5军是东北抗日联军的主力部队，产生周保中这样的民族英雄和“
八女投江”那样的英雄群体。
东北抗日联军第7军：1937年9月29日，第7军编入东北抗联第2路军。1938年1月，中共吉东省委书记、东北抗联第2路军总指挥周保中在饶河主持召开下江特委扩大会议，决定
李学福任7军军长，
崔石泉任军参谋长、代理军长，郑鲁岩任军政治部主任。
王汝起任1师师长，
姜克智任副师长，何可人任政治部主任。邹其昌任2师师长，金世昌任副师长，金铁宇任政治部主任。
景乐亭任3师师长，云鹤英任副师长，刘延仲任政治部主任。1940年3月28日，第7军改编为东北抗联第2路军第2支队，第7军的番号取消。
东北抗日联军第8军：1938年1月，8军编入抗联第2路军。8军是由起义农民、山林队和反正伪军和编起来的队伍，战斗力和纪律性都差。从1937年10月开始，8军不断有师团级干部率部投敌，中共派去的党员干部大部分在战斗中牺牲或被叛军杀害，8军部队开始瓦解。1939年3月19日，在日军的包围下军长
谢文东，副军长滕松柏率8军残部投靠日军，8军正式解散。
东北抗日联军第10军：1937年6月，北满临时省委决定将10军交给吉东省委领导，后编入抗联第2路军。1941年1月29日汪雅臣在五常哈拉河子战斗中牺牲，部队突围时损失大半，留下少数官兵在五常、舒兰一带打游击至抗战胜利。1941年3月，第2路军总指挥部决定将第10军改编为第2路军第8支队，任命
汪雅臣为支队长，
陶净非为政委，后得知汪雅臣已牺牲，部队已失散，改编一事未能实现。