晋西北军区成立于1940年11月，贺龙为司令员，关向应为政治委员，续范亭为副司令员。9月，晋西北军区改为晋绥军区，120师兼晋绥军区，属联防军司令部建制。

1937年抗战爆发后，日寇入侵山西境内。受中共中央和毛泽东主席指示，贺龙与关向应等率八路军120师主力从陕西富平县出征，挺进抗日前线，进入晋西北管涔山脉地区，展开抗日游击战，开辟了晋西北抗日根据地。之后不久，续范亭等率部也进入晋西北地区。到1938年1月，120师由出师时的8200人增至2.5万人，晋西北各县都建立了1000至2000人的抗日自卫军或游击队。

1938年后半年，120师派出由李井泉等率领的大青山支队向绥远挺进。以大青山为依托，建立了绥西、绥南、绥中三块游击根据地，并逐步同晋西北根据地连成一片，构成晋绥抗日根据地。同年12月，发展壮大的120师主力进入冀中进行对日作战。

1940年1月，晋绥边区抗日民主政权——晋西北行政公署在蔡家崖成立。中共中央决定成立晋西北军政委员会，作为统一领导晋西北、晋西南、大青山地区各项工作的最高领导机关，由贺龙任书记，关向应任副书记。

1940年11月，经中共中央批准，成立晋西北军区，贺龙为司令员，关向应为政治委员，续范亭为副司令员。

1942年8月，中央决定成立中共中央晋绥分局，关向应任书记，林枫任副书记。

1942年9月，将原晋西北军区改为晋绥军区。八路军120师师长贺龙任司令员，关向应任政治委员。

1940年初，八路军120师主力刚刚返回晋西北。日军先后调遣1.2万余人的兵力，兵分六路进攻岚县、临县、方山、兴县等地，对晋西北抗日根据地做试探性“扫荡”，战役从2月23日开始至4月1日结束。此次春季反“扫荡”，八路军共作战30余次，毙伤日军1100余人，俘虏日伪军200余人，缴获长短枪100余支。

1940年6月上旬，日军华北方面军第1军在筱冢义男司令官指挥下，对晋西北抗日根据地展开了大规模“肃正作战”，企图消灭八路军120师。晋西北抗日军民在120师师长贺龙、政委关向应的领导下，经过近1个月的艰苦抗战，对日军作战251次，毙伤日伪军4490人，缴获各种枪300余支，收复兴县、临县、方山、保德、河曲五城。

1940年冬，日军又集中2万余人的兵力，对晋西北抗日根据地展开全面大扫荡。当年12月，日军放火烧毁了兴县县城。此役历时40余日，八路军共作战217次，歼灭日伪军2500余人。

第二军分区

司令员彭绍辉，政委张平化，辖独立第2旅（旅长彭绍辉兼）及暂1师（师长续范亭兼）；

第三军分区

司令员张宗逊，政委李井泉，辖358旅（旅长张宗逊兼）

第四军分区

司令员王尚荣，政委白坚（代政委洗恒汉），辖独立第1旅（旅长高士一，政委朱辉照）及决死第四纵队（司令员兼政委雷任民）

第八军分区

司令员韩钧，政委王逢源，辖决死2纵队（纵队司令员韩钧兼）及工卫旅（旅长兼政委侯俊岩）；

军区直属军分区(1941年3月成立)

司令员陈漫远

第五军分区(1941年5月成立)

司令员郭鹏，政委胡全