1928年，驻胶东直鲁联军第9军残部等编成新编第2军；1934年6月，青海西宁成立新编第2军，辖第100师；1938年9月，以第165师为基干在甘肃编成新编第2军；1940年4月，第193师、第91师和军政部第36补训处（6月改称暂编第16师）在河南编成新编第2军，隶属军委会；1944年3月，新编第45师、新编第46师在甘肃编成新编第2军，隶属第8战区第29集团军；1947年8月，保定绥靖公署所属部队编成新编第2军，辖暂编第31、第32、第33师，守备保定、定兴、涞水地区。

①直鲁联军（1928-1929）：1928年，驻胶东直鲁联军第9军残部等编成新编第2军。1929年初，该部缩编为独立第4旅。

历任军长：朱泮藻

②青海马步芳部（1934.6一1938.3）：1934年6月，在青海西宁成立新编第2军，辖第100师。

1935年9月，该军隶属西北“剿匪”总司令部第5纵队。1936年8月，在青海循化至贵德和兰州以西的新城经西宁至湟源一线，阻击红二、四方面军北进和三大红军会师。11月，进驻甘肃永登以北地区，11月18日抵达景泰一条山附近。同年11月一1937年3月进攻西路军。战后，该军驻扎西宁、民和、张掖、酒泉、夏河等地。1938年3月，改称第82军。

历任军长：马步芳

③甘肃地方部队（1938.9——1939年初）：1938年9月，以第165师为基干在甘肃编成新编第2军，成军后开陕西凤翔，隶属第8战区。1939年初，该军番号撤销，第165师改隶第80军。

历任军长：鲁大昌（1938.9.27-）

④中央军（1940.4——1941.2）：1940年4月，第193师、第91师和军政部第36补训处（6月改称暂编第16师）在河南编成新编第2军，隶属军委会。1941年2月，改称第29军。

历任军长：陈大庆

⑤中央军（1944.3—1947.5）：1944年3月，新编第45师、新编第46师在甘肃编成新编第2军，隶属第8战区第29集团军。同年夏，进入新疆，分驻奇台、镇西。1945年分驻精河、乌苏、呼图壁、绥来等地。1946年上半年，暂编第58师拨入。1947年5月，整编为整编第78师。

历任军长：李铁军（1944.3兼任一）、谢义锋（——1946.3.20免代）、叶成（1946.3.20-）

⑥伪军（1947.8—1948.9）：1947年8月，保定绥靖公署所属部队编成新编第2军，辖暂编第31、第32、第33师，守备保定、定兴、涞水地区。12月，暂编第31师主力驻北平至古北口一线。1948年7月16 日，驻守定兴、高碑店、涞水的暂编第31师被歼灭，师长陈治平被俘。重建暂编第31师。9 月，该军改番号为第101军。

历任军长：高卓东（一1948.5.14）、李士林（1948.5.14——1948.8.1）