在国民革命军的编制序列中，上曾先后出现过多个第31军，分别为：

1927年3月，中央（北洋）陆军第8师第16旅张中立部在泰州投诚，被改编为第92师，张中立任师长。6月初中央（北洋）陆军第5师白宝山一部在海州投诚，编成第91、第93师，李奇峰、蒋毅分任师长，组成第31军。9月20日，第91、第93师等在无锡、松江、杭州被缴械，改编为独立第1师（李明扬任师长。1928年2月，独立第1师改称第17军第2师）

历任军长:

郑绍虔（1927.7.19-）

1928年1月，第9军在江西改称第31军，下辖第27、第28、第29师，师长杨如轩、韦杵、周志群。第29师是由第10军哗变后的部队（由南京到江西）改编而成。1928年春，第28师与第3军所属第8、第9师参加北伐，军至河北青县。同年秋，返回江西参加“剿共”。1928年4月至8月，第27师在江西永新、湖南酃县等地，进攻井冈山根据地。8月，该军缩编为第12师。

历任军长:

1930年9月，西北军将领梁冠英率部投靠蒋介石，被任命为第31军军长，下辖第32师、独立第5旅，隶属第25路军，集中于南阳。12月集中商丘，旋开赴江苏海州、扬州、南通、江阴。1931年4月，独立第5旅调安徽霍邱，参加对鄂豫苏区的“围剿”。1932年2月，返回海州。1933年3月，该军调至豫南光山、罗山，参加对鄂豫皖苏区的“围剿”。1934年12月至1935年12月，与红二十八军作战。

但是，由于该军系西北军出身，一直受到蒋介石的提防。蒋介石利用郝鹏举与梁冠英之间的矛盾，于1936年春秘密派郝到该军活动，以私人访友作为掩护。事后据某营营长杨久存向梁冠英报告：“郝对官长们讲，蒋听你们很苦，非常关心大家,很早就打算给你们增加经费。因为你们这个军队头重脚轻，总指官佐人员太多，开支过大所以迟迟未决，最好你们劝劝总指，他为了官兵的前途和生活，应当早日引身自退等语”。

不久，梁冠英接到郑廷珍由南京拍来的电报，要求独立第五旅直属中央指挥。手枪团团长会继瑞也从南京来信（此时郑、会均正在南京受训）劝梁冠英明哲保身，急流勇退，并把他们在南京所得到的一切情况作了的报告。梁冠英感到蒋为了消灭异己，竟如此不手段，阴险毒辣，自己下去，一定凶多吉少，故于1936年5月间亲赴南京见蒋，把部队近来情况和郝鹏举的捣乱活动略向蒋报告后，即提出辞职的要求。蒋表面上还佯作挽留，并提出要严厉查办郝鹏举，叫梁冠英回旅馆听候消息。但是隔了两天，蒋派人送来一个“辞职照准”的指命，调梁冠英为军事委员会高参，该军番号随即撤销。

历任军长:

梁冠英

1937年9月25日，在广西成立第31军，下辖第131、第135、第138师，第135师隶属第3战区第19集团军，参加淞沪会战（1937年8月13日至11月下），11月该军开赴安徽，驻淮南凤阳、明光、定远及准北怀远、宿县等地，隶属第5战区参加徐州会战（1937年12月下旬至1938年6月中旬），战后至阜阳。隶属第5战区第21集团军参加武汉会战（1938年6月中旬至11月中旬）。7月26日失守太湖。

1938年8月末，第138师拨隶第48军，第31军调鄂东英山整理，将两个师各缩编成5个营参加广济作战。9月下旬调浠水。10月，第131师军官开回广西，第173、第174师拨入，该军改辖第135、第173、第174师。10月末移随县布防。11月中旬，第135师大部官兵拨补第173、第174、第189师，并将第173、第174师拨隶第84军。军部率第135师余部及第84军所属第188师回广西整理。12月27日抵桂林，属第1集团军，第131师归建，该军下辖第131、第135、第188师。

1939年1月，由桂林开赴柳江。4月，移驻桂平。隶属第4战区参加桂南会战（1939年11月15日至1940年2月8日）。11月第135师战于南宁，另两个师增援邕宾（南宁至宾阳）路。1940年1月，驻绥渌、南宁、武鸣。桂南会战结束后，驻守邕钦（南宁至钦州）路。1944年，主力在桂林、平南、南宁参加桂柳会战（1944年9月8至12月4日），第135师为后调师。1945年1月，该军及第131第135师裁撤，第188师改隶第46军。

历任军长:

刘士毅（1937.9.30-）

韦云淞（1938.6.16-1941.7）

1945年11月1日，第208、第209师合编为第31军，军部在浙江杭州，第209师驻福建上杭。第208师由江西黎川调驻福建福州。1946年初，第208、第209师由福州上杭集中浙江杭州，隶属衢州绥靖公署。8月，该军与第209师番号取消。

历任军长:

1948年4月，第205师在台湾扩编为第31军，师部改称军部，所属第1、第2旅分别扩编为第205、第204师。10月第204师调青岛，属第11绥靖区，军部和第205师调北平，隶属华北“剿总”第9兵团。

1949年1月21日军部和第205师接受和平改编，该军团以上军官空运南京。2月19日，第205师改编为中国人民解放军独立第62师。2月2日，军部编入解放军第39军军部。4月，第204师由青岛调南京，旋到上海，改隶第37军。

历任军长:

廖慷（1948.4.13-1949.1）