大将军衔最早由苏联设置，1940年5月最高苏维埃主席团发布命令，将高级军官军衔改称将官，大将为陆军将官中最高级别，与海军元帅等同。1943年设置了空军、炮兵、装甲兵、工程兵和通信兵元帅后，大将军衔只在诸兵种合成军队中设置，与军兵种元帅属同一级别。
中国人民解放军1955年第一次实行军衔制时，设有大将军衔。获得大将军衔者共10人：
粟裕、
徐海东、
黄克诚、
陈赓、
谭政、
萧劲光、
张云逸、
罗瑞卿、
王树声、
许光达。
1988年7月1日，中华人民共和国第七届全国人大常务委员会第二次会议决定恢复军衔制，并通过《
中国人民解放军军官军衔条例》。重新实行的军衔制取消了大将军衔，将官设置为：
一级上将、
上将、
中将、
少将。1993年又取消了一级上将军衔。