第二次世界大战结束前，日本军衔分为将官、佐官、尉官、准士官、下士官和兵，计6等16级。佐官又包含大佐，中佐，少佐。少佐的军衔相当于自卫队的三佐也就是通用的少校。

1945年二战结束前，旧日本军衔分为将官，佐官，尉官，准士官，下士官，和兵，计六等十六级。所谓准士官即准尉，下士官即军士。按日文称谓其十六级次序为：大将，中将，少将，大佐，中佐，少佐，大尉，中尉，少尉，准士官（准尉），曹长（上士），军曹（中士），伍长（下士），上等兵，一等兵，二等兵。日本海军军衔，分为将官，上长官（同陆军佐官），士官（同陆军尉官），准士官（准尉），下士（军士）和卒，计六等十八级。下士官以上的等级与陆军相同，而兵的等级较陆军多两级，分为一，二，三，四，五等水兵。

二战后，日本于1950年开始重建军队，至1954年建成陆，海，空三军，称陆上自卫队，海上自卫队，航空自卫队。军衔分干部，曹士两大类。其干部仍为将，佐，尉，三等九级，但军衔称谓与旧日军有所不同，将官分为将一，将二，将补，分别相当于上，中，少将；佐官称一佐（上校）,二佐（中校），三佐（少校）；尉官称一尉（上尉），二尉（中尉），三尉（少尉）；曹士称一曹（上士），二曹（中士），三曹（下士），士长（上等兵），一士（一等兵），二士（二等兵），三士（三等兵）。1970年增设准尉，1980年又增设曹长（即军士长），日军官兵的军衔共有六等十八级。

日本陆军的职务编制军衔：

陆军大臣——元帅、大将；

陆军参谋长——元帅、大将；

总军（1945年编成，相当于方面军群）司令官——元帅、大将，

总军参谋长——大将、中将；

方面军（方面军）司令官——大将，

方面军参谋长——中将；

军（集团军）司令官——中将，

军参谋长——少将；

师团长（师长）——中将，

师团参谋长——少将、大佐；

旅团长（旅长）——少将、大佐，

旅团参谋长——大佐、中佐；

联队长（团长）——大佐、中佐，

副联队长（副团长）——中佐、少佐；

大队长（营长）——少佐、大尉；

中队长（连长）——大尉、中尉；

小队长（排长）——中尉、少尉；

司务长——准尉、曹长；

小队副（副排长）——曹长、军曹；

分队长（班长）——军曹、伍长；

组长——伍长、上等兵。

二战时期日本海军军衔的军人类别区分与陆军不同，分为士官（军官）和特务士官、准士官、下士官、兵（以上四类统称海军士兵）两类，其中后者又分成1944年以前、以后两个时期。

海军士官军衔：

将官——海军大将（海军上将）、海军××中将、海军××少将、海军代将（海军大佐担任少将职务，相当于海军准将）；

佐官——海军××大佐（海军上校）、海军××中佐（海军中校）、海军××少佐（海军少校）；

尉官——海军××大尉（海军上尉）、海军××中尉、海军××少尉；