西晋初年不设丞相，
八王之乱后才又置丞相，一般由诸王或权力很大的士族担任。丞相位高权重，《宋书·百官志》说：“自魏晋以来，非复人臣之位矣。”丞相之下，有所谓的“八公”，即太宰、太傅、太保、太尉、司徒、司空、大司马、大将军，由诸王或世家大族充任。八公之下，又有“位从公”之名，始于曹魏。凡开府仪同三司者都是位从公。开府指开设府第，设官建署。仪同三司，指仪仗同于太尉、司徒、司空。多加给各种名号的将军和光禄大夫，前者是武官位从公，后者是文官位从公。
晋朝最重要的机构是尚书台、中书省、门下省。尚书台，也叫尚书省，魏晋以来并用，直到南朝后期才固定称省。晋朝尚书台组织比东汉、曹魏时候更加严密。公卿权重者录尚书事。尚书令为首，尚书仆射为副。尚书令、仆射办公处称都座，有左、右丞。左丞负责尚书台内部禁令及庶务。右丞负责库藏庐舍及远道文书奏章。都座以下有列曹尚书，初设有吏部、三公、客曹、驾部、屯田、度支六曹，后改吏部、殿中、五兵、田曹、度支、左民六曹。东晋则设吏部、五兵、左民、度支、祠部五曹。尚书下有三十五曹郎(尚书郎)。东晋时只设十五曹郎。从组织构成上可以看出，尚书省是朝廷内外、中央地方各项政务的集汇处。尚书台转为处理行政事务的机构，中书省就成为机要之司，地位日渐重要。中书省设中书监、令。其下有中书侍郎、中书通事舍人。《通典·中书令》说：“魏晋以下，中书监、令掌赞诏命，记会时事，典作文书，以其地在枢近，多承宠任，是以人因其位，谓之凤凰池焉。”说明遵照皇帝的旨意制作诏令是中书省的主要职责。《晋书·荀勖[xu序]传》记，西晋时荀勖任中书监24年，专管机密，后改任尚书令。有人向他祝贺，他生气地回答：“夺我凤凰池，有什么值得庆贺的！”可见中书省所受皇帝宠任和实际上的权力已经超过了尚书台。晋朝中书监、令大多出自高门华阀，常由三公兼任。如东晋时候领中书监的三公有王导、庾亮、谢安、刘裕等人，都是当时朝中握有实权的尊官。门下省由东汉的侍中寺演化而来。前文已述，曹魏的时候已有“门下”之名，西晋正式称门下省。门下省是皇帝的近侍顾问机构，凡涉及到重要的政令和军国大事，皇帝一般都要向门下省咨询。此外，门下省有“驳奏”之权，即尚书台奏事在呈报皇帝前，须先经门下省审阅，门下省如有不同意见，可以进行论驳，或另拟方案，与尚书台奏事同呈皇帝定夺。东晋时门下省又有“驳诏”之权，即诏书在下受诏者之前，先下门下省审核，如有不妥，门下省可提出建议，或不下发，或改诏再发。门下省长官为侍中，下有给事黄门侍郎、散骑常侍、给事中、散骑侍郎等官。三省各有分工，彼此制衡，是继宰相制度之后，辅政形式的一个重大变化。
两晋仍设有列卿，但朝中庶政总领于尚书台，地位明显下降，职务也有所并省。西晋时候无中尉。东晋时候不设卫尉、光禄勋，大鸿胪、太仆、将作大匠也不常设置。御史台仍以中丞为主官，“督司百僚”(《晋书·傅玄传于咸附传》)。晋武帝时，又把谒者台并入御史台。西晋仍以宗室、外戚为奉车都尉、驸马都尉、骑都尉。东晋仅存尚公主者为驸马都尉。
宫职中，太后三卿、皇后卿的设置与曹魏时相同。惟太后三卿的地位不同于曹魏，而与东汉相同。晋武帝时候设太子官，以太子太傅、少傅领之。以后又有师保、詹事等官的设置，但省置不常。属官有中庶子、中舍人、食官令、庶子、舍人、洗马、秘书、左右卫率、家令、仆等。
地方上实行分封制和州郡县制。晋初，分封皇族27人为诸侯王。王国有大、中、小三等。大国有民20000户，军队5000人；中国有民10000户，军队3000人；小国有民5000户，军队1500人。各王国可以自辟文武官属，长官称内史，职如太守。西晋沿用汉魏旧制，置司隶校尉统司州，监察京师和所辖各郡。东晋建都于建康(今南京市)，以扬州刺史代司隶校尉。司州之外各州设刺史，郡设太守(京师所在郡称尹)，县设令、长。州郡长官通常是一身二任，军民两政，浑然不分。绝大多数州的刺史，乃至郡守，往往带有都督、将军的称号。他们既握兵符，又管民政；既有州郡佐官，又设将军幕府，文武僚佐，纵横捭阖[baihe摆盒]。东晋时候，中原士族及其
部曲南迁，在江南重置州郡县，即称侨州、侨郡、侨县。