唐末，诸司使皆内臣领之，枢密使始与宰相分权矣。降及五代，改用士人，枢密使皆天子腹心之臣……其权重于宰相。太祖受命，以宰相专主文事，参知政事佐之，枢密使专主武事，副使佐之。
枢密使为枢密院之长官，或称知枢密院事，副长官称枢密副使或同知枢密院事，
签书枢密院事或同签书枢密院事。其下设都承旨和副都承旨，负责“承宣旨命，通领院务”，由武官担任。还设编修官，不定员。枢密院“掌兵籍，虎符”，若得皇帝的批准，有调动兵马之权。枢密使的地位略低于宰相，与参知政事、门下侍郎、中书侍郎、尚书左丞等统称为“执政官”。枢密使这一官衔在唐太宗时就设置了，但唐代的枢密使只负责管理军事情报，机密情报之类，由宦官兼任，直至五代时还保留这个官衔。而宋代的枢密使地位抬得这么高，权力这么大，其原因是与当时国内外的阶级矛盾、政治形势有关。宋时阶级矛盾一开始就相当尖锐。北宋初年就发生了
王小波、李顺起义。在边境，又有契丹、西夏等少数民族政权的并立，形成边防的紧迫局势。内忧外患使得宋王朝需要一支相当庞大的军队，方能抵抗少数民族的入侵和镇压国内人民的反抗，因而，就需要一个强有力的机构来管理这支军队，这就是宋代设立枢密院的原因。同时，枢密使的设立又可以削弱宰相的权力，也是强化皇权的重要措施。所以，元丰改制后，枢密院照样保存下来。但是北宋的枢密使与中书的关系都极不正常。王明清的《挥麈录·后录》说：“枢密使每朝奏事，与中书先后上，所言两不相知，以故多成疑贰。”宋神宗的御史滕达道也说，战守安危之所政，中书主打，枢密使主守，这样怎么能取胜呢？明确指出这种互相牵制所造成的殆误军国大政的弊端。南宋统治者接受了这一教训，为了对付经常性的对外战争，不得不实行兵政合一，设立“平章军国重事”这一官衔。
北宋初年，仍然沿袭后周的制度，由殿前司和侍卫司统领全部
禁军。但是赵匡胤在禁军的人事安排、组织编制和部署等方面，都作了重大的调整。据《长编》卷2记载：建隆二年（公元961年）的一个晚上，赵匡胤把曾经帮助他夺取政权的禁军主要将领石守信、王审琦、高怀德等人请来喝酒，对他们说，自己当了皇帝后整天提心吊胆，还不如作节度使快乐。石守信等人说，现在天命已定，谁还敢有异心呢？赵匡胤说，你们虽然没有异心，但如果你们手下人贪图富贵，一旦把黄袍加在你们身上，你想不干也不行呀！石守信等人领会赵匡胤的意思，大为震惊，次日即称病，主动要求解除军职。赵匡胤答应给他们以优厚的待遇，同他们结成儿女亲家，说这样就可以使“君臣之间，两无猜疑”，赵匡胤就把石守信等人调到外地去当节度使，脱离他们原来掌握的军队，这就是有名的“
杯酒释兵权”。赵匡胤在解除石守信等人的军权之后，提拔了一批资历较浅，容易驾驭的人当禁军将领。但就是对这些人也严加控制，处处防范。
同时，赵匡胤还取消了殿前都点检和殿前副都点检这两个职务，由殿前都指挥、侍卫马军都指挥使、侍卫步军都指挥使，分别率领禁军，合称“三衙”，互不统属。禁军从此没有统帅，将领分别听命于皇帝本人。“三衙”长官都指挥使之下，各设副指挥使，都虞候，副都虞候各一员。真宗时，废除侍卫两司的都虞候之职。南宋时，殿前司掌管殿前各班、直和步、骑各指挥的名籍，侍卫亲军马、步军司分掌马军、步军各指挥的名籍。并负责属下军队的管理、训练、戍守、升补、赏罚等政令。“三衙”与枢密使所掌之兵权不同：枢密使有发兵之权，而无统兵之重；三衙有统兵之重，而无发兵之权。