1945年12月，美国总统特使马歇尔受命来中国“调解国共军事冲突”，1946年1月10日，国共签订了停战协定，成立了由张治中、周恩来、马歇尔组成的三人军事小组和由国民党代表郑介民、共产党代表叶剑英、美方代表罗伯逊组成的北平军事调处执行部，负责调处国共双方的军事冲突。军事调处执行部下设36个“调处小组”，分赴各军事冲突地点进行调处。

全面内战爆发前后，中国共产党为了谋求和平、停止军事冲突，在毛泽东赴重庆与蒋介石谈判之后，酝酿成立了由国、共、美三方组成的停止冲突与恢复交通三人军事小组及其领导下的调解处理上述具体事务的军事调处执行部。

抗战胜利后，1945年8月毛泽东赴重庆进行谈判，10月双方达成《双十协定》，然而，《双十协定》的墨迹未干，通过美国支持和援助的国民党军队于10月中旬即开始大举进攻华北解放区，战火很快遍及全国11个省。

1945年11月27日，内外交困的美国驻华大使赫尔利在狼狈不堪中辞职。与此同时，美军参谋长联席会议原主席、五星上将马歇尔被杜鲁门总统任命为特使前往中国，再度在国共之间进行调停，制止冲突，并企图以政治的、和平的手段诱使中共交出政权和军队，参加国民党操控下的所谓“联合政府”。

中共中央乘势而为，决定恢复中断了的国共谈判，派出由周恩来、董必武、王若飞、叶剑英、吴玉章、陆定一、邓颖超等7人组成的中共代表团。

1946年1月3日，马歇尔综合国共双方的意见，分别向蒋介石和毛泽东提出了一份停止冲突与恢复交通的备忘录。其中一条就是在北平设立军事调处执行部，执行已经取得协议的政策，监视停战，公正地做调查；执行部由国、共、美三人委员会组成，一切行动须根据一致协议；执行部下设4个交通中心、8个小组。因此，成立军事调处执行部是马歇尔最早在重庆提出来的。5日，国共双方达成了《关于停止国内军事冲突协议》。其主要内容：一是停止国内各地一切军事冲突，恢复一切交通；二是由张群、周恩来和美国总统特使马歇尔组成三人军事小组，马歇尔为主席，共同商议有关停止冲突、恢复交通及受降遣俘等事项办法；三是由国民参政会驻会委员会及政治协商会议各推定国共两党当事人以外的公正人士八人，组成军事考察团，会同国共双方分赴发生冲突区域考察军事状况、交通情形及其他与国内和平恢复有关的事项。

1946年1月10日下午3时，国共代表张群和周恩来在怡园马歇尔另一公馆的客厅里先后分别签订了4个文件。第三个文件就是《关于建立军事调处执行部的协议》。

《关于建立军事调处执行部的协议》对其任务、组织、地点、程序等都作了具体规定。规定军事调处执行部（简称“军调部”）设委员3人，由国、共、美三方各派一人担任，并邀美方委员充任主席，办公地点设在北平协和医院；三委员各有表决权，一切事宜均须经三人一致通过；通过后的正式训令，以国民政府主席的名义公布。军调部的工作，通过三方下派的各执行小组进行实施，执行小组主任由美国军官担任。

军调部受三人军事小组的直接领导。不久，国民党方面把张群换成了张治中。这样，新的三人军事小组为马歇尔、张治中、周恩来。

军调部的三委员人选，中共方面是周恩来在给延安的电报中提议让叶剑英担任。毛泽东立即与朱德商量，两人都觉得叶剑英早年跟随孙中山，并参加了组建黄埔军校，与国民党方面许多军政要员都是熟人，在我军的职务是中央军委副总参谋长，所以，从各方面讲是代表中共参加军调部的最佳人选。于是，叶剑英随即由中共方面谈判代表转为中共方面委员。国民党的委员是国民政府军事委员会军令部第二厅厅长兼军委会调查统计局局长郑介民。人们对蒋介石派一个大特务头子担任此职，都议论纷纷。美方委员是美国驻华大使馆临时代办兼经济参赞罗伯逊。罗伯逊虽是文职人员，但赫尔利和马歇尔都很欣赏他，让这个自称为“木匠干起铁匠活”的金融人才任职军调部。

1946年1月13日上午10时，叶剑英、郑介民和罗伯逊三人及各自的随员10余人从重庆飞赴北平。下午4时，飞机在北平南苑机场降落。随后，他们分头乘车到北平饭店下榻。同日，军调部在北平正式宣布挂牌。按照协议，军调部本身实行三级制：

三方委员为最高领导，三方参谋长为中级领导，6个业务处处长为基层领导。在全国各个战区，根据情况需要，设立若干执行小组和交通小组。美国方面参加军调部的官员、文职人员和士兵定为125人，中共和国民党方面各为170人。为了尽快抽调人员组建机构，开展工作，叶剑英多次发电报请示中共中央，同时向各战略区联系调人。由于八路军、新四军大部分处在边远地区，交通不便，所调人员无法按时到达北平，叶剑英便就近从晋察冀军区、北平地下党及各地赴北平汇报工作的同志中，选调了一批工作人员，迅速开展各项工作。

后来因工作需要，参加军调部三方的工作人员，大大超过了原来规定数额。据不完全统计，军调部人数最多时达9000余人（其中国方2600余人，共方600余人，美方6000余人）。军调部配有足够的飞机、汽车供运输，配有通讯工具以资传达，每月经费4万万元。

中共方面参谋长是罗瑞卿，秘书长是李克农。中共方面在参谋长之下设的6个处分别为：计划执行处，处长宋时轮；交通处，处长耿飚；整军处，处长陈士榘；新闻处，处长黄华，兼叶剑英的秘书；秘书处，处长冯铉；行政处，处长伍云甫。秘书长之下设有秘书、通信、机要、编译、救济等处。

中共方面人员部分住在北平饭店，部分住在翠明庄饭店。叶剑英、罗瑞卿和各部门的负责人，每天都到总部设在协和医院主楼内的军调部总部办公大楼上班。为了明确身份，军调部给国、共、美三方每位工作人员配发了臂章和胸章。徽章的主要构图为三环标志，构思来自奥运会的五环标志，三环表示三方一起来实现中国的统一与和平。臂章为盾牌造型，上部1/3为蓝色，缀有白色“军调”二字；下部2/3为红色，缀有白色三环标志。胸章呈圆形，外圈为白环，中间为蓝底红色三环标志，上半圆弧写有“军事调处执行部”字样，下半圆弧为麦穗，象征着和平。

国民党方面首席代表是郑介民，参谋长是蔡文治。美国首席代表罗伯逊，参谋长海斯。

军调部的任务，概括起来有五项：一是停止冲突，二是恢复交通，三是接受日军投降，四是遣返日俘，五是整军。后来的情况表明，这五项任务中最繁忙、最突出的是停止冲突和恢复交通两项执行这些任务的方式，主要是三方进行谈判，达成若干协议，然后分令国共双方部队和有关单位执行。与此同时，军调部派出若干执行小组，具体落实协议，调查、调处冲突，监督双方停战。

1946年1月至3月，是军调部工作的第一阶段，也是军调部工作的黄金时期。这一时期，由于大环境的关系，工作进展较快。在此期间，军调部先后发出和字命令6号，特别指令5件，派出23个小组，达成69项小组协议或指令，均占各项工作数量的60%以上。由于国、共、美三方在这一阶段的调处中均表现出较为合作与克制的态度，国共双方均互有让步，因而，关内冲突在军调部各执行小组监督下基本停止，《东北停战协定》亦于3月27日签订，东北执行小组也将派出。

1946年3月至6月，是军调部履职的第二个阶段。由于国共两党关系逐渐恶化，战火由关外燃烧到关内，直至大规模内战的爆发，加之美国方面逐渐失去公允的调处立场，军事调处工作已不复当初的权威，军调部及各执行小组内国、共、美三方代表互相指责，已很难再达成协议。

1946年7月至9月，是军调部工作的第三阶段。6月底全面内战爆发后，马歇尔八上庐山，但依然对于和谈无补。东北虽然短期平静，关内却大打起来。在此形势下，军调部亦已失去其最初的动力，成了观察战争的机场，对制止战争束手无策。部所派出的各个小组，在这期间的工作已处于完全停顿状态。

7月29日，安平事件的发生使作为调处第三方的美国，直接卷入冲突之中，调处更加名存实亡。在全面内战爆发的大环境下，国、共、美三方都失去了继续进行战地调处的耐心。9月27日，军调部三委员签署协议，关内除保留太原、沁县、临汾、邯郸、新乡、泊头6个小组外，其余小组均撤回北平。随后，东北亦由8个小组缩减为3个。

1946年10月至1947年1月，是军调部工作的第四阶段。在国民党军队攻占张家口并召开由其一手包办的国民大会的背景下，国共和谈的大门实际已被国民党关闭，军调部及仅存的几个执行小组已无事可做，各方都在做最后撤离的准备，只有北平总部和长春分部还维持着一定的工作和人员。

1946年6月26日，国民党大举进攻中原解放区，发动了全面内战。1947年1月6日，马歇尔接到杜鲁门的命令，被召回国任国务卿。这样，军调部的使命彻底终结。1月29日，美国正式宣布“终止其对三人小组之关系和终止对军调部执行总部之关系”，命令军调部美方人员“尽速撤退”。接着，美国公开援蒋打内战。2月21日，叶剑英带领军调部中共代表团最后一批人员从北平返回延安。至此，军事调处执行部瓦解。