东北行政委员会于1946年8月7日成立，当时称为东北各省市行政联合办事处；同年10月改称现名，1949年8月27日召开东北人民代表会议，正式成立了东北人民政府；根据中共中央1952年11月12日“关于改变大区政府机构与任务的决定”，1953年1月复议改组为东北行政委员会；1954年8月15日东北政委会根据中央人民政府“关于改变大区一级行政机构合并若干省市建制的决定”撤销。东北政委会是代表中央人民政府在东北行政区进行领导监督地方政府的最高行政领导机关，是本级人民代表大会的执行机关。

1946年4月28日，吉黑人民自卫军解放了哈尔滨，国民党接收大员随苏联红军撤走。北满分局、北满军区、松江省工委、松江军区机关进驻哈尔滨。

5月3日，哈尔滨人民政府成立，刘成栋任市长。5日，松江省政府成立，冯仲云任省长。

6月，中共中央指示中共中央东北局和东北民主联军调整和充实了领导班子。林彪任东北局书记、东北民主联军司令兼政委。彭真、罗荣桓、高岗、陈云任东北局副书记兼东北民主联军副政委。

8月7日，东北各省代表联席会议在哈尔滨第一中学礼堂开幕，15日闭幕。彭真、周保中、冯仲云等领导人出席了会议。会议代表185人，讨论通过了关于东北民主建设的施政纲领，选举产生了东北解放区最高行政领导机构——东北各省行政联合会办事处行政委员会，简称东北行政委员会。选举林枫为主席，张学思、高崇民为副主席，栗又文为秘书长，11名常委，27名委员。会议期间，大会还作出一项决议，即发出公开电抗议国民党东北行营停用红军百元票。

根据中华民国国民政府和苏联政府达成的协议，苏联红军进驻东北，可以发行苏联红军币。但国民党东北行营经济委员会竟于1946年8月1日单方面下令，凡苏联红军司令部在撤出东北境以前所发的百元票，即日起停止流通。消息传来代表们十分愤慨，以东北各省代表联席会议全体代表的名义，于11日发出公开电抗议。会议期间，还通过了慰问抚恤烈士家属、兴建烈士纪念碑、用烈士名字命名、编写烈士事迹等议案。后来，该委员会选定在南岗果戈里大街与银行街交汇处办公。

10月16日，改称东北行政委员会。

1948年12月，东北全境解放，该委员会迁至沈阳。1949年8月21日，东北人民代表会议在沈阳召开。27日，宣布东北人民政府成立，至此，东北行政委员会的历史使命告终。

1947年10月10日，东北邮电管理局发行的“双十节”邮票就是以东北行政委员会大楼为图案的。