北魏
宣武帝景明二年（501年）在首都洛阳设立“
四夷馆”，对后世首都客馆的设置产生了深远影响，隋唐“四方馆”的设立，就是直接受到北魏“四夷馆”的影响，与北魏“四夷馆”存在着一定的继承关系。
隋炀帝时置四方馆于京师
建国门外，以接待东西南北四方少数民族及外国使臣，分设使者四人，东方曰东夷使者，南方曰南蛮 使者，西方曰西戎使者，北方曰北狄使者，各自主管双方往来及贸易等事，属
鸿胪寺。
北宋初设南、北宾客馆，后改为四方馆。系内诸司之一，先后隶台察、中书。北宋在朝堂门外，南宋在
临安皇城东华门北。
宋代掌通进章表，即举凡文武官朝见、辞谢、国忌、赐香，及诸路元旦、冬至、朔日庆贺起居章表，统收受而后呈进；大朝会、郊祀，则确定藩国使者、致仕官、未升朝官、贡士、释道主首、耆寿陪祠之班位；进奏人到阙仪范；宋初并掌通事舍人轮班供奉宣赞的名籍。
宋太宗淳化四年设四方馆使。元丰新制，设四方馆使二人，如使阙，则由
客省、
引进、
閤门使副兼掌。