东晋义熙元年（405年），置马头郡。隋开皇三年（583年），废马头郡。

东晋义熙元年（405年），置马头郡，治所在虞县（今安徽省怀远县南马头城乡）。《宋书·州郡志》：“因山形立名。”南朝宋，属南豫州。辖境相当今安徽怀远县等县地。后属徐州。

南朝宋泰始七年（471年），马头郡改属北徐州。南朝齐移治己吾县（今安徽省怀远县西南孔岗乡），后迁治蕲县（今安徽省宿州市埇桥区蕲县镇）。南朝梁大通元年（527年），移治今怀远县西南新城口。南朝梁太清三年（549年）正月，入东魏，改北徐州为楚州，马头郡楚州。东魏武定八年（550年）五月，地入北齐，改楚州为西楚州，马头郡属西楚州。北齐天保四年（553年），改马头郡置荆山郡（治马头县 ，故当涂城，今蚌埠市西郊涂山），仍属西楚州。武平元年（570年），封斛律金为荆山王，荆山郡改名荆山国。武平四年九月壬申，入南朝陈，荆山国复名马头郡，改西楚州为北徐州 。南朝陈太建十一年（579年），地入北周，复改北徐州为西楚州，改马头郡为荆山郡。宣政元年（578年）六月，改西楚州为豪州（均仍治钟离），荆山郡属蒙州。

隋开皇三年（583年），废马头郡。

北魏置马头郡，属谯州。治所在龙亢戍（今安徽怀远县西北七十五里龙亢镇）。辖境相当今安徽怀远县地。后废。

北魏太和中置（一说南朝齐置）马头郡，治涡阳县（今安徽省蒙城县），为南兖州治。辖境约当今安徽省蒙城、利辛等县地。北魏景明中改马头郡为涡阳郡。

东魏天平中置马头郡，治所在建平城（今河南省夏邑西南马头寺），属南兖州。辖境约当今 河南永城，夏邑，柘城和睢县东部地区。北齐天保七年（556年），废马头郡。