西汉置山桑县，属沛郡。南朝宋泰始二年（466年），失淮北，废山桑县。

西汉置山桑县，属沛郡，治所在今安徽省蒙城县北三十六里坛城集。阚駰《十三州记》曰：“山生于邑，其亭有桑，因为县名。”王莽篡政，改沛郡为吾符郡，山桑县属之。

东汉建武二年（26年）夏，改山桑县为横野大将军王常侯国（仍都今坛城镇），属汝南郡。三十年，山桑侯国除（历2世，因子王广徙封石城侯）为县。

三国魏复为山桑县，属沛郡。曹魏景初二年（238年），山桑县改属汝阴郡（治汝阴，今阜阳市区）。嘉平五年（253年），山桑县改属谯郡（治谯，今亳州市区）。

西晋永嘉五年（311年），入后赵，山桑县属沛郡。东晋初年，祖逖北伐，收复山桑县。永昌元年（322年），复入后赵谯郡。咸和八年（333年），山桑县入东晋，旋入后赵、前秦。永和九年（353年），东晋五州都督殷浩伐前秦，收复山桑，旋因姚襄反叛，复入前秦。光寿元年（357年），入前燕。建熙十年（369年），回属东晋。七月，入前秦。太元八年底，回归东晋。后曾短时间属后秦（384～417年）谯郡。义熙十二年（416年）八月后，山桑县属东晋谯郡。

南朝宋永初三年（422年），北魏攻占山桑县（仍治今坛城镇）。元嘉八年（431年），收复山桑县。南朝宋山桑县属谯郡。泰始二年（466年），失淮北，废山桑县。

东晋咸和九年（334年），侨置山桑县，属侨置南谯郡，故址在今安徽巢湖市秀芙乡芙蓉岭下。

南朝宋、南朝齐因之。

南朝梁后期废山桑县，南谯郡改治蕲县（今安徽省巢湖市五里墩）。

隋大业二年（606年），改肥水县为山桑县（治故涡阳城，今安徽蒙城县香山刘寨村），属亳州（治谯，今亳州市区）。三年四月，改亳州为谯郡，山桑县改属谯郡（仍治谯）。

唐代隋，改郡为州。山桑县改属谯州（治临涣，今濉溪县临涣镇）。唐贞观十七年，山桑县改属亳州（今亳州市区）。唐天宝元年（742年），改山桑县为蒙城县（改治今蒙城县城区），谯郡（由亳州改）。

1996年1月1日，蒙城县改属安徽省辖阜阳市。

2000年6月，地级亳州市建立，蒙城县改属安徽省亳州市。