东晋义熙七年(411)以
淮河为界，分徐州为南、北二州，北徐州治彭城。
南朝宋永初二年(421)改北徐州为徐州，治彭城。辖境约当今山东省箕屋山、
沂山、
蒙山及江苏省
沛县以南，河南省
商丘市以东，安徽省
太和县、
蒙城县、
泗县及江苏省淮河以北地区。
北魏
永安二年(529)置，治所在即丘县(今山东临沂市西二十里古城)。辖境约当今山东省
临沂、
费县、
平邑、
蒙阴、
苍山等市县。北周宣政元年(578年)改名
沂州。
南朝齐置，治燕县(今安徽凤阳县东北)。辖境约当今安徽省淮河以南，蚌埠、
定远、滁州等市县以东(天长市除外)和江苏省南京市
六合区等地。东魏武定七年(549年)改名楚州。