“永嘉之乱”时期，北方人大批南下。晋明帝太宁三年（325），侨置兖州于广陵（扬州市区）。晋成帝时，兖州改称南兖州，治所于京口（镇江市区）。

南朝宋武帝永初元年(420)，撤南青州并入南兖州，侨置在广陵郡的原青州各侨郡侨县改属南兖州。

文帝元嘉八年(431)，改南兖为实州，分江而治，南兖州割江淮为境，治广陵（扬州市区），南兖州领广陵、海陵、山阳、盱眙(治所今盱眙县东北)、秦(治所今六合县北)、南沛(治所今安徽省天长市石梁镇)、新平(治所今海安县)、北淮阳(治所今宿迁市东南)、北济阴(治所当在今扬州境内)、北下邳(治所当在今江苏省境内)、东莞(治所当在今江苏省境内)11郡。

齐高帝建元四年(482)，南兖州领广陵、海陵、山阳、盱眙、南沛五郡。

北齐文宣帝天保三年(552)，南兖州归属北齐，并改名为东广州，下置广陵、江阳2郡。

陈宣帝太建六年(574)，东广州入南朝，复称南兖州。十一年，南兖州又入北朝，并改名吴州，置总管刺史。仍治广陵。

隋文帝开皇九年（589），改吴州为扬州，置扬州总管府。仍治广陵。

大业三年(607)，改扬州为江都郡，治江阳县（开皇十八年广陵县改称邗江，炀帝大业元年称江阳）。