春秋战国，梁惠王三十年邳迁于薛，改名徐州。

春秋战国《竹书纪年》：“梁惠王三十年(前340)，邳迁于薛，改名徐州”(《史记·孟尝君列传》张守节正义引)；《史记·越王勾践世家》：“勾践已平吴，乃以兵北渡淮，与齐、晋诸侯会于徐州”；《楚世家》：“楚威王伐齐，败之于徐州”，皆指此。《鲁周公世家》： 顷公十九年(前254)，“楚伐我，取徐州”。《集解》： “徐广曰：徐州在鲁东，今薛县。” 《续汉书 ·郡国志》： 鲁国薛“本国，六国时曰徐州”。即此。

战国齐西北界上邑，后入燕、赵。在今河北省大城县。《战国策》：齐威王二十四年(前333年)，谓魏王曰：“吾吏有黔夫者，使守徐州，则燕人祭北门，赵人祭西门。”即此。又威王曰：“吾吏有黔夫者，使守徐州”，皆即此。一作“平舒”。《赵世家》“燕以葛、武阳、平舒与赵”。

西汉置东平舒县。

西汉武帝所置徐州刺史部，辖境相当今山东省东南部和江苏省长江以北地区。新莽时，治所下邳县（今江苏省邳州）。东汉时，州名，治所郯县(今山东省郯城县)。东汉末年时，治所下邳县（今江苏省邳州）。

三国魏移治彭城县 (今江苏省徐州市铜山区)。三国时，曹操迁徐州刺史部下邳郡下邳县移治彭城郡彭城县，彭城郡彭城县自始称徐州。西晋时期移治下邳县（今江苏省邳州），东晋初失淮北地，徐州治所南迁；义熙七年(411年)治京口(今江苏省镇江市京口区)。

南朝宋永初二年 (421)改徐州置南徐州，改北徐州置徐州。徐州治所在彭城县 (今江苏省徐州市铜山区)。北魏魏孝明帝孝昌元年，置东徐州治所在下邳县（今江苏邳州）。

隋大业初改徐州为彭城郡。隋大业三年，改邳州为下邳郡。

唐武德四年 (621) 复为徐州。天宝元年 (742)又改彭城郡。乾元元年 (758) 复为徐州。

宋置徐州，隶属和辖领变化较频。

元至元二年 (1336) 省彭城县入州，属归德府。至正八年 (1348) 升为徐州路，十二年 (1352) 降为武安州。

明洪武初复名徐州，属凤阳府。十四年 (1381)直隶南直隶南京。

清初，徐州先后为江南省和江苏省所属直隶州，清雍正十一年 (1733) 升为徐州府，辖领1州7县。

十六国后秦置徐州，治所在项城 (今河南省沈丘县)。辖境相当今河南省商丘市、太康县、商水县以东地区和安徽省亳州、涡阳、蒙城等市县。后废徐州。

十六国后燕置徐州，治黄巾固(今山东省章丘市)，后移治黎阳(今河南省浚县东)，又移治鄄城(今山东省鄄城县北)。后废徐州。《十六国疆域志》 卷12： “ 《后燕录》： 建兴二年，垂以翟辽为徐州刺史。” 《资治通鉴》： 东晋太元十三年 (388)，“燕青州刺史陈留王绍为平原太守辟闾浑所逼，退屯黄巾固。燕主垂更以绍为徐州刺史”。

十六国南燕置徐州，治莒城 (今山东省莒县)。辖境约当今山东省沂山东南迄滨海一带。《晋书·地理志》： 南燕慕容德以 “徐州刺史镇莒城”。《寰宇记》卷24： “ 《南燕录》： 慕容德以尚书潘聪为徐州刺史，镇莒城。又以桓遵为徐州刺史，亦理此。”

北魏延和二年 (433) 置徐州，治所在济阳县 (今河南省兰考县东北)。北魏皇兴初废徐州。北魏魏孝明帝孝昌元年置东徐州，治所在：下邳县（今江苏邳州）。

南朝宋侨置徐州，治所在燕县 (今安徽省凤阳县东北临淮关东)。辖境相当今安徽淮河以南蚌埠、凤阳、明光、定远、来安、滁州、全椒等市县地。南朝齐改为北徐州。

金天会七年 (1129) 改安肃军置徐州，治所在安肃县 (今河北省徐水县)。天德三年 (1151) 改徐州为安肃州。