汉高祖六年（前201年）设楚国（郡）治所彭城县，沛县属楚国（郡）。西汉景帝三年（前154年）七国之乱后，彭城郡北部数县仍为楚国（郡），析彭城郡南部辖地分置沛郡。 北齐天宝元年（550年），废沛郡，将沛郡并回彭城郡。

秦王政二十三年（前224年），攻灭楚后因楚旧郡设立泗水郡（又名泗川郡），郡治设在相县（今安徽省淮北市相山区）。

汉高祖六年（前201年）设楚国（郡）治所彭城县（今江苏省徐州市），沛县属楚国（郡）。

西汉景帝三年（前154年）七国之乱后，由楚国（郡）南部辖地析置沛郡，治所在相县（今安徽省淮北市相山区）。辖县37个，40余万户、200余万人。辖境相当于今安徽省淮河以北，西肥河以东，五河县、泗县以西，河南省夏邑、永城，江苏省沛县、丰县等。

王莽改为吾符郡，属豫州。

东汉建武二十年（44年）六月，汉光武帝刘秀改封其子刘辅为沛王，郡改为沛国，沛国仍治相（今安徽省淮北市相山区）。西南部地区被归入汝南郡，统县减少到21，户20.095万，人口25.1393万。东汉时期沛国以及汝南郡，都属豫州刺史部管辖（今安徽省亳州市）。

东汉末年曹操是沛国西部的谯县人氏，他将原沛国包括郡治相县在内的绝大部分划归新建的谯郡，沛国范围大大缩小，沛国治所也迁移到了北部的沛县（今江苏省徐州市沛县）。

西晋统一后，沛国获得了原谯郡、下邳郡的部分地区，其辖区成为了一个南北较长东西狭窄的形势，统九县，复为沛郡，郡治迁回相县，后又移治沛县。

北魏移治萧县（今安徽省萧县）。

北齐天宝元年（550年），废沛郡，将沛郡并回彭城郡。

南朝宋置沛郡，治所在沛县（今安徽省天长市西三十里石梁镇）。南朝梁改为泾城、东阳二郡，南朝陈复为沛郡。

北周改称石梁郡。

隋废沛郡。

北魏侨置沛郡，属楚州。治所在今安徽省怀远县境。后废沛郡。

北魏延昌中侨置沛郡，治所在黄杨城（今河南省虞城县北二十九里利民镇）。

北齐废沛郡。

南朝梁侨置沛郡，属潼州。治所在淮阳县（今安徽省宿州市东北八十二里解集）。辖境相当今安徽省宿州市地。

东魏武定六年（548年），改沛郡为睢南郡。

东魏兴和二年（540年），侨置沛郡，属西兖州。治所在孝昌城（今山东省曹县西四十里）。辖境相当今山东曹县附近地。

北齐废沛郡。