汉武帝元狩六年（前117）置临淮郡，郡治徐县（今江苏省泗洪县南），下辖
徐县、赘其县、
高山县、盐渎县、
取虑县、犹县、
开阳县、
射阳县、
淮浦县、
东阳县、
僮县、
海陵县、
淮阴县、
淮陵县、
下相县、富陵县、播旌县、
西平县、睢陵县、
盱眙县、
舆县、
堂邑县等29个县。
新朝始建国元年（9）改名
淮平郡。东汉初，并入
东海郡。
东汉建武十五年四月丁巳，
刘秀封其子
刘衡为临淮公，改临淮国。十七年六月癸巳，未及封王，无子，国除为临淮郡。东汉临淮郡仍治徐县，领下邳县、徐县、高山县、取虑县、淮浦县、淮阴县、淮陵县、下相县、潘旌县、睢陵县、盱台县、夏成县、夏丘县等县。
太康元年(280年)，分下邳国在淮河南岸的县置临淮郡，治盱眙(今江苏盱眙市区北)，领高山县、赘其县、淮陵县、司吾县、徐县、盱眙县、潘旌县、高邮县、下相县、东阳县等10个县，永宁元年(301年)，临淮郡更名为临淮国，义熙七年(411年)，改设盱眙郡。
刘宋初复置临淮郡，治海西县（江苏灌南县境内），领海西县、射阳县、凌县、淮浦县、东阳县、长乐县六县。南齐建武二年（493）省。
北朝东魏武定六年（548）取粱之仁州，置临淮郡（治今安徽固镇仁和集）。临淮郡领已吾县（治今安徽固镇仁和集）、义城县（治今安徽
怀远县拖城）。