晋永兴元年（304年），分淮南郡的历阳、乌江2个县置历阳郡，治历阳（今安徽和县历阳镇），属扬州（治今南京市）。
西晋置
义熙九年（413年）“土断”后，扬州正式退出江淮地区，历阳郡改属豫州。
南朝宋永初三年（422年）二月，改属南豫州（治历阳）。
元嘉七年（430年）十月，还属豫州（治睢阳，今寿县城关镇）。
大明三年（459年）七月丙戌，改属南豫州（仍治历阳）。
泰始二年（466年）九月，历阳郡改属东豫州（仍治历阳）；三年五月辛酉，又属豫州（治睢阳）。
南朝齐初历阳郡属南豫州（治历阳，今和县历阳镇）。
永明二年（484年），历阳郡改属豫州（治于湖，今芜湖县境）。
南朝梁太清元年（547年）六月，历阳郡改属扬州（治建康，今南京市）。
北齐天保六年（555年）冬，升历阳郡为
和州（治历阳郡）。
南朝陈太建五年（573年）五月，南豫州改治历阳（今历阳镇），废和州。历阳郡属之。
太建十一年十一月，历阳郡属北周和州。
隋开皇三年（583年），废郡入和州。
大业三年（607年）四月，改和州为历阳郡（治历阳），属扬州刺史部。
唐武德三年（620年）六月改历阳郡为和州（仍治历阳，今历阳镇），设历阳、乌江（仍治今
乌江镇）2个县。
唐天宝元年（742年），和州改为历阳郡（仍治历阳）。
至德元载（756年）十二月，历阳郡改属淮南节镇（治扬州）。二载十二月，历阳郡复名和州。