三国魏景初二年（238年），置汝阴郡。东晋咸康二年（336年），废汝阴郡。

三国魏景初二年（238年），置汝阴郡，治汝阴县（今安徽省阜阳市），属豫州。后废。

魏黄初三年（222年），分汝南郡东部11个县新置。

景初二年（238年），宋县改属谯郡；又分沛国的萧、相、竹邑、符离、蕲、銍、龙亢、山桑、洨、虹10个县入汝阴郡①，计领20个县。后又将项县划出，领19个县。

嘉平五年（253年），撤销汝阴郡，仍改为汝阴县，9个县还属汝南郡。（①《三国志 魏志 明帝纪》：景初二年，“分沛国萧、相、竹邑、符离、蕲、銍、龙亢、山桑、洨、虹十县为汝阴郡，宋县、陈郡苦县皆属谯郡”。但史家多认为此文显有错误。吴增仅《三国郡县表附考证》中证明《魏志》所列十县与汝水相隔百里，与汝阴诸县不相连接，从而认定此文确实有误。他提出“……十县为汝阴郡”中的“为”是衍文，因此原文应读作：“分沛国萧、相、竹邑、符离、蕲、銍、龙亢、山桑、洨、虹十县，汝阴郡宋县，陈郡苦县，皆属谯郡。”）

西晋泰始二年（266年），分汝南郡复置汝阴郡（仍治汝阴，今阜阳市区）。辖境相当今安徽省颍河流域以西和河南省新蔡、淮滨等县地。

太康四年（283年），封司马谟为汝阴王。七年，无子，国除，复为汝阴郡，领8个县。设汝阴（仍治今阜阳市区）、慎（仍治慎故城）、原鹿（仍治原鹿故城）、鲖阳（仍治今临泉县鲖阳镇）、宋（仍治新故城）、固始、新蔡、褒信8个县。

惠帝增置新蔡郡，平舆、鲖阳2个县改属豫州新蔡郡。

永嘉乱后，汝阴郡被刘汉国将石勒攻陷。永嘉二年十月，刘渊称帝，封其子刘景为汝阴王。五年，全境没入刘汉将石勒。

东晋初年，祖逖北伐，汝阴郡大部收回。大兴三年（320年），豫州刺史祖逖自谯退守封邱。四年，豫州刺史祖约代兄祖逖。

永昌元年（322年），祖约退守寿春。

太宁三年（325年），豫州全部入后赵，汝阴郡全境属后赵。

石鉴青龙元年（349年），冉魏取代后赵，占领全郡，仍旧制。

永和六年（350年）后，冉魏豫州刺史冉遇降东晋，复属东晋。汝阴郡（治汝阴，今阜阳市区。后赵建武三年即337年，石虎封其子石琨为汝阴王，为王国，仍都汝阴）领5个县，设汝阴、慎（仍慎故城）、原鹿（仍治原鹿故城）、平舆（仍治古城子）、鲖阳（仍治今临泉县鲖阳镇）5个县。

建元十六年（380年)，增置东豫州（治许昌），其中，汝阴郡（仍治汝阴，今阜阳市区），领8个县。

元熙二年（420年)六月丁卯，刘宋代晋，仍“义熙土断”后旧制。汝阴郡直至宋泰始三年（467年）才陆续入北魏。在此之前，此处为南北争峙场所。

永初三年（422年），北魏趁宋武帝刘裕死，发兵淮北，占领汝阴郡。神三年，北魏太武帝拓跋焘封长孙道生为汝阴公。

宋元嘉十年（433年），刘宋夺回汝阴县。二十四年十一月，文帝封其第十子刘浑为汝阴王。二十九年，北魏攻占汝阴。

北魏和平二年（461年）七月，北魏文成帝封其弟拓跋天赐为汝阴王。

刘宋大明八年（464年），汝阴县复为宋有。

泰始三年（467年）二月，北魏攻占汝阴县失利，后入北魏。

北魏（386～534年）和平六年（465年），占领豫州。

天安元年（466年），宋淮西的汝南、新蔡、汝阳、汝阴、南顿、陈、颍川7个郡士民南奔。（晋书·地理志：汝阴郡魏置郡，后废，泰始二年复置。统县八，户八千五百。汝阴故胡子国、慎故楚邑、原鹿、固始、鮦阳、新蔡、宋、侯相、褒信。隋书·地理志：汝阴郡（旧置颍州）统县五，户六万五千九百二十六）

东晋咸康二年（336年），废汝阴郡。

东晋咸和五年（330年），侨置汝阴郡（今安徽省合肥市）、汝阴县，属豫州。

南朝宋永初元年（420年），改汝阴郡名南汝阴郡，仍治侨置汝阴县，属南豫州。

南朝齐属西豫州。

南朝梁天监五年（506年），改南汝阴郡为汝阴郡，迁南豫州治汝阴，属豫州。治所在汝阴县（今安徽省合肥市西北）。南朝梁太清元年（547年）七月甲子，改设合州于汝阴县，汝阴郡属合州。

隋开皇三年（583年），废汝阴郡。

北齐改汝北郡为汝阴郡，治所在王坞城（今河南省汝州市南）。辖境相当今河南省汝州市一带。

北周大象末，废汝阴郡。

唐武德四年（621年），改置信州；六年（623年），改为颍州。唐天宝元年（742年），改颍州为汝阴郡，治汝阴（今安徽省阜阳市区），领4个县：汝阴、颍上、下蔡、沈丘。乾元初，改为颍州。