战国时期韩宣王置三川郡，以境内有河、雒、伊三川而得名。辖域相当于今河南黄河以南，
灵宝以东，
中牟以西的伊、洛流域和北汝河上游地区。
秦庄襄王元年（前249年），秦攻韩，韩献
成皋、巩，
秦国疆界至大梁，置三川郡，郡治
洛阳（今河南洛阳市东北），一说治
荥阳（今郑州市
古荥），辖域和韩国的三川郡相当。可考领县有洛阳、河南、荥阳、京、索、阳武、
缑氏、卷、巩、新城、启封、成皋、宛陵、
新安、
宜阳、
渑池、陕、梁、平阴。
王莽建立新朝后，改河南郡为保忠信乡，属县不详，属司隶校尉部。
建武元年（25年），
刘秀建立东汉，定都洛阳，为突出河南郡作为京畿之地的地位，于建武十五年（39年）将河南郡改称
河南尹，属
司隶校尉部。
永和五年（140年），辖有雒阳、河南、梁县、荥阳、
卷县、原武、阳武、中牟、开封、苑陵、平阴、谷城、缑氏、巩县、成皋、京县、密县、新城、偃师、新郑、平县共计21县。
三国时期属于
曹魏，称河南尹，辖有洛阳（旧称雒阳）、巩、河阴（旧称平阴）、成皋、缑氏、新城、偃师、梁、新郑、谷城、陆浑、阳城（旧属
颍川郡）、阳翟、荥阳、京、密、卷、阳武、苑陵、中牟、开封、原武共22县。
汉末时置有荥阳都尉，领荥阳等县。正始三年（242年）升格为
荥阳郡，辖有荥阳、京、密、卷、阳武、苑陵、中牟、开封计8县。魏末时废郡，划归河南尹。
泰始元年（265年），辖有洛阳、巩、河阴、成皋、缑氏、新城、偃师、梁、新郑、谷城、陆浑、阳城、阳翟、荥阳、京、密、卷、阳武、苑陵、中牟、开封共21县。
泰始、咸宁年间（265年-280年），废偃师入洛阳，谷城入河南，增置新安，河南郡辖有洛阳、巩、河阴、成皋、缑氏、新城、偃师、梁、新郑、谷城、陆浑、阳城、阳翟、新安共12县。
东晋建立时，河南郡故地归属汉国，是否置郡不详，此后河南郡先后归属
汉赵、
后赵、
东晋、
前燕、前秦、东晋、
后秦、东晋。东晋曾三次收复河南故地，重置河南郡。
永初元年（420年），
刘裕建立
南朝宋，河南郡领十一县：洛阳、河南、巩、缑氏、新城、梁、河阴、陆浑、东垣、新安、西东垣。河内郡寄治河南郡内，领十县：温、
野王、轵、河阳、
沁水、山阳、怀、平皋、朝歌。
天平二年（535年），分置
洛阳郡，领洛阳、缑氏二县。河南郡领县一，宜迁县，户三千六百四十二 口一万四千七百一十五。
大业三年（607年）废州置郡，再置河南郡，户二十万二千二百三十，领县18：河南、洛阳、
阌乡、桃林、陕、熊耳、渑池、新安、偃师、巩、宜阳、寿安、陆浑、
伊阙、兴泰、缑氏、嵩阳、阳城。
武德四年（621年），讨平王世充，改河南郡为洛州，领河南、洛阳、偃师、巩、阳城、缑氏、嵩阳、陆浑、伊阙等九县。河南郡作为正式的
行政区划之名终于此，成为洛州或
河南府的别称、雅称。