东晋时，谓之悬瓠城。
兴宁二年，燕李洪等攻汝南，败晋兵于悬瓠，郡守朱斌弃城走宋。元嘉二十年，魏人入寇。时豫州刺史南平王铄镇寿阳，遣其属陈宪行汝南郡事，守悬瓠。魏人力攻，坏其南城，宪随方拒守，积四十余日，卒不能拔。明年，魏人南寇，陷悬瓠。寻复得之。泰始三年，汝南太守常珍奇以悬瓠降魏。齐建武末，魏主宏取沔北诸郡，复如悬瓠，既又诏州郡发兵集悬瓠。梁天监七年，魏悬瓠军主白皂生杀其豫州刺史司马悦，求救于梁。徐州刺史马仙卑遣兵赴之，寻复为魏邢峦所取。中大通三年，南、北司二州刺史陈庆之围魏悬瓠。太清初，侯景降梁，自颍州引兵屯悬瓠，既而梁将羊鸦仁入悬瓠，诏以悬瓠为豫州。明年，侯景败于涡阳，鸦仁以东魏兵渐迫，弃悬瓠还义阳，顿军淮上。自晋以来，尝为汝南郡治。隋始改置县于此，仍为汝南郡治。后因之。城东北有月旦里，汉许虔、许邵所居，亦名二龙乡。今城，明初洪武六年置，周五里有奇，惟东西南三门。八年，拓为九里有奇，增辟北门，又为水门二，一在南门之东，一在北门之东，以泄城中积水于汝河。成化二十年，增筑高厚。正德九年，流寇薄城，知府毕昭以砖石，增埤浚隍。隆庆三年，又复修治。崇祯七年，复增置守御之备，益浚旧隍，开南堤石门，引汝入壕，颇为完固。十五年，为贼所陷。