建元二年，为给事中、
骁骑将军。永明五年，为左卫将军，加给事中。谐之风采瑰润，善自居处，兼以旧恩见遇，朝士多与交游。六年，迁都官尚书。上欲迁谐之，尝从容谓曰：“江州有几侍中邪？”答曰：“近世唯程道惠一人而已。”上曰：“当令有二。”后以语尚书令王俭。王俭意更异，乃以为
太子中庶子，领左卫率。谐之有识具，每朝廷官缺及应迁代，密量上所用人，皆如其言。
虞悰以此称服之。十年，转
度支尚书，领卫尉。卒，赠右将军，豫州刺史，谥号为肃。
沈约《怀旧诗·伤胡谐之》：豫州怀风范，绰然标雅度。处约志不渝，接广情无忤。颉颃事刀笔，纷纶递朱素。美志同山阿，浮年迫朝露。
上方欲奖以贵族盛姻，以谐之家人语傒音不正，乃遣宫内四五人往谐之家，教子女语。二年后，帝问：“卿家人语音已正未？胡谐之答曰：宫中人少，臣家人多，非唯不能得正音，遂使宫人顿成傒语。帝大笑，遍向朝臣说之。
既居权要，多所征求，就梁州刺史范柏年求佳马。范柏年患之，谓使曰：“马非狗子，那可得为应无极之求。”接使人薄，使人致恨归，谓谐之曰：“柏年云，胡谐是何奚狗，无厌之求。”谐之切齿致忿。时王玄邈代柏年，柏年称疾推迁不时还。谐之言于帝曰：“柏年恃其山川险固，聚众欲擅一州。及柏年下，帝欲不问，谐之又言：“见兽格得而放上山。