胡翰自幼聪颖，异于常人。七岁时，胡翰路上拾到
遗金，坐在那里等待，直到还给失主才离开。胡翰长大后，跟随
吴师道、
吴莱学习古文，又师从
许谦。同郡人
黄溍、
柳贯以文章闻名天下，见胡翰的文章，赞不绝口。胡翰游元
大都，公卿纷纷赞誉。胡翰与
余阙、
贡师泰尤其友善。有人劝他
出仕，胡翰没有答应。胡翰归乡后，天下大乱，胡翰隐居
南华山，著书为乐。胡翰的文章与
宋濂、
王祎不相上下。
明太祖攻克金华，召见胡翰，命胡翰与许元等
会食中书省。后来，
侍臣向明太祖推荐胡翰，胡翰被召至
金陵（今
江苏南京）。当时刚刚将金华百姓编为士兵，胡翰从容进言说：“金华人多以
儒学为业，很少操演军事，编为士兵，浪费军饷而已。”明太祖于是作罢。授
衢州教授。
洪武八年（1375），胡翰被征召编修《
元史》，撰写
元英宗、
元睿宗实录及
拜住丞相等列传。书成，胡翰受赐归乡。胡翰爱北山泉石，定居其下，徜徉十余年而终。