幼小聪颖，可日记数千言。数次参加乡试都落选。南宋著名爱国词人
张孝祥看了俞的文章，甚为赞赏。南宋乾道二年(1166)考中进士。任建阳县尉时，原先惯例，捕获盗匪有赏。俞说：“捕盗，尉职也。若受赏，是利其为盗也。”于是革除了这一惯例。枢密刘珙知道此事后很器重他，调他到柳州任教谕。后又到四川任茶马干官。他用同样多的茶叶交易来的马比原先规定数多出5800余匹。于是又被提升为
司农丞，负责检查核实财政收支。他办事认真细致，从未出过差错。皇帝嘉奖他，并说：“使在职者皆如卿，天下何患不治？”他到秀州任知州，以往公库酿酒，每年都要分送许多给官员，美其名曰“效力酒”；州府管辖的11所犒军库，每年可得利息8万贯，也大多为官吏侵吞。俞了解诸多弊端后，便逐条上奏，一概加以革除，于是州府每年增加税收达百万缗。
俞任金部郎中，所提的建议多被采纳。任浙西提举，不久又改任浙东提刑。在任期间，浙东的许多冤狱得到平反。后又任太常少卿、中书舍人、吏部侍郎。在吏部任上，值全国大旱，皇帝向百官征求意见。俞奏请皇帝“振纪纲，不可假外戚以柄”，拳拳之心，皇帝却并不当回事。于是一连几次上书，请求引退。被授以文华阁待制，回到建宁，在云谷（今水南）筑室而居，自称云谷老人。