洪武七年（1374）五月，被征召为
刑部侍郎。他向皇上写信说：“
中书省里里外外共有百余个官署，都接受御史、按察使的监督，但
御史台却没有定期考核，应该命令守院御史一体考核。
磨勘司官员数量太少，难以胜任检查全国钱粮的任务，请求增加官员若干员，各分为不同的科目。在外省卫，凡讨论军队和老百姓的事务，大家意见有分歧，致使事情一直拖延。请求选用
按察司一人负责纠正。”明太祖完全采纳了他的意见。
洪武八年（1375），因受到牵连，降职
刑部主事，他陈述时事，达数万言。明太祖命令
中书郎王敏读给他听。其中说，几年来有才能的人，一百人中难得有一、二人幸存，当今任职的官吏都是
迂腐文人和无能官吏。其中有很多忤逆和触犯明太祖的话语。明太祖大怒，召见茹太素当面责问，并在朝廷上杖打。第二天傍晚，明太祖再次在宫中令人朗读茹太素的信，从中体悟到了四条可行的建议，于是感叹说：“当皇帝难，做臣子也不容易。我之所以要求臣子直言，是希望他们能切中事理。文辞写得太多，便到了不知所云的地步。茹太素所呈意见，其实只要五百字就够了。”因而下令中书
制订上奏的格式，杜绝大臣呈述奏文
繁琐冗长。同时摘抄茹太素上奏中可行的有关条文下发到有关部门。明太祖亲自在前面作序，颁发朝廷内外。
洪武十八年（1385）九月，晋升为
户部尚书。没多久，茹太素降职为御史。后因陷害
詹徽之事牵连，茹太素和同僚十二人都被送进监狱治罪。后来茹太素因有罪被处死。
茹太素刚正不阿，几次差点被治罪，明太祖都宽容他。有一天，明太祖在
便殿设宴，恩赐茹太素喝酒，说：“金杯同汝饮，白刃不相饶。”茹太素叩头称是，即而续韵对答说：“丹诚图报国，不避圣心焦。”明太祖闻此十分伤感。