胡楚材读书行，当官却不行，他在朝中当的是校勘旧书的校书郎，原本是一个十分清闲的官职，也符合他的秉性。可他在校书之余，偏要“关心时政”，与人闲谈时，不时流露出对“庆历新政”的支持。这项由范仲淹、富弼等主导的“庆历新政”，早已在一些守旧派的反对下宣告失败，范仲淹、富弼也早已被双双罢黜出京城。胡楚材的身边不乏那些好打报告的小人，他们会把胡楚材的言论逐级上告，胡楚材这个书呆子的日子当然就不好过了。无奈之下，他只好卷起铺盖走人，回到自己的故乡寿昌，重新过起了平民生活。
回到寿昌的胡楚材，整天把自己关在屋子里读闷书，或独自一人出门寻山水，以排遣心中的苦闷。他在城南（今
河南里村的默山下）找到一个好去处，并在这里盖了一座简陋的草堂，把家中的藏书全都搬到这里来。后来，一些有志之士也慕名而来，拜他为师。时间一久，胡楚材身边的学生越来越多，他自己也渐渐地从苦闷中走了出来，不再为官场的勾心斗角而心生不悦，倒是寿昌周边那些平时被忽略了的山水，让他重新找回了青少年时期的快乐时光。