1990年6月1日，95岁高龄的
钱穆先生不愿时任“立法委员”的陈水扁指控他霸占公产，毅然搬离了
素书楼，住到台北市杭州南路自己家里。就在同一年的8月30日，钱穆抑郁而终。这件事被称为素书楼风波 。
钱穆1967年偕夫人胡美琦迁居台北。之后他们选择在山清水秀的
外双溪自建屋舍，胡美琦女士亲自设计绘制了屋舍图样。
蒋经国先生听闻此事，就要去图纸交
阳明山管理局办理施工。第二年，钱穆夫妇搬入新居，为纪念母亲，钱穆先生命名此楼为“素书楼”，自那时起，钱先生在此居住了20多年。
1990年5月，台湾政界再起争斗，台北市“议会”的一些“议员”抨击素书楼为“非法修建”，要“限期收回”。其实素书楼是由台湾“总统府”向台北市当局借用，并由“行政院”核可，租用实属合法。接租约规定，到1991年才期满，而且注明在期满后有权利可以续约再住下去，谈何“非法占用”？钱夫人也表示： “我们并非想永久住在这栋房子里，因为钱先生对这房子已有很深厚的情感，加上最近身体状况又不好，希望能够等他心情比较平衡了，再行搬迁。”
1990年6月1日，95岁高龄的钱穆先生不愿时任“立法委员”的
陈水扁指控他霸占公产，毅然搬离了素书楼，住到台北市杭州南路自己家里。
“素书楼风波”一直是钱穆去世前几年颇为烦心的事。钱穆所烦的并非房子一事，而是“非法占用”一说。他说： “平生严守隐居之素志，今不幸被卷入此是非之中，内心不胜感慨！余已95岁，实无精力与人争辩是非，生平唯服膺儒家所论士大夫出处进退辞受之道。”为了避免“享受特权”的误解，1990年6月1日，钱穆毅然搬出居住了二十多年之久的素书楼。台北市当局，以“非法占用公产”之名，逼迫钱穆搬出素书楼，此事发生在自称“复兴中华文化”之地的台湾，令人感慨；对于毕生贡献于中国文化事业、中外学人无论识与不识都衷心景仰的一代大学者，在晚年竟不让他有一个安居之所，未免太不人道。著名历史学家、台湾“中央研究院”院士许倬云对此事评价道： “
民进党的攻击及‘总统府’的冷漠，都令人寒心。这是一个对知识与智慧冷漠与轻视的时空，文化如何有重建的可能？” 钱穆从
中国文化大学退休以后，记忆力明显减退，身体大不如前。余英时在一篇回忆其师的文章中说： “最近十几年，我大概每年都有机会去台北一两次，多数是专程，但有时是路过。每次到台北，无论行程怎么匆促，钱先生是我一定要去拜谒的。……但最近两三年来，我确实感到钱先生的精神一次比一次差。今年（1990年）7月初的一次，我已经不敢说他是否还认识我了。”据
金耀基回忆，在钱穆从素书楼搬到市区杭州南路新居前不久，他去看他，“像往时一样，他坐在素书楼客厅同一位置，同一张红木椅上，面容消瘦，但那天精神比一年前所见似要好些，只是绝少开口了。记得他要了支烟，静静地抽着，听到我与钱夫人提到熟悉的事，他安安地点头，偶尔还绽露一丝笑容。……近两三年来，钱先生的健康明显差了，记忆力也消退了，我已再也享受不到宾老昔日谈话之乐了。”
许倬云也有同样的感受，他说他每逢返台，必去素书楼向钱穆请安求教，“前年（1988年）去时，他还就孟子
义利之辨，仔细
譬解，去年（1989年）暑期再去，他体力不差，但已不能清楚辨认来客，灵光如思如现，不能长在”，并感叹地说道： “一位巨人正在隐入历史，一位历史学家自己将成为历史了。”
1998年5月22日，想要竞选连任台北市长的陈水扁跑到这里参观，并声称要向钱穆夫人说抱歉。对此，台湾舆论认为，陈水扁有心要说抱歉早该说了，何必等这么多年，何况大师已乘黄鹤去，再说抱歉又有何用？
2010年8月30日，台湾当局领导人
马英九与钱穆夫人钱
胡美琦、大师故旧门生及至亲好友齐聚台北外双溪“素书楼”，出席钱穆逝世20周年追思会。在这场“向大师致敬”的聚会中，马英九就20余年前台湾发生污蔑钱穆先生“霸占公产”的素书楼风波，再度郑重向钱胡美琦表达歉意。
马英九在追思会中致辞表示，钱穆先生在历史、思想史上的成就，两岸及华人社会给予的评价在有增无减地提升；先生因家贫辍学，依靠努力自学而成才，他一生对中华文化的执着令人感动、敬佩。马英九说，他以饮水思源、追念大师的心情参加追思会，但也很感慨；钱穆先生在蒋介石邀请下来台，却因政治因素被迫迁离居住20余年的“素书楼”，以致于在搬迁后3个月辞世。对此，马英九引用《
论语·卫灵公篇》“君子疾没世而名不称焉”来描述先生所遭遇的不公不义对待。他说，这段风波让我
耿耿于怀，这是对文化的暴力，希望台湾再也不发生这样的事情。
钱穆1895年出生于无锡，先后任教
北京大学、
清华大学、
燕京大学、
北京师范大学和
西南联大，是中国近现代著述最丰富的史学家之一，一生留下《
国史大纲》、《
中国近三百年学术史》、《
国学概论》等57部学术著作；在港台和海外华文世界被视为弘扬中国传统文化的“一代儒宗”。2002年，台北市为纪念钱穆学术贡献，将“素书楼”改为纪念图书馆，委托
东吴大学管理，“素书楼”就此定名“钱穆故居”。如今，钱穆故居成为以文史哲学术研究重镇。