留余山居原位于南高峰北麓，为
清代著名的园林景观。2004年，在原址附近按古籍记载的留余山居布局复建该景观，沿用留余山居旧名。同时沟通水系，堆叠假山，重新添置楹联匾额，营造旧时景观。
据史料记载，由六通寺沿小径而上，树木草丛中，奇石林立，不可名状。有一泉从石壁下注，高有数丈，飞珠喷玉，直落崖石，水石相击，声若琴音。山居即在泉旁，由泉左攀登至顶为楼，名“白云窝”，楼西为台，可供眺览，名“流观台”，台下有堂三间。清乾隆二十二年（1757），乾隆帝到此游览，赐题“留馀山居”四字为额，此名流传至今。山居旁另建有江亭、听泉亭（为乾隆御题西湖十八景之一）。
在南高峰。清《湖山便览》卷八：“在南高峰北麓，由六通寺循仄径而上，灌木丛薄中，奇石林立，不可名状。山阴陶骥疏石得泉，泉从石壁下注，高数丈许，飞珠歕玉，滴崖石作琴筑声，逐于泉址结庐，辅以亭榭，由泉左攀陟至顶为楼，曰‘白云窝’，楼西为台，以供眺览，曰‘流观台’。台下洞壑
窈窕，稍得平壤数弓，为堂三楹。乾隆二十二年圣驾临幸，赐题‘留余山居’四字为额。”《西湖新志》卷二：“有望湖楼、江亭、听泉亭诸胜。”今已不存。