扫叶楼始建于1664年，明清式样，砖木结构，覆小瓦，三层，建筑面积约400平方米，占地面积约270平方米，楼前翠竹婆娑，绿树掩映，平台远望，楼后庭院内假山层叠，与善庆寺前石阶结合一体。善庆寺亦明清式样，建筑面积329.7平方米，占地面积630平方米。1989年重新修复扫叶楼时将楼后庭院与善庆寺连成一体，成为一组结构完整、景致优雅的古建筑群。
龚贤，明末清初著名画家和诗人，山水画造诣卓越，被推为“
金陵八家”之首，著有诗歌《草香堂集》等；晚年定居此处，并以屋旁余地半亩建园，栽花种竹，名“
半亩园”，曾自写小照，着僧服，作扫落叶状，因名所居为扫叶楼。此楼前后三进，陈列着龚贤作品的摹品和复制品、当代书法家所书龚贤的诗作及一些画展作品，楼前可见嵌在壁间的由林散之所书的“
龚贤故居”刻石，院落简朴大方，处处体现着主人与世相忘，潜心书画的书香氛围，置身阁楼伫听风雨声，你会有一径风声飞落叶，六朝山色拥重楼的震颤。当年，龚贤曾这样介绍过自己的居所：清凉山上有台，亦名清凉台。登台而观，大江横于前，钟阜枕于后，左有莫愁，勺水如镜，右有狮岭，撮土若眉。余家即在此台之下。他的许多画和诗，就是在此孕育、构思和创作的。
扫叶楼在“
文化大革命”中遭破坏，1979年10月修复，并将楼后
善庆寺与楼侧茶社以花墙围之，构成一组古建筑群。2000年初在“
龚贤故居”的基础上设置
龚贤纪念馆。纪念馆的门楣上有当代著名书画鉴定家
徐邦达题写的馆名，一楼为展示厅，集中展示当代著名书画家林散之、
萧娴、
陈大羽、
费新我等书写的与
清凉山有关的诗篇以及
龚贤的诗句。楼上为陈列室，
陈列柜中展示的是龚贤书画精品及诗文研究成果。楼后两个展厅不定期举办当代名家的书画艺术展览。
龚贤（1618—1689），字半千，号野遗，如柴丈人、半亩居人。
清凉山下人等都是他的号，江苏昆山人，是明末清初具有
民族气节的爱国主义书法家、诗词人,八股大家，被誉为“
金陵八大家（龚贤、
吴宏、
高岑、
樊圻、
叶欣、邹吉吉、胡 、
谢荪）”之首。龚贤7岁开始学画，他所处的时期正是明朝末期，
阶级矛盾，
民族矛盾空前尖锐。18岁时，来到南京参加诗社活动批判当时社会，后为了谋生，到了扬州，接着又到海安。1664年，龚贤回到南京，在清凉山下筑“
半亩园”，深居简出，不事权贵，过着清苦的隐居生活。他以作画为主，他的作品主要描绘南京地区的真山真水。晚年时的龚贤生活更加窘迫，主要以卖字、收学生,开讲堂教书法为主。1687年，龚贤结识了著名的戏剧家《
桃花扇》的作者——孔尚任，他对龚贤在物质和精神上的帮助很大。1689年，龚贤重病时于遭当地豪门权贵的迫害，他曾求助于孔尚任，然而还未等到孔尚任的帮助，72岁的
龚贤在饥寒交迫中病故了。龚贤死后，孔尚任为其料理了后事，葬回昆山故居。