据周易藻《萧山湘湖志》中记载,湘云寺到了清咸丰辛酉年(1861)被毁,同治年间又重建,民国12年重修。湘云寺是汇聚文人的地方,曾活动“湖贤会”和“
湘湖吟社”两个文人团体。
清朝嘉庆年间有“湖贤会”,专祀有功湘湖诸人。光绪二十七年(1901)秋,黄元寿等人树帜骚坛,成立“湘湖吟社”,以“独留诗句寿
江山”;黄还留下《湘云寺》诗一首:“风景湘云寺最幽,压乌山下荡轻舟。老僧别有人间世,管领湖山一色秋。”为湘云寺留下佳句的诗人还有清代翰林院编修、贵州提学使的萧山人林国柱,还有曾写有《泊鸥山房集》《全浙诗话》《凫亭诗话》《越谚遗编考》《越画见闻》等著作的萧山人陶元藻诗:“禅扉两版带残晖,夹岸岚光冷翠围。望到白苹洲外路,卖鱼船载一僧归。”