1895年革差，永不叙用。后归杭州书院教席，精于说文之学，能篆书。张公束谓其所补钱警石冷斋勘书图，秀润天成，超然尘表，不愧名笔云。初典试山东，尝绘三香橼于扇，贻奖钜野魏生，传为佳话。1907年去世，葬于花山。
孽海花中唐卿的原型。卒年六十九岁。
喜藏书，外祖父
韩崇收藏颇富，后来所有藏书和金石器物被他所得。任山东学政时，收有
陈鳣“向山阁”的旧藏和孔氏”微波榭”的抄本数十种，建藏书楼有“万宜楼”，上下3层，中有庭院，以通天气，用转辘以取书。藏书家
王颂蔚、
叶昌炽曾登其楼观书，叶昌炽称“导登书楼，周览图史，宋元旧椠，士礼艺芸。相视莫逆，镇库之珍”。其所得宋元人集，如
周紫芝《太仓籴米集》、
陈基《夷白集》，凡数十种，皆孔氏微波榭抄本。藏书印有“万宜楼藏善本书记”。编有《万宜楼善本书目》1册，收有宋本13种，元本12种，明本、抄本、批校本、稿本数百种，皆为善本。其藏书于
光绪末遇火被焚数架。余所藏以8000元售给日本人，
王謇称其“蕞尔八千袁氏币，万宜楼闭宋元沦”。精于
小学，书画亦擅长。著有《能自疆斋文稿》。
覃研经学。历督陕、甘、江西、山东、广东学政。1894年(德宗光绪二十年)任
吏部右侍郎。次年，《
马关条约》签订，日本侵略者坚索台湾、澎湖，他力陈海疆重地不可弃。时光绪亲政，数召朝臣，其奏对尤切直，且反对后党掣肘，主张巩固帝位。12月与侍郎
长麟以信口妄言、迹近离间之罪名，被
慈禧太后下令革职，永不叙用。既罢归，主讲杭州
诂经精舍、
敷文书院。