明诸生。生而有文在手，曰“八卦”，左耳重轮，右目重瞳。23岁时作《君子自勉论》，潜心理学，并躬行实践，与钱塘人虞鈖、蒋志春等组织狷社，授徒讲学。性至孝，授徒养母，三十未娶。有人问其缘故，他说：“结婚了就无以养母，鳏居算了!”归安沈士毅慕其义，妻以兄女，资使奉养。撝谦终不入私室，母丧服除，始成礼。家居清贫，淡泊名利，杭州知府、海盐知县几次造庐以请，均被拒绝。康熙十七年(1678)，诏征博学鸿儒，内阁学士
项景襄、
李天馥等联名推荐，亲朋亦有人相劝，但他仍称疾以老病不能行坚辞，后浙江巡抚替他说情，朝廷才免征。做学问不喜
陆王家言。曾说：“阳明之功谲而不正。”又说：“阳明自少独学无师，坚于自用，其论性论太极，亦颇与
程朱不同，然其教人用功，必以穷理格物为本，谨守朱子家法。”撝谦性介特，读书务必穷究底蕴。
著述甚丰，多达28种。其中有《周易集解》、《诗传》、《翼书传拾遗》、《春秋传考》、《礼学汇编》、《论孟拾遗》、《学庸本义》、《孝经辨定》等经学专著。还有《古乐书》2卷，“议论醇正，考订简核，深得要领”，并自序阐发礼乐与治道的关系。他的《性理大中》28卷，人称“王学考”。另著有《潜斋文集》十卷，《教养全书》四十一卷，《性理大中》二十八卷，《古乐书二卷》等，均《
清史列传》并传于世。
《教养全书》41卷，分选举、学校、治官、田赋、水利、国计、漕运、治河、役师、盐法十大考略，仿《
文献通考》而成，于明代事实特详。