同年，许三礼莅浙江
海宁县知县。海宁“县多朝贵”，“素号难治”，他把“一切升沉得丧”“置之度外”，采取了许多果断措施，整饬县政，兴利除弊。他对于办学颇为重视和热心，到海宁的第二年，便利用旧庙宇办起了“正学书院”。并拿出自己的部分俸金，请了一些有学问的人到书院担任塾师。来求学的生员，若确实贫穷，交不起束脩的，也准许入院读书。许三礼还创办了“海昌讲院”，亲自到讲院授课，并延聘了一些知名学者讲学。康熙十五年（1676年），
黄宗羲应许之邀，赴海宁讲学。此后，一直往返于
余姚、海宁间，主持海宁讲席达5年之久。
海宁县境内有两条河，因长久失修，河道狭窄，河床淤塞，旱则干涸，涝则横溢，商船不通，农田受害。许三礼即组织人民疏浚河道，并在两岸栽植桑树。自此，商船往来不绝，数十万亩农田得以灌溉，桑树繁茂，郁郁葱葱。他还主持纂修了《海宁县志》。许三礼在海宁8年，政绩卓著，受到朝野众多人士的赞颂，诚然“举循吏第一”（黄宗羲语）。
康熙二十年（1681年）秋，许三礼入京考授御史。滞留京师期间，著有《易贯》一书。二十三年七月，莅任福建道监察御史，并以此职先后掌山东道事和江南道事。二十六年六月，兼掌登闻鼓厅事。同年八月，任通政司右参议。二十七年三月，升提督四译馆、
太常寺少卿。七月，转任大理寺少卿。十月，充武殿试读卷官。十二月，迁
顺天府府尹。
康熙二十八年（1689年）四月，许三礼升任都察院
左副都御史。时原任刑部尚书徐乾学结党营私，争权夺利，并纵容子侄贪赃受贿，广占田产。许三礼上疏弹劾之。徐乾学的三弟徐秉义，文行兼优，他则向朝廷恳切举荐，希望能够加以重用。