成化二十三年（1487）
进士。正值
明宪宗驾崩，
明孝宗即位刚二十日，
礼官请求明孝宗身穿
衰服御西角门视事，次日脱去衰服，更换为
素服，身穿
翼善冠、
麻衣腰绖。明孝宗不许，命等二十七日后行之。至百日，明孝宗以
大行未葬，麻衣丧服如故。潘府上疏请行三年之丧，进言：“子为父，臣为君，皆
斩衰三年，仁之至，义之尽也。
汉文帝遗诏短丧，止欲便天下臣民，
汉景帝遂自行之，使千古
纲常一坠不振。
晋武帝欲行而不能，
魏孝文帝行之而不尽，
宋孝宗锐志复古，易月之外，犹执
通丧，然不能推之于下，未足为圣王达孝也。先帝奄弃四海，臣庶衔哀，陛下恻恒由衷，麻衣视朝，百日未改。望排群议，断自圣心，执丧三年一如
三代旧制。诏礼官参考载籍，使丧不废礼，朝不废政，勒为
彝典，传之子孙，岂不伟哉。”疏入，潘父身穿孝服，等待处罚。明孝宗下诏让
辅臣和礼官详议，并持成制，于是没有实施。
潘府通过
谒选，授
长乐知县，教民行《
朱子家礼》。潘府躬行郊野，劳问疾苦，
田夫野老咸谓潘府亲己，面求
笔札，潘府则欣然与之。升任南京
兵部主事，陈军民利病七事。
丁父忧，
服除，补任
刑部主事。正值旱蝗灾、
星变，北寇深入，
孔庙受灾，潘府上疏请求
内修外攘，以谨天戒。又上救时十要。为了便于赡养，改任南京兵部主事，升任
兵部武选司
员外郎。
兵部尚书马文升知其贤能，
超拜广东提学副使。
云南昼晦七日，楚妇人须长三寸，上
弭灾三术。因母亲年老请求
休致，不待回复而归乡。
吏部尚书杨一清、
巡按御史吴华屡次推荐其
学行，始终不出山。
嘉靖元年（1522），
言官交相推荐，起任
太仆寺少卿，改
太常寺少卿，
致仕。潘府归乡后，隐居南山，
布衣蔬食，惟以发明经传为事。当时，
王守仁在他的家乡讲学，相去不百里，颇有异同。潘府曾说：“
居官之本有三：薄
奉养，廉之本也；远
声色，勤之本也；去谗私，明之本也。”又说：“荐贤当惟恐后，论功当惟恐先。”
嘉靖五年（1526）六月，去世。按照惯例，四品有祭无葬。
明世宗看重潘府的孝行，特诏赐
祭葬。