嘉靖十五年(1536)冬,以
兵部左侍郎提督
两广军务。下诏
起复毛伯温讨伐
安南。潘旦路过他的府邸,对他说:“安南非门庭之寇。公宜以
终丧推辞。往来之间,少缓
师期。等其闻命求款,借机招抚,可百全也。”潘旦抵达两广,遇上安南的使者至,驰疏进言:“
莫登庸之篡黎氏,犹黎氏之篡陈氏也。朝廷将兴问罪师,登庸即有求贡之使,何尝不畏天威?乞容臣等观变,待彼国自定。若登庸奉表
献琛,于中国体足矣,岂必穷兵万里哉。”章下礼、兵二部。正好
族父潘珍因为进言得罪,尚书
严嵩、
张瓒放弃潘旦的建议不用。遇上毛伯温入都,见到潘旦的上疏不悦,进言总督任重,宜择
知兵者。于是改任潘旦为南京兵部左侍郎,以
张经代替。没有上任,称病请求
休致,言语冒犯毛伯温。
明世宗大怒,勒令
致仕。潘旦准备还乡,官吏例支
库金为路费。潘旦笑着说:“吾不以妄取为例。”