他按其仙翁指点，采药炼丹，救苦救难，最后乘坐石船飞升而去。
潘茂名飞升仙去后，当地群众创建有10多座不同风格的纪念建筑，以志纪念。
潘仙祠是
潘茂名综合型的纪念建筑，原为潘仙亭，始建于明代天启元年（公元1621）。
潘仙祠原与石船丹灶相隔，灵气不通，而且祠路要从冼太庙左边进入，又为冼庙所压。后来，为了开通气脉，便将广福庙迁走，原广福庙址归入潘仙祠，专祀潘仙，以翕聚一邑之灵秀。
潘仙祠前殿外的空旷地上，有
潘茂名的石船丹灶遗迹。在丹灶上部盖有一亭，称“炼丹亭”。石船丹灶遗迹与潘仙祠连成一体，形成一个统一的建筑群体。
毛茸茸的苔藓，包裹着一条神秘的石船，形成一个特殊的奇特景观，这个景观称作“石船苍藓”，是过去
高州八景之一。
这是一个神秘的遗址，吸引了无数游人前来观赏。因此，
潘茂名的丹灶遗址也成为
高州八景之一，称为“潘坡丹灶”。
“石船苍藓”、“潘坡丹灶”与潘仙祠，形成一个不可分割的统一建筑群体，是文化旅游的著名景点之一。明代
高州知府孔镛曾为石船丹灶景点题诗曰：