南岩山离县城西7公里处，庄子《逍遥游》中记：任公子以九牛为饵临东海钓鱼，三年不得；得而腊之，分食大众，使江浙一带三年不吃其它鱼。

所说的钓鱼处就是现在的南岩。据考证，南岩在远古时期确为一海湾，现岩中有贝螺壳之物。南岩山于东晋永和时始筑小寺、南朝宋元嘉中建寺殿于崖中。为新昌最大的寺院之一。清光绪重建，南岩山有洞，洞高30米、深24米，面积1400平方米。并有任公子钓台，化云洞、乳香洞、月光洞、玉女矶、滴水洞等众多洞穴景观，扑朔迷离，引人入胜，三面环山，一面穹野，山清水秀，茂林修竹，是假日休假的好去处。

前人对南岩多有褒扬之词。唐诗人李绅《龙宫赋》曰：“南岩海迹，高下犹存”；宋王十朋《会稽赋》曰：“南岩嵯峨，海迹古兮。”县志载：“世传大禹治水，东注积沙成岩，岩下海门也。”既是由海湾上升而来，南岩于是便在岩壁砂中，依稀可辩有蟹壳贝片之类镶嵌其间，以物触之，纷纷而落。这特定的山岩地壳，因为千百年的风剥雨蚀，大洞小洞奇洞怪洞也成了自然的造化。