林远图原是福建莆田少林寺方丈红叶禅师之弟子，法号渡元。当时，华山派的岳肃和蔡子峰在一个偶然的机会中拜访福建莆田少林寺，师兄弟两人将《葵花宝典》分为两部分，两人各背一半，第二天两人匆匆离去。之后东窗事发，红叶禅师把《葵花宝典》烧毁，指派其得意弟子渡元和尚前去华山。他到了之后，指出秘籍里的武功非常凶险，劝两人千万不要修炼。岳肃和蔡子峰一方面道歉，一方面又向渡元和尚请教经中所载武学。但两人本并不知道渡元和尚从来没有看过《葵花宝典》。他不动声色，一边看一边随口解释，并在当晚离开了华山，在一个山洞中将自己所记得的经文写在自己所穿的袈裟上，而他也没有再回莆田少林寺。几个月后，红叶禅师收到渡元和尚的一封信，说他凡心难抑，决意还俗。渡元禅师本来姓林，还俗之后，便复了本姓。
红叶禅师临圆寂之时，召集门人弟子，说明《
葵花宝典》的前因后果，便即投入炉中火化，说道：“这部武学秘笈精微奥妙，但其中许多关键之处，当年的撰作人并未能妥为参通解透，留下的难题太多，尤其是第一关难过，不但难过，简直是不能过、不可过，流传后世，实非武林之福。”。而
林远图也很好的执行了了其师的遗愿，没有把辟邪剑法的精要所在传授出去，并留下“后世子孙不得翻看，否则后患无穷”等告诫。林远图死后，义子林仲雄掌管
福威镖局。林仲雄遵循养义父林远图的告诫，没有修炼辟邪剑法，使得福威镖局短短数十年间，由一个可以和武林世家并列的大镖局，落魄成了普通的江湖走镖的田地。