传说达摩将衣钵法器传给慧可以后，便离开少林去禹门（今洛阳龙门），禅栖在千圣寺，于东魏孝静帝天平三年端坐而逝。达摩死后，他的尸体按照佛教的礼仪装殓入棺，十二月隆重地移葬在熊耳山，在河南省陕县的定林寺内为他建造了一个墓塔，以作纪念。

达摩是北魏时期影响最大的禅师之一。达摩之死，对禅宗界来说，好像陨落了一颗明亮的星石，僧徒们为他顶礼祭拜，皇帝群僚为之合十赞叹。达摩圆寂，世人震惊。

然而东魏使臣宋云因事出使西域，许久未归，对达摩圆寂的事一无所知。达摩圆寂后两年，宋云从西域返回洛京。在途经葱岭的时候，看见达摩一手拄着锡杖，一手掂着一只鞋子，身穿僧衣，赤着双脚，由东往西而来。二人相遇后，宋云急忙停步问道：“大师，你往哪里去？”达摩回答说：“我往西天去”。接着又说：“你回京以后，不要说见到了我，否则将有灾祸。”二人道罢，各奔东西。

宋云以为达摩给他说的是戏言，丝毫没有介意。回到京城以后，向皇帝复命交旨时，顺便提到了他途经葱岭遇见达摩老祖回西天的事情。谁知话音未落，东魏孝静帝就发了火，怒斥宋云：“人所共知，达摩大师死于禹门，葬于熊耳山，造塔定林寺，你怎么说在葱岭遇见了大师？这分明是欺君，岂有此理！”说罢，便令殿角侍卫把宋云扭出殿外，五花大绑投入南监。

事隔数日之久，孝静帝坐朝审理宋云欺君一案。将宋云传上殿以后，孝静帝问道：“你在葱岭遇见达摩的事情，究竟是怎么回事，你要如实说来”。

宋云先叩头，后说话：“皇上容禀：葱岭见达摩，祖师光着脚，一手拄锡杖，一手提只履。僧衣随风飘，翩翩向西行。称要回西天去，并嘱咐我不要将这件事说出去，假若说出去，便会有灾祸。臣以为是戏言，兼之不敢欺瞒圣上，便如实奏陈。臣所言，句句是真。不敢欺圣上，万望圣察。”孝静帝听了以后，半信半疑，无所适从。群臣们在殿角下，也是议论纷纷，有的说：“达摩辞世，人所共知，哪有死人还阳的事？宋云犯的是欺君之罪，应当依法处置。”有的说：“达摩西归宋云见，监禁岂敢再欺天，既然真假是非难辩，可以开棺验证。”

孝静帝采纳了后一条建议，遂命人开棺视之，棺中空空，只剩下一只鞋子。宋云蒙受的不白之冤遂平反昭雪。

少林寺碑廊内，还有一块《达摩只履西归圆碑》，上边刻有四句话：

达摩入灭太和年，熊耳山中塔庙全。

不是宋云葱岭见，谁知只履去西天。

达摩只履西归的神话故事，流传很广，历代游人留下不少赞颂诗词。明万历年间，金忠士在《题达摩面壁》的七言律诗中写道：

渡江一苇浪花飞，九载跏趺坐翠微。

面壁已知僧入定，巢肩亦是鸟忘机。

无生色相俱成幻，有漏人天总悟非。

何事宋云葱岭见，少林风雨怅西归。