相传桓武天皇(公元737~806年)在南殿时,一只黑鸟携一口太刀飞来伏于帝前,说明自己是伊势神宫来使后便飞走了,并将太刀留在了原地。传说此鸟绝非凡鸟,而是在日本神话中深有影响的八尺鸦。太刀“小乌丸”因此而得名。
元历二年(1185年)三月,源平两军在门司和赤间之间的坛之浦海面展开了最后的决战,战斗之惨烈,平家的武士几近战死,妇孺全数跳海自尽。
坛之浦之战,平氏灭亡,自此,见证了平氏辉煌和衰亡的“小乌丸”也不知所踪。
600年时光白驹过隙,
江户时期的天明五年(1785年),失踪的“小乌丸”竟然神秘的重现了。平氏的后裔伊势家展示了小乌丸及其刀装,以及世代流传的相关文书记载,其文书所记“本家远祖贞盛因讨伐将门得以恩赏,赐小乌之剑。嫡子相传至贞丈,三十代”。宽政十二年(1800年)编写的《集古十种》也刊载了小乌丸的绘图。
明治维新后,平知盛(平清盛四子)的后裔,对马藩的藩主,从伊势家手中买下了此刀。并于明治15年(1882年)献给了非常热爱刀剑的明治天皇,因此都称为御物,为宫内厅所有,委托东京国立博物馆代为保管,小乌丸再度回归皇室。
小乌丸的刀反极小,几乎是直刀,但在刀柄处大幅折回。这种姿态在毛抜形太刀等亦可见,从造型来推测,应是平安初期的作品。刀身前段为两刃,属于锋两刃造的一种,又被称为小乌丸造。后世有不少刀工模仿小乌丸的特殊造型(造入)制造了这种样式的日本刀。