张衡十二岁，正逢元末天下大乱之时，有
朱元璋的部队经过万安。由于朱元璋的死对头
陈友谅在万安一带经营时间长，朱元璋的部队如今打败了陈友谅残兵，抓了一些人，押在船上，其中就有小小年纪的张衡。朱元璋军队中有个读了点书的小头目，巡舱时发现有个小孩子，看起来很机灵，不由起了
恻隐之心，试探着问：“小儿，你读过书吗？”小儿点点头。小头目高兴了，想试一下小儿的才学，望着赣江水，出了上联：“橹韵呕哑，几棹拨开鱼戏藻。”这联有点难度。谁知张衡一笑，顺口就说出了下联：“机声吚轧，千梭织出凤衔花。”这一下不但小头目惊愕不已，就是船上的军士也都齐声称赞。人们的谈论惊动了上官。上官过来一问，竟有这等奇事？再看张衡眉目清秀，
文质彬彬，又见这船队已走远了，便对他说：“你也没办法回去了，就跟着我，做我的养子吧。”张衡只好答应了。上官没有亏待张衡，带到任上，交给家眷照顾，并送他去书馆继续读书。
刘伯温知晓后，亦十分喜爱张衡，关心他的成长。