“早宿宾从劳，仲春江山丽，飘风过无时，舟揖不敢系。”这是48岁的杜甫于公元769年所作《
宿凿石浦》中的一段诗句。当时诗人从岳阳泊舟湘江南下衡阳投奔好友，途径株洲，为凿石浦的美景所吸引，便登岸浏览，在庆霞寺夜宿一晚，因而留下了如此千古佳句。
到了南宋，书法大家米芾因为钟爱杜甫的诗文，决心重温诗圣溯湘江而上的路径。他来到了杜甫夜宿的庆霞寺游览、吊唁自己的偶像。在拜谒完杜甫草堂后，米芾发现了一块伸入湘江、状如象形的巨石，于是有感而发写下了“怀杜岩”3字，后来，人们在这块巨石上刻上了米芾写的这3个字。“怀杜岩”因此而得名。
769年仲春时节，带着老婆孩子的杜甫，托舟湘江，在凿石铺靠岸。杜甫一家老小，住进了堤岸上的庆霞寺。从庆霞寺放眼望去，奔腾了千里的湘江，突然来了一个90度的转弯，掉头向西，江边风景如画！诗人写下了“早宿宾从劳，仲春江山丽”的诗句。
公元1098年，书法家、画家、书画理论家
米芾怀着对诗圣的敬仰之心，来到凿石铺，吊唁诗圣。在拜谒了杜甫之后，米芾对这块伸入湘江的巨石十分喜爱，他登临石上，挥毫写下了“怀杜岩”。米芾离开后，时人将米芾留下的墨宝，磨崖而刻之。