他在宫廷中可能技艺最高，玄宗很是器重他，他在宫廷乐队中年纪较大资格老，有较高的声誉，常处于主宰的地位，受到
唐玄宗的赏识和偏爱。
有一天，唐玄宗李隆基与亲王下棋，当时著名的音乐家贺怀智在一边弹琵琶助兴，皇帝的爱人
杨贵妃站在一旁观看。突然，风吹掉了贵妃的领巾，正落在贺怀智头上，皇帝大笑，贺怀智则有些尴尬。回家后，贺怀智闻到自己的幞头巾上芳香不散。于是他找了个锦囊，将幞头巾装了进去。八年后，
安史之乱平息，已是太上皇的玄宗回到
长安，追思贵妃不已。此日，贺怀智觐见玄宗，呈上锦囊，里面染有贵妃香气的幞头巾令太上皇
老泪纵横：“这巾上的香气，是瑞龙脑香也！此香为交趾所献贡品，我曾赠贵妃十枚！”
另外，从宋沈括《梦溪笔谈》中，讲到他在王丞相家中得到过贺怀智的琵琶谱一册。可能是由于贺在宫廷乐队中的特殊地位，出于工作的需要或传授等原因，编撰了琵琶史上第一本乐谱集。