父亲杨师道去世，杨豫之品行不端，
唐太宗曾经对群臣说：“孩子有孝与不孝之分，臣子有忠与不忠之别，你们看见不孝之子、不忠之臣，难道不会厌恶吗？不孝之子，父母去世后，肆意作恶，于
名教有亏，是因为行事不遵守规矩法度。就比如杨师道的儿子，礼节欠缺，实在难以饶恕，如果教导得宜，纵然愚钝鄙陋，也不会变成恶人，你们家中都有子侄，记得把这些话都告诉他们，无赖的人不足以抚慰存恤。”于是让
司徒长孙无忌前往杨豫之的家中，将他的财产以及仆人全都分给了他的长姐和同母兄赵斌等人。
贞观二十二年（648年），在母丧期间，与姨母永嘉公主淫乱。后来，被永嘉公主驸马
窦奉节所擒，捶打数下，割去耳鼻后死去。