河清三年（564年），斛律羡转任
使持节，都督幽、安、平、南、
北营、
东燕六州诸军事，
幽州刺史。同年秋天，
突厥十多万兵众寇掠州境，斛律羡统领诸将抵抗。突厥部众见齐军军容整肃，而不敢交战，马上派来使者请求归附。斛律羡等人估计有诈，告谕突厥说：“你们这帮人此次行动，不是来朝贡的，而是准备见机起事。如果是真心实意，就应该迅速回到你们的巢穴中去，再派遣使者前来。”于是突厥退走。
天统元年（565年）五月，突厥
木杆可汗遣使请求朝贡，斛律羡将此情况向朝廷作了报告，从此开始，突厥朝贡岁时不绝。两方和好，斛律羡起到很大作用。诏令加任他为行台仆射。斛律羡认为北虏多次侵扰边地，为防不测，就从库堆戍直至东海边，依山势的屈曲计算，共计两千多里的线上布防，其中两百里中的险要之处，或劈山筑城，或断谷修造屏障，并置立戍逻五十余所。又导引高梁水往北与
易京汇合，往东与潞联结，或灌田，或转运边地储集的粮草物资，于公于私都有好处。同年六月，因其父
斛律金去世而辞官，不久与兄长
斛律光官复原职，依然镇守
燕蓟。
天统三年（567年），斛律羡加位
特进。天统四年（568年），升任行台尚书令，另封高城县侯。
武平元年（570年），加任
骠骑大将军。当时斛律光之子
斛律武都担任兖州刺史。斛律羡侍奉北齐数帝，因谨慎坦直而被世人推许，虽然极其荣宠，但从不自矜自夸，到此时由于合门贵盛，斛律羡十分担忧。所以就上书推辞，还请求解除自己所有的官爵，北齐后主
高纬特意下诏不准许。同年秋天，进封爵位为
荆山郡王。
武平三年（572年）七月，斛律光被诛杀，高纬
敕使（皇帝的使者）中领军
贺拔伏恩等十余人乘驿马赶赴幽州逮捕斛律羡，又调领军大将军
刘桃枝、洛州行台仆射
独孤永业带领定州骑兵随后赶来，拟命独孤永业接替斛律羡的刺史职位。贺拔伏恩等抵达城郊，把守城门的士兵慌忙向斛律羡报告，还建议紧闭城门。斛律羡说：“朝廷派来的使者岂可不让进城？”出门相见，
贺拔伏恩拉着他的手，将他捆绑起来，随即在长史厅处死。斛律羡临死前哀叹着说：“女为皇后，公主满家，出入有三百兵士护卫，如此富贵，怎能不败！”但朝廷宽宥了他的五个儿子斛律世达、斛律世迁、斛律世辨、斛律世酋、斛律伏护以及
斛律家年十五岁以下的孩子。
李百药《
北齐书》：①“少有机警，尤善射艺，高祖见而称之。”②“羡历事数帝，以谨直见推，虽极荣宠，不自矜尚。”
斛律羡与兄长斛律光二人年少时就擅长骑射，他们的父亲斛律金每天都要让他们俩出去打猎，回家后比较收获的猎物。斛律光有时猎物不多，但射中的都是要害部位。斛律羡虽然猎物不少，但射中的不是要害部位。斛律光常常得到奖赏，斛律羡时常遭到捶打。人们问其原因，斛律金说：“斛律光总是对准猎物的要害发箭，斛律羡却是随便动手，他打的猎物多，但箭术却远远不及他的哥哥。”听了解释的人都认为斛律金讲得很有道理。
斛律羡在未被杀害之前，忽然命令在幽州比斛律伏护年龄小的儿子五六人，颈戴枷锁骑驴出城，全家哭着送到城门口，晚上这几个儿子才回来。吏民十分地惊异。行燕郡守
马嗣明是医术之士，得到斛律羡亲爱，私底下问其缘由，斛律羡回答是这是为了
禳灾（古代时指行使法术解除面临的灾难）。几天之后，斛律羡就遭到杀害。