潘乐刚出生时，有一只鸟停在其母的左肩，占卜者都说是富贵的征兆，于是为他起名相贵，后来相贵成为他的字。潘乐成年后，宽厚又有胆量和谋略。最初归属
葛荣，被授予京兆王，潘乐时年十九岁。葛荣败亡后，潘乐跟随
尔朱荣，作为别将讨伐北海王
元颢，因功封敷城县男。
高欢出镇晋州，招引潘乐为镇城都将。潘乐随从高欢在广阿击败
尔朱兆，进爵广宗县伯。潘乐因数次立功担任东雍州刺史。高欢曾经商议欲废弃东雍州，潘乐认为东雍州占有山河，边境紧连胡、蜀，地形险要，不可废弃，于是高欢才作罢。后来潘乐在河阴击败西魏军队，高欢召集诸将商议是否追击敌军，令赞成追击的人站在西面，不赞成追击的人站在东面，唯独潘乐与
刘丰站在西面。高欢很赞赏二人，因诸将意见不一致而放弃追击。朝廷改封潘乐金门郡公。
等到
高洋掌权，潘乐镇守河阳，击败西魏将领
杨檦等人。当时东魏孝静帝因怀州刺史
平鉴等所修筑的城池深入敌境，欲放弃，潘乐认为
轵关是要害，必须防固，于是修缮城墙，增置兵将，潘乐又还镇河阳，担任司空。北齐建立后，潘乐进玺绶。进封河东郡王，迁司徒。西魏
宇文泰率军东进至崤、陕，然后派遣其行台
侯莫陈崇从
齐子岭直取轵关，仪同杨檦从鼓钟道出建州，攻陷孤公戍。北齐朝廷诏令潘乐总统大军抵御。潘乐昼夜兼行，至
长子，派遣仪同韩永兴从建州西进攻侯莫陈崇，侯莫陈崇于是退走。
潘乐又担任南道大都督，讨伐
侯景。潘乐从石鳖出发，向南进军百余里，至梁泾州。泾州以前在石梁，侯景改为怀州，潘乐重新占据后，仍恢复为泾州，潘乐又攻克安州，担任瀛州刺史，接着攻略淮、汉。天保六年，潘乐在悬瓠去世。朝廷赠其假黄钺，太师、大司马、尚书令。
儿子：
潘子晃，嗣爵。尚公主，拜驸马都尉。武平末，为幽州道行台右仆射、幽州刺史。