隋末,曾任右监门郎将、直阁将军。大业十三年(617),瓦岗军领袖
李密率军攻下
洛口仓(今河南省巩县),并增筑洛口城。庞玉统率关中精兵,跟随
王世充与
李密作战。秦王
李世民攻打洛阳时,统率万余骑兵投降唐高祖。作为隋朝旧臣和陇西故人,得到了唐朝的礼遇。庞玉身材魁伟,英武有力,明晓军法,久守宫禁,熟知朝廷典制,授左领军、左武卫二大将军,成为众将的行为楷模,出任
梁州(治所在今汉中市东)总管,转任
越州(今浙江省绍兴市)刺史。
唐太宗即位后,又召还长安,授右监门大将军,册封韩国公。作为资历老、有名望的大臣,掌管东宫兵马事务,身虽高龄,从不怠懈,大小公事无不亲自处理。贞观十一年(637年),去世。唐太宗为之废朝,追赠工部尚书、
豳州都督。
吴越王
钱镠《
镇东军墙隍神庙记》:“故唐右卫将军、总管庞君,讳玉,顷握圭符,首临戎政。
披榛建府,吐哺绥民。仁施则冬日均和,威肃则秋霜布令。
属垣爱戴,
黔庶歌谣。寻而,罢市兴嗟,余芳不泯,众情追仰,共立严祠。镇都雉之冈峦,宰军民之祸福。”