始事太宗于藩邸；践阼，补殿前指挥使，稍迁本班都知，三迁至散员都虞候。雍熙中，幽州之师失律，大补军校，以霸为骁骑军都指挥使、领檀州刺史，戍定州。尝遇敌唐河，与战，败走之，斩获甚众。俄召为御前忠佐马步军都军头。端拱初，出为博州团练使，历潞、代二州部署。
淳化元年，擢殿前都虞候、领潘州观察使，为
高阳关副都部署，进都部署。凡七战。召还，制授保顺军节度，典军如故。出为镇州都部署，徙天雄军。
咸平三年，车驾劳师于大名，葛霸与
石保吉同来觐。当时，
康保裔没于河间府，即日以葛霸为贝州、冀州、高阳关前军行营都部署。二月，就迁副都指挥使。未几，改邠宁、泾原、环庆三路都部署。四年，迁侍卫马军都指挥使、感德军节度。
景德元年，河决于澶州横垅埽，命为修河都部署。未行，属北边有警，宋真宗议亲征，以葛霸为驾前西面邢洺路都部署，又副
李继隆为驾前东面排阵使，驻澶州。明年召还，以功特加封邑。上言朝廷居明德心丧，尚遏音乐，请停迎授之制，奏可。是年冬，以霸久典兵，年且老，罢军职，授昭德军节度、并代都部署。时廷臣有隶麾下者，颇扰军民，霸昏耄，为所罔，真宗知之，故有是召。