高令臣自幼丧父，努力学习，擅长文章，
高丽文宗年间登第。寿昌四年（1098年），历任右赞善大夫、吏部郎中兼枢密院右承宣。乾统元年（1101年）六月，出为东北面兵马使，半年后召为刑部侍郎兼右谏议大夫，任上“论议慷慨，无所屈挠”。
高丽睿宗即位后，拜为秘书监兼直门下省。乾统六年（1106年）三月，授左散骑常侍。
庆尚道发大水，高令臣奉使安抚，奏蠲公田税，百姓赖以苏息。乾统八年（1108年）七月，出为西北面兵马使。天庆元年（1111年）十二月，任礼部尚书，翌年二月移同知枢密院事，九月迁吏部尚书兼知枢密院事，天庆三年（1113年）七月擢检校司空、
参知政事。当时睿宗欲行新法，高令臣主张“祖宗成宪具在，不可纷更，但守而勿失可也”。后以年老致仕，天庆六年（1116年）二月二十二日去世，享年七十二岁，辍朝三日，谥号良敬。