李公遂生于至大元年十二月二十四日（1309年2月4日），出生不久后，母亲就去世，他在姐夫全思义家被抚养长大，事全思义如父。后凭门荫入仕，官至郎将兼监察纠正。至元六年（1340年）在
金永暾、
安轴主持的科举考试中状元及第。此后历任典仪注簿、成均直讲、成均司艺、艺文应教、典校副令、典校令、密直司右副代言、艺文馆直提学等职。
忠穆王时，他出任知申事、典理判书、监察大夫、密直副使、密直司使等职，并在至正八年（1348年）出使元朝，祝贺表妹夫
元顺帝的生日。回国后兼任监察大夫。至正十一年（1351年）十一月二十九日拜政堂文学，翌年迁佥议评理，又兼监察大夫，十月任三司右使。至正十三年（1353年）正月拜都佥议赞成事。至正十五年（1355年）被恭愍王推荐为征东行省都事，不久辞职，进封三重大匡、益山府院君。其时恭愍王诛灭奇氏，李公遂作为奇氏姻亲受到连累，多年不被重用。
至正二十年（1360年）红巾军一征高丽后，李公遂第二次被派到元朝，顺便侦察形势，但行至汤站，道路阻塞，便折返高丽，恭愍王怒斥：“虽死不可还！”李公遂一行只好硬着头皮再次出使，走到沈阳，滞留数月，道路不通，只好回国。翌年冬，红巾军再次大举东征高丽，李公遂被派到竹田抵御，但红巾军直取开京，恭愍王南逃福州（今韩国安东）。李公遂单骑追上恭愍王，恭愍王大喜，对他加以礼遇。至正二十二年（1362年）六月，再拜赞成事、判版图司事，在此期间负责守备刚收复不久的开京，招徕流民，恢复生产、兴建学校。
至正二十三年（1363年）三月，恭愍王听说
奇皇后为报杀兄之仇，执意要废黜自己，并派军队护送新王德兴君到高丽，于是派李公遂出使元朝做奇皇后的工作，避免元军入侵高丽。奇皇后问奇家为什么被恭愍王诛杀，李公遂回答：‘贪财聚怨，鲜有免者，势激而然，非王之心，非王之罪也。”宦官
朴不花密告于奇皇后说：“李公遂但为其主，岂念其亲？”于是奇皇后不再召见李公遂，仍然派
崔濡攻高丽，并把李公遂留在元朝，本来打算授予他以德兴君统率的官职，他誓死不肯，其后任命他为元廷的太常礼仪院使，他也以“生长边方，言语不通，不习中国礼”为由推辞，但最终还是出任。至正二十四年（1364年）七月，
孛罗帖木儿入京，奇皇后倒台，元朝恢复恭愍王的王位，李公遂获准归国，他出了齐化门后就让奴仆吹笛，并对随从说：“天下之乐，复有加于此者乎？”十月二十五日，李公遂回到了阔别一年半的开京。恭愍王本来曾授予他左政丞之职，后又谣言说他接受了德兴君的官职，便免了他的这个职位。其后使团向高丽密传消息，要恭愍王提前防备，恭愍王才知道他的忠诚。回国前夕，授予他“领都佥议”这一名誉性的最高官职，又加“忠守义同德赞化功臣”号。至正二十五年（1365年）六月封益山府院君。
李穑：公之精明慎谨，一时耆旧大臣罕见其比。至于果断刚毅，屹然不为形势所窘，而风流闲雅，山野之趣，有不能自掩焉者。