李安世幼年时期就非常聪颖。
兴安二年（453年），文成帝
拓跋濬提拔
侍郎、
博士之子为官，将官员子弟中的秀俊者提升为中书学生。当年李安世才不过十一岁，文成帝看到李安世年龄太小，叫去询问他。李安世向文成帝陈说自己祖父和父亲一辈的事迹，说的井井有条，文成帝就提拔他为中书学生。
文成帝拓跋濬每次去巡查
国子学的情况，李安世常常被文成帝叫出询问。文成帝赞赏他说：“你能坚持够这样，长大了就不用担心不富贵。”在为父守丧期间，李安世以仁孝博得名声。
献文帝天安元年（466年），李安世被拜为
中散。因为他性格温顺，而且做事谨慎，文成帝十分喜爱他。不久被提升为主客令。
齐武帝萧赜派遣使臣刘缵前往北魏朝贡。见李安世容貌甚美，而且举止言行十分得体，刘缵等私下里议论说：“没有君子，这个国家能发展的好吗？”刘缵等引李安世为典客。李安世说：“夏商周三代都有不同的礼仪，五帝的乐礼也都不尽相同。修建足以灭亡秦朝的宫殿，这能称之为上国吗？”
刘缵接着回答：“主客令的名称世代以来都有变化，一共有多少种称呼呢？”李安世说：“周朝的时候称之为掌客，秦朝统一之后改称为典客，汉朝时改名鸿胪，如今的名称是主客。”刘缵又指着方山说：“这座山距离燕然有多远呢？”李安世说：“差不多是建康（今江苏南京）和番禺（今广州）的距离。”
当时因为江南的使者前来北朝朝贡，多出藏内珍物，令都下富室好容服者货之，令使任情交易。使至金玉肆问价，缵曰：“北方金玉大贱，当是山川所出？”安世曰：“圣朝不贵金玉，所以贱同瓦砾。又皇上德通神明，山不爱宝，故无川无金，无山无玉。”缵初将大市，得安世言，惭而罢。迁主客给事中。
时民困饥流散，豪右多有占夺。安世乃上疏曰：“臣闻量地画野，经国大式；邑地相参，致治之本。井税之兴，其来日久；田莱之数，制之以限。盖欲使土不旷功，民罔游力。雄擅之家，不独膏腴之美；单陋之夫，亦有顷亩之分。所以恤彼贫微，抑兹贪欲，同富约之不均，一齐民于编户。窃见州郡之民，或因年俭流移，弃卖田宅，漂居异乡，事涉数世。三长既立，始返旧墟，庐井荒毁，桑榆改植。事已历远，易生假冒。强宗豪族，肆其侵凌，远认魏晋之家，近引亲旧之验。又年载稍久，乡老所惑，群证虽多，莫可取据。各附亲知，互有长短，两证徒具，听者犹疑，争讼迁延，连纪不判。良畴委而不开，柔桑枯而不采，侥幸之徒兴，繁多之狱作。欲令家丰岁储，人给资用，其可得乎！愚谓今虽桑井难复，宜更均量，审其径术；令分艺有准，力业相称，细民获资生之利，豪右靡余地之盈。则无私之泽，乃播均于兆庶；如阜如山，可有积于比户矣。又所争之田，宜限年断，事久难明，悉属今主。然后虚妄之民，绝望于觊觎；守分之士，永免于凌夺矣。”高祖深纳之，后均田之制起于此矣。
出为安平将军、相州刺史、假节、赵郡公。敦劝农桑，禁断淫祀。西门豹、史起，有功于民者，为之修饰庙堂。表荐广平宋翻、阳平路恃庆，皆为朝廷善士。初，广平人李波，宗族强盛，残掠生民。前刺史薛道标亲往讨之，李波率其宗族拒战，大破扌剽军。遂为逋逃之薮，公私成患。百姓为之语曰：“李波小妹字雍容，褰裙逐马如卷蓬，左射右射必叠双。妇女尚如此，男子那可逢！”安世设方略诱波及诸子侄三十余人，斩于邺市，境内肃然，以病免。太和十七年，卒于家。