张衮才智高远，人品敦厚，青年时曾任
五官掾（郡吏）。北魏的
开国皇帝、鲜卑族拓跋部首领
拓跋珪为代王时，十分器重张衮，选拔他为左长史，让他参与军政大计。张衮立志辅佐首领，安定乱世，他常对人说：“
乐毅为
燕昭王出谋略，
荀攸竭心辅佐魏武帝（
曹操），能辅佐一代英主，是千载难逢的机遇。主上天姿杰迈，逸志凌霄，必定能够囊括
六合，统一四海。赶上时世风云变幻的机会，却不想建立腾跃之功的人，称不上是人中豪杰。”
张衮追随
拓跋珪四处征战，屡立军功。当时，北方割据势力
刘显地广兵强，但他性格凶暴，兄弟间互相猜忌。张衮及时建议
拓跋珪：“刘显才高志雄，有意吞并天下，势难共存。但是，内部争权夺利，势力削弱，此机可乘，应该联合后燕皇帝
慕容宝，共同进攻
刘显，此举一定能够取胜。”
拓跋珪采纳了建议，攻破
刘显，从而为北魏以后统一北方奠定了基础。
北魏道武帝登国十年（395年），慕容宝带兵来争夺地盘。张衮提醒
拓跋珪说：慕容宝取得
滑台（今河南滑县）后，集中优势兵力来侵犯，锐不可当，不宜跟他硬拼，应该等到时机成熟的时候再来灭掉他。
拓跋珪听从了他的建议，指挥军队在参合陂（今内蒙古凉城）迂回侧击，重创慕容宝军队，使其从此一蹶不振。
两年后，北魏的势力强大起来，遂进军
中山郡，讨伐慕容宝。张衮度量形势后，主张运用政治攻势，写信给对方讲明利害。慕容宝看信后，不战而退。此次战役后，北魏占据了中山郡。朝廷论功行赏，拜张衮为
奋武将军、幽州刺史，并封其爵为临渭侯。
道武帝
天兴元年（398年），
拓跋珪下令让张衮、
崔逞给东晋将军写信，指定他们俩在信中要措辞侮辱东晋皇帝。张衮和
崔逞不愿意这样做，只是称东晋皇帝为“贵主”。
拓跋珪怀疑他们还在思念汉族皇帝，一怒之下，杀死
崔逞，降张衮为尚书令史。从此，张衮心情苦闷，晚年只在自己的封地内劝课农桑，让百姓休养生息。闲时手持卷书，校勘古籍，过着清心寡欲的生活。
明元帝
永兴二年（410年），张衮年老病重，上书皇帝表明自己的心迹，次年病逝，终年七十二。朝廷追封他为太保，谥号文康。
张衮协助
拓跋珪拱卫云中，破
刘显、击柔然、败燕军，入主中原，进而平定晋、豫，稳定河北；力主“离散部落，编户齐民”，招揽大姓名士，以儒家治理天下，从而逐渐改造北魏政权的性质。北魏由弱变强，最终统一北方，有赖于张衮辅助之处甚多。后期，张衮成为
拓跋珪安抚鲜卑贵族的牺牲品，逐渐淡出一线政治舞台。临终前，张衮上书：“臣虽暗劣，敢忘前志，魂而有灵，结草泉壤”，堪称贤臣典范。