元至元二十九年（1292），由州县推荐到礼部受试，授职
翰林院国史编修官，预修世祖实录。不久，又升任修撰历兴文署令、太常博士。武宗（
海山）即位，与群臣议定祀礼之事，张升依据经传古典结合时势，向皇上陈述，其主张为皇上采纳并予嘉奖。
至大初年，改太常寺为太常礼仪院，提张升为判官（助理官员）。后来出任汝宁府知府。在任期间，有人告密投书（状）于其家中，事过三年得阅， 发现书中有当代禁书一编，书中记有许多当地大户人家姓名。张升命吏官将书烧掉，认为这是妄言诬告他人，日后不得提言此事。其同僚恐烧书不妥，引起事端。结 果，此事为朝庭得知，认为此乃张升开脱奸党之行。朝庭派遣使臣查问，因无证据不能立案，只以“擅自焚烧状书”论处。张升则自辩云：“我之所为，虽有错误， 却得以排除一场会使人蒙冤的诬陷。我身为郡守父母官，即使获罪也心甘情愿。”遂为自已罚俸两月。邻郡吴州人侯君远云：“今岁为壬子年，六月初一日日蚀，是 为兵乱之象，应在翌年（癸丑）发生于吴州之地。”各州府官员拟召集其属县加以防备，张升则判定此乃讹言，不可信，日久自息，切不可以此蛊惑民心，斥为无稽 之谈。张升之见颇得时人赞许。
在举治上，张升乃诸州郡中之最佳者，因之被提升为
江西行省左右司郎中，继又升任绍兴路总管。大德、至大年间，越郡发生大饥 疫，百姓死亡近半。张升责成“里胥”代纳民间，赋税盐课，以减轻百姓负担，终使行省免除了越郡赋税盐课。这种解民疾苦之举，深得民心，人皆悦服。不久，张升被升为湖北道廉访使、江南行台治书侍御使、参议中书省事改枢密院判官，旋又复为中书参议。
至治二年（1322）出任河东道廉访使（未行）拜治书侍御使。翌年，任淮西道廉访使。泰定二年（公元1325）任陕西行省参知政事（副职）加中奉大夫。未几，改任辽东道廉访使，时逢属辖永平路发大水，全年无收成，大 饥荒。张升请发海道粮十八万石、钞银五万缗（千文为一缗）以赈饥民，并免除当年赋税，朝廷准请，饥民得活者甚众。
天历元年（1328）张升出任山东廉访使，因地方不安，有关人员请张升筑城为防。张升则云：“民恃吾以生，完城是弃民也。”因此，民得安居，文宗赐尚醒文币以赏其功。翌年，被召任太禧院副使兼 奉赞神御殿事。又改任河南省左丞、淮西道廉访使。
至顺二年（1331）复为集贤侍讲学士，颇受文宗皇帝器重。元统元年（1333）惠宗即位，诏见在廷老臣 征问治国之道，张升上陈十条治国之道，受皇上嘉奖并予采纳。翌年，诏赐以奎章阁大学士、资善大夫等职，张升因病未就任。至正元年（1341）病逝，享年 81岁。
张升（1261—1341），字伯高，其先定州人，后徙平州。升幼警敏过人，学语时，辄能辨字音，应对异于常儿；既长，力学，工文辞。至元二十九年，用荐者授将仕郎、翰林国史院编修官，预修《世祖实录》。升应奉翰林文字，寻升修撰，历兴文署令，迁
太常博士。成宗崩，大臣承中旨，议奉徽号，飨宗庙，升曰：“在故典，凡有事于宗庙，必书嗣皇帝名，今将何书？”议遂寝。武宗即位，议躬祀礼，升据经引古，参酌时宜以对，帝嘉纳之。至大初，改太常寺为太常礼仪院，即除升为判官。
久之，外补知汝宁府。民有告寄束书于其家者，逾三年取阅，有禁书一编，且记里中大家姓名于上，升亟呼吏焚其书，曰：“妄言诬民，且再更赦矣，勿论。”同列惧，皆引起。既而事闻，廷议谓升脱奸轨，遣使穷问，卒无迹可指，乃诘以擅焚书状，升对曰：“事固类奸轨，然升备位郡守，为民父母，今斥诬诉，免冤滥，虽重得罪不避。”乃坐夺俸二月。旁郡移文报吴人侯君远者言：“岁直壬子六月朔日蚀，其占为兵寇；岁癸丑，其应在吴分野。”同列欲召属县为备御计，升曰：“此讹言，久当自息，毋用惑民听。”斥其无稽，众论韪之。部使者举治行为诸郡最。历江西行省左右司郎中，除绍兴路总管。初，大德、至大间，越大饥，且疫疠，民死者殆半，赋税盐课责里胥代纳，吏并缘为奸，害富家，升为证于簿籍，白行省蠲之。前守有为江浙行省参知政事者，争代者禄米，有隙，欲内之罪，移平江岁输海运粮布囊三万，俾绍兴制如数，民患苦之，不能堪。更数守，谓岁例如此，置弗问。升言：“麻非越土所生，海漕实吴郡事，于越无与。”章上，卒罢之。升既谨于绳吏，又果于去民瘼，故人心悦服。历湖北道廉访使、江南行台治书侍御史，召为参议中书省事，改
枢密院判官，寻复中书参议。
至治二年，又出为河东道廉访使，未行，拜治书侍御史。明年，出为淮西道廉访使。泰定二年，拜陕西行省参知政事，加中奉大夫，寻迁辽东道廉访使。属永平大水，民多捐瘠，升请发海道粮十八万石、钞五万缗，以赈饥民，且蠲其岁赋，朝廷从之，民得全活者众。明年，召拜侍御史。天历初，出为山东道廉访使，时方有警，有司请完城以为备，升曰：“民恃吾以生，完城是弃民也。”由是民皆安之。文宗赐尚酝文币，以赏其功。逾年，召为太禧院副使，兼奉赞神御殿事，除河南省左丞，复迁淮西道廉访使。升时年六十有九，上书乞致仕。至顺二年，复起为集贤侍讲学士，文宗眷待之意甚隆。
元统元年，顺帝即位，首诏在廷耆艾，访问治道，升条上时所宜先者十事。寻兼经筵官，廷试进士，特命升读卷，事已，告省先墓。帝赐金织文袍，以宠其归。明年，以奎章阁大学士、
资善大夫、知经筵事召，赐上尊，趣就职，升以疾辞。帝察其不可强，许之。寻命本郡月给禄半，以终其身。至正元年卒，年八十一。赠资德大夫、河南等处行中书省左丞，谥文宪。