南唐时，举进士，起家上元县尉，累迁礼部员外郎、知制诰。参预机密，恩宠第一。
宋
开宝八年(975年)，宋太祖
赵匡胤灭亡南唐，张洎与
李煜一起作了阶下囚。早在金陵被围时，张洎曾劝李煜拒降，并起草蜡书送至城外调遣救兵。被捕后，宋太祖责问张洎，并取出缴获的蜡书对证。张洎毫不惧怕，从容回答：“各为其主，今能一死，尽为臣之份了”。因此，受到赵匡胤的器重，授官太子中允，入舍人院。
太平兴国四年(979年)，张洎出知相、贝两州，数年后，回京任礼部侍郎。
淳化年间，出任
太仆少卿。太宗赵光义召见他说：以往，太仆少卿乃是闲职，今我赋其为要职，你就是改制后的首任。今后凡是奏章必经你手后呈递给朕。
不久，拜为
谏议大夫、判大理寺、史馆修撰、
中书舍人、
翰林院学士、
参知政事，与
寇准同列。但政事一决于寇准，张洎无所参预，因而奉准愈谨。
赵光义曾赐诗称赞他为“江东人士之冠”。
端拱元年(988年)，契丹入侵。张洎上表建议练兵聚谷，分屯军队于边塞，加强防卫，得到朝廷同意。
至道二年(996年)，赵匡义任命张洎为
参知政事(相当副宰相)，与
寇准同列中枢。因政务由寇准主持，遂专修政纪、编纂史籍。至道三年，赐誉“推忠佐理功臣”、
金紫光禄大夫、
上柱国、清河郡开国侯。
身为
贰臣，议事常迎合皇帝意旨，后被宋太宗察觉，降为刑部侍郎；十余日后，病逝于东京(今河南开封)，追赠刑部尚书。
著有文集五十卷，《
宋史》传于世。其中，《贾氏谈录》，是他为南唐出使赵宋时所记录的贾黄中的谈话录，内容多为唐代轶闻。
张洎工诗文，文章清赡。善清谈，通读释道书；通禅览道、终日清淡，然而性格鄙吝。后主归宋后，十分贫困，而张洎还去讨要。后主以白金器件给他，他还不满意。他本与
潘慎修关系很好，一听
潘慎修当了后主记室，就疏远了他。张洎与
徐铉交厚，徐铉以父礼事，因寇准举荐过徐铉，他谨慎相待，可一旦论事相对立，张洎马上绝交。就是对寇准，张洎还揣摸着奏本诽谤。人说张洎，连亲戚也别想沾边。但是，他为自己珍玩，还向
徐铉求过笔札。