张令铎少年时因为勇猛参军。
后唐清泰年间，补任宁卫
小校。
后晋初年，改到奉国军服役。
后汉乾祐年间，跟随后周太祖
郭威（时为后汉
枢密使）平定河中节度使
李守贞的叛乱，因功升任奉国军
指挥使。
广顺初年，升任控鹤指挥使，多次升迁后任本军左厢
都指挥使、领
虔州团练使。后又跟随周世宗
柴荣讨伐淮南
南唐势力，改领虎捷左厢，加常州
防御使。两次征讨寿春，世宗命张令铎和龙捷右厢柴贵分别担任京城左右厢
巡检。世宗将要北征，命张令铎与
韩通、
高怀德先率兵前往沧州，又让张令铎作为
韩令坤的副手担任霸州部署，率兵镇守城池。恭帝
柴宗训即位，授予张令铎
侍卫亲军步军都指挥使、领武信军节度使之职。
北宋建立，张令铎升任马步军
都虞候、领陈州
节制。宋太祖赵匡胤讨伐
李筠叛乱，任命张令铎为东京卓城内都巡检。
建隆二年（961），赵匡胤“
杯酒释兵权”，张令铎出任镇宁军节度使，赵匡胤又为弟弟兴元尹
赵光美娶了张令铎的第三个女儿为妻。
开宝二年（969），张令铎来朝见赵匡胤时得病，赵匡胤亲自前去问疾，赐给张令铎五千匹帛、五千两银子，并丰厚赏赐了张令铎的家人。次年（970）春天，张令铎在京师去世，终年60岁。赵匡胤极为悲痛悼念，追赠张令铎为
侍中。
张令铎性格仁慈宽厚，曾对别人说：“我从军三十年，经历大小四十多场战斗，多次摧毁敌军的精锐、攻陷敌人的阵地，但我从来没有妄杀过一个人。”等到张令铎去世时，很多人都感到很惋惜。