幼孤，年十一岁时遭国变，从明遗老李一鳞学，周游天下，四处结交遗民志士，曾自言“才卑而志远”，他为反清复明大业两度赴日乞师，是明末清初的一位奇士，其遗作《莽苍园稿》记载其经历、心境颇多。张斐在日本期间作“至长崎告朱楚屿先生文”及“祭楚瑜先生文”，时为康熙二十五年，张斐年已五十有二。张斐所著《莽苍园稿》，在日本颇有影响，但在国内少为人知。
《姚江诗录》所录诗家，均附有传略，张斐列于《姚江诗录》“卷一”第一位诗家，其传略达八百余字，是当时国内记载张斐行迹最详尽的一篇传记，撰写者
谢宝书，晚清举人，余姚泗门人。