1905年，张桂芳出生于一户赤贫的农家，他幼年丧父，母亲体弱，哥哥嫂嫂虽然十分勤劳，家里也常常缺粮，只能用野菜充饥。张桂芳十二岁就给鹏程村一户吴姓地主做长工。一连四年，忍饥受冻，过着牛马不如的生活。那年冬天，张桂芳的母亲重病垂危，他向地主要点工钱给母亲治病。地主却说：“你给我做工，我养活了你，已经够好了，休想再要工钱！”张桂芳一分工钱也没拿到，母亲因无钱医治，不久便撒手人寰。祸不单行，哥哥因长年劳累过度，积劳成疾，拖了年余也离开人世。哥哥死后，嫂嫂改嫁了。第二年春天，孤苦伶仃的张桂芳离开家乡，外出流浪。
张桂芳沿途讨吃，露宿街头，流浪到了
广州，在一家米店当苦力工，又干了四年，得到的工钱只够买两件衣服。不过，这四年里，他增长了见识，知道了许多世事，特别是听到了人们谈论：在江西南部、福建西部有共产党领导的
工农红军，是为穷人打天下的。于是他决心离开广州去参加红军。在中共地下党员的指引下，张桂芳于1929年10月到了江西，进入
中央革命根据地井冈山，在红军第三军团第五师第六连当战士。
1933年5月，
国民党反动派对
苏区王明“左”倾冒险主义的错误领导，致使红军第五次反围剿失败，1934年10月10日，红军第一方面军主力率先开始长征。1934年12月，红军来到乌江渡口。12月31日，红3军团红2师红4团接到抢渡乌江的军令后，立即出发。当地群众说，渡乌江必须具备3个条件，第一、要有大木船;第二、必须是大晴天;第三、要有熟悉乌江水性的好船夫。可是，红2军红4团来到渡口时，渡船都被国民党反动派烧毁，上面的条件都不具备。而且乌江两岸都是悬崖陡壁。整条乌江像一条乌青色的蛟龙向东北奔腾，无论投下一片什么东西，转眼就冲得无影无踪了。为了摸清对面敌人的虚实，领导命令张桂芳和几个战友去活捉敌军。张桂芳和几个战友奋不顾身，武装泅渡，他们游到对岸时，已手脚僵硬，全身发抖，但还是分秒必争地循着陡峭的山路迅速爬上去潜伏下来。1935年1月2日，强渡乌江的大队第二次划着竹筏接近岸边时，早已守候在敌人工事下的张桂芳等六位勇士从敌人鼻子底下出奇不意地跃出来，活捉了两个敌人的哨兵，炸毁了碉堡。上级迅速组织一营过江，神速地占领了高地。
在长征途中，张桂芳的头部、左臂均在战斗中受过重伤，他克服了重重艰难险阻，跟着部队胜利到达了陕北抗日根据地。长征中，张桂芳多次立功，火线入党，职务也由士兵一步步升到
连长。
1938年，张桂芳在八路军385旅参加抗日战争。385旅是抗日战争时期
八路军第129师主力旅之一，该旅下属的几个团后来还参加过著名的
百团大战。385旅于1937年9月底东渡黄河，开赴华北抗日前线。10月19日，385旅在山西省代县阳明堡夜袭日军前线飞机场，炸毁敌机24架。为配合国民党部队保卫忻口、太原的作战，385旅第769团在第129师副师长
徐向前率领下，于10月30日到达正太铁路（今石家庄—太原）以南的昔阳地区，与第129师主力会合，打击沿正太铁路西进的日军。1938年10月，第385旅参加正太铁路破击战，策应晋察冀军区部队多次反击日军对五台、阜平地区的围攻和扫荡。
新中国成立后，上级调他到北京学习，帮助他成了家，并拟送他进荣军院，让他安享晚年。但他却说：“我虽然不能继续在部队工作，但回到家乡也还能干农业生产，和农民兄弟一起建设社会主义新农村。”
1955年冬，张桂芳经过多次申请，上级终于批准了他回乡的请求。他带着妻儿回到了久别的家乡，当时恰遇一场百年少见的冻灾，把各种农作物都冻死了，群众生活困难。张桂芳拿出自己的回乡安置款，带领群众上山开荒，大种旱粮，生产自救。社员们拥护他，推选他当社主任和乡长。他和群众们一起出勤，犁地、耙田、挑粪、插秧都亲力亲为。
张桂芳生活俭朴，但是见到乡亲们有困难的时候，却毫不吝啬地解囊相助。村民梁秀英的丈夫病重，无钱买药，张桂芳立即请来医生诊治，代支药费。村民吴兴凡双脚瘫痪，房东又要他搬出借住的房子。张桂芳便带领社员打砖，盖了一间新房子给他居住。同时，还买来篾竹给他编织用具卖，增加收入，解决生活困难。