段霖茂出身于书香门第，幼聪颖好学。1924年负笈广州，考入
黄埔陆军军官学校第三期步兵科。1925年冬毕业，任排长，参加东征、北伐诸役。旋升连长、营长、团长。“
四一二政变”后，卷入内战，参与“围剿”苏区红军。抗日战争爆发，投入抗战。翌年被提升为二十二新兵补训处少将处长。1939年被第三战区司令长官
顾祝同破格提升为七十九师师长。不久，正值浙江仓头战役爆发，率领全师战士积极参战，痛歼敌军，扭转战局，粉碎日军企图打通浙赣路线的阴谋。
1941年1月，率部包围袭击
新四军，史称“
皖南事变”。不久，奉命反攻浙江衢州，又重创日军，收复失地，缴获大批战利品，被提升为第九十八军中将军长。抗日战争胜利后，调任整编五十七师中将师长。
第三次国内战争打响后，又卷入内战。1947年秋，率部参加
鲁南战役，被解放军打败，9月9日在
菏泽县沙土集被俘。沙土集区人民政府武装部长段某，原为段之部下，私自将其放走。他返南京后，被任为国防部中将部副。1949年去台湾，改任战略委员会委员。1975年8月病逝于台北市。