李惟义为武秀才出身，1859年投效军营，于永州等地追剿贼兵胜利，获赏六品顶戴。1861年，因休宁点县及徽州解围，晋升为把总。1862年，因徽州解围，晋升为“蓝翎千总”。1863年，因江西青州解围，蒙两江总督曾国藩奏升为守备加都司衔于湖南任职。1868年，因平定捻军，晋升为都司。1872年，因克复麻哈州城，晋升为游击驻于湖南。1873年，因克清黄等城，晋升为参将，后升任副将，获记名简放总兵花翎加提督衔，率军驻守于湖南。
1886年，李惟义曾协助章高元、林朝栋等人平定罩兰武荣社乱事。1895年，
乙未战争爆发，李惟义则曾率兵于台湾省城（今苗栗县、台中市、彰化县一带）等地迎战日军。