1944年7月，
张之朴在中岳嵩山北麓巩县与偃师交界处的东庄村建立了一支200余人的抗日武装嵩山人民抗日义勇军并任司令。司令部设在赵城村张存家里。
9月，八路军豫西抗日独立支队进入豫西，张之朴立即派人与支队联系。支队首长
皮定钧、
徐子荣认为义勇军是一支地方的抗日武装，决定还保持原来名称，归支队领导，仍由张之朴任司令。从此张之朴率领义勇军配合支队作战，先后参加过攻打偃师口孜镇、登封白栗坪、唐庄镇、巩县回郭镇、临汝碚子街等重大战斗，有力配合了豫西抗日根据地的开辟。
1945年2月，奉中央命令，王树声、戴季英从延安率大部队来到登封白栗坪后，成立河南军区，统率河南境内各路抗日武装。嵩山人民抗日义勇军归河南军区领导，改称河南人民抗日义勇军，张之朴仍担任司令员。5月，张之朴奉命率部配合河南军区六支队刘昌义部到鲁山、临汝、伊阳、嵩县等地开辟新区。在临汝南部收编了地方武装马安良部2000余人，又在北部收编白部1000余人，还收编鲁山杨金甫、宝丰朱砂州等土匪武装，从而壮大了抗日义勇军的力量。1945年9月河南军区部队撤离豫西，南下桐柏山、大别山，与新四军李先念部会师。撤离前夕，支队副政委郭林祥向张之朴传达河南军区党委决定，要他率部队留下以灰色武装出现，坚持豫西地下斗争。张之朴欣然表示服从组织决定，对皮徐支队南下后如何坚持斗争作了部署。
日本投降后，八路军奉命撤离豫西，省委决定张之朴部留在嵩山地区坚持斗争。由于叛徒告密，国民党军队把张之朴部包围，激烈一战，终因寡不敌众，张之朴被俘，被枪杀在巩县姜背枣岭。