早年就追求进步,向往革命。1930年参加
中国工农红军,次年加入中国共产党。曾任红四方面军排长、连长、营长、团长、师长等职,参加了
鄂豫皖、川陕苏区反“围剿”、反“围攻”和长征。他作战勇敢,不怕牺牲。一次战斗中,他腿部受重伤,由于缺医少药,伤口感染溃烂,生命危在旦夕。为了保全他的生命,决定锯掉那条伤腿。谢祥军得知后,向军长
罗炳辉苦苦哀求:“我是一个战士,没有腿就不能上战场。我宁可不要生命,也不能不上战场。”最后经医生千方百计的治疗,终于保住了那条伤腿,并得以重返战场。
抗日战争全面爆发后,入抗日军政大学学习。1939年秋到皖南,历任
新四军军部教导总队科长、江北指挥部教导大队副大队长,军政干部学校教育长、抗大第5分校教育长、华中抗大总分校教育长、新四军军部特务团团长、抗大第5分校校长等职,为新四军培养和输送了大批军政干部。在险恶的环境中,他既要负责训练学员,又要对付日伪和
国民党顽固派的围攻。在一次日伪军的大“扫荡”中,谢祥军临危不乱,组织抗大5分校学员趁黑夜突围。不料,女生队在突围中走错了方向,被伪军截获。他亲率警卫连迅猛追击,一人不少地把女生队从伪军手中抢了回来。
第十纵队刚编成不久,苏中
解放区就遭到全套美制现代化飞机大炮武装的国民党反动军队的大举进攻。
1946年夏的苏中战役(亦称
苏中七战七捷)中,他率领只具有轻装武器的第十纵队主力,在第二军分区武装配合下,在当地政府群众的支援下成功地粉碎了敌人在江苏中部地区的进攻。率部参加解放区武装自卫保卫战取得重大战果。7月13日至26日苏中杂牌国民党军被歼灭达6个整旅,5个交警大队,共5万余人,占其进攻苏中解放区全部敌军兵力的41%。
1946年10月19日,国民党最精锐的整编第
74师兵分三路,以宽正面向
涟水攻击前进,东路57旅,由
淮安经席桥、顺河集向茭菱镇前进;中路51旅由
淮阴东马厂经钦工向涟水前进;西路58旅由
王营沿盐河河堤攻击带河镇。谢祥军率10纵作为华中野战军主力,轻装步兵在黄河两岸地区利用地形组织
涟水保卫战。
10月涟水保卫战战斗打响以后,他前往前沿阵地指挥所观察敌情。当他站在指挥所外面,拿起望远镜察看黄河对岸的敌情时,被敌人的
狙击手冷弹射中,当即牺牲,时年32岁。