胡祖玉(1892一1931) 别号德如，别字拙如，靖安县人。早年就读于江西陆军小学。1916年毕业于武昌陆军第二预备学校。1919年毕业于
保定陆军军官学校，分配在赣军十四军任见习排长、连长。1922年5月，孙中山领导广东革命军北伐，他任赣军第二混成旅特遣支队队副。1923年3月任驻粤赣军中央直辖第五师步兵营营长，同年冬返回江西，加入赣军赖世璜部供职。1926年5月，国民革命军大举北伐，第十四军奉命攻打赣州，率兵一营拔帜先登，巷战一昼夜，攻克赣州。其后，在吉水、抚州、余干等战役中均以少胜多。1927年初，北伐军进抵长江下游，升任团长。1927年12月赖世璜因案被枪决后，余部被熊式辉整编，任第一集团军总预备队(总司令朱培德)第三十一军(军长金汉鼎)独立第三十七师(师长熊式辉)副师长，兼任暂编第一旅旅长，同年夏赴日本考察军事。参加对冯(玉祥)阎(锡山)反蒋(介石)联军的讨逆作战。
1928年，十四军改编为第五师，熊式辉任师长，他任副师长。1928年9月部队编造，任缩编后的第一集团军陆军第五师(师长熊式辉)副师长，兼任步兵第十三旅旅长等职，率部参加镇压芜湖浦江兵变事件。后任太湖清剿司令部司令等职。1930年春率部加入中央军序列，1930年4月，冯玉祥、阎锡山与蒋介石之间的中原大战爆发，奉蒋介石之命率部参战，历时半年，部属伤亡惨重。但在豫东民权之役中独力支撑，为蒋打败冯、阎起了重要作用，深得蒋赏识。10月，中原大战结束，率第五师一部进攻赣东北革命根据地，在磨盘山、众埠街、株山桥、芳家墩、漆工镇等地与红军激战。尔后，升为第五师中将师长，移驻宜黄。
1931年1月熊式辉离任后，接任陆军第五师师长，兼任赣北“剿匪”司令部司令，1931年4月，胡祖玉率部参加对中央革命根据地第二次“围剿”。5月，占领广昌县城。27日，红军猛攻广昌县城，他督部抵抗，弹中腹部及左臂，因伤势过重，6月3日死于南昌医院。同年6月6日国民政府颁令按陆军上将阵亡例从优抚恤。著有《民国十七年赴日观操记》(与熊斌、王右瑜合著，国民革命军军事杂志社，1929年9月出版，全书有图表，23开，109页)等。
1931年5月，国民党军对中央苏区作第二次进犯，赣东南一线由朱绍良任总指挥，率第八师毛炳文部、第二十四师许克祥部和第五师胡祖玉部，由南丰向广昌、头陂一带推进。第五师进至头陂(在广昌西南)后，忽奉令撤回广昌。当时，第八师、第二十四师亦集结于广昌。5月27日，第五师奉令继续向广昌西北占领阵地，先头部队已经开拔，晨7时，师部正准备开动时，红军先头部队已到达广昌城外，向广昌西北方面阵地攻击。胡祖玉急令开动部队撤回广昌城内。10时许，胡祖玉在师部左侧阵地嘹望时,被红军弹伤腹部。
朱绍良闻讯，赶来看视，嘱令准备黄昏时取道盱江东岸撤退。朱的决定是:第八师首先撤退，限第二天下午赶到南丰(约140华里)，负南丰城防责任，朱亲率第五师继进，第二十四师掩护第八师和第五师撤出广昌后，最后撤退。我当时任第五师师部秘书，负责护送胡祖玉。下午5时，督率士兵用行军床拾胡出城，过盱江木桥，向千善、石嘴前进。一小时后，第八师大部队拥至，随即朱绍良和第五师部队陆续过去。晚7时，
许克祥率卫士数十人慌张赶到，我问他情况怎样?许说:“情况不好，我师已撤出广昌，你们要走快一点。”说完，飞速向前逃去。第二天下午，我们将胡祖玉送到南丰，一宿后，即用船送往抚州转南昌医治。这--役，第六路军各部队的伤亡情况我不详，但从许克祥的慌张逃走和第五师团长萧致平受伤的情况来看，损失是不小的。胡祖玉伤势严重，曾用飞机接上海名医
牛惠生来赣诊治。牛诊断结果，认为无法教治，6月3日死于南昌医院。
蒋介石为了给他的将领打气，好替他卖命，下令“公葬”，拨治丧费一万元，抚恤费三万元。