1929年1月国民政府卫生部部长刘瑞恒奉蒋介石之命筹建中央模范军医院，主要收容伤病员，兼便市民就诊。就在今中山东路黄埔路口征地产50亩，购置活动木屋13座及医疗设备和器械，设置临时简易病床300张，于1929年10月1日医院匆忙开诊。1930年1月，国民政府行政院决定将中央模范军医院改名为中央医院，划归内政部下辖的卫生部(1931年4月改为卫生署)直接管辖，由刘瑞恒兼任院长。
中央医院的主楼由
基泰工程司的建筑师
杨廷宝设计，建华营造厂建造，1931年6月开工，1933年6月竣工，工程造价52．5万元。大楼钢筋混凝土平屋顶结构，高四层，建筑面积七千多平方米，为一集中式病房楼，且按现代化功能布置平面，门诊部、手术室、病房等配置合理，分区明确，内设电梯垂直运输。楼底层西侧为门诊部，东侧为事务部及传染病区，均有独立的出人口；二层为手术部和特、头、二等病房区；三层为妇产科病房，有产房、婴儿室及其附属设施；四层为三等病房，其病室为大统间，每室可设病床25张。扩建后的中央医院是民国时期南京兴办的规模最大、设备最完善的国立医院。并增设妇产科、小儿科、眼科、泌尿科、脑病科、护士部、门诊部、保健部、药局等16个科室，病床最大容量为300张，工作人员140人。