1947年9月21日，
陕甘宁晋绥联防军决定，以所属警备第1、第3旅和骑兵第6师（实为步兵师）共1.1万余人，在陕西省
栒邑县（今旬邑）组成
西北野战军第4纵队。
王世泰任司令员，
张仲良任政治委员，
阎揆要任副司令员兼参谋长，李宗贵任政治部主任。后
孙超群任副司令员，
朱辉照任副政治委员，
张文舟任参谋长。纵队组成后，即会同第2纵队出击
黄龙山区，攻克
白水、
韩城、
郃阳（今
合阳）、
宜川等地。11月北上，向三边挺进，连克宁条梁、安边等地。12月转至
安塞县华子坪、侯家河湾一带进行新式整军。
1948年2月，在
宜川战役中，参加瓦子街地区打援。4月中旬～5月中旬参加
西府陇东战役，先在
扶风至
青化镇一线抗击西援宝鸡的国民党军
裴昌会兵团和在镇原县以东屯子镇地区接应第6纵队教导旅突围，而后担负掩护西北野战军主力向东转移的任务。5月下旬，第4纵队转至栒邑县土桥塬地区整训。8～11月，先后参加
澄郃战役、
荔北战役和冬季战役。
1949年1月，
陕甘宁晋绥联防军区所属警备第4旅拨归第4纵队建制。2月1日，根据中央军委1948年11月1日关于统一全军编制及部队番号的命令，西北野战军第4纵队改称中国人民解放军第4军，隶属
第一野战军。王世泰任军长（后
张达志），张仲良任政治委员（后
高锦纯），孙超群任副军长，朱辉照任副政治委员兼政治部主任（后李宗贵任政治部主任），张文舟任参谋长（后姚知一）。警备第1旅和骑兵第6师一部，警备第3旅、警备第4旅和骑兵第6师一部，依次改编成第10、第11、第12师，共1.9万余人。
部队整编后，先后参加西北
春季战役和
陕中战役。6月中旬，第4军编入第2兵团，后在关头、仪井、临平及泾阳以北地区抗击国民党军向西安的反扑。7月中旬参加
扶眉战役，担任截断国民党军退路的任务，保障野战军主力聚歼其4个军。接着乘胜西进，攻克
蔡家坡、
岐山、
宝鸡等城镇。下旬由宝鸡地区出发，向兰州挺进。8月21日参加
兰州战役，25日攻占兰州外围沈家岭、狗娃山，26日拂晓攻入兰州城西关，对战役的胜利起了重要作用。9月初，第12师留驻兰州，担负警备任务；军主力西进
河西走廊，19日进驻
武威。10月，第4军移驻
临洮、
临夏地区执行剿匪任务，并抽调部队参加修筑天（水）兰（州）铁路。