隋炀帝
大业（605年—618年）末年，民变四起，卢祖尚应募集合壮士保卫乡里抵抗变军。卢祖尚当时还很年轻，但武力过人，御众严整，所向披靡。变军害怕他，不敢入境。
义宁二年（618年）三月，
宇文化及叛乱后，在光州乡人请求下，卢祖尚自称光州刺史。刺血向众人宣誓，士兵都感动而流下眼泪。
当时反隋首领魏公李密势大，攻打隋将王世充守卫的东都洛阳，各地割据首领窦建德、朱粲、杨士林、孟海公、徐圆朗、卢祖尚、周法明等派使者给李密上表劝进，李密手下也都劝李密称帝，李密认为洛阳还没有攻取，没有答应。
王世充在洛阳立炀帝孙越王
杨侗为帝，卢祖尚派使者上表归附，杨侗以卢祖尚为光州总管，封沈国公。
王世充篡隋称帝，建立郑朝后，卢祖尚与其断绝关系，归顺唐高祖，唐高祖嘉奖他，赐玺书劳勉，仍以为光州刺史。武德四年（621年）王世充败亡后，九月，唐高祖拜卢祖尚为光州总管，封弋阳郡公。
武德六年（623年）年八月，随赵郡王
李孝恭讨伐割据江东的叛首宋帝
辅公祏，为前军总管，攻克宣、歙二州，进击贼帅冯惠亮、陈正通。