至正十五年(1355年)五月,随
俞廷玉、廖永安、
赵普胜等人以巢湖水军投靠朱元璋,赵普胜想要叛降
张士诚,桑世杰将其向
华高告发,朱元璋听说后害怕诸部听从了诡言,于是取兵和阳,合攻海牙,实际上是以兵势压巢湖军,赵普胜逃跑投奔
天完政权。六月,随
朱元璋南渡长江作战,率领水军大破元朝水军,随军攻克采石、太平,和
徐达攻打
陈野先的水寨,生擒陈野先。
至正十六年(1356年),随徐达攻克金陵、镇江,升任秦淮翼元帅。二月,攻打金坛、丹阳。十二月,随
汤和攻打宁国长枪诸军。
至正十七年(1357年)二月,和赵馘一同攻克水阳。三月,和徐达、
常遇春一起攻克马驮沙,随军入建康,授予昭武大将军、统兵元帅,随军攻克常州,升任行枢密院判官。攻略大浦口、江阴、太湖、宜兴。
至正十八年(1358年)元月,张士诚部将参政
朱定、守将栾瑞镇守
石牌,在桑世杰等人攻打江阴之时,派遣水军前往支援,因此朱元璋命桑世杰和廖永安率军攻打石牌,栾瑞顽强抵抗,桑世杰发誓一定攻克城池,拿起武器,骑马冲入阵中,力战而死。
《
明史》:明祖之兴,自决策渡江,始力争于东南数千里之内,摧友谅,灭士诚,然后北定中原,南图闽、粤,则廖永安胡大海以下诸人,厥功岂细哉!计不旋踵,效命疆场,虽勋业未竟,然褒崇庙祀,竹帛烂然。以视功成命爵、终罹党籍者,其犹幸也夫。
明朝礼部:有元失驭,四海糜沸。英杰之士,或起义旅,或保一方,泯泯棼棼,莫知所属。真人奋兴,不期而至,龙行而云,虎啸而风。若楚国公臣永安等,皆熊罴之士,膂力之才,非陷坚没阵,即罹变捐躯,义与忠俱,名耀天壤。
《
罪惟录》:世杰、忠(赵忠)、成(
刘成)三人为滁阳故旧,成蒙赠恤,若天祐(
张天祐)郭元帅更密迩最昵,死后绝无所闻,岂犹以滁阳王(
郭子兴)之故欤?后既追王滁阳为立祠,以二死侑享,亦无不可。
据传桑世杰曾在朱元璋面前吹嘘自己家乡安徽省无为县,称无为县前面是龙山,左边是牛山,右边是虎山,后面是鹰山,而朱元璋害怕桑世杰日后造反而夺其江山,遂御赐地名为:龙骨山,眠牛山,虎皮山,麻鹰山。