卢赤松出身北方冠族
范阳卢氏，是以经学闻名的东汉中郎将
卢植十三世孙。曾祖
卢阳乌，北魏时任秘书监。祖父卢道亮，为人清高，终身隐居不仕。父卢思道，北朝诗人，俊逸豪放富辩才，少年时即以才高而得盛名，人称“八米卢郎”。武平末年，任给事黄门侍郎，待诏文林馆。北周间，官至开府仪同三司，迁武阳太守。入隋后，官终散骑侍郎。
卢赤松隋朝时期，历任
河南王府掾、渭水县令、
北海县令、河东县令，与唐高祖
李渊是故交。唐高祖率军起义，卢赤松进入
霍邑，迎接义师，拜行台
兵部郎中。武德年间，授上仪同、
太子舍人、
上开府，册封固安县公，又迁
太子率更令、拜柱国，封
范阳郡公。为人贤德，聪明俊秀，辞章华美，文彩出众，无论高雅的士人还是一般俗众，都很推崇他。