柳遐，字子升，河东解人，刘宋太尉柳元景从孙。幼而爽迈，神彩嶷然，髫岁便有成人之量。笃好文学，动合规矩。其世父柳庆远特器异之，谓曰：“吾昔逮事伯父太尉公，尝谓吾云：我昨梦汝登一楼，甚峻丽，吾以坐席与汝。汝后名宦必达，恨吾不及见耳。吾向聊复昼寝，又梦将昔时坐席还以赐汝，汝之官位当复及吾。特宜勉励，以应嘉祥也。”
梁西昌侯萧藻镇雍州，柳遐时年十二，以百姓礼修谒，风仪端肃，进止详雅。萧藻羡之，试遣左右践遐衣裾，欲观其举措。遐徐步稍前，曾不顾盼。仕梁，稍迁尚书功论郎。陈郡谢举时为仆射，引柳遐与语，甚嘉之，顾谓人曰：“江汉英灵见于此矣。”
岳阳王
萧詧于襄阳承制，授柳遐吏部郎，赐爵闻喜县公，寻进位持节、侍中、骠骑大将军、开府仪同三司。萧詧践帝位于江陵，以襄阳来归，辞萧詧曰：“陛下中兴鼎业，龙飞旧楚。臣昔因幸会，早奉名节，理当以身许国，期之始终。自晋氏南迁，臣宗族盖寡，从祖太尉、世父仪同、从父司空，并以位望隆重，遂家于金陵；唯留先臣独守坟柏，尝诫臣等，使不违此志。今襄阳既入北朝，臣若陪随銮跸，进则无益尘露，退则有亏先旨。”萧詧重违其志，遂许之，因留乡里，以经籍自娱。
北周文帝、明帝频征，固辞以疾。及萧詧殂，柳遐举哀，行旧臣之服。保定中，又征之，柳遐始入朝，授骠骑大将军、开府仪同三司、霍州刺史。柳遐导人务先以德，再三不用命者，乃微加贬异，示耻而已。其下感而化之，不复为过，咸曰：“我君仁惠如此，其可欺乎！”卒，赠金安二州刺史。
柳遐有至行。初为州主簿，其父卒于扬州，柳遐自襄阳奔赴，六日而至，哀感行路，毁悴不可识。后奉丧西归。中流风起，舟中人相顾失色。遐抱棺号恸，诉天求哀，俄顷风止浪息。其母尝乳间发疽，医云：“此疾无可救理，唯得人吮脓，或望微止其痛”。柳遐应声即吮，旬日遂瘳。咸以为孝感所致。性又温裕，略无喜愠之容。弘奖名教，未尝论人之短。尤尚施与，家无余财。临终遗诫簿葬，其子等并奉行之。