元文遥敏慧夙成，济阴王
元晖业每云：“此子王佐才也。”晖业尝大会宾客，有人将《何逊集》初入洛，诸贤皆赞赏之。河间
邢邵试命文遥，“诵之几遍可得？”文遥一览便诵，时年十馀岁。济阴王曰：“我家千里驹，今定如何？”邢云：“此殆古来未有。”
起家
员外散骑常侍。遭父丧，
服阕，除太尉
东阁祭酒。以天下方乱，遂解官侍养，隐于
林虑山。
武定中，文襄（
高澄）征为大将军府功曹。北齐受禅，于登坛所受
中书舍人，宣传文武号令。杨遵彦每云：“堪解
穰侯印者，必在斯人。”后忽被
中旨幽执，竟不知所由，如此积年。文宣（
高洋）后自幸禁狱，执手愧谢，亲解所著金带及御服赐之，即日起为尚书
祠部郎中。孝昭（
高演）摄政，除大丞相府功曹参军，典机密。及践祚，除
中书侍郎，封
永乐县伯，参军国大事。及帝大渐，与平秦王
高归彦、赵郡王
高睿等同受顾托，迎立武成帝即位，任遇转隆，历给事黄门侍郎、
散骑常侍、侍中、
中书监。
天统二年，诏特赐姓高氏，籍属宗正，子弟依例岁时入朝。再迁
尚书左仆射，进封
宁都郡公、侍中。
元文遥历事三主，明达世务，每临轩，多命宣敕，号令文武，声韵高朗，发吐无滞。然探测上旨，时有委巷之言，故不为知音所重。齐因魏朝，宰县多用厮滥，至于士流耻居百里。文遥以县令为字人之切，遂请革选。于是密令搜扬贵游子弟，发敕用之。犹恐其披诉，总召集
神武门，令赵郡王
高睿宣旨唱名，厚加慰喻。士人为县，自此始也。既与
赵彦深、
和士开同被任遇，虽不如彦深清贞守道，又不为士开贪淫乱政，在于季、孟之间。然性和厚，与物无竞，故时论不在彦深之下。
初，元文遥自洛迁邺，惟有地十顷，家贫，所资衣食而已。魏之将季，宗姓被侮，有人冒相侵夺，文遥即以与之。及贵，此人尚在，乃将家逃窜。元文遥大惊，追加慰抚，还以与之。彼人愧而不受，彼此俱让，遂为闲田。至后主嗣位，赵郡王睿、
娄定远等谋出
和士开，文遥亦参其议。高睿见杀，元文遥由是出为
西兖州刺史。诣士开别，士开曰：“处得言地，使元家儿作令仆，深愧朝廷。”既言而悔，仍执手慰勉之。犹虑文遥自疑，用其子行恭为尚书郎，以慰其心。
和士开死，自东徐州刺史征入朝，竟不用，卒。