鱼遵（？～357年），冯翊郡（今陕西省大荔县）人，出身冯翊鱼氏。前秦开国功臣，官至太师、录尚书事，封爵广宁县公。

永和六年（350年），苻健率军入关，册封苻菁、鱼遵为北路前锋大将，鱼遵屡立战功，三辅皆降。

皇始四年（354年），前秦朝廷论赏击败桓温的功勋，加封雷弱儿为丞相，毛贵为太傅，鱼遵为太尉，淮南王苻生为中军大将军，平昌王苻菁为司空。

皇始五年（355年），前秦景明帝苻健患病，卧床不起。苻健册封大司马、武都王苻安为都督中外诸军事。苻健传唤太师鱼遵、丞相雷弱儿、太傅毛贵、司空王堕、尚书令梁楞、左仆射梁安、右仆射段纯、吏部尚书辛牢等受遗诏辅政。临终之前，苻健对苻生说：“六夷酋帅和大臣中的执权者，若有不听从你的，应该将他们逐渐除掉。”

前秦皇帝苻生梦见大鱼吃蒲草，另外长安城里也有谣谚说：“东海大鱼化为龙，男皆为王女为公。”苻生于是就杀掉了太师、录尚书事、广宁公鱼遵以及他的七个儿子、十个孙子。金紫光禄大夫牛夷害怕祸及自己，请求到荆州任职，苻生不答应，任命他为中军将军，召见时戏弄说：“老牛生性迟缓稳重，善驾车辕，虽然没长骏马的蹄子，但走起路来能负重百石。”牛夷说：“虽然驾着大车，但没有走过险峻的道路。愿意试拉重车，便可知道我的功用了。”苻生笑着说：“多么痛快啊！你嫌所负载的轻吗？朕将用鱼遵的爵位安置你。”牛夷十分害怕，回去后就自杀了。后来宣昭帝苻坚即位，众人得以恢复官爵。

阎负、梁殊：“其耆年硕德，德侔尚父者，则太师、录尚书事、广宁公鱼遵。”

《资治通鉴·卷一百》

《晋书·卷一百十二·载记第十二》