上虞乡贤祠始建于明神宗万历八年（1580），由当时上虞知县左杰拨款建造。

不久圮毁。万历三十五年（1607）知县徐待聘募款重建。后经战乱，破败不堪，至清穆宗同治六年（1867）由知县王嘉铨筹款修缮。其时部分乡贤因情况特殊，另作安排。如魏伯阳被视为“神仙”，特祀金罍观。倪元璐道德文章盖世，另立专祠——倪公祠。叶经、谢瑜、陈绍，徐学诗名重朝野，另辟“四谏祠”。又因出于对女性的歧视，曹娥、谢道韫、杨桂枝等均未入祀。当时从祀乡贤祠的乡贤共69人，分别简介于下：

东汉5人：

王充（27－约97），章镇人，字仲任。唯物主义哲学家。著作有《论衡》等。

孟尝，丰惠人。著名廉吏。任合浦太守，除弊兴利，复兴珠业，世称“合浦还珠”。

魏朗（？－196），字少英。累官尚书。为“八骏”之一，时称“天下忠贞魏少英”。

戴就，字景诚。举孝廉。官光禄主事。

朱隽（？－195），字公伟。举孝廉，轻财好义，解人急难，以孝闻名。官至太仆、录尚书事。

东晋2人：

谢安（320－385），居上浦东山。“淝水之战”败苻坚，封建昌县公，拜太保，赠太傅，谥文靖。

谢玄（343－388），字幼度。谢安侄。率锐卒八千破苻坚百万于淝水。封康乐县公，谥文献。

南朝宋2人

王弘之（365－427），原籍山东琅琊，出生上虞，字方平。性好山水，“垂纶上虞江”，为著名高士。

谢惠连（397－433），世居上浦东山。谢灵运族弟，诗人。官至司徒府法曹参军。著作有《谢法曹集》。

南宋13人：

李光（1077－1159），五夫人，字泰发。崇宁进士，官至参知政事。著作有《庄简集》、《读易详说》等。

赵子潚，字清卿。为宋宗室。宣和进士，累官龙图阁学士。

丰谊，字叔贾。以父（丰治）荫补将士郎，累官吏部郎中。“立朝以直节著，同列畏之”。

李孟传（1126－1219），字文授。李光四子。性嗜书，藏书万卷。著作有《磐溪诗文稿》、《宏词类稿》等。

潘时（1126－1189），原籍金华，居五夫。字德鄜。累迁安抚、进直显谟阁、尚书左司郎。著作有《月林集》等。

宋延居，绍兴进士。

贝钦世，字圣美。绍兴进士，知江阴，有惠政。

李知退，李光长孙。知浦江县，专以教化为治，民立祠祀之。官至刑部侍郎。

刘汉弼，刘汉传族兄，字正甫。嘉定进士，官至户部侍郎。为官清正，勇于直谏。

刘汉传（1211－1286），字习甫。宝祐进士，官至吏部郎中。著作有《止善集通鉴》等。

刘汉仪（1209－？），刘汉传胞兄。曾任明州教谕、鄞县丞。著作有《止善篇》等。

夏梦龙，淳祐进士。

赵良坦，字平甫。宝祐进士，任军器监。元蒙南侵，良坦兵败被俘，不屈就义。

明代42人：

叶砥，字周道。洪武进士，任考功郎中、《永乐大典》副总裁。著作有《坦斋集》等。

刘履，字坦之。学者。元末世乱避居下管太平山。著作有《草泽诗稿》等。

谢肃（1375年前后在世），字原功。学者。与山阴唐肃合称“会稽二肃”。著作有《密庵集》等。

贝秉彝，名坦。永乐进士，任山东东阿知县，有惠政。

王进，字荩臣。成化进士，任成都知府，政尚简易，十年大治。官至山西布政使。

陈金，字汝砺。宣德进士，官至广东布政使。“清修简约，锐于兴治”。

陆渊之，字克深。成化进士，任河南参政，有政声。官至右布政使。著作有《东皋集》。

俞绘，字本素。任开封府教谕，有贤誉，著作有《闲道录》等。

洪钟，成化进士，官至刑部尚书。

韩铣，字日章。成化举人，历任湖广荆门知州、广东韶州同知，有政声。著作有《古虞杂记》等。

潘府（1453－1525），五夫人，字孔修。成化进士，历任兵部武选员外郎、广东提学使。著作有《素言》等。

陈大经，字正之。任将乐知县，为政无私。

葛浩，字天宏。官至大理寺卿。

朱衮（1479－1565），弘治进士，历任刑部郎中、兴化知府。著作有《拂剑录》等。

徐文彪，下管人，字望之。正德元年举贤良方正。倡明道学，乐善创义田、建乡学，乡人德之。

车纯，字秉文。正德进士，历任工部主事、云南副使、福建左布政使、右副都御史，清介如一日。

葛木，正德进士。

王仁，字克复。王进子。任同安县训导，讲明性学，造就甚众。卒祀同安名宦。

姚翔凤，安梦祯。嘉靖进士，历任兵部主事、太仆寺卿。著作有《余生近记》等。

徐子麟，字世亨，文彪幼子。任朝城训导，待士有礼。晚年课其子弟，辑录百家，老而不倦。

金柱，字国桢。嘉靖进士，任江阴县令，御倭有功。官至广东佥事、广西副使。为官清正廉洁。

郑遂，字惟用。任遂溪典史。捐俸具牛种，以佐贫乏，民咸赖之，奉祀名宦。

郑舜臣，郑遂子。嘉靖进士，历任南京工部主事，邓州同知，汀州、通州、柳州太守。

徐希明，字允淳，文彪子。嘉靖举人，历任攸县县令、苏州同知。有善政。著作有《宦游吹埙集》。

谢师严，字汝心。嘉靖进士，官至兵部主事。任武进知县有政声，赋役之清，甲于江南。

倪铠，字右文。正德举人，任乐平令，有政绩。

倪应蕲，字钟甫，倪铠子。事亲至孝，勤于著述。

倪涷，倪铠孙。万历进士，官至荆州，琼州太守。

陈因，陈旺子。孝子。

陈翀，陈因。孝子。

陈邦瑞，陈翀子。孝子。任辰州府经历，为民伸冤。晚年辞官回里，讲孝悌睦姻之义。

葛晓，宝祐进士。

徐如翰（1568－1638），下管人。字伯鹰，号檀燕。徐文彪孙。官至陕西参政。晚居山阴蕺山。著作有《檀燕山集》等。

李懋芳，字国华。万历进士，任御史，巡青州，差苏松，督学吴中，屡建奇功。

谢伟，号学庵。谢师严子。任新兴县令，省徭缓科，士民德之。

王诚，洪武进士。

倪元珙（1584－1639），字赋汝。倪元璐从兄，天启进士，历任安徽祁门、歙县县令、御史、苏松提学。

胡景华、陈旺、陈云器、丁子中四人生平未详。

清代5人：

倪会鼎（1601－1697），字子新，倪元璐子。学者。师从黄道周。著作有《治格会通》、《明儒源流录》等。

陈文焕，崧厦人。安邱知县，弭盗建学，有政绩。

谢宗岳，字五高。孝子。

陈启麟，字圣瑞。孝子。贼欲杀其父，启麟以身护父，伤股，贼感而释之。

朱鼎祚，生平未详。

明、清时代，从祀乡贤祠，政府原有明确规定，如按清制：“绅士之品学为地方所推重者，殁后由大吏题请祀于其乡，为乡贤祠。”（见商务印书馆《辞源》“乡贤祠”条）这项规定说明凡是从祀乡贤祠的，必须具有两个条件：一是其人必须道德文章名重乡里；二是须经地方官报请朝廷批准。但旧时地方官并没按制度严格办事，往往凭个人的好恶而任意取舍。如我县著名乡贤嵇康、吴范、谢灵运、谢朓、李知孝、杨次山、杨石等均未入祠，有失公允。清光绪十六年（1890）续修县志时，编纂者已明确指出这一弊端：

查例：凡入名宦、乡贤者，必督抚、学政上其事于朝，报曰可，始得从祀。设法详慎，前代已然。虞经兵燹后，旧主散失无存，后事者并不参考颠末，列位而奉者，名宦几以百计，乡贤之数且过之。错乱僭越，莫此为甚。亟宜更正，以肃祀典。