严子陵祠为纪念汉代高士严子陵（公元前37-公元43）而建。子陵名光，是余姚著名先贤，曾与东汉光武帝刘秀同游学。

当刘秀中兴汉室，做了东汉开国皇帝之后，曾多方设法把严子陵请到京城，要严子陵辅佐他治理天下，但被严子陵所拒绝。严子陵无意仕途，钟情于自由自在的山野生活，曾隐居富春江，耕钓为生。他的高风亮节，受到历代人们的高度赞颂。后人为了纪念他，先在姚城东北五公里的客星山麓严子陵墓旁建立祠堂，以示纪念。至明代，为了便于瞻谒，就将严子陵祠建于龙泉山上，成为历代祭祀严子陵的场所。