吕公祠为宋代三大名祠之一，与范公祠、周公祠合称为宋代三大名祠。

吕祖谦，宋金华人，字伯恭，举隆兴进士，复中博学鸿词科，官到直秘阁著作郎，国史院编修。与朱熹、张拭齐名，称为东南三贤。所著曰《东莱集》，学者称东莱先生，宋史列于儒传中。

吕公嫡系后裔迁至旧县落户，除携带家谱外，并持有“铁券丹书”。呈政府验阅，上报朝廷，在本地敕建吕公贤祠。故历来旧县住户，吕姓氏与周、范合称为三大姓氏。时至清末民初时期尚举行春秋丁祀（每年仲春仲秋之上丁日多祭先圣先师），与祭者必有功名顶戴及名贤后裔生儒。范公、周公都是画像，唯独吕公是偶像。解放后吕公祠堂为供销社使用。