据1758年《新兴县志》记载：“五贤祠旧在城外东隅即古夏院址。明嘉靖初（1522年），督学欧阳铎废寺为书院，祀宋朝学士胡铨，曰澹庵书院。后增入张柬之[唐]、胡寅[宋]为三贤祠。万历十九年（1591年），知县王仰、教谕黄文炳入邹浩[宋]为四贤祠，二十五年（1597年）知县姚舜牧复入刘挚[宋]为五贤祠。”

起源与发展

在清道光《广东通志》卷二百四十九亦有记载，从三贤祠到五贤祠，夏院寺经历了多次修缮，愈加壮丽堂皇，前来参拜先贤的人越来越多，香火鼎盛。

清顺治十六年（1659年），知县查蜚英捐俸银买下北街麦姓宗祠及屋两座，载税米三斗修葺为筠城书院，改祀五贤于此。康熙十二年（1673年），知县李超以其右屋三进的前厅祀周昆、王民顺、姚舜牧、杨成乔，后座祀查蜚英。至此，北街的五贤祠实际已成为“十贤祠”。

清嘉庆十九年（1814年），知县吴文照把筠城书院五贤祠改建成文昌庙，并祀查蜚英、周昆、王民顺、姚舜牧、杨成乔五人。