历史上“五圣祠”曾是杭州地区供奉最广的民间小庙，北方五圣祠多数为城郊小庙，多神共祀一庙。五圣”内涵没有严格的界定，神灵偶像多种多样。主祀神多为关帝、观音、龙王等，配祀神多为土地神、山神、青苗神、虫王、马王、冰雹神、财神、药王、火神、二郎神等。此类寺庙常常是戏班庙会、土产交易的场所。在颐和园设祠是为了渲染“小西泠”的江南民俗氛围，祠内供奉的神祗是北方形式。
道光十六年的陈设清册记载：五圣祠殿内砖砌神台一座，上供增胎五圣五尊。前面供红油供桌一张，上供黑漆五供一分、木贴金灵芝一对，水蜡一对。两边供增胎从神六尊，地上铺红白拜毡二块。门上挂黄布帘刷一件。配殿门上挂黄布帘刷二件。
光绪年间修缮时，五圣坐像绿法身上五彩，从神十四尊均为泥胎上中五彩。1966年“
文化大革命”中，所有神像均被砸毁，五圣祠内的陈设布局是，内砖砌神台上供神5尊。两边供从神6尊。至2000年未能恢复。五圣祠建筑及景区环境在解放后多次维修油饰，1979年，该处修建游船码头至今。
五圣祠在
颐和园万字河西面小岛的南端，是仿照苏州城内沿河一带的五通庙修建的一座小四合院式庙宇。建筑坐北朝南，院门南临湖水，门前有一座码头。
五圣祠山门为
鞍子脊式大门，院内正殿五圣祠面阔三间，建筑面积77.9平方米，高3.18米。正脊硬山顶，明造天花，旋子彩画。方砖地面，圆柱，前檐有廊，无坐凳媚子和倒挂媚子。金里安装明间四扇斜方格隔扇门。虎皮石台明石角柱，垂带式青石台阶三步。殿内明间后檐墙神台高1.11米，长3.8米，宽0.76米。神台上塑有泥胎正神五尊即五圣。两侧山墙内侧各有从神台一座，神台上塑泥胎从神十四尊，其中十尊站像，四尊坐像。正殿东、西各有配殿二间，各建筑面积41.1平方米，硬山顶，明造天花，旋子大点金彩画。圆柱，青石柱础。前檐安装普通门窗，山面砖墙南面临水。虎皮石台明石角柱，如意台阶二步。后翠殿面阔五间，坐北朝南，建筑面积91.2平方米。正脊硬山顶，有垂吻兽。明造天花，旋子大点金彩画。青砖，圆柱，青石圆鼓镜柱础。前檐装修四扇斜方格隔扇门，有帘架。次间斜方格窗。虎皮石台明石角柱，垂带式青石台阶。东边院墙开一个小墙门，围墙有布瓦墙帽。