五塔寺在明代属于西直门外香山乡辖区。明初永乐皇帝于1421年迁都北京之后，有一位尼泊尔高僧班迪达来到北京，向皇帝贡献了一组金质的五方佛像和一张古印度“菩提伽耶大塔”的图样。永乐皇帝在香山乡建造了真觉寺，供班迪达传教和居住，并决定按照班迪达带来的图样建造一座大塔，以为朝廷祈福。 由于大塔规模庞大、样式繁复，迟至1473年才由永乐皇帝的曾孙成化皇帝完全建成，其特点是在内藏有石室和阶梯的大型塔座上，建有一大四小五座宝塔，这种样式称为“金刚宝座塔”，在北京地区是建成最早的。
清代建造的碧云寺塔和西黄寺塔，也属此种样式。 真觉寺的金刚宝座塔，通体几乎不留一处空白，遍身雕满了佛像、经文、菩提树，还有五方佛的五种坐骑：狮、象、马、孔雀和大鹏，当年整座宝塔都是涂成彩色的。最为奇特的是在中间那座宝塔的基座上，还雕有一双赤裸的大脚。原来，这座金刚宝座塔是按照古印度早期佛塔的样式建造的。在佛教早期，不建寺院，只建佛塔；不雕佛像，只雕佛脚。拜佛脚，就等同于拜佛。有句老话说“平日不烧香，急时抱佛脚”，就是这样得来的。 真觉寺因院中的金刚宝座塔上有五座宝塔而被称为“五塔寺”，现在为
北京石刻艺术博物馆所在地，馆内立满了从北京各地收集的石碑、石像，矗立在庭院中心的金刚宝座塔，也成了博物馆内最大的藏品。