麒麟碑胡同，清宣统时称口袋胡同。民国三十六年(1947)称麒麟碑胡同。1965年整顿地名时，将麒麟碑胡同并入张自忠路。“文化大革命”中一度改称红亮胡同，1976年从大街分出后，称麒辚碑胡同。明朝大同总督仇鸾曾居住于此，府门前有汉白玉雕刻的麒麟影壁，故以此为名。后麒麟碑移至鼓楼内保存。
麒麟碑胡同南口原有两只埋入土中，只露出顶部的石狮，近年挖出，移至白塔寺内殿前。麒麟碑胡同内大宅，现析为府学胡同36号院和交道口南大街136号院东、西两宅。东宅曾为同治皇帝的遗孀敬懿、荣惠二太妃居所，后为天主教会神学院所购。现为北京市文物局。西宅，民国初年为北洋军阀海军总长刘冠雄的官邸，民国二十年(1931)改为助产士学校，现为东城区妇产医院。
在北京有两条因影壁上的饰物而得名的胡同，一为铁影壁
胡同，一为
麒麟碑胡同。前者在
德胜门内，因为胡同中有一座元代的古刹“护国德胜庵”。庵内有一通雕刻着狮子、麒麟的石头影壁。由于影壁表面呈黑褐色，好像是铁铸的，所以被人称为“铁影壁”。现在“德胜庵”早已变为民房，铁影壁被移到了北海公园中，保护了起来。后者在地安门东大街路北，因为明朝嘉靖年间有个武将仇鸾住在这里，府邸前边有一座镶嵌着汉白玉石碑的影壁。这块石碑上浮雕着麒麟怪兽，故称“麒麟碑”。后来，仇鸾因故获罪，门前影壁被推倒，麒麟碑被埋在地下近六百年。民国初年翻建房屋时，石碑才从泥土中被挖出来。如今这块石碑被完好地保存在鼓楼内。
2022年3月，入选“首都功能核心区传统地名保护名录（街巷
胡同类 第一批）”。