双溪庵坐落在湖南省隆回县中心的六都寨向东村杨家冲。座东北朝西南，三面环山，一面开阔。东北靠木鱼山，东南离老祖山150米，西北离丛山湾150米。三山大部为旱土，有少量树木。西南是梯田，半腰有蜿蜒曲折的六都寨水库总干渠。距六都寨镇政府驻地750米，由镇政府驻地向东北登山坡过田垅，跨水渠再登170级石阶经保香炉，便到双溪庵。

该庵始建年代不详，清嘉庆十一年（1802）和十九年（1810）进行过两次扩修。庵院有正殿、横楼、山门、保香炉四部分，占地面积约500平方米。

双溪庵正殿为砖木结构，是庵院最古老部分，单檐悬山顶。殿内供奉菩萨65尊，殿门上方悬挂着宽2.8米，高0.7米，题有“佛惠满布”匾额，现两侧有木板制作对联：“双膝跪佛前，志心顶礼，无非是求福求禄求寿求喜；溪水供神下，虔诚感应，必定得赐康赐宁赐祥赐祯”。大门东南侧上梁吊挂有大铁钟，整个正殿红漆涂面，鲜艳耀眼。横楼分座于正殿东南、西北两侧，砖混结构，分别于1979年和1993年重修。西北横楼辟有“南岳殿”，殿内神龛奉菩萨9尊，两侧有对联“山静云闲如是机缘如是法；鸟啼花放尔时休息尔时心”。四壁绘有人物山水画。庵院内辟有空坪，靠正殿大门东南侧有香炉一座，四季香火不断。靠山门两侧围墙旁，栽有石榴、柑桔等果树，墙外一片葱茏，远望庵寺，隐于青山绿林之中。

双溪庵山门重修于1984年，青砖砌筑，呈八字形，单檐悬山顶。楣上有“双溪禅院”行书四字，两侧对联“双手纵多能，难抡大圣千钧棒；溪清堪可鉴，照澈也人一片心”。并绘有姜太公钓鱼、唐僧取经、蛟龙出海等水墨山水画。山门东南侧围墙内嵌有清嘉庆十一、十九年石碑二块。碑文记载了当时修建基本情况和捐款人姓名及捐款数目。

双溪庵于1991年12月公布为隆回县县级文物保护单位。