铁山禅寺始建于东汉末年。当时有个叫严佛调的(此人为汉人第一个护佛居士,且把亚方佛金译为汉文的第一个僧人)在此出家从道场的,他的女婿谢静吾是一名大将军,野心勃勃,一心想谢家在朝中的权势如日中天,于是不惜一切代价,耗巨资选了一块
风水宝地修建家寺,供奉自已祖宗的牌位,并取名“铁山寺”。有“铁打江山”之寓意,更包含威驾海内并吞八方当皇帝的野心。
铁山寺有记载的第一座梵刹,历代屡毁屡建,香火不断。明代嘉靖年间,铁山寺得以复建,历时十五年始成,方圆二三十亩寺区内,石门石柱,石龛石佛,六百和尚念起经来,轰轰如雷鸣。住持高僧慧远法师迷醉云游,酷爱花木,先后从大江南北及至朝鲜半岛带回不少珍稀物种,并逐步养成盱眙山区偏好植物栽培的风气。正月半、八月半,一年两度开锣唱戏,和尚演、山民看。清代中期,达至鼎盛,以铁山寺为中心,形成以清凉寺、开山寺、白马寺、黄岩寺、奶奶庙、汪姑庵为辅佐的十四座庙宇的寺庙群落,晨钟暮鼓,诵经念佛,附近两省善男信女均不辞路远,前来顶礼膜拜,佛事之盛,被时人誉为“小九华”,清末铁山寺曾被山匪所占。民国10年由于战火,部分建筑被破坏,后因文革又遭破坏。庆幸的是2002年铁山寺复建。新建铁山寺的大雄宝殿高度为24.8米,占地880平方米,比扬州的
平山堂还要高大,为
苏北第一大殿。已建山门殿、天王殿、东西配殿以及客堂、方丈楼、观音阁和藏经阁等,形成苏皖两省
中部地区的大型寺庙群。