陈代（557—589年）筑馆，名登仙，后毁圮。唐乾宁初，道观得到营缮。宋代开宝七年（974年）重修。
大中祥符年间（1008—1016年）改名冲虚观。元初毁于兵乱。明
洪武年间有僧人在废基上重建，更名大林寺。清同治十三年（1874年）又扩建，规模甚大，有金刚殿、
大雄宝殿、东西经楼、白云精舍及放生池等。金刚殿塑四大金刚，雄伟庄严，可与常州天宁寺四大金刚相媲美。
千手观音、十八罗汉、
释迦牟尼像塑艺也十分精湛，东殿两罗汉，一作读书貌，一作倚睡状，神态自然，栩栩如生，传说是两名高手竞技之作。寺院内有银杏三棵，古井一眼，其中一棵银杏已有800余年树龄，古井相传为梁代王八百炼丹处。寺东侧有龙母井一口，传为项女投井之处。并建有井亭，井亭有“井养飞龙，神胎天赋；峰移出震，圣迹地传”对联一副。
“
文化大革命”时期，大林寺遭受严重破坏，古建筑虽有幸保存，但寺内塑像却无一留存。1988年，经批准，大林寺恢复佛事活动，静海法师为主持，并将大雄宝殿修缮一新，恢复了昔日风貌。在大雄宝殿后，又新建一座雄伟的万佛楼。方丈为达胜大和尚,监院顾问为静海长老。
2012年8月13日下午，
常州市民族宗教事务局局长赵世平、副局长颜良进等一行4人冒着高温酷暑来到位于武进区横山桥镇横山山麓下的江苏省重点寺院——常州大林寺（本寺），亲切看望慰问为佛教人才培养做出巨大贡献的江苏江苏武进佛学院名誉院长、常州大林寺法主静海老和尚，常州大林寺方丈达胜大和尚热情接待赵世平一行，赵世平一行在达胜大和尚的引领下来到法主静海老和尚的住所，赵世平和法主静海老和尚亲切握手，询问了法主静海老和尚的生活情况和健康情况，祝愿老人家永远健康长寿。赵世平代表常州市民族宗教事务局向法主静海老和尚发放了防暑用品和慰问金。
2012年4月27日中午12；00，大林寺举行了“法界圣凡冥阳两利水陆法会”送圣仪式。本次水陆法会4月20日下午熏香开坛，是时天降甘霖，佛恩弥漫，一派欢乐祥和人天一体的壮景。大林寺4月25日凌晨4；00为本次法会举办了斋天佛事一堂，26日晚福放了一场七大师圆满焰口。本次水陆法会有2500余居士信众护持，86位法师加持了法会，设立往生、延生吉牌4000余樽。江阴君山寺方丈和融大和尚主法送圣，诵仪轨，吟经文，僧众加持，功德主托涧燃香祈福，常州市天宁区青龙街道紫云社区舞龙腰鼓队为大林寺送圣队伍更添风采，送圣队伍延绵400米有余。送圣圆满后进行了精彩的舞龙灯表演。
2012年4月5日上午，本寺方丈达胜大和尚带领本寺僧众、职工高举花圈、挽联来到常州市
爱国主义教育基地——澄西革命烈士墓。
在革命烈士墓前，达胜大和尚发表讲话，他说；“新中国成立前，我国劳动人民遭受三座大山的压迫，生活痛苦，民不聊生，是伟大的中国共产党带领人民解放军浴血奋战解放了我们的国家和人民，很多革命烈士在战斗中英勇的牺牲了，新中国成立后，又有很多公安英烈和革命烈士为了我们共和国的建设献出了宝贵的生命，在和平环境里幸福生活的我们一定反思；没有革命烈士抛头颅、洒热血就没有我们今天的幸福生活，就没有我们强盛的祖国，没有国那来家？没有稳定的生活我们又怎么来信教？……”