萧衍当了皇帝以后，即将同夏里三桥篱门侧之故里舍为寺庙，取名光宅寺。当时庙宇宏伟，梁武帝曾将僧祜所造高达一丈八尺的无量寿佛佛像供奉于此。且诏镌金像花跌，命周兴嗣、陆倭等著名文人各制寺碑。光宅寺内有井，又称“郗氏窟”。相传梁武帝皇后郗氏生性妒忌，残害后宫，后因亵渎圣僧宝志大师，遭到梁武帝的当众训斥，羞愤难忍而投井自尽，化为蟒蛇，托梦给武帝。梁武帝为郗氏之死十分追悔悼念，寝食不安，遂册封鄱氏为龙天女。光宅寺之所在地，至今民间仍呼为“蟒蛇仓”或”回龙里”。
隋唐以后，寺庙日渐荒废。南唐保大年间仅存地数亩，更名法光寺。北宋时寺僧募资重修，正殿依岩而筑，塑佛像十六尊，改称鹿苑寺。元代著名书画家赵孟頫及管仲姬曾在寺内画观音大士像，将之刻石成像。
明代永乐（1403-1424年）年间，西域回光大师以修建大报恩寺的余款重修此寺，更名回光寺。据《
金陵梵刹志》记述：当时寺庙基址广达五十丈，寺内建筑有山门一座，金刚殿一楹，正殿三楹；右侧有关圣殿三楹，大悲殿五楹。天妃殿一楹，玄帝殿三楹。地藏殿三楹；左侧有五显殿三槛，观音殿三槛；另有伽蓝殿一楹，祖师殿一楹，藏经阁三槛，禅堂六槛及僧院四房。明神宗万历元年（1573年）重修，并立碑记事。此后几经战乱，名寺复成废墟。
清代乾隆四十六年（1782年）。一游方和尚偶然在废墟中掘得一尊石观音像，即设法重建寺庙，以石观音寺为名。现存正殿一座，后堂一座。寺内仅有一尊孤立的石观音像，置于一口深井之畔。
光宅寺与相邻的周处读书台及清代著名戏剧理论家李渔的芥子园原来连成一片，前为赤石矶，后为
白鹭洲，确为风景绝佳的胜地。寺侧旧有古柏庵、西莲庵、接引庵等建筑。今均荡然无存。