清虚观又名福山寺、廖仙观，始建于南北朝梁中大通三年（公元531年），连州保安人廖清虚居福山修炼，光大二年（公元568年）上升。连州人即以其居为观。宋朝神宗皇帝加赐显号为“灵禧真君”，后建真君殿、大雄殿、北帝殿、紫微殿、观音殿、三清殿等十二大殿。各殿错落有致，雄伟壮观，是道家七十二福地。流水古树之间，宛若仙境。
抗日战争时期，广州沦陷，省府迁往连县，而寺院为广东省儿童教养院使用，收养沦陷区难童近千人。问起乡人，得知当时的童子军（也就是难童）在福山期间，由于中央拨下的经费到达他们手中的时候，早已被各级克扣一空，童子军被饿得连蚂蝗也捉来充饥，贫苦的乡民们虽然很同情他们，有的还收养难童为子，然而，毕竟力所难顾，由于得不到政府的救济，许多的童子军就这样而被活活饿死，状况凄凉。不久，国民党保安团又盘踞福山，僧走道散，幽林钟声不再，寺庙逐渐毁坏。解放后，残存寺庙、神像被毁，从此，静福山“花草埋幽径”，喧闹了千年的“静福寒林”真的静下来了，惟有寒林空对月。
80年代后，逐步修复了紫微殿、真君殿、北帝殿及福字井等建筑，同时为纪念五代时期著名诗人孟宾于（连州保安人），修建了孟宾于纪念碑。为了一览天下七十福地秀色，为了瞻仰古风前贤，为了寻找唐宋明清的繁华以及战时的那段历史......来福山旅游的人们又多起来了，而至福山的专线旅游车也已开通。