《清泉县志》提到的东晋葛洪是著名的道士，又是道教理论家、炼丹家和医学家。传说葛洪近四十岁时辞官离家，来到杭州的西山岭结庐修炼，晚年又在广州的罗浮山上炼丹采药。可见葛洪炼丹之地不止一处，他既然云游四方，那么在衡阳的花药山炼过丹是完全有可能的。
花药山还曾经有一处佛教宝刹。宋宝佑五年(公元1257年)，花药山下建起了一座光孝报恩寺(即后来所称的花药寺)，规模较大，为当时衡阳佛界四大丛林之一。可惜此寺在
文化大革命中被彻底毁灭。原来的寺庙基址上后来盖起了房屋建筑，先是做展览馆，现在是衡阳市戏校校舍。