清康熙三十五（公元1696年）县丞周燮扩建城墙，在山上挖出大量白骨，为慰亡灵，他命人在东边山头挖一巨穴，将白骨葬人，又在上面筑起了一座砖石塔。给塔取个什么名字呢？有的人说：“干脆叫作白骨塔。”几个士绅觉得不妥，认为自古以来无此怪僻可怖的塔名。请来题写塔额的人见塔名未定，只写下一个“塔”字便走掉了，所以，塔额上至今只有一个“塔”字，而无塔名，不过，人们习惯称它为“白骨塔”。
离塔不远的平地上曾建有一座小庵堂，名叫“白骨庵”，不久就倒掉了，再没有恢复。
抗日战争期间，此地为衡州保卫战的主守阵地，日军用飞机、大炮对这里进行狂轰滥炸，距塔仅二百余米的回雁峰被变成了一片焦土，而白骨塔却奇迹般地只负了几处轻伤。解放后，市博物馆对它进行了修补。现节假日亦有人来此游览。