白鹿台在广东新兴县城南六公里的南塘村边，有一片面积一百八十多平方米的岗地，特别引起人们的注意，这便是公元前196年南越王赵佗部下所筑的白鹿台（俗称越王台或越王殿）旧址。据建国后文物普查，遗址还残存有汉代、唐代的布格纹板瓦碎片。

原来，早在秦代，新州（今新兴）地域一片荒凉，鹿、豹、老虎等野兽繁多，人烟稀少，被称为“南蛮之地”或“瘴疠之乡”。境内土人以打猎为生。公元前210年秦始皇驾崩，中原大乱，秦廷官员赵佗（河北真定人），先后任岒南龙川县令、南海尉事，赵以南海为基地，掠取桂林郡和象郡，继而自称为南越王。

汉高祖十一年（公元前196年）他即率众到新州今县城以南六公里处狩猎，捕得白鹿一双，白鹿象征如意吉祥，赵佗很高兴，令众将即筑台庆贺，用以庆祝和祭祀神灵，祈求南越国风调雨顺，国泰民安，史称“白鹿台”（也称越王台），至公元前137年赵佗病卒，公元前111年南越也被吞灭，当年始设临允县（今新兴县），因此，白鹿台遗址至今已有二千二百多年历史。

后来地方官绅和乡民为了纪念赵佗，就在白鹿台旁建起一座越王殿来供奉他。据记载，大殿坐北向南，砖木结构，红墙绿瓦，斗拱飞檐，雕梁画栋，古色古香。随后，这一带附近渐渐形成了村落，村名就叫越王殿村，后改为南塘村，但“越王殿村”之名依旧流传甚广。

在经过岁月的变迁，历史的洗礼，白鹿台遗址已经没有当时的辉煌，只剩下一座简陋的越王庙和一首由清代诗人区宇瞻写的《白鹿台怀古》，供人们感叹世事变迁的苍凉冷清。“白鹿仙车去，无人猎古台。空余烟峤月，曾照越王来。锦忆千金使，台悲逐鹿翁。迹空迷岁月，只认上林中。”

南越王越佗一生筑有四台，先筑五华县的“长乐台”，再建新兴县的“白鹿台”，后再有广州越秀山的“朝汉台”“越王台”。