山顶昔有一酷似人头的巨石耸立，故俗名人头矶。山有三峰，中峰最峻，高165.8米，呈白色， 形似龟状，又名龟山。相传其上有白玉，采者日众，久之玉绝。西峰高104.1米，峭峻如壁，巍峨壮观，松木稠密。北峰高65.4米，临江山麓有千佛洞。
唐天宝六年（747）秋，
李白乘舟自金陵溯江而上，过
慈姥山，至白壁山赏月吟诗，写下《
自金陵溯流过白壁山玩月达天门寄句容王主簿》，诗中云“沧江溯流归，白壁见秋月。秋月照白壁，皓如山阴雪。幽人停霄征，贾客忘早发。进帆天门山，回首牛渚没。”诗中以清新、形象之佳句，细致而生动地描绘了白壁山一带的月夜秋景。