《曹南文献录》记载，此山古貌“阜峦起伏，高八、九丈，横亘数里”。据现存遗迹考查，以此山为高峰，共五个山头东西排列（白土山以东一个、以西三个）。因黄河多次
决口，山下地土山淤高。明洪武四年（公元1371年）县城设此，平山填沟，在1927年四乡出车，往城内运土垫街。原来山界已被填平，至今在此山西北仍有半截老山沟遗址，长150米。山顶宽约30米，原土质坚硬，重载四轮太平车过而无辙，旱天无浮土，雨天无泥泞。传说山上产黑蝎子，比其它蝎子多生两个爪。
此山曾是陶布集、散之处，当时设布店多座。明、清历代定陶特产白土布盛名各地，由四乡运往此山，将布打成捆，装车外运。陶布，织成长二十八尺，宽二尺，两边各有红线一条。传说：棉线纺得十分均细，织的稠密兜水不漏。布质很硬，打开布卷，能自动卷回。此布需染多次才能着色，做成衣服，穿十余年犹如新装。人得陶布，爱不释手。另有传说：陶布经过白土山，布则变为光滑有韧，布质
增强，所以外乡土布，虽已打扎成捆准备外运，也要多走数里过此山，以求布质
提高。
由于陶布的外运，故白土山盛名在外。据说清朝时期，定陶县苗楼村的李某在江苏安徽一带挑货篮，换破烂，因与人口角动起手来，用扁担将对方打死，被人告到县衙，将李某押监收狱。知县得知被告李某是定陶人，因知县熟悉定陶（有说此知县是定陶人），有意庇护，将李某发配白土山。原告认为白土山一定是边远之山，被告李某虽是定陶人，但不知白土山在哪里，因致死人命发配边疆，也无话可说。解差押着李某来到定陶城内白土山将他释放，李某方由悲转喜，回到苗楼家中。
该山在春秋时代，曹国称曹南山，战国时代称陶山。后因山四周为湖泽，湖水涸后遍地结为白碱，此山皆白色，故称白土山，亦叫白头山。还有说：每逢集市，满山是白布，故又有白布山之称。