杨公岭又名午峰名山，据传，古时候，午峰山古木参天，泉水汩汩，山顶上的神坛、寺庙香火兴旺。山顶的神坛为方圆十几里的祭神地点，祭神之日，各方祭神人群，高举旌旗，锣鼓开道，极其隆重而严庄。自明初至“文革”前，午峰寺即为方圆十几里村庄朝拜、闹花灯之集结地，每年农历正月初二至元宵节为闹花灯之期，各路闹花灯人群，举着花灯、龙灯，带着祭品来到午峰寺祭拜与舞龙灯，并有比赛项目，甚是热闹。据传，明朝大学士解缙及邹元标等名人学士多次到午峰山游览，并留有诗文，在兰下村家谱中有多处记载。
北伐战争期间，杨公岭曾遭遇一场战争，南兵与北兵，在杨公岭鏖战一天两夜，双方伤亡惨重，尸首遍地，此战对杨公岭山上的古树及建筑损毁较大，“文革”期间，午峰寺遭到灭顶之灾，山上建筑从此荡然无存。