河山楼是皇城相府（又称午亭山村）的标志性建筑，名取“河山为囿”之意，是崇祯五年，为抵御流寇侵扰，由陈家昌言、昌期、昌齐三兄弟合力建造，高三十多米，是皇城相府中最高的建筑。河山楼高达七层，可同时容纳千余人避难，如此的高度与规模在明清建筑中极为少见。更为难得的是，这样一座砖石高层建筑，历经近四百年的风雨沧桑，仍旧巍然屹立，雄距一方，周边没有超越其高度的建筑。

河山楼建于公元1632年，工程尚未完工，流寇不期而至，陈氏家族及附近村民八百余人入楼避难。流寇久攻不下，扬言要日夜封锁并采取火攻，楼内村民将井水从楼顶泼下，以显示准备充分，不惧围困，流寇知难而退，撤兵离去。此后十个月里，流寇又先后三次进犯，依靠河山楼的避佑而逃过兵灾的村民多达数千人次。

做为一座民用军事防御堡垒，河山楼的设计非常科学，考虑极为周全。河山楼三层以上才设有窗户，进入堡垒的石门高悬于二层之上，通过吊桥与地面相通。河山楼楼顶建有垛口和堞楼，便于瞭望敌情保卫城堡，底层深入地下，开辟有秘密地道，便于转移逃生。河山楼内还备有水井、碾、磨等生活设施，储备有大量粮食，以应付可能出现的长期围困。