陈伯山为人英伟,举止闲雅,喜愠不形于色,陈蒨非常器重他。当初
陈霸先建立陈朝时,刚刚得到天下,诸王受封时仪注多有阙漏,及至陈伯山受封时,陈蒨意欲隆重其事,
天嘉元年(559年)七月丙辰日,封陈伯山为鄱阳王。陈蒨乃遣散骑常侍、度支尚书萧睿持节兼太宰告于太庙;又遣五兵尚书王质持节兼太宰告于太社。同年十月,陈蒨到临轩策命,又敕令王公已下并宴于鄱阳王府第。仍授任陈伯山为东中郎将、吴郡太守。
叔父
陈顼辅政时,不欲令陈伯山驻守边境,遂于光大元年(567年),徙封陈伯山为镇东将军、东扬州刺史。
太建元年(569年),陈顼即位后,征陈伯山入朝为中卫将军、中领军。
祯明元年(587年),母亲严淑媛逝世,因而去职。明年,又起任为镇卫大将军、
开府仪同三司,给班剑十人。
因为陈伯山性格宽厚,风度仪表优美,又于诸王中年岁最长,后主陈叔宝深深敬重他,每当朝廷有冠婚飨宴之事,必定使陈伯山为主。及严淑媛逝世,陈伯山居丧时因为孝顺而出名。陈叔宝曾经驾临吏部尚书蔡征的府第,因此往吊唁严淑媛,陈伯山号恸殆绝,因此,起为镇卫将军,陈叔宝仍谓群臣曰:“鄱阳王至性可嘉,又是西第之长,豫章已兼司空,其亦须迁太尉。”未及下诏而陈伯山逝世,后来正值陈朝覆亡,遂无赠谥号给陈伯山。