霍山、霍云是霍光兄长霍去病的孙子。霍去病死后，其子霍嬗袭爵冠军侯，早逝无子，因为汉朝侯爵不能传给兄弟或侄子，故冠军侯绝封。

史记《建元以来侯者年表》：

霍山，山者，大将军光兄子也。光未死时上书曰：“臣兄骠骑将军去病从军有功，病死，赐谥景桓侯，绝无后，臣光愿以所封东武阳邑三千五百户分与山。”天子许之，拜山为侯。后坐谋反，族灭，国除。

《汉书·霍光传》：光秉政前后二十年，地节二年春病笃，车驾自临问光病，上为之涕泣。光上书谢恩曰：“愿分国邑三千户，以封兄孙奉车都尉山为列侯，奉兄票骑将军去病祀。”

《汉书·外戚传》：宣帝以光故，封去病孙山、山弟云皆为列侯。

对照各方记载，霍山应为霍去病孙，《史记》有误。

昭帝时，霍光主政，霍云、霍禹为中郎将，霍山为奉车都尉、侍中。

地节二年（公元前68年），霍光去世，临死前请求从自己的封邑分出东武阳邑三千五百户，封霍山为列候，为霍去病奉祀。宣帝念霍光功德，封霍山为乐平侯，次年（公元前67年）四月封霍云为冠阳侯。霍禹袭霍光爵博陆侯。

后来宣帝架空霍家权力，霍禹、霍山、霍云都被其排挤，数次在一起哭，又得知霍光遗孀霍显毒杀了宣帝皇后许平君，既怨恨又害怕，就图谋作乱。霍云的舅舅李竟因交通诸侯王而获罪，霍山、霍云因此被下诏罢免宿卫之职回家。霍家人更加害怕。霍山图谋以上官太后名义召见丞相魏相、国丈平恩侯许广汉，让霍光的女婿范明友、邓广汉以太后名义将他们斩杀，废黜宣帝，立霍禹为帝。随即事泄，霍山、霍云、范明友自杀，霍禹腰斩。