衡山国辖现相当今河南省信阳市、安徽省霍山、怀宁县以西，南至长江，北至淮河。汉初时为郡、时为国。衡山国共有吴芮、刘勃、刘赐三个时期，三者无世袭关系。

第一次衡山国

楚汉之际，汉元年（前206年），项羽以秦衡山郡置国，封，都邾，以境内包有衡山（今安徽霍山）周围地区得名，项羽败亡后，汉六年（前201年），吴芮被徙封为长沙王，衡山国除为郡，属淮南国。

第二次衡山国

文帝前十六年（前164年），徙淮南王刘喜王故城阳，立刘喜的前任，淮南厉王刘长的三子王淮南故地，其中一子安阳侯刘勃为衡山王，因此复置衡山国，都六（今安徽六安市）。景帝四年，吴楚七国之乱已平定，衡山王来朝，景帝认为刘勃有拒绝吴国叛乱邀请的贞信，便可怜刘勃在卑湿的南方做王而徙封刘勃为济北王。

第三次衡山国

景帝四年（前154年），因刘喜被徙封济北王，故徙封庐江王刘赐为衡山王，都六（今安徽六安市）。衡山国得以延续。元狩元年（前122年），衡山王刘赐谋反一事被告发，自杀，衡山国撤销，又除为郡。次年，撤消衡山郡，分衡山郡东部及九江郡南部组建新庐江郡，治舒（今庐江县城池乡城池村城池埂）。分衡山郡西部及南郡地设置江夏郡，治西陵。

前122年最后一次被废除，次年衡山郡亦被分为庐江郡和江夏郡，衡山国和衡山郡彻底消失。