该馆包括古代建筑实体和革命珍贵史料两部分：前者以明清时期江南建筑为展示内容，它始建于清道光五年（1825），原名宾兴馆，为清代厅文化、教育设施，民国时期曾是国共合作时县党部与农民自卫团驻地，后又成为一代革命伟人从事革命活动的纪念场所。后者系列介绍了
第二次国内革命战争时期地方革命武装的斗争经历和一枝枪的光荣历史，集中展示在中堂和两边厢房。现保存下来的建筑是1968年县政府按旧貌修建的，为南方祠堂式建筑，座北朝南，前后两进，前为大厅，中有天井，两边回廊，后设中堂，两边厢房，整个建筑砖木结构，占地面积740平方米，层高8米，古色古香，雕梁画栋，气势忧宏。当时命名为“毛主席领导一枝枪纪念馆”。整个建筑砖木结构，灰砖砌成，青瓦盖顶。又名“莲花一枝枪”纪念馆。
1927年7月，省农会负责人
方志敏同志居此，多次召集会议，宣传减租减息，进行农运工作。大革命失败后，莲花农民自卫军总共60支枪被敌人缴去59支，只剩下贺国庆同志保存的一支枪。为保住这支枪，贺国庆同志的父亲，被敌人活活烧死，弟弟全家被害得妻离子散，家破人亡，但不管敌人如何迫害，这枝枪始终掌握在人民手中。
1927年9月25日，毛泽东同志率领秋收起义部队攻克莲花县城，捣毁伪县公署、县党部，砸开伪监狱，解放了七十余名共产党员和革命群众，开仓济贫。当晚，毛泽东同志和部队领导机关就驻扎在这里，次日清晨，毛泽东同志召集莲花地方党组织领导在这里开会，作了重要指示，鼓励大家尽快恢复党的组织，发展地方武装，进行土地革命，使莲花人民在大革命失败的黑暗中找到继续斗争的光明道路，会后莲花党组织负责人
刘仁堪、朱义祖两位同志随部队前往井冈山。毛泽东在《
井冈山的斗争》一文中充分肯定了“莲花一枝枪”的革命斗争精神。解放军总政歌舞团和
江西省京剧团等文艺团体创作和演出了讴歌“莲花一枝枪”的剧本，慕名前来参观的中央和各级领导等中外观众达数十万人次。
1987年10月29日，毛主席的儿子、儿媳岸青和
邵华同志来到莲花，挥毫写下了“莲花一支枪，美名传四方，昔日打江山，今天保家乡。”
纪念馆中堂陈列着部分珍贵文物和照片，靠中堂右厢房为毛泽东和方志敏同志旧居。大厅右侧陈列着一枝枪等90余件珍贵文物，并着重介绍了一枝枪的光荣历史。1926年，在湖南农民运动的推动下，掀起了轰轰烈烈的工农革命运动，全县8个区136个乡都成立了农民协会，县城成立了总工会，同时还成立了两支工农武装力量，即农民自卫团和县城保安队，两队共有枪枝60枝。工农武装成立后，为保障工农利益，强迫土豪劣绅减租减息，开展平仓清谷运动，受到贫苦工农的欢迎。1927年6月下旬，江西省农会负责人方志敏化名李特派员（李祥松）来指导农民运动，曾居住在宾兴馆，1935年方志敏同志把他在开展运动的经历写入《我从事革命斗争之略述》中。1927年，蒋介石在上海发动“四?一二”反革命政变，迫使各地工农武装力量缴枪。
土豪劣绅与县城反动武装靖卫队勾结一起，袭击工会、农会和县党部等机关，诱使和逼迫县工农武装力量农民自卫军缴出枪枝。农军经过多次战斗受到重创，参战枪枝几乎散失。以农军班长、共产党员贺国庆为首的部分同志坚持正义，冒着生命危险，为革命保存了一枝枪。为保存这枝枪，贺国庆将枪拆成三部分，枪身藏在沿背贺家祠神牌中，枪机埋在龙山岩，子弹埋在祠堂天井中风尾树下，以后因形势紧张，贺国庆同志又将枪取出来，藏于湖南攸县石桥塘。反动派为追缴这枝枪，将九都施家和里山村烧成一片废墟。贺国庆的父亲贺承茂被敌人活活烧死，其弟也英勇献身。
1927年9月25日，毛泽东率秋收起义部队从芦溪经进军井冈山，攻克了县城，当晚住于宾兴馆内。次日清晨，毛泽东召开了县党组织部分负责人会议，就恢复和发展党的组织，开展武装斗争，建立农村革命根据地作了重要讲话。11月上旬，毛泽东又在宁冈茅坪象山庵主持召开宁冈、永新、三县党组织负责人联席会议。决定恢复党的组织，重建红色地方武装。1928年初，中共县特支队成立，重建红色地方武装赤色队，拿起大革命失败时保存下来的一枝枪，开展了艰苦卓绝的游击战争。地方武装不断壮大，由一枝枪发展到200余枝，并不断为主力红军输送人员和武器。这就是毛泽东同志在《
井冈山的斗争》一文中高度评价“保存了一枝枪”。