1959年，随着群众性植树绿化活动的开展，为加强青岛市绿化工作的领导，
青岛市人民委员会成立青岛市绿化委员会，由副市长王云文任主任委员，下设办公室，设在园林管理所，由所长任主任，负责植树绿化的计划安排、组织发动及落实。
1965年3月25日，市绿化委员会与市爱国卫生运动委员会印发保护街道、公园绿地树木、讲究卫生宣传卡片，广泛宣传推动城市绿地保护。“文化大革命”期间自然取消。为加强城市园林绿化和植树造林工作的领导，1981年3月18日，市政府决定恢复成立青岛市绿化委员会，由市政府有关部门、各区和驻军单位组成。副市长宋玉珉任主任，办公室设在市园林处，由市城建局副局长任办公室主任。
1981年12月13日第五届全国人民代表大会第四次会议通过《关于开展全民义务植树运动的决议》，青岛市政府于1982年3月5日根据山东省政府鲁改发[1982]16号文件精神，对市绿化委员会进行充实调整，由市长李秉政任主任委员，办公室设在市林业局，由市建委副主任任办公室主任。负责宣传、组织、推动全民义务植树运动和群众性绿化工作。委员会按规定应下设秘书组（设市政府）、城市组（设园林局）、农村组（设林业局），为了方便工作办公室暂时仍设在市园林局，负责日常工作。此后，各区、市（县）相继成立绿化委员会，一些大型企业单位也成立绿化委员会或绿化领导小组。形成市、区（市、县）两级群众性绿化管理体制。1985年7月，市政府规定市绿化委员会办公室设在林业局。市绿化委员会办公室工作移交市林业局主管。其后，随着市政府组成人员的变更，相应调整市绿化委员会的组成人员。1988年5月，市政府在调整市绿化委员会组成人员名单的通知中，明确规定办公室下设两个组，农业组设在林业局，城市组设在园林局。
2002年9月，市机构编制委员会《关于明确义务植树行政主管部门及有关问题的通知》明确规定，市林业局和市园林环卫办公室均为义务植物行政主管部门，在“三定”规定的工作范围内履行《青岛市全民义务植树条例》规定的管理和执法职责。在市绿化委员会办公室增设一名副主任，由市园林环卫办公室负责同志兼任。