大数据一体机是面向大数据存储、处理、展现全环节、软硬一体化的方案型产品。当前,数据处理领域正处于平台架构的更替期,大数据一体机的面市,解决了原有架构的扩展瓶颈和新技术条件下的客户应用门槛,进一步推进了大数据技术在我国各行业的应用。
简介
一体机是指通过标准化的架构集成了服务器、存储、网络、软件等配置,减化了数据中心基础设施部署和运维管理的复杂性的一体化设备。大数据一体机(Big Data Appliance)即通过一体机的产品形态,解决了大数据时代基础设施的持续扩展问题、数据处理的个性化和一体化需求问题、海量数据的存储成本问题。
大数据一体机(Big DataAppliance)是一种专为大量数据的分析处理而设计的软、硬件结合的产品,由一组集成的服务器、存储设备、操作系统、数据库管理系统以及一些为数据查询、处理、分析用途而特别预先安装及优化的软件组成,为中等至大型的数据仓库市场(通常数据量在TB至PB级别)提供解决方案。
应用范围
大数据一体机是金融、电信、公安、工商、交通、卫生、企业等各个行业用户的大数据解决方案理想之选
背景介绍
大数据将深刻改变人类的决策方式和社会经济的运行方式。全球著名的调查公司麦肯锡在最近的研究报告中指出,当前数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素,大数据将推动生产力发展和创新,对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来,在全球已经全面进入信息时代的今天,数据已经成为与水、石油、天然气同等重要的国家战略资源。IDC报告指出,截止2011年底,全球新增的数据量已达到了1.8万亿GB,未来十年还将增长50倍,迅速积累的海量数据蕴含着重大的商业价值和社会价值——通过挖掘海量数据,公司的决策、运行会建立在更加科学的基础上,失误更少,效率更高,而对于政府,大数据技术可以提高政府决策效率、危机应对能力和公共服务水平,建设更高水平的智慧政府。
发展大数据产业将推动中国转变社会经济发展方式,对于提升企业竞争力和政府管理服务能力具有紧迫的现实意义。当前中国正面临从粗放到可持续发展方式的转变挑战。大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来,为人类的社会经济活动提供依据,从而提高各个领域的运行效率,大大提高整个社会经济的集约化程度。
技术特点
从技术特点上看,大数据一体机的主要特征有以下2点:
4.1 采用全分布式新型体系结构,突破大数据处理的扩展瓶颈并保障可用性
采用全分布式大数据处理架构,将硬件、软件整合在一个体系中,采用不同的数据处理的架构来提供对不同行业应用的支撑。通过全分布式大数据处理架构和软硬件优化,使得平台能够随着客户数据的增长和业务的扩张,可通过纵向扩展硬件得到提升,也可通过横向增加节点进行线性扩展,即使在达到4000个计算单元重载节点情况下,也还能够实现相接近线性的扩展性和低延迟、高吞吐量的性能,同时保证业务的连续性。
4.2 覆盖软硬一体全环节,满足个性化定制需求
采用软硬件一体的创新数据处理平台,针对不同应用需求融合硬件到软件的一系列的手段实现数据采集、数据存储、数据处理、数据分析到数据呈现的全环节覆盖,为用户提供整体方案,用户可以根据各自应用特点选择不同系列的产品,实现按需定制、插电即用。
除了以上两点之外,由于大数据产品的专业性和其不同于传统的解决方案,需要提供产品的厂商提供全方位的专业化的服务,帮助用户跨过应用门槛。针对用户在整个数据处理环节提供全方位的专业化的服务,帮助用户明确应用需求,选择适合的软硬件架构,提供开发方面的支持,并帮助客户把程序从原有的模式移植到大数据处理模式下,从调优直至上线应用提供整体一条龙的服务。
发展现状
目前大数据一体机市场已经形成了供应商百花齐放的局面, IBM、Oracle、EMC、浪潮等都推出了面向大数据的一体化产品和解决方案。例如:IBM的Netezza一体机、Oracle的Exadata一体机、EMC的Greenplum一体机、浪潮的云海大数据一体机等。
参考资料:(1)《2010-2011年中国IDC业务市场发展研究报告》