Greenplum。该公司成立于2003年,2006年推出了首款产品,其
主营业务关注在
数据仓库和
商业智能方面,Greenplum DW/
BI软件可以在虚拟化
x86服务器上运行无分享(shared-nothing)的
大规模并行处理(MPP)架构。
公司简介
Greenplum是一家总部位于
美国加利福尼亚州,为全球大型企业用户提供新型企业级
数据仓库(EDW)、企业级数据云(EDC)和
商务智能(BI)提供解决方案和咨询服务的公司,在全球已有:
纳斯达克,
纽约证券交易所,Skype. FOX,
T-Mobile;中国已有:
中信实业银行,
东方航空公司,
阿里巴巴,
华泰保险,中国远洋(
Cosco),
李宁公司等大型企业用户选择Greenplum的产品。
MPP 系统
Greenplum的架构采用了MPP(
大规模并行处理)。在 MPP 系统中,每个
SMP节点也可以运行自己的操作系统、数据库等。换言之,每个节点内的
CPU 不能访问另一个节点的内存。节点之间的
信息交互是通过节点
互联网络实现的,这个过程一般称为数据重分配(Data Redistribution) 。与传统的SMP架构明显不同,通常情况下,MPP系统因为要在不同
处理单元之间传送信息,所以它的效率要比SMP要差一点,但是这也不是绝对的,因为 MPP系统不
共享资源,因此对它而言,资源比SMP要多,当需要处理的事务达到一定规模时,MPP的效率要比SMP好。这就是看通信时间占用计算时间的比例而定,如果通信时间比较多,那MPP系统就不占优势了,相反,如果通信时间比较少,那MPP系统可以充分发挥资源的优势,达到高效率。
名字来源
Greenplum的大中华区总裁Stanley Chen告诉我们:“Greenplum这个名字是一个7岁小女孩无意中脱口而出的。”起初几个创始人在斟酌公司名字的时候都很没头绪,于是他们去问了朋友的孩子,一个年仅7岁的可爱小姑娘告诉他们叫“Apple”,但是爸爸告诉她,这个名字已经被别人用了,还有其他的么?很快孩子便随口说了“Greenplum”,于是“Greenplum”公司的名字就这样诞生了。
中国运营
Greenplum于2008年12月进入中国市场,经过一年多的开拓,2010年1月1日Greenplum正式宣布在中国独立运营,并任命Stanley Chen先生为Greenplum
大中华区总裁职务,Stanley Chen先生在IT行业从业25年以上,曾在
Oracle公司工作16年担任亚太区副总裁。Stanley Chen总裁将管理和运营Greenplum在大中华区的业务,Greenplum公司将为大中华区的企业级用户提供世界领先的数据仓库解决方案和服务。Greenplum在中国迅速而高效的
适应能力已经彰显了其卓越的实力,宣布在中国的独立运营展示了Greenplum对中国市场的信心,也体现了Greenplum描绘中国市场宏伟蓝图的决心,也预示着新一代超级数据引擎Greenplum在中国市场的无限前景。
2010年7月EMC收购Greenplum,2010年4月Greenplum借助
EMC中国卓越研发集团进入中国,组建Greenplum研发并稳步成长,覆盖了Chorus,Greenplum和Hadoop等多个产品研发。2014年4月,伴随着全球Pivotal公司的组建,
冯雷(RayFeng,时任EMC中国卓越研发集团Greenplum
部门经理)在
范承工博士和Greenplum创始人ScottYara的支持下组建了
Pivotal中国研发中心。Greenplum作为Pivotal的核心大数据产品,有着一支技术实力很强的团队。Greenplum中国研发团队占全球研发团队的一半以上,在
研发总监姚延栋,
产品经理高小明的带领下,专注于Greenplum
分布式数据库内核开发。此外中国研发团队还独立负责GPText(
文本检索)和GPCC(Greenplum数据库监控管理)两个产品的全部研发工作。Greenplum中国研发团队将敏捷软件
开发方法学引入到分布式数据库的开发中,通过使用站立会议、回顾会议、
结对编程、
持续集成、测试驱动、单周迭代等
敏捷方法建立了高效的快速
反馈系统,大大提高了产品的质量和客户的
满意度。Greenplum中国研发团队开放、协作、创新的文化吸引了大量来自于清华、北大、中科院、
人大、
北航等国内
知名院校的人才,是分布式数据库研发领域的知名团队。
Greenplum于2015年10月开源,
开源社区在中国有很高的知名度。在2014年,为了筹备Greenplum开源后中国生态的建设和商业开发,冯雷聘请了陆公瑜加入Pivotal。陆公瑜先生就读于英国
约克大学,并曾担任过
IBM云计算资深研发经理。在Greenplum中国产品领导团队的带领下,Greenplum/Pivotal越来越多的企业和开发者正在加入,
阿里巴巴,易观等国内知
名企业纷纷使用或提供Greenplum开源服务。
2016年,Pivotal中国研发中心总经理冯雷和Pivotal全球设施团队一起为Greenplum中国研发团队打造了一个全新的办公场所,新办公室位于北京
融科资讯中心B座,设施先进,
科技创新氛围浓厚,体现了Pivotal的
企业文化和
创新精神。
发展历史
2006年,Sun与Greenplum联手打造即时数据仓库
2008年,Greenplum进军中国市场
2010年,Green plum中国首届电信行业
产品推广会开幕
2010年,EMC收购Greenplum
2012年,Greenplum
大数据分析工具亮相EMC World
2012年,EMC、
VMware和Greenplum又联手建新公司
2016年,Pivotal Greenplum 4.3.9.0正式发布
2016年,Pivotal Greenplum数据库4.3.10.0引入了S3可写表,开启了Greenplum对
亚马逊S3的全面读写支持。用户可以非常方便地在亚马逊
云平台上使用到Greenplum
大数据服务,并且可以快速读写存储在S3上的数据。
近日,Pivotal又刚刚宣布了Greenplum数据库对微软Azure云平台的支持,用户可以在微软Azure云平台上方便地使用到Greenplum提供的各项专业高效的大数据服务。
2016年11月,新版GPCC3.0发布,给用户提供了一个更好的管理Greenplum数据库的工具。管理员可以通过GPCC
查询系统的
性能指标,查看当前在系统中运行的查询,监控资源使用情况,并且方便问题诊断和报告。GPCC3.0彻底抛弃了过时的
Flash技术,使用了对浏览器更加友好和安全的HTML5方案。采用
响应式布局设计,增强了与图表间的交互式操作。
目标宗旨
公司专注于
OLAP系统数据引擎开发,有世界级的
研发团队进行
高性能计算和
数据库系统的前沿开发工作,宗旨是向客户提供高性能的
超级数据引擎,并将强大的并行计算能力融入到大规模
数据仓库分析领域中。公司具有
发展趋势超前的视野和洞察力,为全球很多最大规模的
数据仓库提供
推动力;公司最先将SQL和Map Reduce的功能整合到统一的数据处理框架中。
Greenplum中国公司拥有一支具备丰富行业经验的销售和技术团队,具备金融、电信、政府、互联网等等行业的数据仓库项目行业经验,专注于推动Greenplum在数据仓库分析领域的应用,为客户实现
投资回报、价值增长。
软件优势
数据存储
当今是个数据不断膨胀的时代,采取MPP架构的
数据库系统可以对
海量数据进行管理。
Greenplum支持50PB(1PB=1024TB)级海量数据的存储和处理,Greenplum将来自不同源系统的、不同部门、不同平台的
数据集成到数据库中集中存放,并且存放详尽历史的数据轨迹,业务用户不用再面对一个又一个
信息孤岛,也不再困惑于不同版本数据导致的偏差,同时对于IT人员也降低管理维护工作的复杂度。
高并发
随着
商业智能在企业内的快速发展,
BI 用户对信息分析平台的访问频率和查询复杂度也快速提升,因此要求相应的
数据库系统对
高并发查询进行支持。Greenplum利用强大
并行处理能力提供并发支持。
Greenplum提供资源
管理功能(workload managemnt)来
管理数据库资源,利用资源队列管理可实现按
用户组的进行
资源分配,如Session同时激活数、最大资源值等。通过资源管理功能,可以按用户级别进行资源分配和管理用户SQL查询优先级别,同时也能防止低质量SQL(如没有条件的多表join等)对
系统资源的消耗。
线性扩展
Greenplum与其他分布式大
数据产品如Yonghong Z-DataMart一样采用了通用的MPP
并行处理架构,在MPP架构中增加节点就可以线性提高系统的存储容量和处理能力。Greenplum在扩展节点时操作简单,在很短时间内就能完成数据的重新分布。
Greenplum线性扩展支持为
数据分析系统将来的拓展给予了技术上的保障,用户可根据实施需要进行容量和性能的扩展。
高性价比
Greenplum数据库软件系统节点基于业界各种
开放式硬件平台,如SUN/HP/DELL等厂商的PC Server等,在普通的
x86 Server上就能达到很高的性能,因此性价比很高,相比于其他封闭式
数据仓库专用系统,Greenplum每TB的投资是前者的1/5甚至更低。同样,Greenplum产品的维护成本相比同类厂商也低许多。
反应速度
我们面对的是一个瞬息变化的市场,谁能首先感知到市场的需求和变化,就能在竞争中先行一步,获得主动权,在
竞争中立于不败之地。
Greenplum通过准实时、实时的数据加载方式,实现数据仓库的实时更新,进而实现动态数据仓库(ADW)。基于动态数据仓库,业务用户能对当前业务数据进行BI
实时分析-“Just In Time BI”,能够让企业敏锐感知市场的变化,加快决策支持
反应速度。
高可用性
Greenplum是高可用的系统,在已有案例中最多使用了96台机器的集群MPP环境。除了硬件级的Raid技术外,Greenplum还提供数据库层Mirror机制保护,即每个节点数据在另外的节点中同步镜像,单个节点的错误不影响整个系统的使用。
对于
主节点,Greenplum提供Master/Stand by机制进行主节点容错,当主节点发生错误时,可以切换到Stand by节点继续服务。
系统易用
Greenplum产品是基于流行的
PostgreSQL之上开发,几乎所有的PostgreSQL客户端工具及PostgreSQL应用都能运行在Greenplum平台上,在Internet上有着丰富的PostgreSQL资源供用户参考。
最新进展
Greenplum 被EMC公司收购,将其整合到EMC云计算战略中。
公司优势
数据量
依照需求,快速简便的建立任意大小和种类的数据仓库
查询能力
相比于传统查询,可以以10倍到100倍的超快速度得到答案
随着您的数据增长确保高性能的分析效率
数据处理
一个平台可以支持数据查询,机器学习,文本挖掘,统计计算等
使用业界标准的语言(SQL,
MapReduce,R),在各个
数据层级进行并行分析
Greenplum数据引擎的
技术突破在于使用群集(
Cluster)业界标准的硬件,可以对于从
TB量级到
PB量级的数据进行分组,存储和分析,因为 Greenplum数据引擎在
处理数据的时候尽可能接近的
数据源,快速的
并行处理,如此的技术可以提供超级大量的数据处理和无与伦比的导入和查询性能。 同时Greenplum数据引擎可以很容易依照需求,增加
存储容量和处理能力,避免代价高昂的设备升级。
Greenplum数据库是业界最快和最高性价比的高端数据仓库解决方案。用户将可以对于大量的数据运行复杂的分析,通常用传统的解决办法需要几天的运算, 实际上只需几秒钟就可以完成。
Greenplum数据引擎-世界上最强大的
分析数据库Greenplum数据引擎是为了支持新一代数据仓库和分析处理大规模数据而建立的软件解决 方案。Greenplum支持SQL和MapReduce的并行处理功能,并能以较低的成本向管;理TB量到PB量级数据的企业提供业界领先的性能。