Greenplum 分布式数据仓库白皮书.doc

1、Greenplum数据仓库白皮书一、Greenplum公司简介Greenplum公司是世界领先的数据仓库基础平台供应商。它的杰出创新数据仓库软件产品技术，引领着数据仓库领域和数据分析领域的发展方向。Greenplum公司的产品有GreenplumDatabase，GreenplumChrous世界首创企业数据云平台(EnterpriseDataCloudplatform)。它的这些产品和服务体现了云计算、虚拟化计算、数据间社会关系的技术，使得全球各类组织可以比从前更好地从数据里获取更深的和更有价值的知识。每一天，全球有数亿级的用户在直接、间接用到Greenplum发明的数据仓库平台。Green

2、plum是2003年成立的，核心技术团队成员来自各个顶级数据库公司和大规模并行计算公司的资深软件架构师，例如：Oracle,Teradata,Tandem,MicrosoftSQLServer,Informix,Netezza,Amazon,eBay,S,Yahoo.Greenplum创新研发的产品有：GreenplumDatabaseGreenplum数据库软件是业内首创的大规模并行处理(massivelyparallelprocessing(MPP)的数据库软件产品，它包含大规模并行计算技术和数据库技术最新的研发成果：包括无共享/MPP,按列存储数据库，数据库内压缩，MapReduce，永

3、不停机扩容，多级该软件产品被业界认可为扩展能力最大的分析型（OLAP）数据库软件。已有100多家世界级重大客户采用该软件，例如：NYSE,NASDAQ,AIG，德意志银行，美国联邦储备委员会，支付宝，淘宝，NTT-DoCoMo,T-Mobile,Skype，WalMart，中国电信等。GreenplumChorus该产品是世界首创的企业数据云平台产品。它可以帮助客户构建数据仓库虚拟化计算环境，为各个不同的数据计算模型和任务创建自治的虚拟化数据仓库，把结构化，非结构化，数据量大小各异的各种数据都集中管理起来。同时，Greenplum数据库软件的并行化，为各个虚拟化数据仓库都提供了很高的处理速度，

4、大大提高各个虚拟数据库上各个分析模型、任务的处理效率和分析质量。Greenplum的产品线示意如下图：后端(BackOffice)前端(Frontline)DataMartCon&olidation二OperationalDataStore11Oer/CampaignValue-AddedServicesj1GreenptumChorus:自服务*数擔虛拟仏数据关联茜reenphjmDatabase:犬规模議性扩展喬可用灵活高效Greenplum现有客户涵盖：金融，电信，互联网，零售，运输，医药，政府等行业。这些客户中大多数Greenplum数据仓库所管理的数据量都超过100TB,其中，全球最

5、大的有6500TB,中国最大的有400TB。二、Greenplum分布式数据仓库软件特性介绍Greenplum数据仓库软件是业界首创将大规模并行计算技术，应用到了数据库软件领域。该类技术同样应用在Google搜索引擎的中。Greenplum数据仓库软件功能：无共享/MPP核心架构Greenplum数据库软件将数据平均分布到系统的所有节点服务器上，所以节点存储每张表或表分区的部分行，所有数据加载和查询都是自动在各个节点服务器上并行运行，并且该架构支持MupReduceSh日redN*QueryPlanner外部存储GreenplumODBCJDB匚交粉皆蔭器圧日志文件支持SQL2003OLAP扩

6、展标准对SQL语言包括其OLAP扩展标准，都是在Greenplum数据仓库软件实现并行执行。全面支持SQL2003OLAP标准，包括Window函数，Rollup，Cube等等。客户端访问及第三方工具支持完全支持数据库技术接口标准，例如:SQL,ODBC,JDBC,OLEDB等。同时，广泛地支持各个BI和ETL软件工具。Greenplum性能监控器一个WebGUI的Greenplum数据仓库系统运行状态监控工具,可以监控操作系统级信息以及数据库软件SQL运行状态细节。它的仪表盘可以查看，在SQL运行时，数据仓库系统资源利用情况。并且，还可以深入显示当前或历史的SQL运行细节，帮助更深入理解某一

7、SQL性能状况。GrecnplumQueristSummaryJhlQurHip:2Ruining.0Queued10,151BS,7fa24恤QijvrlvsRunniHQuaurdL&ad24.01a.diDIMRtbA艸知怯吐7435NWWDriiWriteiDk/iiifulfillU+tfl郴旳0tifdcnsJJWWCK4rkllUE.C-ihm=Lafl45&.95MB753C.3J2MBReed级吋曲wrfhCNWs/b恥丽1口町,丹11D.7O1MB/*1Q.T03MS/12743pkU/1172:0DA3HB0IAHDf*SUMHfTRItiQMIH*NQNCTOR4,5Q

8、BM/f193HB/i.Opaqief/s1&1B&.BD5MB25_21BHBTrrmt*c7pad-ArrtleReddI-itpi/i-lRwmfrf吐呻-Kthr#仲血时tllUpilfS971i-linlftwlutprifSB.71PUIdiiI|iap昭畀quKriM)!QwiYiieUnrPlfilblMCPUtPtllIWItritptifpe-|4ma*e代貳DBIfISD.H1quHri4iBiQvftf节BUHF口ItihLiNUHIMmJjJMMMiLLMSr-rieivma*Elesrpe-rfA.96/*IJJ-MUT-frL-LllUi-ai-ldMAHlihL|jrifJ,93*JRuwShan(tapkclhrqawta*L-LJ-ae-E-ilemattIftSLpifcrfDiurWR：0ftunamg.O-Queuc-tf综上所述，Greenplum数据仓库软件技术构成如下图:tSOIVIPP架樹并行査询优优；EPaiymorphtcDatastorssegNet就禅互联井行拉栽及ELT产品功軽pg级叫井行加載桂力TrickkMicroBaitchingAnywhereDdtaAghss存催管理和瞰撫访问客户曙诅问艮工具