Pivotal开源大数据平台概览

1、A NEW PLATFORM FOR A NEW ERAO Copyright 2013 Pivotal. All rights reserved.Pivotal 介绍一家新成立的公司正式成立于 2013年4月1日继承了 EMC 和 VMWare 两家公司在特定产品和技术方向上的人员和资产股东: EMC, Vmware, GE公司使命: 为一个崭新的技术时代构建支撑平台 Copyright 2013 Pivotal. All rights reserved. 日程为什么需要一个新的技术支撑平台?技术支撑平台分类与演进技术传承，团队组成与未来计划特别嘉宾主题 Copyright 2013 Piv

2、otal. All rights reserved.企业 IT 的带系发展MAINFRAME实现财务处理自动化MainframesISAMCLIENT-SERVER& WEB实现大部分纸面处理流程的自动化: ERP, CRM, Email, Relational DatabasesMinis & PCsCloud-Enabled DatacenterNew Data-fabricsCONSUMER GRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流 新的应用构建和支撑方式 Copyright 2013 Pivotal. All rights reserv

3、ed.CONSUMER GRADE先行者: 服务于海量客户的互联网巨头企业MAINFRAMESoftware-Defined DatacenterNew Data-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER & WEBSoftware-Defined DatacenterNew Data-fabrics私有的数据中心与基础架构 Copyright 2013 Pivotal. All rights reserved.CONSUMER GRADE先行者: 服务于海量客户的互联网巨头企业MAINFRAMESoftware-Defi

4、ned DatacenterNew Data-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER & WEBSoftware-Defined DatacenterNew Data-fabrics私有的数据中心与基础架构 Copyright 2013 Pivotal. All rights reserved.CONSUMER GRADE先行者: 服务于海量客户的互联网巨头企业MAINFRAMESoftware-Defined DatacenterNew Data-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引

5、领潮流CLIENT-SERVER & WEBSoftware-Defined DatacenterNew Data-fabrics私有的数据中心与基础架构 Copyright 2013 Pivotal. All rights reserved.CONSUMER GRADE先行者: 服务于海量客户的互联网巨头企业MAINFRAMESoftware-Defined DatacenterNew Data-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER & WEBSoftware-Defined DatacenterNew Da

6、ta-fabrics私有的数据中心与基础架构 Copyright 2013 Pivotal. All rights reserved.来自企业的独有需求 MAINFRAMECLIENT-SERVER & WEBCONSUMER GRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备大量设备, 海量日志海量日志, 多种应多种应用用无处不在的数据采集无处不在的数据采集Software-Defined DatacenterNew Data-fabrics Copyright 2013 Pivotal. All rights reserved.来自企业的独有需求 M

7、AINFRAMECLIENT-SERVER & WEBCONSUMER GRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备大量设备, 海量日志海量日志, 多种应多种应用用无处不在的数据采集无处不在的数据采集Software-Defined DatacenterNew Data-fabrics Copyright 2013 Pivotal. All rights reserved.来自企业的独有需求 MAINFRAMECLIENT-SERVER & WEBCONSUMER GRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大

8、量设备大量设备, 海量日志海量日志, 多种应多种应用用无处不在的数据采集无处不在的数据采集Software-Defined DatacenterNew Data-fabrics Copyright 2013 Pivotal. All rights reserved.来自企业的独有需求 MAINFRAMECLIENT-SERVER & WEBCONSUMER GRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备大量设备, 海量日志海量日志, 多种应多种应用用无处不在的数据采集无处不在的数据采集Software-Defined DatacenterNew Da

9、ta-fabrics.ETC Copyright 2013 Pivotal. All rights reserved.New ExperiencesNew Biz Modelspioneered by new Consumer Internet giantsInternet-of-thingsPervasive telemetryMAINFRAMECLIENT-SERVER & WEBCONSUMER GRADESoftware-Defined DatacenterNew Data-fabrics.ETC上述因素促成了对新平台的需求 Copyright 2013 Pivotal. Al

10、l rights reserved. 典型目标场景 需要新的消费级支撑能力 通过遥测与遥控实现智能工业控制与维护诊断 实时电信应用场景 未来新零售场景 大规模智能农业应用 还有许多其他应用场景A NEW PLATFORM FOR A NEW ERA Copyright 2013 Pivotal. All rights reserved.新一代企业级 PaaS 的设计准则 与当前各种 IaaS 平台配合工作 不论是私有的还是公有的 充分关注新一代开发人员和新一代应用的需求 为有效进行实时大容量信息处理而设计 同时兼顾与传统应用的互操作性 Copyright 2013 Pivotal. All r

11、ights reserved.ETC支持开放标准并与开源有效互动一数据为中心不与特定云平台绑定针对开发者的需求针对企业的需求Cloud FabricData FabricApplication FabricScale-out storage: HDFS/ObjectLanguages& FrameworksIngest & Query: very high-capacity & in-memoryAnalyticsServicesCloud Abstraction (portability)Automation: App Provisioning & Life-

12、cycleService RegistryPivotal One: 重新定义企业级重新定义企业级 PaaS Copyright 2013 Pivotal. All rights reserved.Cloud FabricData FabricApplication FabricScale-out storage: HDFS/ObjectLanguages& FrameworksIngest & Query: very high-capacity & in-memoryAnalyticsServicesCloud Abstraction (portability)Auto

13、mation: App Provisioning & Life-cycleService RegistryPivotal One: 传承传承vFabricGemFirePivotal ConfidentialInternal Use OnlyROB MEE & TEAMAgile & RADHadoopPIVOTAL ONE HERITAGECloudJava/SpringOUTSTANDING TECHNICAL TEAM+700 ENGINEERSIMDGWeb/MobileData Science & AnalyticsMPP SQLCHRIS BEAMS

14、JUERGEN HOELLERNOELLE SIOKAUSHIK DASDAN HOLLEHUYLA EMIR-FARINASGAVIN SHERRYLUKE LONERGANEDWARD HIEATTALEXIS RICHARDSONJAMES WATTERSJAGS RAMNARAYANMILIND BHANDARKARAPURVA DESAIADRIAN COLYERSUDHIR MENONCHRISTOS TRYFONASPivotal ConfidentialInternal Use OnlyCLOUDFABRICELISABETH HENDRICKSONMATTHEW KOCHER

15、JAMES BAYERJEFF NICKJAMES WATTERSDAVID STEVENSONPivotal ConfidentialInternal Use OnlyDATA FABRICDAN HOLLELUKE LONERGANMILIND BHANDARKARAPURVA DESAIGAVIN SHERRYCHRISTOS TRYFONASJAGS RAMNARAYANSUDHIR MENONPivotal ConfidentialInternal Use OnlyAPPLICATIONFABRICCHRIS BEAMSJUERGEN HOELLERALEXIS RICHARDSON

16、ADRIAN COLYERMATTHIAS RADESTOCKSALVATORE SANFILIPPO Copyright 2013 Pivotal. All rights reserved.Cloud Abstraction (portability)Automation: App Provisioning & Life-cycleService Registry基于 Cloud Foundry开放并以开源方式实现: C设计目标:-可移植性-可扩展性-自动化-弹性不断成长的生态系统Pivotal One: 云支撑架构云支撑架构Cloud FabricDa

17、ta Fabric.ETCApplication FabricCloud Abstraction (portability)Automation: App Provisioning & Life-cycleService Registry Copyright 2013 Pivotal. All rights reserved.Cloud FabricData & Analytics Fabric.ETCPivotal One: 数据支撑架构Application FabricScale-out storage: HDFS/ObjectCatalogResource MgmtDa

18、taMgmtTXNProcessHAWQMPPRealTimeDBMap ReduceHbaseK/V统一基于 Hadoop通用的全局分布式集群文件系统 (HDFS)与高级数据处理服务紧密集成-MPP SQL-实时交易处理-流式数据处理原生设计 PaaS 设计并作为 Pivotal One 的有机组成部分: 支持弹性伸缩与多租户环境Analytics Suite: Chorus/MADlibGPDBRDB Copyright 2013 Pivotal. All rights reserved.HAWQ: 性能测试结果对比4.21988.71612.04152.71,2852.81,81547X

19、19X208X476X648X4.2378.75962.0502.7552.8599X69X25X20X21XPivotal HDPivotal HD Copyright 2013 Pivotal. All rights reserved.ETC有效支撑快速应用开发简化在开发，测试和生产环境间的部署和迁移支持多种语言和开发框架下的自动部署和自动扩展业界领先的 Java/Spring 运行时支撑松耦合的即时服务绑定缺省提供运行时数据的分析和可视化监控功能Pivotal One: 应用支撑架构Cloud FabricData FabricApplication FabricLanguages&am

20、p; FrameworksAnalyticsServices Copyright 2013 Pivotal. All rights reserved.Cloud FabricData FabricApplication FabricData & AnalyticsApp DevCloud Automation Pivotal HD GemFire GPDB Spring vFabric Cloud FoundryServices Pivotal Labs & Data Science LabsPivotal One: 切入点切入点PIVOTAL ONEPLATFORM Copy

21、right 2013 Pivotal. All rights reserved.Pivotal 专业服务: 迅速实现价值 Pivotal Labs: 快速开发和部署新应用 经过广泛证明的方法论降低风险同时加速开发过程Pivotal Data Science Labs: 经过检验的的数据科学实践加速分析项目实施 用数据分析来驱动业务价值实现Open Source Support: 协作式客户驱动开源支持，服务和共同研发Pivotal Data Science Labs Copyright 2013 Pivotal. All rights reserved.关键时间点 2012 战略规划阶段:-四月: 形成正式构想-十二月: 构想在内部发布 2013 正式发布与推进:-二月: Pivotal HD 正式发布-四月: 公司完成正式注册-第二季度: Cloud Foundry on VMware Cloud & AWS-第四季度: Pivotal One GAA NEW PL