Pivotal大数据和平台云应用平台-场景-案例

OPivotal大数据和平台云应用平台周晖PivotalvFabricPrincipleSolutionArchitectEmail：

日程为什么需要一个新的技术支撑平台?PivotalOne的功能架构大数据应用平台的一些案例和应用场景Pivotal公司简介成立时员工数市场估值~1250~1B62%28%10%Pivotal面向的市场大机时代实现财务处理自动化MainframesISAMClient-Server&Web应用架构时代实现大部分纸面处理流程的自动化:

ERP,CRM,Email,…关系型数据库小机+PC采用云计算的数据中心新的数据网阵Internet消费级用户新的客户体验新的业务模式由效劳于海量客户的互联网巨头企业引领潮流–新的应用构建和支撑方式消费级用户带来的IT挑战快速应用开发MainframeClient-Server&WebCONSUMERGRADE存储并且在非常大量的数据上进行分析新的客户体验新的业务模式由效劳于海量客户的互联网巨头企业引领潮流大量设备,海量日志,多种应用…无处不在的数据采集Software-DefinedDatacenterNewData-fabrics在收集数量庞大的事件数据的同时对特定事件进行实时反响与传统应用和根底架构有机配合配合不同云计算平台实现高效运维和水平扩展...ETCNewExperiencesNewBizModelspioneeredbynewConsumer

InternetgiantsInternet-of-thingsPervasivetelemetryMainframeClient-Server&WebCONSUMERGRADEOperateatScaleinahighlyautomatedway新一代PaaS平台Software-DefinedDatacenterNewData-fabrics快速应用开发在收集数量庞大的事件数据的同时对特定事件进行实时反响存储并且在非常大量的数据上进行分析与传统应用和根底架构有机配合配合不同云计算平台实现高效运维和水平扩展...ETC上述因素促成了对新平台的需求新一代企业级PaaS的设计准那么与当前各种IaaS平台配合工作–

不管是私有的还是公有的充分关注新一代开发人员和新一代应用的需求为有效进行实时大容量信息处理而设计同时兼顾与传统应用的互操作性...ETC支持开放标准并与开源有效互动以数据为中心不与特定云平台绑定针对开发者的需求针对企业的需求CloudFabricDataFabricApplicationFabric可伸缩的存储和计算:HDFS/Object支持多种语言提供应用框架内存计算—数据加载、查询、实时处理数据分析服务S提供各种服务IaaS云抽象(可移植)自动化:应用供应和生命周期管理服务注册和服务目录PivotalOne:重新定义企业级PaaS历史交易数据应用日志数据Internet网站数据用户行为相关的数据Internet公司业务相关数据大数据时代，怎么充分利用大数据银行(包括银联)只保存5年历史数据仅保存近期日志数据没有关注没有关注没有关注历史数据可以用于用户分析、趋势分析日志数据可以做各种关联分析用户、产品等分析用户行为分析品牌形象、相关业务分析，网络销售抓住市场开展趋势，形成新产品效劳洞悉应用相关关系细分用户，精确营销，针对用户定制产品如上提升品牌、网络精确营销Pivotalone集成了EMC和VMWare的现有资产CloudStorageIaaS虚拟化Pivotal数据平台PivotalPaaS应用平台数据驱动的应用开发PivotalDataScienceLabs...ETC客户流失分析客户生命周期价值分析消费产品和零售产品的需求分析医疗分析定价优化分析我们现有大数据经典分析产品推荐分析平安风险分析情感分析文本分析(短信分析)名声分析交通分析Pivotal大数据解决方案蓝图BI

和报表zzzEDW企业应用系统数据

流数据、日志数据101001

Internet等非结构化数据分析和可视化展示移动计算-JSON+SQL可深度扩展的分析数据平台MPPDatabaseKV,Object,JSONSQL实时数据平台现代应用框架OLTP应用/实时分析PivotalOne和现有资产的映射vFabricGemFire...ETCCloudFabricDataFabricApplicationFabric可伸缩的存储和计算:HDFS/Object支持多种语言提供应用框架内存计算—数据加载、查询、实时处理数据分析服务提供各种服务IaaS云抽象(可移植)自动化:应用供应和生命周期管理服务注册和服务目录CloudFabricDataFabric...ETCPivotalOne:数据支撑架构ApplicationFabricScale-outstorage:HDFS/ObjectCatalogResourceMgmtDataMgmtTXNProcessHAWQMPPReal-TimeDBMapReduceHBaseK/V统一基于Hadoop通用的全局分布式集群文件系统(HDFS)与高级数据处理效劳紧密集成MPPSQL实时交易处理流式数据处理原生设计PaaS设计并作为PivotalOne的有机组成局部:支持弹性伸缩与多租户环境HAWQ:性能测试结果比照4.21988.71612.04152.71,2852.81,81547X19X208X476X648X4.2378.75962.0502.7552.8599X69X25X20X21XPivotalHDPivotalHD简单的、可靠的、弹性的、按需的Hadoop根据客户的需求弹性扩展和弹性收缩计算和数据的弹性伸缩各自独立很强的多租户功能弹性和多租户整个Hadoop堆栈的高可用性一键安装久经实战检验的高可用性快速部署一站式的命令中心易于配置和重新配置简化运维企业级的Hadoop-as-a-ServiceAdhocdatamining内在的Hadoop作为一个效劳–(Hadoop多租户)计算层数据层HDFSHostHostHostHostHostHostProductionrecommendationengineProductionETLoflogfilesVirtualizationplatformHDFSEMR，弹性的MapReduceHadoopbatchanalysis综合大数据–(Hadoop+otherbigdata)HDFSHostHostHostHostHostHostHAWQ/HBasereal-timequeriesMPPDBMS–Analysisofstructureddata计算层数据层VirtualizationplatformHDFSShort-livedHadoopcomputecluster综合的Hadoop和Web应用HDFSHostHostHostHostHostHostWebserversforecommercesite计算层数据层HadoopcomputeclusterVirtualizationplatformPivotalHD将Greenplum大规模并行计算数据库产品和Hadoop产品无缝集成。PivotalHD将Greenplum10余年的开发大规模并行计算数据库平台经验带入到开源大数据平台。PivotalHD的动态管道技术能够提供100+倍性能提升，成为业界性能最强的Hadoop发行版。PivotalHD是世界首个Hadoop的完整SQL支持处理大数据平台，能让传统SQL开发人员直接操作大数据，传统的BI数据挖掘工具亦能完全兼容。PivotalHD架构LoadBalancerWebandAppServersWeb静态页面应用效劳器层数据库层PivotalOne的数据网阵的内存计算平台内存计算层DataGridinMemory什么是内存计算?*PerGartner's"WeeklyMemoryPricingIndex,7September2012,"G00239543传统计算内存计算Application

CodeApp.DataMainmemory(DRAM)"DatabaseofRecord"Application

CodeApp.Data64位的CPU可以寻址upto16exabytesofdata物理内存DRAM的生产本钱每12个月降低32%越来越多的PC效劳器可以配置数T的内存内存计算软件也越来越成熟，并且市场扩大导致选择面大Mainmemory(DRAM)"DatabaseofRecord"数据持久化故障数据恢复后处理数据备份Application

CodeApp.DataApplication

CodeApp.Data为什么现在讲内存计算Legacy遗留系统B2BBPM应用界面HTMLEnterpriseDataBus(EDB)/CEP/ODS/MDM(直接访问数据库，直接做数据操作)通过内存计算打造企业数据总线EnterpriseServiceBus(ESB)(小数据量交互)业务逻辑JavaBAM(业务活动管理)SOA开发工具SpringEclpise管控治理管理SOA架构的几大原那么业务和流程别离业务和界面别离数据和业务别离数据访问接口访问CustomerASP1CustomerASP1CustomerASP1存储过程数据总线–去除重复数据和重复存储过程CustomerAFn1去除重复数据去除重复功能vFabricGemFireEDBSpringORMapping框架实现业务和数据的别离应用程序层DB表述层应用程序层DB表述层持久化层数据访问配置从业务逻辑中别离出持久化层JDBC/ODBC/ADO.netJavaORMapping框架

Hibernate

ibatis

openJPA

PHPORMapping框架

Doctrine

RedBeanPHP

Propel

NotORM

基于内存的性能，低延迟，保障可用性性能数据和计算全部在内存中，，比磁盘快10-100倍10-100微秒vs10-100毫秒保持多份数据，确保可靠性通过主数据更新0数据丧失可以选择更新到磁盘可以选择异步更新到数据库CustomersOrdersProduct数据保护ApplicationClientJava,C++,.Net,SQL支持海量并发在高压力下依然保证数据访问时间低延时一个集群40T内存数据并行计算内存计算、实时计算Pivotal大数据分析平台GreenplumChorus企业数据分析协作平台Greenplum数据库扩展性最好的多节点数据库平台分析工具(商业智能,统计分析)PivotalHadoop面向非结构化数据的企业数据分析平台GreenplumDCA一体机或

GPDB集群专为大数据分析定制EMC/VMware存储和虚拟化技术MPP数据库Greenplum根本架构大规模并行处理MPP(MassivelyParallelProcessing)

无共享架构Shared-NothingArchitectureNetworkInterconnect............Master

节点生成查询方案并派发汇总执行结果Segment

节点执行查询方案及数据存储管理SQLMapReduce外部数据源并行装载或导出...ETC有效支撑快速应用开发简化在开发，测试和生产环境间的部署和迁移支持多种语言和开发框架下的自动部署和自动扩展业界领先的Java/Spring运行时支撑松耦合的即时效劳绑定缺省提供运行时数据的分析和可视化监控功能PivotalOne:应用支撑架构CloudFabricDataFabricApplicationFabric支持多种语言提供给用框架数据分析效劳S提供各种效劳CloudFabricIaaS云抽象(可移植)自动化:应用供给和生命周期管理效劳注册和效劳目录基于CloudFoundry开放并以开源方式实现:C设计目标:可移植性可扩展性自动化弹性不断成长的生态系统PivotalOne:云支撑架构DataFabric...ETCApplicationFabricCloudFoundry解决了什么问题？

TraditionalITStorageServersNetworkingO/SMiddlewareVirtualizationDataApplicationsRuntimeYouManageO/S

PaaSStorageServersNetworkingMiddlewareVirtualizationDataApplicationsRuntimeYouManageManagedbyPlatformAgilityandCostSavingsO/S

IaaSStorageServersNetworkingMiddlewareVirtualizationDataApplicationsRuntimeYouManageManagedbyPlatform33IaaS: 硬件的自动化管理，人与机器的解耦合

获得效率/提高资源利用率PaaS: 应用的自动化管理，应用与OS的解耦合

获得弹性/简化运维今天的应用趋势应用框架应用越来越广泛提高开发效率，创新降低开发工作量，减少开发时间支持新的应用类型Mobile,Social,SaaS应用要尽早发布，并且经常升级数据密集型应用新的要求:弹性伸缩、支持多种云面向Web带来了数据指数级的增长要部署在虚拟化或是IaaS云环境下Virtualization,Cloud,PaaSCloudFoundry是一个开放的PaaS平台ThePaaSofchoicefortheCloudera

简单开发者专注于他们的代码，不锁定于特定中间件开放防止锁定在特定的云、框架和效劳上从第一天起就是完全开放的灵活性和可伸缩性应用自效劳、自动部署、自动伸缩S可扩展的架构，可以吸收未来云创新的开展应用执行体PaaS平台系统架构应用健康管理

软件路由器NATS消息总线后端效劳池MySQLMongoDBRadisRabbitMQ用户数据权限数据用户平安管理和多租户管理应用控制组装应用生命周期管理应用包管理应用执行池服务节点Oracle应用集成网关其他效劳应用执行体应用执行体应用执行体OA应用IaaS-VMWarevSphereAmazon云接口OpenStack云接口PaaS自动化部署CloudFoundryBOSHvSphere云接口

PC–浏览器访问Mobile–App访问管理界面开发环境应用执行体应用执行体应用执行体物流应用应用执行体应用执行体应用执行体财务应用JavaGrailsJava_webLiftScalewebframeworkSpring

RubyRack

Rails3

Sinatra

PythonDjango

WsgiPython的CGIOtherPlatformStaticpagenode.js

ErlangphpStandaloneImportant:支持的运行时框架MainstreamMongodb

MysqlNeo4jPostgresqlRedisStorageFileSystemRemoteNFSVblob

AmazonS3memcacheMessageRabbitMQ

BigDataHadoop支持的效劳敏捷开发代码开发App1

程序员John的工作环境Otherdevapps代码开发App1

程序员Mary的开发环境OtherdevappsQAQAApp1

QA版本OtherQAappsProductionPRODUCTIONApp1

生产上线版本OtherProdapps无需修改代码和配置!“从有想法到生产上线一天内”平安模型在整个开发生命周期的安全性渗透测试(安全性测试):如1.SQL注入。2.XSS和CSRF。3.Cookies,Session劫持和伪造。4.不必要的权限和信息泄露。5.伪造数据和授权问题6.环境和代码安全性(服务器配置,混淆,加壳等)隔离用户代码在一个安全的、隔离的Linux容器下运行对每个应用实例都是VM隔离CF的部件在特定的网段认证和访问控制组织和空间提供了安全角色，对不同的用户组和用户在不同的级别提供了不同的安全角色用户帐户和认证服务(UAA)提供了:对应用、用户和CF部件的认证，并且支持SSO，和现有的IDP集成基于如下标准:OAuth2,OpenIDConnect,SCIM审计日志审计

WhoWhatWhen通过ServicesBroker与现有企业效劳的集成Appservicegateway创立绑定systemservice使用绑定使用servicebroker企业效劳41CloudFoundry:在市场上的表现对各种IaaS的支持Baremetal私有PaaS云的案例公有PaaS云的案例.COMCloudFoundry在国内的案例43用友应用PaaS云大数据营销案例客户面临挑战近年来，某银行信用卡中心的发卡量迅速增长。2008年银行向消费者发卡约500万张，而这个数字在2010年增加了一倍。随着业务的迅猛增长，业务数据规模也线性膨胀。某银行信用卡中心无论在数据存储、系统维护等方面，还是在有效地利用客户数据方面，都面临着越来越大的压力：针对传统的BI分析需求，旧系统面临严重的性能瓶颈针对大数据分析需求，旧系统架构无法支撑，无法实现大数据的快速处理和灵活分析PivotalGPDB一期解决方案建立卡中心数据仓库，实现：实现卡中心现有的20多个业务系统的集成与整合实现传统BI平台改造，提升系统效率，支撑反洗钱等应用支持营销、反欺诈和催收等日常业务处理支持高级分析人员沙盘分析预测需求结合客户消费习惯，实现秒级营销数据沙盘应用平台SAS卡业务系统卡中心数据仓库系统操作数据层（ODS）数据仓库层（EDW)传统BI平台CognosTriad决策平台Alpine营销平台分中心CRM现有数据量为60TB、每日增长50GB以上生产系统为2个Master节点+8个Segment节点构成的Pivotal数据仓库集群利用大数据实现秒级营销例如中信银行信用卡中心跟汉拿山烤肉的联合促进活动，在实时BI的支持下，中信银行信用卡中心选取汉拿山附近商户消费的客户，在第一时间通知客户此项优惠112113超市115117118汉拿山122119116童鞋121126125124127客户进入深圳来福士广场客户进行了一笔108元的消费客户信息：30-35女性、有2个孩子、曾经使用银行刷卡优惠发送优惠短信：您刚消费了108元，如您再消费一笔超过91元，即可在福士购物中心5层汉拿山烤肉享5折优惠1次

看完短信，客户刚刚还在犹豫是否要给小孩儿买的一双新鞋，立即下决心刷卡付款在汉拿山刷卡消费，享受5折优惠利用大数据实现秒级营销〔续〕AS400Greenplum某信用卡营销平台来福士广场商户POS中信信用卡业务系统中信信用卡数据仓库系统消费信息消费信息消费信息优惠信息位置信息360o视图消费结果演进架构方案—数据即效劳一体化营销平台交易明细客户/.账户数据社交媒体GPDB宏观经济……外部数据内部数据GPHDSENTIMENTANALYSIS,TEXTMININGandPREDICTIVEANALYTICS;SAS,MADlib,R……数据集成处理Websitescreenshots个性化产品营销分析预测GemfireETLETL营销结果反响客户收益实现了秒级实时营销促进了客户经理转型提升了整体运营效率市场活动中答应客户在刷满一定金额或次数后赠送礼品，客户可以在刚好满足条件的那次刷卡后马上获得实时获取客户消费信息、位置信息，利用移动终端，发起呼出式营销信用卡中心已经可以结合实时、历史数据进行全局分析，可以每天评估客户的行为，并决定对客户的信用额度在同一天进行调整所有客户信息现在均可以通过分中心CRM（客户关系管理）系统的专用PAD移动设备实时获取和使用分中心的营销人员除了单纯的发卡工作外，还参与到客服、控、产品营销等工作，分中心团队正在由单纯的发卡团队变为一支强有力的客户经理团队大数据平台用户雷达数据库前端应用界面Hawq数据读取数据写入JDBC数据支持JDBC用户雷达分析器热词等数据写入某大型企业大数据应用数据交换平台数据交换平台Gateway

360度客户视图HadoopE-HubE-StoreHPUHome商城互联网外部数据外部数据Hadoop平台应用区处理区GatewayHawqHbaseHDFS文件传输数据清洗数据标准化数据检核数据抽取用户雷达精准营销用户分群400客服智能物流……实时交易总线EAIJDBC批量实时

铁道总公司采用GemFire改造12306

案例介绍12306改造工程背景2012年春节，12306网上订票上线，顶峰时间无法登陆网站，登陆了网站也无法订票2012年3月开始，铁路总公司(原铁道部)开始调研、改造123062012年4月和Pivotal沟通，做PoC验证，性能大幅提高2012年6月选择GemFire改造12306，一期是改造余票查询，9月份完成代码改造，系统上线2012年国庆，又是网上订票顶峰期间，大家可以显著发现，可以登录12306,虽然还是很难订票，但是查询余票很快。2012年10月份，二期用GemFire改造订票查询2013年春节，又是网上订票顶峰期间，大家可以显著发现，可以登录12306,虽然还是很难订票，但是查询余票很快，而且查询自己的订票记录也很快。铁路余票(库存)信息量也很大订票的第一步：查询余票

信息，而且会有屡次查询5518个分局实时数据流数据库小型机20多台余票计算HPUnix服务器中央数据库小型机1.数据“实时复制”到所有“数据分库”2.所有数据分库数据统一一致，承担部分预处理运算各地分支机构“数据实时复制”传输并汇总到总部中央数据库Web&App小型机N>100Web层效劳器应用层效劳器数据库小型机80台HPUnix服务器...1.深度处理数据统一复制到所有“数据分库”2.数据分库独立运行，运算负荷高，DBIO瓶颈实时数据复制实时数据复制12306网上订票原有系统架构资料汇总

Web&AppServersN>100Web效劳器集群应用效劳器集群数据库(x86)SQL语句抽取RabbitMQ(x86)集群读取变化数据Gemfire服务器

(x86)集群

17台...18个分局实时数据流原有IT系统结构数据分流云应用系统设计结构实时数据复制SybaseReplication

实时数据复制日志/存储过程复制技术中央数据库小型机数据库小型机N>5数据库小型机M>5012306网上订票系统架构改造原有系统只做热备Sybase复制效劳器12306的逻辑架构17台X86效劳器，2CPU*8核1T内存常用数据表20多个余票数据表60多个单次查询耗时15秒左右无法支持高流量并发查询，只能通过分库来实现，在极端高流量并发情况，系统无法支撑高峰期间无法访问，也无法动态增加机器来应当运行在UNIX小型机单次订票查询最长耗时150-200毫秒，单次查询最短耗时1-2毫秒。提高100倍-1000倍支持每秒上万次的并发查询，顶峰期间2.6万个并发/秒，查询速度依然是平均200毫秒以内按需弹性动态扩展，并发量增加还可以动态增加机器应对，同步实时变化的数据耗时秒级运行在LinuxX86效劳器集群12306改造后12306改造之前改造后取得的效果

--来自网上订票系统实际运行数据12306的一些数据可系统已经部署在生产环境中，一切正常稳定运行，准确度与原系统一致。生产环境中有17台物理机，每台物理机器4个逻辑节点，总共68个节点，每个节点设置32G缓存。每台物理效劳器配置为1T内存，2CPU*8核心，属于超配，为了未来的扩展系统配置了一份数据冗余，内存占用在200GB-300GB之间(整个余票查詢系统)余票总量在2000万到3000万条记录之间变化，预售时间越长数据越多，在春节顶峰期间，最大并发量访问量到达2.6万次/秒余票查询属于读写别离的案例，没有任何写回数据库的动作，所有的余票数据都保持在GemFire内存中，GemFire内存的数据持久化到本地硬盘。目前GemFire内存和硬盘中都有2份数据保证高可用性。

2012年10月份开始改造二期—订单查询二期改造：改造订单查询一期改造：余票查询Web层效劳器应用层效劳器原有订单处理系统结构Web层效劳器应用层效劳器交易请求交易应用效劳器集群查询应用效劳器集群。。。。。。交易UNIXServercluster：最大处理能力：200笔/秒数据复制查询请求查询UNIXServercluster：最大处理能力：200-300笔/秒-数据复制到数据库–瓶颈-并发查询量大,影响数据复制效率-导致数据复制堵塞订单查询原有架构Web层效劳器应用层效劳器改造后订单处理系统结构Web层效劳器应用层效劳器交易请求。。。。。。交易UNIXServercluster：最大处理能力：500笔/秒数据复制到内存查询请求GemfireServerx86cluster：最大处理能力：》10000笔/秒平均反响时间:20-30msx86cluster订单查询改造后架构交易应用效劳器集群查询应用效劳器集群

只能处理每秒300-400的并发查询，平均查询在100毫秒左右无法支持高并发查询在极