构建新一代企业大数据平台

建立在PAAS平台上的新一代数据平台解决方案Agenda企业新一代数据平台的技术需求创新的技术平台建设思路面向大数据的分析NowWhat?SoWhat?What?大数据分析企业内、外部的结构化和非结构化数据数据量在TB级以上以数据挖掘、预测和实时分析为主，强调对业务驱动传统BI分析企业内部的结构化数据，数据量在GB~TB级以报表、查询和分析为主，反应当前业务现状更丰富、更细致的客户管理大数据分析在企业的应用更准确、更及时的营销管理更高效、更全面的风险管理Customer

360o

SingleViewKeyLifeEvents&NextBestActionStressTest&CreditAssessments通用银行业大数据分析平台管理分析类应用数据交换平台应用集市数据区核心系统总账系统国结系统网银系统……系统企业内外部半结构化、非结构化数据数据产生层数据交换层数据传输数据稽核数据处理流程调度监控告警……数据服务层非结构化数据区沙盘演练数据区用户评价信息移动互联信息……元数据数据应用层历史归档数据区HDS客户主题协议主题产品主题事件沙盘演练应用实时分析应用数据管控层POS增量财务增量库存增量采购增量……增量临时数据区实时数据区核心数据总账数据国结数据……数据主题数据区社交媒体信息网银数据……客户管理财务管理风险管理……管理客户管理财务管理风险管理……管理运营管理用户访问层决策人员管理人员数据科学家业务人员客户汇总账户汇总机构汇总产品汇总……企业大数据平台数据内容及实现技术Page7应用平台提交请求访问的数据，包括结构化和非结构化两类在线存储周期超过数据生命周期规划的数据适合Hadoop分布式架构管理无法用二维表结构来逻辑表达的无结构性的数据。例如文本、音频数据等。方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如：客户信息、用电记录等。是挖掘数据价值的主要对象。支持分析型应用，时效性较低支持前台交易系统查询需求，具有可靠性高、并发度大、采集频率短的特点按数据格式类别划分按数据格式类别划分按数据采集频度划分大数据

平台在线数据归档数据非结构化数据结构化数据准实时数据非实时数据面向贴源数据查询和主题数据整合。数据区，适合X86MPP数据库集群范式化模型数据面向分析类应用。对应ADW和CM数据区，适合MPP数据库集群维度模型数据按数据模型划分Page8企业大数据平台架构原则平台8技术-跨平台数据交换批量和实时数据采用不同的技术手段和工具，遵循统一的文件接口标准技术-平台内数据复制跨同构/异构数据库（物理系统），基于文本、数据库的数据抽取和加载，数据的形式不发生变化，不涉及数据转换。数据复制后产生的数据副本主要是为了便于数据引用，需要制定数据副本的生命周期管理策略以及保证数据副本的只读属性。数据-数据即服务业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过全行指标口径和维度、度量信息，使业务人员可以较容易、较快地定位和了解数据的内容。数据-数据质量控制通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性（技术）、完整性、一致性（业务）、有效性。Page9企业大数据平台架构原则平9数据-历史数据分级存储和访问近线数据存储形式保持源表源结构，主要以数据库形式存储，支持在线数据查询、访问和应用支持，响应时间秒级。归档数据以廉价大容量磁盘方式存储，存储形式会根据数据环境和未来应用的差异，采用不同于源结构的存储形式。同时，归档数据需要创建“被动索引”并具备恢复到主题数据区或者汇总数据区的能力。数据-非结构化数据管理对于交易和处理过程中形态尚不稳定的非结构化数据，可由各平台根据时效性、一致性控制和完整性控制等要求考虑自行处理安全-数据访问安全对于普通的查询访问应用，应该具备屏蔽敏感信息的展现的能力。面向行内用户的数据访问，应按照数据的属主进行访问隔离。运维-系统日常运行性能管理在数据量不断增加、访问用户数量的增长、用户数据使用成熟度的变化、数据ETL持续滚动开发等场景的不断变化下，需要围绕日常性能管理，不断调整系统设计和运行策略。建设新一代数据平台的驱动力完整的大规模数据的快速捕获流程多种类型数据的存储数据的实时共享与交换海量&剧增数据的支撑能力传统数据仓库技术和新技术的结合Hadoop技术的合理运用与性能Agenda企业新一代数据平台的技术需求创新的技术平台建设思路CONSUMERGRADE先行者者:服务于于海量量客户户的互互联网网巨头头企业业MainframeSoftware-DefinedDatacenterNewData-fabrics新的客客户体体验新的业业务模模式由服务务于海海量客客户的的互联联网巨巨头企企业引引领潮潮流Client-Server&WebSoftware-DefinedDatacenterNewData-fabrics私有的数据中心与基础架构CONSUMERGRADE先行者者:服务于于海量量客户户的互互联网网巨头头企业业MainframeSoftware-DefinedDatacenterNewData-fabrics新的客客户体体验新的业业务模模式由服务务于海海量客客户的的互联联网巨巨头企企业引引领潮潮流Client-Server&WebSoftware-DefinedDatacenterNewData-fabrics私有的数据中心与基础架构存储并并且在在非常常大量量的数数据上上进行行分析析CONSUMERGRADE先行者者:服务于于海量量客户户的互互联网网巨头头企业业MainframeSoftware-DefinedDatacenterNewData-fabrics新的客客户体体验新的业业务模模式由服务务于海海量客客户的的互联联网巨巨头企企业引引领潮潮流Client-Server&WebSoftware-DefinedDatacenterNewData-fabrics私有的数据中心与基础架构快速应用开开发存储并并且在在非常常大量量的数数据上上进行行分析析CONSUMERGRADE先行者者:服务于于海量量客户户的互互联网网巨头头企业业MainframeSoftware-DefinedDatacenterNewData-fabrics新的客客户体体验新的业业务模模式由服务务于海海量客客户的的互联联网巨巨头企企业引引领潮潮流Client-Server&WebSoftware-DefinedDatacenterNewData-fabrics私有的数据中心与基础架构快速应用开开发存储并并且在在非常常大量量的数数据上上进行行分析析大规模自动化运运维企业级的的需求…快速应用开发发MainframeClient-Server&WebCONSUMERGRADE存储并并且在在非常常大量量的数数据上上进行行分析析新的客客户体体验新的业业务模模式由服务务于海海量客客户的的互联联网巨巨头企企业引引领潮潮流大量设备,海量日志,多种应用…无处不在的数据采集Software-DefinedDatacenterNewData-fabrics来自金金融企企业的的独有有需求求…快速应用开开发MainframeClient-Server&WebCONSUMERGRADE存储并并且在在非常常大量量的数数据上上进行行分析析新的客客户体体验新的业业务模模式由服务务于海海量客客户的的互联联网巨巨头企企业引引领潮潮流大量设备,海量日志,多种应用…无处不在的数据采集Software-DefinedDatacenterNewData-fabrics收集数数量庞庞大的的事件件数据据的同同时对对特定定交易易事件件进行行实时时反应应与传统应用用和基础架架构有机配配合来自金融企企业的独有有需求…快速应用开发MainframeClient-Server&WebCONSUMERGRADE存储并且在在非常大量量的数据上上进行分析析新的客户体体验新的业务模模式由服务于海海量客户的的互联网巨巨头企业引引领潮流大量设备,海量日志,多种应用…无处不在的数据采集Software-DefinedDatacenterNewData-fabrics收集数量庞庞大的事件件数据的同同时对特定定交易事件件进行实时时反应与传统应用用和基础架架构有机配配合配合不同云计算平台实现高效运维和水平扩展...ETCNewExperiencesNewBizModelspioneeredbynewConsumerInternetgiantsInternet-of-thingsPervasivetelemetryMainframeClient-Server&WebCONSUMERGRADEOperateatScaleinahighlyautomatedway新一代PaaS平台Software-DefinedDatacenterNewData-fabrics快速应用开发收集数量庞大大的事件数据据的同时对特特定交易事件件进行实时反反应存储并且在非非常大量的数数据上进行分分析与传统应用和和基础架构有有机配合配合不同云计算平台实现高效运维和水平扩展...ETC新一代Paas平台建设思路路Software-DefinedDatacenterNewData-fabricsTheSoftwareDefinedDataCenterNewExperiencesNewBizModelspioneeredbynewConsumerInternetgiantsInternet-of-thingsPervasivetelemetryMainframeClient-Server&WebCLOUDERAOperateatScaleinahighlyautomatedwayAWSVMW...ETCPivotal:面向数数据的的企业业级Paas平台PivotalPlatformFromVMwareFromEMCBigDataFastDataRapidApplicationDev&IntegrationCloudAbstraction&AppAutomation存储储并并且且在在非非常常大大量量的的数数据据上上进进行行分分析析在收收集集数数量量庞庞大大的的事事件件数数据据的的同同时时对对特特定定事事件件进进行行实实时时反反应应快速速应用用开开发发配合合不不同同云云计计算算平平台台实实现现高效效运运维维和和水水平平扩扩展展与传传统统应应用用和和基基础础架架构构有有机机配配合合Software-DefinedDatacenterNewData-fabricsTheSoftwareDefinedDataCenterNewExperiencesNewBizModelspioneeredbynewConsumerInternetgiantsInternet-of-thingsPervasivetelemetryMainframeClient-Server&WebCLOUDERAOperateatScaleinahighlyautomatedwayAWSVMW...ETCPivotal:面向数据据的企业业级Paas平台PivotalPlatformBigDataFastDataRapidApplicationDev&IntegrationGemfirevFabricFromVMwareFromEMCCloudAbstraction&AppAutomation...ETC支持开放放标准并并与开源源有效互互动强调以数数据为中中心兼顾各种种数据类类型处理理充分关注注新一代代开发人人员和新新一代企企业级应应用的需需求为有效进进行实时时大容量量信息处处理而设设计同时兼顾与传传统应用的互互操作性与传统技术的的有效结合云支撑平台数据支撑架构应用支撑架构Scale-outstorage:HDFS/ObjectLanguages&FrameworksIngest&Query:veryhigh-capacity&in-memoryAnalyticsServicesCloudAbstraction(portability)Automation:AppProvisioning&Life-cycleServiceRegistryPivotalOne:重新定义企业业级PaaSCloudFabricDataFabricApplicationFabricScale-outstorage:HDFS/ObjectLanguages&FrameworksIngest&Query:veryhigh-capacity&in-memoryAnalyticsServicesCloudAbstraction(portability)Automation:AppProvisioning&Life-cycleServiceRegistryPivotalOne:来自EMC和VMW的技术体系整整合GemFirePivotalDataScienceLabs创新新：：以以数数据据支支撑撑为为中中心心CloudStorageVirtualizationPivotalDataFabricPivotalCloud&AppFabricData-DrivenApplicationDevelopmentPivotalDataScienceLabs...ETC完整整的的新新一一代代企企业业的的数数据据平平台台蓝蓝图图Analytic

DataMartsMPPDatabaseOperational

IntelligenceIn-MemoryDBRun-Time

ApplicationsIn-MemoryObjectEnterpriseData

WarehouseRDBMSDataStaging

PlatformData

IngestionSystemStreams分析析形形数数据据集集市市实时时的的数数据据处处理理Run-TimeApplications企业业级级数数据据仓仓库库大规规模模数数据据存存储储实时时的的数数据据捕获获和和共共享享Pivotal数据据支支撑撑架架构构的的解解决决之之道道Greenplum数据据库库：：极极速分分析析平平台台并行处理理架构MPPshared-nothing架构，基基于通用用X86平台PB级以上海海量存储储，最大大支持10000节点以上上所有节点点并发IO，实现超超大IO吞吐，并并行运行行SQL自动化并并行自动化并并行计算算,实现超大大计算能能力使用同传传统DB一样，加加载和运运行SQL数据多节节点分布布及高可可用性都都由DB自身实现现极佳的横横向扩展展性在线横向向扩展容量、加加载和SQL查询性能能随节点点线性增增加专为BI及数据分分析优化化深度整合合统计数数学模块块（SAS,SOLR,MADLIB,R）高性能并并行SQL执行器MPPshared-nothing架构构建在X86开放平台台上的并并行处理理架构Greenplum数据库：行业最快快的数据据加载技技术SingleRackComparison每个Rack（16节点））,每小时时16TB加载性性能Scatter-GatherStreaming™提供性性能线线性扩扩张支持大大批量量数据据加载载和持持续化化的数数据加加载Enablecomplexdatatransformations“in-flight”对GBK/UTF8/ISO8859字符集的的原生支支持Greenplumloadratesscalelinearlywiththenumberofracks,othersdonot.Forexample,tworacks=>32TB/HGreenplumOracle

ExadataNetezzaTeradataLoadGreenplum数据库：高可用用性ClientRedundant

InterconnectMP

Segment

ServersPrimary

Master1

Sync&

Failover

ProcessesStandby

MasterPrimaryDataRAID5ProtectionA1B1C1A2B2C2A1B1C1A2B2C2MirrorData2345提供了全量备份份和增量量备份功能，保证证系统级级故障后后的数据据恢复对于任一设设备的故故障，系系统数据据不丢失失、提供供持续服服务多个节点点宕机后后，系统统性能只只降低1/6Greenplum数据库：：Gartner的评价Gartner公司每年年发布关关于数据据仓库管管理系统统业界地地位的魔魔法象限限研究报报告报告主要要从个数数据仓库库厂商的的执行力力和远景景两个方方面评估估评估对象象包括传传统的企企业级数数据仓库库和新一一代的MPP并行数据据库厂商商支持各种规模、有大大量并发发用户、、能管理理混合工工作负载载的数据据仓库具备较高的的客户满满意度和和强有力力的服务务支持在数据仓仓库市场场有长久久的生命命力风险最低低、产品品成熟度度最高Gartner对领导者者象限的的评价采用前瞻瞻性思维设计的的数据仓仓库较小的市场场领导者者，缺乏乏全球性性发展缺少较大大的本地地客户，，因此不不易证明明其产品品的功能能和价值值在产品技技术领域域，某些些特性具具备前瞻瞻性，但但综合能能力需要要完善Gartner对远见者者象限的的评价LoadBalancerWebandAppServersWebMiddwareDatabaseLayOSAppOSAppWhatisGemFireOSAppOSAppOSAppOSAppOSAppOSAppMemoryC