2022年基于PAAS平台的智慧企业大数据平台建设方案

2019基于PAAS平台的智慧企业大数据平台建设方案Agenda•企业新一代数据平台的技术需求•创新的技术平台建设思路智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案面向大数据的分析大数据分析•企业内、外部的结构化和非结构化数据•数据量在TB级以上•以数据挖掘、预测和NowWhat?实时分析为主，强调对业务驱动智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案So传统BI分析What?•企业内部的结构化数据，•数据量在GB~TB级•以报表、查询和分析为主，反应当前业务现状What?大数据分析在企业的应用智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案更丰富、更细致更准确、更及时更高效、更全面的客户管理的营销管理的风险管理Customer360oSingleViewKeyLifeEvents&NextBestActionStressTest&CreditAssessments通用银行业大数据分析平台决策人员管理人员数据科学家业务人员用户访问层管理分析类应用沙盘演练应用实时分析应用数据客户管理财务管理风险管理运营管理……管理应用层历史归档数据区HDS客户管理财务管理风险管理……管理应用集市沙盘演练数据区核心数据总账数据国结数据实时数据区数据管控层数据区主非结构化数据区社交媒体信息客户汇总账户汇总机构汇总产品汇总……题数据用户评价信息智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数网银数据……数据服务层移动互联信息客户主题协议主题产品主题事件……据区……元数据POS增量财务增量库存增量采购增量……增量临时数据区数据传输数据稽核数据处理流程调度监控告警……数据交换平台数据交换层数据企业内外部半结构化、非结构化数据核心系统总账系统国结系统网银系统……系统产生层企业大数据平台数据内容及实现技术大数据平台按数据格式类别划分在线数据归档数据•应用平台提交请求访问的数据，包括结构化和非结构化两类••适合在线存储周期超过数据生命周期规划的数据Hadoop分布式架构管理按数据格式类别划分结构化数据非结构化数据智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案•方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如：客户信息、用电记录等。是挖掘数据价值的主要对象。•无法用二维表结构来逻辑表达的无结构性的数据。例如文本、按数据采集频度划分音频数据等。非实时数据准实时数据•支持分析型应用，时效性较低•支持前台交易系统查询需求，具有可靠性按数据模型划分范式化模型数据维度模型数据高、并发度大、采集频率短的特点•面向贴源数据查询和主题数据整合。•数据区，适合X86MPP数据库集群••面向分析类应用。对应ADW和CM数据区，适合MPP数据库集群Page6企业大数据平台架构原则平台技术-跨平台数据交换批量和实时数据采用不同的技术手段和工具，遵循统一的文件接口标准技术-平台内数据复制跨同构/异构数据库（物理系统），基于文本、数据库的数据抽取和加载，数据的形式不发生变化，不涉及数据转换。数据复制后产生的数据副本主要是为了便于数据引用，需要制定数据副本的生命周期管理策略以及保证数据副本的只读属性。智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据-数据即服务业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过全行指标口径和维度、度量信息，使业务人员可以较容易、较快地定位和了解数据的内容。数据-数据质量控制通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性（技术）、完整性、一致性（业务）、有效性。Page77企业大数据平台架构原则平数据-历史数据分级存储和访问近线数据存储形式保持源表源结构，主要以数据库形式存储，支持在线数据查询、访问和应用支持，响应时间秒级。归档数据以廉价大容量磁盘方式存储，存储形式会根据数据环境和未来应用的差异，采用不同于源结构的存储形式。同时，归档数据需要创建“被动索引”并具备恢复到主题数据区或者汇总数据区的能力。数据-非结构化数据管理对于交易和处理过程中形态尚不稳定的非结构化数据，可由各平台根据时效性、一致性控制和完整性控制等要求考虑自行处理安全-数据访问安全智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案对于普通的查询访问应用，应该具备屏蔽敏感信息的展现的能力。面向行内用户的数据访问，应按照数据的属主进行访问隔离。运维-系统日常运行性能管理在数据量不断增加、访问用户数量的增长、用户数据使用成熟度的变化、数据ETL持续滚动开发等场景的不断变化下，需要围绕日常性能管理，不断调整系统设计和运行策略。Page88建设新一代数据平台的驱动力•完整的大规模数据的快速捕获流程•多种类型数据的存储•数据的实时共享与交换•海量&剧增数据的支撑能力智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案•传统数据仓库技术和新技术的结合•Hadoop技术的合理运用与性能Agenda•企业新一代数据平台的技术需求•创新的技术平台建设思路智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案先行者:服务于海量客户的互联网巨头企业CONSUMERGRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流MAINFRAME智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案CLIENT-SERVER&WEB私有的数据中心与基础架构NewData-fabricsSoftware-DefinedDatacenter先行者:服务于海量客户的互联网巨头企业CONSUMERGRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流MAINFRAME智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案存储并且在非常大量的数据上进行分析CLIENT-SERVER&WEB私有的数据中心与基础架构NewData-fabricsSoftware-DefinedDatacenter先行者:服务于海量客户的互联网巨头企业CONSUMERGRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流MAINFRAME智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案存储并且在非常大量的数据上进行分析应用开发快速SERVER&WEB-CLIENT私有的数据中心与基础架构NewData-fabricsSoftware-DefinedDatacenter先行者:服务于海量客户的互联网巨头企业CONSUMERGRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流MAINFRAME智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案存储并且在非常大量的数据上进行分析应用开发快速CLIENT-SERVER&WEB私有的数据中心与基础架构自动化运维大规模NewData-fabricsSoftware-DefinedDatacenter企业级的需求…CONSUMERGRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备,海量日志,多种应用…无处不在的数据采集MAINFRAMESERVER&WEB-CLIENT智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案存储并且在非常大量的数据上进行分析应用开发快速NewData-fabricsSoftware-DefinedDatacenter来自金融企业的独有需求…CONSUMERGRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备,海量日志,多种应用…无处不在的数据采集MAINFRAMECLIENTSERVER&WEB-收集数量庞大的事件易事件进行实时反应智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案存储并且在非常大量的数据上进行分析应用开发快速数据的同时对特定交与传统应用和基础架构有机配合NewData-fabricsSoftware-DefinedDatacenter来自金融企业的独有需求…CONSUMERGRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备,海量日志,多种应用…无处不在的数据采集MAINFRAMESERVER&WEB-CLIENT智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案存储并且在非常大量快速收集数量庞大的事件数据的同时对特定交与传统应用和基础架的数据上进行分析应用开发易事件进行实时反应构有机配合配合不同云计算平台实现NewData高效运维和水平扩展-fabricsSoftware-DefinedDatacenter...ETC新一代Paas平台建设思路CONSUMERGRADENewExperiencesNewBizModelspioneeredbynewConsumerInternetgiants新一代InternetPaaS-平台of-thingsPervasivetelemetrySERVER&WEB-CLIENTMAINFRAME智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案存储并且在非常大量快速收集数量庞大的事件数据的同时对特定交与传统应用和基础架的数据上进行分析应用开发易事件进行实时反应构有机配合OperateatScaleina配合不同云计算平台实现highlyautomatedwayNewData高效运维和水平扩展-fabricsSoftware-DefinedDatacenter...ETCPivotal:面向数据的企业级Paas平台CLOUDERANewExperiencesNewBizModelspioneeredbynewConsumerInternetgiantsBigInternetPivotalPlatform-of-thingsPervasivetelemetryFastDataRapidApplicationDev&IntegrationCLIENTMAINFRAMESERVER&WEB-Data在收集数量庞大与传统应用和基础架构有机智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案存储并且在非常大量的数据上进行分析应用开发快速的事件数据的同时对特定事件进行实时反应配合CloudAbstractionhighlyautomatedwayOperateatScaleina&AppAutomationTheSoftwareDefinedDataCenter配合不同云计算平台实现NewData高效运维和水平扩展-fabricsFromFromVMWSoftware-DefinedDatacenterAWS...ETCEMCVMwareAcompletesoftware-centricapplication+dataplatform.CloudStorageSERVER&WEB智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案容量、加载和SQL查询性能随节点线性增加支持开放标准并与开源有效Greenplum数据库：行业最快的数据加载技术Applications使用同传统DB一样，加载和运行SQLSERVER&WEBSoftware-DefinedDatacenterPivotal:面向数据的企业级Paas平台CLOUDERANewExperiencesNewBizModelspioneeredbynewConsumerInternetgiantsBigInternetPivotalPlatform-of-thingsPervasivetelemetryFastDataRapidApplicationDev&IntegrationCLIENTSERVER&WEB-MAINFRAMEDataGemfire智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案vFabricCloudAbstractionhighlyautomatedwayOperateatScaleina&AppAutomationTheSoftwareDefinedDataCenterNewData-fabricsFromFromVMWSoftware-DefinedDatacenterAWS...ETCEMCVMwarePivotalOne:重新定义企业级PaaS•支持开放标准并与开源有效互动强调以数据为中心兼顾各种数据类型处理数据支撑架构应用支撑架构••Ingest&Query:veryhigh-capacity&in-LanguagesmemoryFrameworks&ServicesAnalyticsScale-outstorage:HDFS/Object•充分关注新一代开发人员和新一代企业级应用的需求智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案Automation:AppProvisioning&Life-cycle为有效进行实时大容量信息处理而设计同时兼顾与传统应用的互操作性与传统技术的有效结合•ServiceRegistry•CloudAbstraction(portability)云支撑平台•...ETCPivotalOne:来自EMC和VMW的技术体系整合DataFabricApplicationFabricPivotalDataScienceLabsIngest&Query:veryhigh-capacity&in-LanguagesGemFirememory&ServicesAnalyticsScale-outstorage:HDFS/ObjectFrameworks智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案Automation:AppProvisioning&Life-cycleServiceRegistryCloudAbstraction(portability)CloudFabric创新：以数据支撑为中心DataApplication-DrivenPivotalDataScienceLabsDevelopmentPivotalCloud&AppFabricPivotalData智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案FabricVirtualization...ETCCloudStorage完整的新一代企业的数据平台蓝图DataStagingAnalyticOperationalIntelligenceRun-TimeDataPlatformDataMartsApplicationsIngestionMPPDatabaseIn-MemoryDBIn-MemoryObjectSystemStreams智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案EnterpriseDataWarehouseRDBMSPivotal数据支撑架构的解决之道大规模数据存储分析形数据集市实时的数据处理Run-Time实时的数据捕获和共享Applications智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案企业级数据仓库Greenplum数据库：极速分析平台•并行处理架构MPPshared-nothing架构•MPPshared-nothing架构，基于通用X86平台•PB级以上海量存储，最大支持10000节点以上•所有节点并发IO，实现超大IO吞吐，并行运行SQL•自动化并行•自动化并行计算,实现超大计算能力•使用同传统DB一样，加载和运行SQL智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案•数据多节点分布及高可用性都由DB自身实现•极佳的横向扩展性•在线横向扩展•容量、加载和SQL查询性能随节点线性增加构建在X86开放平台上的并行处理架构•专为BI及数据分析优化•深度整合统计数学模块（SAS,SOLR,MADLIB,R）•高性能并行SQL执行器NewData-fabrics专为BI及数据分析优化SegmentServersoperational,&analytic)大量设备,海量日志,多种应用…PivotalDataCONSUMERGRADE智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案Automation:AppProvisioning&Life-cycleCONSUMERGRADEVirtualization私有的数据中心与基础架构NewData-fabrics新的业务模式由服务于海量客户的互联网巨头企PivotalOne:来自EMC和VMW的技术体系整合Greenplum数据库：行业最快的数据加载技术PivotalDataGreenplum数据库：行业最快的数据加载技术每个Rack（16节点）,每小时16TB加载性能Scatter-GatherStreaming™提供性能线性扩张支持大批量数据加载和持续化的数据加载Enablecomplexdatatransformations“in-flight”对GBK/UTF8/ISO8859字符集的原生支持智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案SINGLERACKCOMPARISONGreenplumloadratesscalelinearlywiththenumberofracks,othersdonot.LoadForexample,tworacks=>32TB/HGreenplumExadataOracleNetezzaTeradataGreenplum数据库：高可用性

提供了全量备份和增量备份功能，保证系统级故障后的数据恢复

对于任一设备的故障，系统数据不丢失、提供持续服务

多个节点宕机后，系统性能只降低1/6Client123MP4PrimaryMasterInterconnectRedundantSegmentServersPrimaryMirror智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案A1DataA2C2DataB2FailoverSync&ProcessesB1B2A1C1StandbyMasterC1C2B1A25RAID5ProtectionGreenplum数据库：Gartner的评价•Gartner公司每年发布关于数据仓库管理系统业界地位的魔法象限研究报告–报告主要从个数据仓库厂商的执行力和远景两个方面评估–评估对象包括传统的企业级数据仓库和新一代的MPP并行数据库厂商Gartner对领导者象限的评价•••支持各种规模、有大量并发用户、能管理混合工作负载的数据仓库具备较高的客户满意度和强有力的服务支持在数据仓库市场有长久的生命力智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案•风险最低、产品成熟度最高Gartner对远见者象限的评价•••采用前瞻性思维设计的数据仓库较小的市场领导者，缺乏全球性发展缺少较大的本地客户，因此不易证明其产品的功能和价值在产品技术领域，某些特性具备前瞻性，但综合能力需要完善•WhatisGemFireWebLoadBalancerWebandAppServersMiddwareAppOSAppOSAppOSOSAppOSAppAppOSOSAppAppOS智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案MemoryComputeDataGridinMemoryDatabaseLayPivotalHadoopHAWQ:性能测试结果对比PivotalHDPivotalHD4.28.7智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案16119X8.7596