大数据一体机云计算及大数据融合解决方案

大数据一体机

暨云计算及大数据应用融合解决方案职业生涯简介主持重大国内外工程经验美国纳斯达克数据分析应用及决策支持工程美国纽约证券交易所指数预测分析工程美国银行数据仓库及数据分析应用〔商务智能〕工程美国T-Mobil电信公司数据经分和信令系统分析工程美国谷歌公司R&D工程GFS根底架构总体设计EMC数据分析事业部〔PivotalLab〕产品研发工程〔CloudFoundry，GemFireXD，GPDB，PivotalHD〕目录132能源行业之大数据分析应用场景大数据时代的来临企业面临的挑战和分析需求云计算、移动计算、社交媒体和大数据分析推动产生新的计算模式。该模式进而引发业务转型以提升效率,促进法规遵从,提升整体业务可持续性以及以客户为中心。互联网商业模式对传统行业的冲击数据处理的难题及大数据革命您如何收集和存储数据？您如何传输数据？您如何分析数据？您如何从数据获益？大数据时代带来的思考……新时代需要一个全新的计算平台互联网平台时代，第三代IT体系的代表互联网公司采用的是PaaS,DevOps来实现创新虚拟化运维自动化PaaS 传统IT

Startups时间期望值InnovationGapCloudClient-Server互联网公司 DevOps,CD/CI,Agile,MicroService大数据时代行业商机无处不在！大数据行业应用–社交媒体大数据行业应用–电商平台大数据行业应用–互联网平台大数据行业应用–风力涡轮发电系统管理监控以毫秒级捕获传感器数据〔如：主轴传感器、齿轮箱传感器和定子传感器等〕，监控单台风力发电机运行状态以秒级捕获传感器数据，监控风机位置、彼此协作情况，保证发电场以最优状态工作以分钟级捕获传感器数据，监控输电状态、效率大数据行业应用–工业互联网资产管理零部件库存管理资产管理供给链自动化工作范围的自动化场力优化监控和诊断状态检修停电管理资产生命周期管理操作优化物流管理控制和工厂自动化燃料消耗的优化排放管理法规遵从健康&平安保证运营管理与监测系统网络吞吐量的优化终端客户信息效劳云计算改变IT，大数据应用重在创新工业互联网和工业大数据特点云计算改变IT，大数据应用重在创新云计算侧重资源管理，而大数据侧重业务应用。云计算资源池化的管理模式是大数据应用的前提。云计算提供的存储和计算资源池可动态支撑大数据分析业务不断变化的需求。目录132能源行业之大数据分析应用场景大数据时代的来临应用平台提交请求访问的数据，包括结构化和非结构化两类在线存储周期超过数据生命周期规划的数据适合Hadoop分布式架构管理无法用二维表结构来逻辑表达的无结构性的数据。例如文本、音频数据等。适合Hadoop架构方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如：客户信息、用电记录等。是挖掘数据价值的主要对象。支持分析型应用，时效性较低数据类别数据格式数据采集频度在线数据归档数据非结构化数据结构化数据准实时数据非实时数据面向贴源数据查询和主题数据整合。数据区，适合X86MPP数据库集群范式化模型数据面向分析类应用。对应ADW，适合MPP数据库集群维度模型数据数据模型大数据分析套件组合：〔完善生态链〕关系型数据库,NoSQL,流计算，SQLonHadoop,OLAPonHadoop,OLTPonHadoop，Cache缓存，In-MemoryDB,In-MemoryDataGrid，非关系型数据库，等等。分布式内存数据库MPP分布式数据库流式处理

Hadoop分析框架体系PaaS平台弹性运行时环境监控管理层物理资源层PaaS服务层业务应用层IAASInterfacePaaS运行时环境ServicesInterfacePaaSService应用中间件Hadoop消息中间件……SQL数据库NoSQL数据库平安管理资源管理配置管理效劳目录效劳管理性能监控资源监控存储设备计算资源池存储资源池网络资源池计算机网络设备分析研判类应用预测预警类应用动态监控类应用信息处理类应用……IaaS服务层大数据时代平台产品的关键能力开放弹性架构真正无共享的海量并行处理架构工业标准的X86平台效劳器资源按需分配，按需搭建集群，按需缩放集群规模在线线性扩展增加节点可线性增加存储、查询和加载性能支持在线扩容，扩容期间保证系统继续对外提供效劳拥有本钱可控保证用户不被专有平台锁定企业初期投入和后续扩容的本钱可控海量并行处理支持PB级的数据处理、存储和访问在数据加载、处理、访问等各个环节最大化并行处理能力优秀混合负载按需分配资源〔CPU、内存、IO〕动态调整资源平台持续可用易于管理维护直观的图形化界面，实时的状态监控最大限度降低管理员的日常管理和维护工作大数据时代催生PaaS平台的变革IaaS:硬件的自动化管理，人与机器的解耦合

获得效率/牺牲性能PaaS：应用的自动化管理，应用与OS的解耦合

获得弹性/牺牲控制业务创新需要重新定义企业级PaaS云支撑平台数据支撑架构应用支撑架构创新：以数据支撑为中心未来大数据分析应用的PaaS平台开展方向NewData-fabricsInternet-of-thingsPervasivetelemetryOpenDataPlatformBigDataFastDataRapidApplicationDev&IntegrationGemfirevFabricCloudAbstraction&AppAutomation面向数据的企业级PaaS平台快速应用开发在收集数量庞大的事件数据的同时对特定事件进行实时反响与传统应用和根底架构有机配合配合不同云计算平台实现高效运维和水平扩展存储并且在非常大量的数据上进行分析行业大数据分析应用的数据架构设计大数据时代云计算及大数据融合架构全景图计算存储网络应用运行环境云平台管理云平台平安数据批处理（Hadoop）近实时分析（MPPDB）实时数据处理应用和数据集成应用开发接口资源和效劳交付统一访问门户应用容器虚拟机效劳器虚拟化存储虚拟化网络虚拟化公有云接口iVirtualvSphereNovaXenServerPowerVM分布式文件系统分布式块存储分布式对象存储SAN存储网关OpenFlowvxLanvSwitchAWSACEAzureGAE流处理内存数据库HbaseYarnMapReduceHive,Pig,MahoutSQLDataDistributeQueryPlannerMPPExecLoadBalancer分布式缓存消息中间件RDBMS云资源管理运维管理桌面管理业务流程管理资源计费网络安全容灾备份数据和应用访问权限管理安全审计vRoute大数据分析应用的PaaS平台产品组合实时的数据处理Run-Time

Applications企业级数据仓库大规模数据存储实时的数据捕获和共享分析型数据集市大数据分析应用的资源池拓扑图存储系统备份系统…………存储系统备份系统K-HAK-HAK-HAK1-1K1-2K1-3K1-4K1-5K1-6TS860TS860TS860TS860……核心交换机虚拟化〔非关键应用〕资源池物理〔核心业务系统〕资源池……物理〔大数据分析应用〕资源池大数据分析应用系统架构系统管理体系(日志审计、用户管理、运维监控)计算资源池存储资源池网络资源池平台层(PaaS)数据存储层数据准备层数据处理层数据效劳层分布式文件系统MPP数据库分析模型算法引擎挖掘工具应用层(SaaS)根底设施(IaaS)应用层(SaaS)分析研判类效劳预测预警类效劳动态监控类效劳信息处理类效劳大数据分析研判系统门户运营状态监控决策分析预警平安保障体系(访问权限控制，防病毒、防入侵)内存计算RDBMS数据块ODS数据立方体数据仓库数据集市根底设施(IaaS)流式处理客户精准营销数据交换平台数据交换平台系统管理体系(日志审计、用户管理、运维监控)平安保障体系(访问权限控制，防病毒、防入侵)效劳总线风险模式识别PaaS平台弹性运行时环境云数据中心管理平台目录132能源行业之大数据分析应用场景大数据时代的来临大数据产品线规划和产业定位数据源数据收集数据存储数据处理分析及可视化应用数据拥有者数据分析技术提供商服务技术提供商最终用户数据采集技术提供商数据采集者

数据分析者数据服务提供商基础硬件（服务器、存储、网络交换）厂商大数据分析软件平台（数据库、数据仓库、分布式处理技术等）提供商大数据分析一体化产品提供商大数据产品线的保障体系1.需求分析2.解决方案3.维护服务缩短开发周期实现数据共享降低管理风险提高安全和质量资深工程师提供在线指导服务专家提供现场指导运维服务评估业务需求分析已有基础设施风险评估推荐合理方案大数据一体机产品定位及软硬一体化设计方案MPP数据库：DaaS的计算引擎企业级数据仓库分析型数据集市GreenplumDB:

Data

as

a

Service的计算引擎Gartner公司每年发布关于数据仓库管理系统业界地位的魔法象限研究报告报告主要从数据仓库厂商的执行力和远景两个方面评估评估对象包括传统的企业级数据仓库和新一代的MPP并行数据库厂商支持各种规模、有大量并发用户、能管理混合工作负载的数据仓库具备较高的客户满意度和强有力的效劳支持在数据仓库市场有长久的生命力风险最低、产品成熟度最高Gartner对领导者象限的评价Gartner对远见者象限的评价MPP数据库：极速分析平台并行处理架构MPPshared-nothing架构，基于通用X86平台PB级以上海量存储，最大支持10000节点以上所有节点并发IO，实现超大IO吞吐，并行运行SQL自动化并行自动化并行计算,实现超大计算能力使用同传统DB一样，加载和运行SQL数据多节点分布及高可用性都由DB自身实现极佳的横向扩展性在线横向扩展容量、加载和SQL查询性能随节点线性增加专为BI及数据分析优化深度整合统计数学模块〔SAS,SOLR,MADLIB,R〕高性能并行SQL执行器MPPshared-nothing架构构建在X86开放平台上的并行处理架构每个Rack〔16节点〕,每小时16TB加载性能Scatter-GatherStreaming™提供性能线性扩张支持大批量数据加载和持续化的数据加载Enablecomplexdatatransformations“in-flight〞对GBK/UTF8/ISO8859字符集的原生支持GreenplumOracle

ExadataNetezzaTeradataSINGLERACKCOMPARISONGreenplumloadratesscalelinearlywiththenumberofracks,othersdonot.Forexample,tworacks=>32TB/HLoadMPP数据库：高可用性ClientRedundant

InterconnectMP

Segment

ServersPrimary

Master1Sync&

Failover

ProcessesStandby

MasterPrimaryDataRAID5ProtectionA1B1C1A2B2C2A1B1C1A2B2C2MirrorData2345提供了全量备份和增量备份功能，保证系统级故障后的数据恢复对于任一设备的故障，系统数据不丧失、提供持续效劳多个节点宕机后，系统性能只降低1/6查询层对运行的查询提供根本的优先级管理对CPU\内存\IO利用率进行定额分配控制单个查询并发度会话层每个用户能够分配一个资源队列管理工作允许控制查询和查询代价数据库连接层控制多少用户可以连接。提供的池(允许大量)和(限制数量)MPP数据库：PolymorphicDataStorage™

(

多态存储-同时支持行存储及列存储)Table‘Customer’Jan’09Feb’09Mar’09Apr’09May’09Jun’09Jul’09Aug’09Sept’09Oct’09Nov’09Column-OrientedArchivalCompressionColumn-OrientedFastCompressionRow-OrientedMPPDB与HD通过gNet无缝集成

通过标准接口或编程语言，透明访问数据库和Hadoop内部存储的数据。大数据一体机SDA50000SDA50000单柜满配备注数据分发节点2固定计算交换机2固定管理交换机2固定KVM1固定数据库节点12¼配、半配、满配总内存1.5T总核数192C硬盘总数量96可用裸容量56TB建议使用容量（3副本）18.75TB大数据分析系统软件：MPP数据库应用场景：数据仓库应用/OLAP多维分析

大数据分析套件组合：〔完善生态链〕关系型数据库,NoSQL,流计算，SQLonHadoop,OLAPonHadoop,OLTPonHadoop，Cache缓存，In-MemoryDB,In-MemoryDataGrid，非关系型数据库，等等。SQLonHadoop最初的设计定位：

专为分析完整事务支持而优化的大规模并行SQL处理引擎。高度扩展和存储系统业界领先的性能与动态流水线弹性故障容错和事务支持数据管理和分析工具包真实的SQL功能

Hadoop分析框架体系HDFSHBasePig,Hive,MahoutMapReduceSqoopFlumeResource

Management

&WorkflowYarnZookeeperCommandCenterConfigure,Deploy,Monitor,ManageDataLoaderHadoop

EnterpriseSpringUnifiedStorageServiceXtension

FrameworkCatalog

ServicesQuery

OptimizerDynamicPipeliningANSISQL+AnalyticsHadoopVirtualizationExtensionDistrubutedIn-memoryStoreQueryTransactionsIngestionProcessingHadoopDriver–

ParallelwithCompactionANSISQL+In-MemoryGemFireXD–Real-TimeDatabaseServicesMADlibAlgorithmsHAWQ–AdvancedDatabaseServices大数据产品线–大数据一体机SDA60000SDA60000单柜满配备注管理节点2固定，HA计算交换机2固定管理交换机2固定KVM1固定数据节点16¼配、半配、满配总内存2T总核数192C硬盘总数量192可用裸容量768TB建议使用容量（3副本）256TB大数据分析系统软件：Hadoop系统应用场景：海量数据离线批处理/查询分析

分布式内存数据库DatabasesOtherDataSystems文件系统常用的数据存储高吞吐量低延时高伸缩性持续可用性可靠的事件通知连续查询并行执行广域网分布数据调用方数据持久性分布式内存数据库大数据一体机SDA80000大数据分析系统软件〔分布式内存数据库〕：应用场景：海量数据高并发查询/实时事务处理分布式内存数据库SDA80000单柜满配备注数据分发节点2固定，HA计算交换机1固定管理交换机1固定KVM1固定数据节点16¼配、半配、满配总内存4T总核数192C硬盘总数量384块

PaaS平台的核心组件–CloudFoundry企业版CloudFoundry企业版的主要功能–跨云部署机制PaaS平台弹性运行时环境–CloudFoundry大数据一体机SDA90000计算单元分布式数据处理模块大数据存储模块加速器高速交换网络可视化管理大数据分析处理PaaS平台大数据分析SaaS应用预测预警类