大数据时代存储之路-华为课件

应需而变融以致远

——大数据时代存储之路

应需而变融以致远信息化：从涓流到海洋信息化：从涓流到海洋目录大数据带来哪些技术变革云时代大数据的特点12华为大数据架构和具体实践3目录大数据带来哪些技术变革云时代大数据的特点12华为大数据架大量用户群体海量计算大量数据管理数据分析大数据定义-不同行业的不同声音大量用户群体海量计算大量数据管理数据分析大数据定义-不同行业云时代的大数据特点Volume-巨量Variety-多样性

Value-价值密度数据量巨大全球在2010年正式进入ZB时代IDC预计到2020年，全球将总共拥有40ZB的数据量结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求沙里淘金，价值密度低一部数小时的视频，可能有用的数据仅仅只有一两秒。如何迅速“提纯”是大数据亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命Velocity-速度云时代的大数据特点Volume-巨量Variety-多样性信息采集系统全景介绍政府机构（医保，社保）短信通话记录数据分类数据来源运营商存储区域业务平台汇聚、分析、入库医院大型企业交通信息视频监控Email社保、医保、住宿、交通视频监控网络信息

精确查询…………人际关系、行为分析跟随分析、人脸识别通话记录、住宿、交通统计报表短信、Email内容过滤等其他信息统计分析内容查询数据导入信息采集系统全景介绍政府机构短信通话记录数据分类数据来源运营大数据在各行业的应用社交网络B2C业务能源媒资地质勘探科研智能电网非线编辑后期制作卫星探测基因工程电子支付票据归档金融互联网公安视频监控视频分析大数据在各行业的应用社交网络B2C业务能源媒资地质勘探科研目录大数据各行业需求和应用大数据带来哪些技术变革云时代大数据的特点12华为大数据架构和具体实践3目录大数据各行业需求和应用大数据带来哪些技术变革云时代大数据大数据带来技术变革大数据分析处理全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一；Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术；传统技术升级已满足不了大数据处理的需求，“大数据”技术将在未来3—5年内进入主流。其技术形态也会产生较大的变化；存储瓶颈计算瓶颈网络瓶颈数据库瓶颈大数据带来技术变革大数据全球技术研究和咨询公司Gartner大数据带来哪些技术变革单机集群虚拟化集群文件存储单机设备间连接设备内连接关系型数据库横向扩展横向扩展GEFC数据库集群10GEFCIB分布式数据库非关系型数据库块存储10GESASIBFC计算存储数据库网络横向扩展（硬件扩展）块虚拟化丰富的增值软件及对外接口横向扩展（硬件+文件系统）文件虚拟化丰富的增值软件及对外接口大数据带来哪些技术变革单机集群集群文件存储单机设备间连接设备

大数据时代群雄逐鹿大数据时代群雄逐鹿Hadoop解决方案架构Hadoop解决方案架构目录什么十大数据大数据各行业需求和应用华为大数据架构和具体实践大数据带来哪些技术变革云时代大数据的特点12华为大数据架构和具体实践3目录什么十大数据大数据各行业需求和应用华为大数据架构和具体实华为在大数据方面不仅仅是平台提供商大数据应用开发提供商大数据系统集成商大数据平台提供商大数据管理服务提供商华为除了具有强大的自主研发实力外，还具备丰富的集成优化第三方平台的经验，可根据用户的实际需求，打造适合用户自身特点的大数据服务体系；华为在大数据方面不仅仅是平台提供商大数据应用开发提供商大数据ScaleoutBlockScaleoutFilesystemScaleoutDBScaleoutObjectScaleoutbackup分布式存储应用适配,Programmable接口通用服务器网络（交换机，路由器）存储节点

分布式计算和分析批处理(GalaxHD))实时处理和内存计算近实时分析和MPPDB内存数据库流处理MapReduceHive,Pig,MashoutHBASEHcatalogSQLQueryPlannerMPPExecData

Bridge管控平面设备管理资源管理(YARN,多户,Zookeeper)策略调度日志留存OLAP视频分析数据可视化内容检索数据挖掘华为大数据一体化平台集成SqoopData

Loader

华为集成和优化华为自研组件合作3rd

PartyToolHadoopFSAPI,NFS/CIFS,Posix,ISCSI,S3华为大数据统一架构FlumeLuceneCloudOSScaleoutBlockScaleoutFilesys30mins/TB的恢复速度安全可信弹性高效存储池内所有硬盘参与重构，仅重构业务数据由传统RAID多对一的重构模式转变为HVS的多对多快速重构模式数据恢复速度相对传统RAID提升20倍降低95%的多盘失效概率大幅降低重构过程对业务的影响加速数据恢复传统阵列RAID2.01TBNL－SAS磁盘重构时间（小时）100.50246810数据重构时间缩短20倍30mins/TB的恢复速度安全可信弹性高效加速数据恢复传统ApplicationsControllerCPUCacheNORMALNORMALPREMIUMSSDSASSATALOW……PrioritynPriority3Priority2Priority1Partition1Partition2Partition4Partition…Partition3PartitionN核心业务专属保障存储系统自动按照优先级不同调配资源，保证核心系统的资源需求SmartQoS确保核心业务服务质量物理缓存分区，为特定LUN设定专用的缓存分区，避免核心业务与边缘业务恶性缓存竞争SmartPartition关键业务性能保障安全可信弹性高效ApplicationsControllerCPUCacheSmart软件提升客户系统效率数据智能流动SmartTier数据动态分级SmartVirtualization异构数据整合SmartMotion数据动态平衡EMCHDSIBMHW安全可信弹性高效SmartTier：精细化热点统计与迁移，最大化性能资源利用率，性能提升3倍SmartMotion：基于场景的动态部署变更，最大化自动负载均衡，硬盘利用率提升2倍，运维成本下降60%SmartVirtualization：支持对异构存储系统进行统一虚拟化管理，最大化既有投资保护，投资回报率提升50%Smart智能软件SSDSASNL-SASSmart软件提升客户系统效率数据智能流动SmartTier统一管控，运维一手掌握各类型存储统一管理，化繁为简分层可视化，直观监控，高效排障智能分析提升服务质量，节约成本与移动运维结合，管理更智能存储管理软件统一监控与管理

报警管理

拓扑安全在线存储近线存储安全可信弹性高效统一管控，运维一手掌握各类型存储统一管理，化繁为简存储管理软亚洲最大兼容性实验室亚洲最大的IT产品兼容性实验室，拥有国内最全面的测试环境，产品兼容性得到充分的认证，客户的兼容性疑虑得到最好的解答华为与全球400家IT厂家合作，影响全球IT生态圈，为客户提供更加全面的IT产品。超过400家兼容性测试伙伴兼容性实验室——解决您的兼容性顾虑亚洲最大兼容性实验室亚洲最大的IT产品兼容性实验室，拥有国内HVS&T系列统一存储存储虚拟化VIS6600TN9000大数据存储面向企业级数据中心实现数据智能布局双活数据中心统一存储资源池面向海量数据存储融合架构简化生命周期管理P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8SelfOrganizedDisksDHTS3/NFS/CIFS存以智用，融以致远云化存储设计：智能融合可信赖，满足企业需要HVS&T系列统一存储存储虚拟化VIS6600TN900外企当道、自主乏力本地产/OEM不等于自主可控本地产为的是降低生产成本，OEM仅仅是包装存储核心竞争力是研发、设计技术、质量、价格均不可控本地产/OEM≠自主可控IDC2011年数据外企当道

≈安全威胁外企霸占国内市场：国外存储厂商占据国内80%以上的市场份额，其中金融业占据90%，交通行业超过80%，电信行业超过90%；威胁国家安全：CNNVD（国家信息安全漏洞库）统计外企在国内重大信息安全漏洞多达6万个外企当道、自主乏力本地产/OEM不等于自主可控本地产/OEM华为存储的中国芯专用/通用处理器CPU自研ARM64，融合存储特性(Raid5/6/DIF/Multicast/DMA)SHA1、Dedup加速卡最少磁盘，最少电力，满足海量数据备份需求加速卡实现5GB/s=18TB/Hr更低成本，更高性价比智能融合IO芯片Hi1812

10GE,RDMA(10GE),TOE,IOE,FCoE,FC8G/16Gallinone更低成本，更高性价比PCI-ESSD控制芯片Hi1821支持PCI-E3.0接口

支持SAS3.0协议SASSSD控制芯片Hi1811

业界第一颗支持SAS2.0的ASIC控制器发布首款全固态存储系统Dorado2100Red-BPrime可编程引擎（TOE、IOE、FCoE，RDMA，vSwitch、VTEP和Openflow等协议卸载）PCI-EoverFabric，IO扩展和共享，数据加密压缩Red-BPrime华为存储的中国芯专用/通用处理器CPU自研ARM64，融合提供最全系列全国产存储产品大数据和云存储数据保护磁盘存储存储软件HDP3500E*VTL6900*固态存储

HyperSnapHyperClone

数据复制软件存储管理软件HyperCopyHyperReplicationDorado2100G2Dorado510060万IOPS访问延迟低至500s100万IOPS访问延迟低至500sHVS85T/HVS88TS2600T/S5500T/S5600T/S5800T2~16控制器可扩展至3TBCache可扩展至3216块硬盘0~5sRPOS6800T可扩展至384GBCache可扩展至1440块硬盘25万SPC-1性能统一存储，同时支持块和文件应用可扩展至192GBCache可扩展至1440块硬盘S2200T双控制器支持4GBCache支持204块硬盘SmartQoSSmartMotionSmartTierUltrPathUltraVRUltraAPMSmartCacheSmartThinSmartXInsightManagementConsoleInfraControlCSS分布式存储系统N9000大数据存储系统支持Posix/NFS/CIFS/JDBC/ODBC接口多GE互联UDS海量存储系统3~288节点，40PB容量扩展，500万OPS10GE/IB高性能互联标准AmazonS3接口EB级容量扩展高密设计，单柜2PB容量N8500集群NAS系统*全Active架构支持文件和块接口2~24节点，15PB容量扩展，300万OPS动态分级存储一体化备份设备PB级海量备份集群架构同时支持Inline与后端重删VIS6600T*2~8节点，Scale-out虚拟化存储提供最全系列全国产存储产品大数据和数据保护磁盘存储软件HDP专业的本地服务和咨询团队您身边的服务专业服务团队战略服务合作1成都总部4区域存储能力中心5服务阶段32区域技术支持中心140+服务范围覆盖城市8+服务领域10+专家组合1服务合同1350+PMP专家26000+专业的服务团队300+专业服务监管300+备件中心200+增值服务伙伴2000+合作伙伴4培训中心1700+专业讲师设计咨询实施改进运营一站式服务专业的本地服务和咨询团队您身边的服务专业服务团队战略服务合作江苏公安项目部署HVS高端存储，助力江苏公安信息化新疆省公安厅存储集中化:警务信息平台上层业务系统复杂，包括案情分析系统，网络执法系统，信息对比系统等数据高可靠：需要高可靠，高性能，高效率，高扩展性的存储承载上层核心业务效率最大化:SMART系列软件提示系统整体运行效率江苏公安项目部署HVS高端存储，助力江苏公安信息化新疆省公安农行票据影像归档存储系统全面部署农行全国36个分行网点，满足每个分行3~5年的票据影像归档数据存储，并可存储定时复制的在线数据多控集群架构，系统性能随集群节点的增加呈线性增长实现票据影像数据的获取、存储、索引、搜索、归档等全生命周期管理

按照要求采用小部分SAS盘、大部分SATA磁盘，以及配合其它节能特性，有效降低运营成本农行票据影像归档存储系统全面部署农行全国36个分行网点，满足为38个分行票据影像等非结构化数据提供归档存储能力提供各分行会计档案15年近线归档数据存储海量的存储空间，具备最大288节点的横向扩展能力，容量性能线性扩展业界领先的性能，高效小文件并发访问分布式存储系统架构，充分保障数据可靠性单一文件系统，简化管理，全生命周期管理，降低管理成本建行内容管理系统为38个分行票据影像等非结构化数据提供归档存储能力建行内容管华为与CCTV针对NAS高密存储达成战略合作节能60%～80%带宽3GB/s单柜2.4PB10PB扩展能力100台工作站并发机房空间节省3/4单盘休眠CPU调频调压功耗封顶风扇智能变频机柜集中散热自适应深度节能高密度存储系统华为与CCTV针对NAS高密存储达成战略合作节能带宽3GB/携手华为，助力IT信息化建设大数据时代的存储，兼容并包大数据时代的存储，无限可能坚持厂商中立和被集成，开放合作

服务行业客户，共同成长携手华为，助力IT信息化建设大数据时代的存储，兼容并包应需而变融以致远

——大数据时代存储之路

应需而变融以致远信息化：从涓流到海洋信息化：从涓流到海洋目录大数据带来哪些技术变革云时代大数据的特点12华为大数据架构和具体实践3目录大数据带来哪些技术变革云时代大数据的特点12华为大数据架大量用户群体海量计算大量数据管理数据分析大数据定义-不同行业的不同声音大量用户群体海量计算大量数据管理数据分析大数据定义-不同行业云时代的大数据特点Volume-巨量Variety-多样性

Value-价值密度数据量巨大全球在2010年正式进入ZB时代IDC预计到2020年，全球将总共拥有40ZB的数据量结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求沙里淘金，价值密度低一部数小时的视频，可能有用的数据仅仅只有一两秒。如何迅速“提纯”是大数据亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命Velocity-速度云时代的大数据特点Volume-巨量Variety-多样性信息采集系统全景介绍政府机构（医保，社保）短信通话记录数据分类数据来源运营商存储区域业务平台汇聚、分析、入库医院大型企业交通信息视频监控Email社保、医保、住宿、交通视频监控网络信息

精确查询…………人际关系、行为分析跟随分析、人脸识别通话记录、住宿、交通统计报表短信、Email内容过滤等其他信息统计分析内容查询数据导入信息采集系统全景介绍政府机构短信通话记录数据分类数据来源运营大数据在各行业的应用社交网络B2C业务能源媒资地质勘探科研智能电网非线编辑后期制作卫星探测基因工程电子支付票据归档金融互联网公安视频监控视频分析大数据在各行业的应用社交网络B2C业务能源媒资地质勘探科研目录大数据各行业需求和应用大数据带来哪些技术变革云时代大数据的特点12华为大数据架构和具体实践3目录大数据各行业需求和应用大数据带来哪些技术变革云时代大数据大数据带来技术变革大数据分析处理全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一；Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术；传统技术升级已满足不了大数据处理的需求，“大数据”技术将在未来3—5年内进入主流。其技术形态也会产生较大的变化；存储瓶颈计算瓶颈网络瓶颈数据库瓶颈大数据带来技术变革大数据全球技术研究和咨询公司Gartner大数据带来哪些技术变革单机集群虚拟化集群文件存储单机设备间连接设备内连接关系型数据库横向扩展横向扩展GEFC数据库集群10GEFCIB分布式数据库非关系型数据库块存储10GESASIBFC计算存储数据库网络横向扩展（硬件扩展）块虚拟化丰富的增值软件及对外接口横向扩展（硬件+文件系统）文件虚拟化丰富的增值软件及对外接口大数据带来哪些技术变革单机集群集群文件存储单机设备间连接设备

大数据时代群雄逐鹿大数据时代群雄逐鹿Hadoop解决方案架构Hadoop解决方案架构目录什么十大数据大数据各行业需求和应用华为大数据架构和具体实践大数据带来哪些技术变革云时代大数据的特点12华为大数据架构和具体实践3目录什么十大数据大数据各行业需求和应用华为大数据架构和具体实华为在大数据方面不仅仅是平台提供商大数据应用开发提供商大数据系统集成商大数据平台提供商大数据管理服务提供商华为除了具有强大的自主研发实力外，还具备丰富的集成优化第三方平台的经验，可根据用户的实际需求，打造适合用户自身特点的大数据服务体系；华为在大数据方面不仅仅是平台提供商大数据应用开发提供商大数据ScaleoutBlockScaleoutFilesystemScaleoutDBScaleoutObjectScaleoutbackup分布式存储应用适配,Programmable接口通用服务器网络（交换机，路由器）存储节点

分布式计算和分析批处理(GalaxHD))实时处理和内存计算近实时分析和MPPDB内存数据库流处理MapReduceHive,Pig,MashoutHBASEHcatalogSQLQueryPlannerMPPExecData

Bridge管控平面设备管理资源管理(YARN,多户,Zookeeper)策略调度日志留存OLAP视频分析数据可视化内容检索数据挖掘华为大数据一体化平台集成SqoopData

Loader

华为集成和优化华为自研组件合作3rd

PartyToolHadoopFSAPI,NFS/CIFS,Posix,ISCSI,S3华为大数据统一架构FlumeLuceneCloudOSScaleoutBlockScaleoutFilesys30mins/TB的恢复速度安全可信弹性高效存储池内所有硬盘参与重构，仅重构业务数据由传统RAID多对一的重构模式转变为HVS的多对多快速重构模式数据恢复速度相对传统RAID提升20倍降低95%的多盘失效概率大幅降低重构过程对业务的影响加速数据恢复传统阵列RAID2.01TBNL－SAS磁盘重构时间（小时）100.50246810数据重构时间缩短20倍30mins/TB的恢复速度安全可信弹性高效加速数据恢复传统ApplicationsControllerCPUCacheNORMALNORMALPREMIUMSSDSASSATALOW……PrioritynPriority3Priority2Priority1Partition1Partition2Partition4Partition…Partition3PartitionN核心业务专属保障存储系统自动按照优先级不同调配资源，保证核心系统的资源需求SmartQoS确保核心业务服务质量物理缓存分区，为特定LUN设定专用的缓存分区，避免核心业务与边缘业务恶性缓存竞争SmartPartition关键业务性能保障安全可信弹性高效ApplicationsControllerCPUCacheSmart软件提升客户系统效率数据智能流动SmartTier数据动态分级SmartVirtualization异构数据整合SmartMotion数据动态平衡EMCHDSIBMHW安全可信弹性高效SmartTier：精细化热点统计与迁移，最大化性能资源利用率，性能提升3倍SmartMotion：基于场景的动态部署变更，最大化自动负载均衡，硬盘利用率提升2倍，运维成本下降60%SmartVirtualization：支持对异构存储系统进行统一虚拟化管理，最大化既有投资保护，投资回报率提升50%Smart智能软件SSDSASNL-SASSmart软件提升客户系统效率数据智能流动SmartTier统一管控，运维一手掌握各类型存储统一管理，化繁为简分层可视化，直观监控，高效排障智能分析提升服务质量，节约成本与移动运维结合，管理更智能存储管理软件统一监控与管理

报警管理

拓扑安全在线存储近线存储安全可信弹性高效统一管控，运维一手掌握各类型存储统一管理，化繁为简存储管理软亚洲最大兼容性实验室亚洲最大的IT产品兼容性实验室，拥有国内最全面的测试环境，产品兼容性得到充分的认证，客户的兼容性疑虑得到最好的解答华为与全球400家IT厂家合作，影响全球IT生态圈，为客户提供更加全面的IT产品。超过400家兼容性测试伙伴兼容性实验室——解决您的兼容性顾虑亚洲最大兼容性实验室亚洲最大的IT产品兼容性实验室，拥有国内HVS&T系列统一存储存储虚拟化VIS6600TN9000大数据存储面向企业级数据中心实现数据智能布局双活数据中心统一存储资源池面向海量数据存储融合架构简化生命周期管理P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8SelfOrganizedDisksDHTS3/NFS/CIFS存以智用，融以致远云化存储设计：智能融合可信赖，满足企业需要HVS&T系列统一存储存储虚拟化VIS6600TN900外企当道、自主乏力本地产/OEM不等于自主可控本地产为的是降低生产成本，OEM仅仅是包装存储核心竞争力是研发、设计技术、质量、价格均不可控本地产/OEM≠自主可控IDC2011年数据外企当道

≈安全威胁外企霸占国内市场：国外存储厂商占据国内80%以上的市场份额，其中金融业占据90%，交通行业超过80%，电信行业超过90%；威胁国家安全：CNNVD（国家信息安全漏洞库）统计外企在国内重大信息安全漏洞多达6万个外企当道、自主乏力本地产/OEM不等于自主可控本地产/OEM华为存储的中国芯专用/通用处理器CPU自研ARM64，融合存储特性(Raid5/6/DIF/Multicast/DMA)SHA1、Dedup加速卡最少磁盘，最少电力，满足海量数据备份需求加速卡实现5GB/s=18TB/Hr更低成本，更高性价比智能融合IO芯片Hi1812

10GE,RDMA(10GE),TOE,IOE,FCoE,FC8G/16Gallinone更低成本，更高性价比PCI-ESSD控制芯片Hi1821支持PCI-E3.0接口

支持SAS3.0协议SASSSD控制芯片Hi1811

业界第一颗支持SAS2.0的ASIC控制器发布首款全固态存储系统Dorado2100Red-BPrime可编程引擎（TOE、IOE、FCoE，RDMA，vSwitch、VTEP和Openflow等协议卸载）PCI-EoverFabric，IO扩展和共享，数据加密压缩Red-BPrime华为存储的中国芯专用/通用处理器CPU自研ARM64，融合提供最全系列全国产存储产品大数据和云存储数据保护磁盘存储存储软件HDP3500E*VTL6900*固态存储

HyperSnapHyperClone

数据复制软件存储管理软件HyperCopyHyperReplicationDorado2100G2Dorado510060万IOPS访问延迟低至500s100万IOPS访问延迟低至500sHVS85T/HVS88TS2600T/S5500T/S5600T/S5800T2~16控制器可扩展至3TBCache可扩展至3216块硬盘0~5sRPOS6800T可扩展至384GBCache可扩展至1440块硬盘25万SPC-1性能统一存储，同时支持块和文件应用可扩展至192GBCache可扩展至1440块硬盘S2200T双控制器支持4GBCache支持204块硬盘SmartQoSSmartMotionSmartTierUltrPathUltraVRUltraAPMSmartCacheSmartThinSmartXInsightManagementConsoleInfraControlCSS分布式存储系统N9000大数据存储系统支持Posix/NFS/CIFS/JDBC/ODBC接口多GE互联UDS海量存储系统3~288节点，40PB容量扩展，500万OPS10GE/IB高性能互联标准Am