大数据时代存储之路华为

应需而变融以致远——大数据时代存储之路

信息化：从涓流到海洋目录大数据带来哪些技术变革云时代大数据的特点12华为大数据架构和详细实际3大量用户群体海量计算大量数据管理数据分析大数据定义-不同行业的不同声音云时代的大数据特点Volume-巨量Variety-多样性Value-价值密度数据量宏大全球在2021年正式进入ZB时代IDC估计到2020年，全球将总共拥有40ZB的数据量构造化数据、半构造化数据和非构造化数据如今的数据类型早已不是单一的文本方式，订单、日志、音频，才干提出了更高的要求沙里淘金，价值密度低一部数小时的视频，能够有用的数据仅仅只需一两秒。如何迅速“提纯〞是大数据亟待处理的难题实时获取需求的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处置数据的效率就是企业的生命Velocity-速度信息采集系统全景引见政府机构〔医保，社保〕短信通话记录数据分类数据来源运营商存储区域业务平台会聚、分析、入库医院大型企业交通讯息视频监控

社保、医保、住宿、交通视频监控网络信息准确查询…………人际关系、行为分析跟随分析、人脸识别通话记录、住宿、交通统计报表短信、Email内容过滤等其他信息统计分析内容查询数据导入大数据在各行业的运用社交网络B2C业务能源媒资地质勘探科研智能电网非线编辑后期制造卫星探测基因工程电子支付票据归档金融互联网公安视频监控视频分析目录大数据各行业需求和运用大数据带来哪些技术变革云时代大数据的特点12华为大数据架构和详细实际3大数据带来技术变革大数据分析处置全球技术研讨和咨询公司Gartner将“大数据〞技术列入2021年对众多公司和组织机构具有战略意义的十大技术与趋势之一；Gartner在其新兴技术成熟度曲线中将“大数据〞技术视为转型技术；传统技术晋级已满足不了大数据处置的需求，“大数据〞技术将在未来3—5年内进入主流。其技术形状也会产生较大的变化；存储瓶颈计算瓶颈网络瓶颈数据库瓶颈大数据带来哪些技术变革单机集群虚拟化集群文件存储单机设备间衔接设备内衔接关系型数据库横向扩展横向扩展GEFC数据库集群10GEFCIB分布式数据库非关系型数据库块存储10GESASIBFC计算存储数据库网络横向扩展〔硬件扩展〕块虚拟化丰富的增值软件及对外接口横向扩展〔硬件+文件系统〕文件虚拟化丰富的增值软件及对外接口大数据时代群雄逐鹿Hadoop处理方案架构目录什么十大数据大数据各行业需求和运用华为大数据架构和详细实际大数据带来哪些技术变革云时代大数据的特点12华为大数据架构和详细实际3华为在大数据方面不仅仅是平台提供商大数据运用开发提供商大数据系统集成商大数据平台提供商大数据管理效力提供商华为除了具有强大的自主研发实力外，还具备丰富的集成优化第三方平台的阅历，可根据用户的实践需求，打造适宜用户本身特点的大数据效力体系；ScaleoutBlockScaleoutFilesystemScaleoutDBScaleoutObjectScaleoutbackup分布式存储运用适配,Programmable接口通用效力器网络〔交换机，路由器〕存储节点分布式计算和分析批处置(GalaxHD))实时处置和内存计算近实时分析和MPPDB内存数据库流处置MapReduceHive,Pig,MashoutHBASEHcatalogSQLQueryPlannerMPPExecDataBridge管控平面设备管理资源管理(YARN,多户,Zookeeper)战略调度日志留存OLAP视频分析数据可视化内容检索数据发掘华为大数据一体化平台集成SqoopDataLoader华为集成和优化华为自研组件协作3rdPartyToolHadoopFSAPI,NFS/CIFS,Posix,ISCSI,S3华为大数据一致架构FlumeLuceneCloudOS30mins/TB的恢复速度平安可信弹性高效存储池内一切硬盘参与重构，仅重构业务数据由传统RAID多对一的重构方式转变为HVS的多对多快速重构方式数据恢复速度相对传统RAID提升20倍降低95%的多盘失效概率大幅降低重构过程对业务的影响加速数据恢复传统阵列RAID2.01TBNL－SAS磁盘重构时间〔小时〕100.50246810数据重构时间缩短20倍ApplicationsControllerCPUCacheNORMALNORMALPREMIUMSSDSASSATALOW……PrioritynPriority3Priority2Priority1Partition1Partition2Partition4Partition…Partition3PartitionN中心业务专属保证存储系统自动按照优先级不同调配资源，保证中心系统的资源需求SmartQoS确保中心业务效力质量物理缓存分区，为特定LUN设定公用的缓存分区，防止中心业务与边缘业务恶性缓存竞争SmartPartition关键业务性能保证平安可信弹性高效Smart软件提升客户系统效率数据智能流动SmartTier数据动态分级SmartVirtualization异构数据整合SmartMotion数据动态平衡EMCHDSIBMHW平安可信弹性高效SmartTier：精细化热点统计与迁移，最大化性能资源利用率，性能提升3倍SmartMotion：基于场景的动态部署变卦，最大化自动负载平衡，硬盘利用率提升2倍，运维本钱下降60%SmartVirtualization：支持对异构存储系统进展一致虚拟化管理，最大化既有投资维护，投资报答率提升50%Smart智能软件SSDSASNL-SAS一致管控，运维一手掌握各类型存储一致管理，化繁为简分层可视化，直观监控，高效排障智能分析提升效力质量，节约本钱与挪动运维结合，管理更智能存储管理软件一致监控与管理报警管理拓扑平安在线存储近线存储平安可信弹性高效亚洲最大兼容性实验室亚洲最大的IT产品兼容性实验室，拥有国内最全面的测试环境，产品兼容性得到充分的认证，客户的兼容性疑虑得到最好的解答华为与全球400家IT厂家协作，影响全球IT生态圈，为客户提供更加全面的IT产品。超越400家兼容性测试同伴兼容性实验室——处理您的兼容性顾虑HVS&T系列一致存储存储虚拟化VIS6600TN9000大数据存储面向企业级数据中心实现数据智能规划双活数据中心一致存储资源池面向海量数据存储交融架构简化生命周期管理P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8SelfOrganizedDisksDHTS3/NFS/CIFS存以智用，融以致远云化存储设计：智能交融可信任，满足企业需求外企当道、自主乏力本地产/OEM不等于自主可控本地产为的是降低消费本钱，OEM仅仅是包装存储中心竞争力是研发、设计技术、质量、价钱均不可控本地产/OEM≠自主可控IDC2021年数据外企当道≈平安要挟外企霸占国内市场：国外存储厂商占据国内80%以上的市场份额，其中金融业占据90%，交通行业超越80%，电信行业超越90%；要挟国家平安：CNNVD〔国家信息平安破绽库〕统计外企在国内艰苦信息平安破绽多达6万个华为存储的中国芯公用/通用途置器CPU自研ARM64，交融存储特性(Raid5/6/DIF/Multicast/DMA)SHA1、Dedup加速卡最少磁盘，最少电力，满足海量数据备份需求加速卡实现5GB/s=18TB/Hr更低本钱，更高性价比智能交融IO芯片Hi181210GE,RDMA(10GE),TOE,IOE,FCoE,FC8G/16Gallinone更低本钱，更高性价比PCI-ESSD控制芯片Hi1821支持PCI-E3.0接口支持SAS3.0协议SASSSD控制芯片Hi1811业界第一颗支持SAS2.0的ASIC控制器发布首款全固态存储系统Dorado2100Red-BPrime可编程引擎〔TOE、IOE、FCoE，RDMA，vSwitch、VTEP和Openflow等协议卸载〕PCI-EoverFabric，IO扩展和共享，数据加密紧缩Red-BPrime提供最全系列全国产存储产品大数据和云存储数据维护磁盘存储存储软件HDP3500E*VTL6900*固态存储HyperSnapHyperClone

数据复制软件存储管理软件HyperCopyHyperReplicationDorado2100G2Dorado510060万IOPS访问延迟低至500s100万IOPS访问延迟低至500sHVS85T/HVS88TS2600T/S5500T/S5600T/S5800T2~16控制器可扩展至3TBCache可扩展至3216块硬盘0~5sRPOS6800T可扩展至384GBCache可扩展至1440块硬盘25万SPC-1性能一致存储，同时支持块和文件运用可扩展至192GBCache可扩展至1440块硬盘S2200T双控制器支持4GBCache支持204块硬盘SmartQoSSmartMotionSmartTierUltrPathUltraVRUltraAPMSmartCacheSmartThinSmartXInsightManagementConsoleInfraControlCSS分布式存储系统N9000大数据存储系统支持Posix/NFS/CIFS/JDBC/ODBC接口多GE互联UDS海量存储系统3~288节点，40PB容量扩展，500万OPS10GE/IB高性能互联规范AmazonS3接口EB级容量扩展高密设计，单柜2PB容量N8500集群NAS系统*全Active架构支持文件和块接口2~24节点，15PB容量扩展，300万OPS动态分级存储一体化备份设备PB级海量备份集群架构同时支持Inline与后端重删VIS6600T*2~8节点，Scale-out虚拟化存储专业的本地效力和咨询团队您身边的效力专业效力团队战略效力协作1成都总部4区域存储才干中心5效力阶段32区域技术支持中心140+效力范围覆盖城市8+效力领域10+专家组合1效力合同0+PMP专家26000+专业的效力团队300+专业效力监管300+备件中心200+增值效力同伴2000+协作同伴4培训中心1700+专业讲师设计咨询实施改良运营一站式效力江苏公安工程部署HVS高端存储，助力江苏公安信息化新疆省公安厅存储集中化:警务信息平台上层业务系统复杂，包括案情分析系统，网络执法系统，信息对比系统等数据高可靠：需求高可靠，高性能，高效率，高扩展性的存储承载上层中心业务效率最大化:SMART系列软件提示系统整体运转效率农行票据影像归档存储系统全面部署农行全国36个分行网点，满足每个分行3~5年的票据影像归档数据存储，并可存储定时复制的在线数据多控集群架构，系统性能随集群节点的添加呈线性增长实现票据影像数据的获取、存储、索引、搜索、归档等全生命周期管理按照要求采用小部分SAS盘、大部分SATA磁盘，以及配合其它节能特性，有效降低运营本钱为38个分行票据影像等非构造化数据提供归档存储才干提供各分行会计档案15年近线归档数据存储海量的存储空间，具备最大288节点的横向扩展才干，容量性能线性扩展业界领先的性能，高效小