华为OceanStor-100D对象存储解决方案介绍

OceanStor分布式对象存储解决方案介绍

云存储池化方式资源即效劳，共享存储池，最大化资源利用率超大规模数据存储和大数据应用下，数据集中化提升存储资源利用率180ZB预计2025年数据量7X24h不间断运行满足大业务量性能要求满足未来5年业务开展要求新兴应用的崛起应用1应用2新建应用N云存储资源池按需、弹性供给存储资源Analysis分析型应用分布式架构60%2015202025%35%传统架构40%事务型应用Source:IDC,Gartner,AWSWorkloadEstimates核心数据处理接入访问萎缩增长重构传统架构80%分布式架构20%10%30%分布式架构是实现资源池化的关键手段专有设备主导“加大云存储应用推广”集中式主导分布式主导通用设备主导海量数据实时处理〔举例：BSS系统、CDR话单〕承载在小型机上承载在效劳器上Web接入，移动，社交类应用〔举例：营业厅、网上商城〕对象存储降低系统复杂度，提升扩展性线性扩展可支持百亿级对象存储大文件存储TB级的文件跨区域互联跨区域可访问，复制元数据可扩展自定义元数据访问友好RESTAPI，Http，Https对象存储23415ObjectObjectObjectObjectObject二三类账户在线业务创新满足强监管要求15年历史文件提升为千亿级文件30年以上在线存放随时追溯审计、澄清纠纷全生命周期可查可追溯从隔日/隔周升级为实时在线从本省授权升级为跨地域审批业务连续性要求从半小时级提升为“零”中断，TCO下降对象接口数据平面票据、身份、合约等影像数据票据客户信息会计凭证交易过程数据….传统存储架构隔日/隔周审批离线或纸质归档二三类账户APP生物识别录音录像…实时在线全生命周期存放票据影像业务诉求：超长生命周期可访问、归档数据实时可查数据收集和预处理AI训练仿真AI推理AI应用兴起，海量数据让自动驾驶走入生活数据导入数据预处理百GB/s带宽海量小文件极致OPS和时延数十GB/s带宽极致时延每车每天60TB数据百PB级，数据存不下S3、NFS、HDFS多接口海量数据拷贝，分析效率低同时要求高带宽和高OPS超低时延，性能挑战大GPS毫米波雷达激光雷达超声波传感器摄像头AI训练仿真<1ms时延百PB级L2演进到L3里程10x，数据20xS3/NFSHDFSNFSNFS/CIFSNFS/HDFS验证数据备份：企业关键数据数据保护需适配多种应用及软件快速规划和建立灾难恢复流程共享数据，跨地域、跨业务系统，减少数据重复和流动灾备中心生产中心灾难恢复跨地域部署尽可能缩短备份窗口，提升备份和恢复性能高效备份RTO≦XRPO≦Y具备自动化管理能力，便于管理员维护和操作数据平安性自动化数据管理具备兼容多种备份软件的能力，

NBU，TSM，Networker，CV，Atempo，Rubrik……兼容性海量数据存储关键诉求：集中管理、弹性扩展内容存储、数据使用需拥有实时、即时的查询和存储能力能够在短时间内处理海量数据，为业务提升客户体验支持分支机构跨地域部署支持数据同步和共享一次写，很少读，数据量巨大分级归档，可离线保存超长的数据生命周期，硬件设备可更替、可更换、可升级指数级的数据增长不能带来指数级的费用投入数据保护、备份资源池存储效劳不中断、备份/归档数据不丧失法规、审计的要求，数据需长时间保存，系统规模增长时，能够灵活扩展重删技术，最小化建设投资部署和维护简单热数据温数据冷数据温冷数据分级归档生产存储本地备份异地备份……无忧更快更大省事OceanStor100D分布式对象存储最大企业级商用存储集群4096节点，EB级，弹性伸缩同类产品最高，所买即所得单桶支持1000亿对象业务0宕机多重数据保护99.9999%高可用简单易用，运维无忧存储资源池替代烟囱式存储40%TCO节省OceanStor创新存储架构自动负载均衡跨域部署、异步复制快速扩容帮助企业构筑弹性云存储资源池按需扩展OceanStor

100DOceanStor

100DOceanStor

100D桶1桶2桶3集群A集群B集群C跨域部署，多地域多集群统一域名访问广州北京上海深圳对象存储资源池LAN/WANObject统一域名访问支持跨地域的数据分析可构建基于全局的域名或基于区域的域名统一域名：ObjectObjectObjectObjectObjectObjectObjectObject5分钟/节点快速扩容构建海量存储池，业务无感知资源池扩容仅需5分钟/节点自动平衡容量和性能自动迁移数据到新节点,无需支付额外效劳费智能流控，不中断业务，更不影响业务已有节点新节点OceanStor

100D更大的存储池〔更多的存储空间〕小存储池(较少的可用空间)以节点为单位扩容(3->4096每系统)………以机柜为单位扩容(3->12每资源池)以存储池为单位扩容(1->128每系统)跨Region部署(1->32Region)华为OceanStor存储构建招行分布式云存储效劳平台FusionSphere用户业务系统ATM/VTM柜面银行呼叫中心开发测试云仿真业务联调业务测试业务企业网盘60M~120M移动活泼用户物理资源对象存储效劳块存储效劳通用硬件统一管理与SLA调度40%TCO节省基于通用硬件平台，共计交付3PB+IT联合创新，池化部署替代烟囱式架构为开发测试、渠道接入系统提供PB级块存储；为企业网盘提供对象存储，资源按需获取10x性能提升真正实现性能、容量线性增长

ATMOceanStor存储资源池性能及利用率同时提升，提供最优性价比云存储资源池经济高效性能、容量同时提升小对象在线聚合ErasureCode智能流控对象重删EC〔ErasureCode〕：即纠删码，是云存储的核心编码容错技术，以数据冗余检验替代一份数据存多份的多副本技术，以更低本钱、更高技术含量为云存储池提供相同甚至更高数据可靠性。PPPPPPPP数据分片冗余分片…将磁盘空间利用率从三副本33%提升到80%，节省硬件本钱，实现磁盘空间利用率40%提升基于不同硬件介质，数据可用性可达6个9通常由成熟的企业级云存储产品提供掌控核心编码容错技术，ErasureCode实现40%磁盘空间利用率提升利用率最高的分布式数据容错技术Erasurecode单桶1000亿文件存储，满足新兴应用需求票据影像备份/归档IoT车联网……以工行为例，千亿级别对象存储，单套100亿级别文件存储性能：TPS1000~10000，时延通常<200ms双录备份/归档对象大小1~100MB10亿级文件存储系统带宽>200MB/s高空间利用率大对象〔>1MB〕的文件，带宽>250MB/s小对象〔10KB~100KB〕的文件，单桶TPS要求300~600，首字节时延<20msX厂商E厂商1500万10亿H厂商10亿1000亿HUAWEI1000亿TPS100万HUAWEIX厂商数据来源：国家电子计算机质量监督检验中心，简称NCTC性能稳定单桶对象数100万10秒节点故障快速切换，业务感知最小化1822故障HuaweiServerSmartNetworkcard10秒快速故障切换仅为其他厂商产品1/3媲美传统高端存储能力快速切换配合华为智能网卡等部件，可进一步将故障检测通知时间缩短到毫秒级，提升整体切换效率1倍【2020年】进程故障检测快速心跳群发快速业务接管快速IO重定向5秒5秒性能、容量同时提升，小对象在线聚合提升空间利用率至80%利用SSDCache进行对象会聚，单节点性能提升6倍〔PUT4000TPS/节点〕元数据和数据分区存放，实现垃圾空间回收，降低系统写放大元数据和数据独立分区存储节点1…节点2…SSDCacheSSDCache………Obj1Obj2Obj3Obj4Obj5Obj6Strip1Strip2Strip3Strip4Objectdata聚合会聚成大对象后做增量EC校验1校验2512K以4+2为例小对象在线聚合元数据数据实现智能流控，支持租户和桶资源的定向分配100MB/sVIPVIP用户50MB/s普通用户1000TPS桶110TPS桶2精细化控制I/O提供租户、桶级别的TPS和带宽粒度的效劳质量控制，可以精确控制PUT，GET，DELETE和LIST等操作资源合理分配对不同优先级的租户、桶提供差异化的效劳,保障核心业务TPS与带宽供给OceanStor对象级重删，进一步节省存储空间OceanStor存储资源池文件A文件A文件B文件B文件C文件D文件E文件F桶桶桶桶租户(未开启重删〕租户(开启重删〕租户(开启重删〕OceanStor100D更适合规模云业务账户级全局重删，

在系统范围内对所有已开启重删账户的数据进行重复数据删除对象级重删，通过指纹识别100%准确识别相同数据多重可靠性保障，数据全生命周期管理平安可靠7x24业务永续0宕机6个9可靠性异步复制对象存储ClusterA主站点bucket对象存储Cluster

BbucketS3client使用统一域名访问，无需感知多DC的域名主、备桶名一致，故障发生后，主备切换对应用无感知唯一支持基于复制性能的QoS控制，支持基于桶或租户设置带宽、TPSQoS，保障高优先级应用性能可视化：管理界面可直观展示多DC拓扑图，复制任务、进度、网络情况等方案可靠：基于QoS控制的对象异步复制备站点WANDocumentA副本DocumentA*……EC……EC电子票据影像/双录、自动驾驶等满足在线存储数据高可用更适合规模云业务OceanStor

100D分布式存储池机柜级冗余：最大容忍4个机柜〔最多48节点〕同时失效节点级冗余：最大容忍4个节点同时失效冗余策略按需灵活配置和部署传统集中式存储OceanStor

100DRAID0/1/5/6/10仅容许硬盘级失效采用分布式RAID技术，提供最丰富、最成熟的EC冗余数据保护，容许柜级失效更适合规模云业务集群可靠:最全面的数据冗余保护，最大容许4机柜失效业务无中断机柜1机柜2机柜3机柜4机柜5机柜6机柜7机柜8机柜9机柜10……………………………………………………Pool1Pool2PoolNOceanStor

100D系统级可靠:0.5小时/TB高速数据重构，比传统存储恢复快10倍Node1Node2Node3Disk1Disk2DisknDisk1Disk2DisknDisk1Disk2DisknIO3-2IO3-30.5小时/TB数据极速恢复智能I/O流程，业务0感知的恢复SSD大Cache+数据并行重建传统RAID分布式RAID30分钟5小时是传统存储10倍其他分布式存储分布式RAID30分钟1小时是其他分布式存储2倍检测存储介质和硬件的故障及亚健康检测，提前恢复数据硬盘故障，慢盘，坏块Smart信息UNC错误SSD卡故障，慢卡，坏块高温故障，电容失效擦写次数超过亚健康阈值存储节点CPU资源耗尽CPU频率降低

内存故障网络网卡失效、降速链路丢包、降速端口故障、闪断、丢包防患于未然，保障性能与可靠性运维可靠:提前洞悉存储性能、容量走势，简化管理，提升资源利用率14天60天365天提前发现故障盘性能预测容量趋势预测提前排除潜在风险，业界领先分析潮汐规律，识别性能瓶颈精准分析workload，资源利用率提升20%提供最正确扩容方案，降低TCO校验数据原始数据EC〔ErasureCode〕算法，N份数据与M份校验数据存储，保证任意M份数据失效数据不丧失只读权限WORM时钟法规遵从企业级WORM〔Write-OnceRead-Many-times〕数据防篡改……Disk1Disk2DiskN灵活管理文件访问权限便于企业内控管理数据可靠：ErasureCode+WORM防篡改，数据平安固假设金汤管理可靠：统一数据管理平台，降低数据管理复杂度图形化界面自助运维Vs.开源软件GUI工具命令行向导式配置命令行Vs.开源软件亚健康检查无硬件故障图示无自动运维工具