OceanStor 9000存储产品方案介绍

1、华为 OceanStor 9000存储产品方案介绍1市场概述与定位2OceanStor 9000介绍3白牌介绍4竞争分析5应用场景6如何获取资源1市场概述与定位数字时代的变革2.8 ZB875 亿部 1960s 大型机1980s 个人电脑1990s 互联网2000s 移动互联网2010s 大数据 2012年全球数据总量达到2.8ZB； 2020年，将达到40ZB！ 2.8 ZB = 875亿部 32GB的平板电脑。数据来源 IDC大数据蕴含着新的机遇和巨大挑战OceanStor 9000 Scale-out NAS卓越性能：业界领先性能，单节点吞吐1.6GB/s，独有的eTurbo加速技术，系

2、统整体可达500万OPS，400GB/s吞吐，性能线性增长灵活扩展：全分布式架构， 最大288节点扩展能力，降低CAPEX开销，随业务量增加弹性扩容，单一文件系统最大管理100PB存储空间，降低海量数据管理复杂度开放融合：开放的系统，灵活应用对接；支持S3，HDFS，NFS，CIFS，S3/Swift，NDMP，FTP 等多种接口，实现文件，对象等数据类型支撑OceanStor 90002OceanStor 9000介绍1市场概述与定位2OceanStor 9000介绍3白牌介绍4竞争分析5应用场景6如何获取资源Scale-up与Scale-out服务器网络存储存储节点传统NAS扩展方式，纵向

3、扩展，方式单一性能、容量扩展有限Scale-out扩展方式，横向扩展性能和容量全对称分布式架构，性能容量线性增长NAS引擎阵列存储节点存储节点OceanStor 9000 节点概览P12P25P36C36C722U，3.5寸盘，12盘位2U，2.5寸盘，25盘位4U，3.5寸盘，36盘位4U，3.5寸盘，36盘位4U，3.5寸盘，72盘位高性能存储节点P 系列大容量归档节点C 系列面向高清编辑，新闻制作，高端HPC面向近线存储，视频监控面向在线存储，低端HPC，视频监控一个系统中同种节点至少要有3台OceanStor 9000整体视图一P252U 25盘（2.5寸数据盘）设备标配：双路Inte

4、l IvyBridge CPU，48G内存，2GB NVDIMM，1*400GB SSD+24*900GB/1.2TB SAS盘P36前视图后视图前视图后视图4U 36盘（3.5寸数据盘）设备标配：双路Intel IvyBridge CPU ，48G内存， 2GB NVDIMM， 1*400GB SSD+35*2TB/4TB/6TB/10TB SATA盘或2TB/4TB NL SAS前视图后视图P122U 12盘（3.5寸数据盘）设备标配：双路Intel IvyBridge CPU ，32G内存， 2GB NVDIMM， 12* 2TB/4TB/6TB/10TB SATA盘或2TB/4TB N

5、L SASOceanStor 9000整体视图二C72前视图后视图俯视图4U 72盘（3.5寸数据盘）设备标配：2路Atom Rangeley CPU，64G内存，72*2TB/4TB/6TB SATAC36前视图后视图4U 36盘（3.5寸数据盘）设备标配：双路Intel IvyBridge CPU ，32G内存， 2GB NVDIMM， 36* 2TB/4TB/6TB/10TB SATA盘或2TB/4TB NL SAS一个系统中同种节点至少要有3台交换单元华为自研1U48口万兆SFP+或24口万兆SFP+CE6810-48S4Q-EI (10GE optical access ports)

6、10GE SwitchGE SwitchS5300-52P-LI（Carrier Scenario ）S5700-52P-LI（Enterprise Scenario ）InfinibandSwitch华为自研1U48*GE RJ45默认Mellanox SX6018-1BRS，同时支持同品牌经华为兼容性验证的其他型号交换机1U18个56Gbps FDR接口Mellanox IS5023CE6810-24S2Q-LIOceanStor 9000组网类型内部组网由华为部署完成，客户无需关注10GE交换机、IB交换机10GE交换机、IB交换机或千兆交换机（客户提供）应用服务器OceanStor 9

7、000文件系统支持组网类型：P系列节点：前2*10GE后2*10GE组网前2*GE后2*10GE组网前4*GE后2*10GE组网前2*IB后2*IB组网前2*10GE后2*IB组网C36节点：前2*10GE后2*10GE组网前2*GE后2*10GE组网前4*GE后2*10GE组网C72节点前8*GE后4*10GE组网注： 1、除IB交换机外，其他软硬件均为华为自研；前端IB组网时，后端必须为IB组网 2、前端10GE组网情况下，9000的配置中未包含节点与客户网络连接时，客户侧交换机上的光模块 3、分布式数据库不支持IB组网管理交换机管理终端P25/P36/P12/C36/C72节点/I节点N

8、AS存储、对象存储并存时组网对象存储和NAS存储增值特性各自独立，分别支持不同的增值特性，对象存储增值特性赠送，无license控制对象存储、NAS存储可以在一套系统配置，每种接口至少三个相同类型节点 同一节点NAS接口、S3接口和Swift接口三选一配置对象接口时，冗余配比不支持+4冗余P12OceanStor 9000P12P12C36C36C36NFS/CIFSS3/SwiftNAS应用服务器对象应用服务器OceanStor DFSOceanStor 9000存储系统架构应用层数据处理层硬件节点层P系列节点C系列节点HPC视频监控媒体娱乐精准营销文件存储备份、归档软件备份、归档商业推广网

9、盘FTPNFSCIFS数据分析与Hadoop生态系统对接HDFSNDMPOceanStor DFS 对象存储服务重删多租户Https传输加密 NAS存储服务HDFSInfoTier(动态分级)InfoAllocator(配额)InfoLocker(WORM)InfoReplicator(远程复制)InfoStamper(快照）InfoRevive（视频图像修复）InfoEqualizer(负载均衡)Swift/S3管理系统InfoTurbo(性能加速)HttpsInfoScanner(防病毒)InfoMigrator(数据迁移)对象存储资源池OceanStor 9000生态接入能力OceanS

10、tor 9000HDFS APINFSS3BigDataSocial Network Text AnalysisData ExtractNatural Language ProcessingAudioAnalysisVideoAnalysisBusinessIntelligenceSwiftkeystoneDesktopCloudDevelop CloudTesting CloudOnlineGamesWebServicesCloudCIFSFTP传统NAS全分布式架构，高可靠数据保护+1+2+3+4 N+1N+4的数据保护，最大允许4块硬盘/节点故障磁盘利用率最高达95%3-288节点线性扩

11、展60秒之内完成单节点扩容智能负载均衡（InfoEqualizer）nodenodenodenodeOceanStor 9000OceanStor DFS在所有节点间自动进行负载均衡自动平衡容量和性能IP的故障切换(failover)和故障恢复(failback)无需人工干预，无需更改配置负载过程对应用透明012453InfoEqualizerInfoEqualizerInfoEqualizerInfoEqualizer对外提供单一域名访问方式可划分分区，对不同分区设置二级域名，以及不同的负载策略负载均衡策略可以基于：CPU、内存、带宽、网络连接数、节点能力值1、访问系统一级/二级域名,如：2

12、、OceanStor 9000对域名进行解析，根据负载策略，返回IP地址3、业务请求nodeOceanStor 9000nodenodenodenodenodeZone 1：基于CPU使用情况二级域名：Zone 2：基于网络连接数二级域名：OceanStor DFSNFS Client智能负载均衡（InfoEqualizer）全局缓存storage CPUMemorystorageCPUMemorystorageCPUMemory 全局缓存ABC应用服务器全局缓存使所有存储节点上的内存空间在逻辑上组成一个统一内存资源池任何存储节点都可以命中全局缓存中的数据，同时所有用户数据在整个系统中只缓存一

13、份且不缓存校验数据可以有效提高系统整体的性能storageCPUstorage CPUMemorystorage CPUMemory应用服务器LOCK3.返回数据在Node A缓存中4.从Node A缓存中读取数据E1.服务器向Node C发起请求全局缓存与数据读取主机E向Node C的客户端发出数据读请求Node C的客户端向分布式锁服务器申请分条资源读锁系统检查所读数据的缓存是否在全局缓存中以及缓存在哪个节点上，左图显示该文件分条资源在Node A节点上的缓存中 Node C从Node A节点上的全局缓存中获数据并返回（如果不在全局缓存中，则直接从各个节点上读取该分条数据的所有条带数据后构

14、造出分条数据后再返回）Node ANode BNode C2.向锁服务器申请分条资源读锁Global CachestorageCPUstorage CPUstorage CPU应用服务器LOCKE1.服务器向Node C发起请求全局缓存与数据写入主机E向Node C上客户端发出数据写请求Node C的客户端向分布式锁服务器申请分条资源写锁 Node C的客户端 申请加锁成功后，Node C将用户数据接收到本节点上的全局缓存中Node C的客户端将该条带数据根据该文件指定的保护级别进行切片处理，对所有切片后的原始数据通过Erasure Code进行计算生成校验数据片，最后将包括校验数据片在的数据

15、片写到对应的节点上的保电内存中，写各节点的保电内存成功后则本次写操作成功Node ANode BNode C2.向锁服务器申请分条资源读锁3.加锁成功，数据写到Node C全局缓存Global Cache4.切片后写入保电内存P系列节点C系列节点自动分级存储 InfoTier创建时间文件大小文件名修改时间I/O热度I/O次数访问时间用户自定义3种磁盘介质，更丰富的存储资源8种策略模板，更精细的迁移粒度对应用透明，上层业务无感知基于预设策略，全自动化执行，无需人工干预SATASASSSD自动分级存储关键技术：节点池C36P25C72系统支持根据物理节点类型自动生成节点池，在部署和扩容时系统会按照

16、节点所属的物理类型将节点加入到对应的节点池建议节点池中的节点为同一物理类型的节点，否则该节点池的性能将会收到影响同一系统支持三级分级部署成功后，节点池中包含的节点不允许修改。如需调整节点所属的节点池，只能先删除该节点，再以扩容方式添加的其他节点池中系统最多可以配置32个节点池，每个节点池至少包括3个物理节点，最多20个物理节点，否则该节点池的状态为“不可用”空间配额管理（ InfoAllocator ）支持目录、用户、用户组配额基于 NFS/CIFS的软硬配额支持与AD、NIS、LDAP域结合支持自动精简配置，匹配“组织架构”的空间管理方式，嵌套层级高达8层单一文件系统，避免多个文件系统使用不

17、均，提升空间利用率总经理财务部人事部员工a员工b员工c员工d20TB40TB40TB5TB8TB10TB10TB存储100TB软配额文件数配额容量配额硬配额用户配额目录配额用户组配额20TB企业级WORM (InfoLocker)已经处于保护状态的数据，不可修改和删除，只能读取过期文件可以删除不可修改支持单独的WORM时钟，设置成功后不允许修改子目录自动获取父目录的WORM属性只读权限自定义WORM时钟管理员权限WORM软时钟WORM目录配置WORM日志保护方式（手动或自动）快照技术（InfoStamper）目录级快照，单个目录最大创建2048个快照，整系统支持8192个快照快照与其他增值特性

18、可同时使用1秒内快照，不阻塞业务，极大提高备份频率和可靠性6种定时快照策略，实现持续数据保护快照可配置过期时间（1小时-1年），过期后自动删除，空间自动回收/data/file2fIle3snap81snap81/file2.snapshot/对目录data创建快照81后删除file3从快照81的目录中仍然可以读取file3OceanStor 9000采用了元数据COW（Copy On Write）结合数据ROW（Redirect OnWrite）的快照技术，极大的提高了系统的空间利用率。按天按周按月异步远程复制技术，InfoReplicator目录级别复制支持主从、一对多、多对一、双向复制支

19、持全量、增量复制复制任务实时监控，可设置保留的快照的个数用于异地容灾、远程归档、异地备份支持手工复制和定时复制，支持failover和failback，1小时内可完成failover配置，failback支持增量复制支持流控、断点续传，复制对业务带宽和时延的影响小于20%主站点备站点OceanStor 9000OceanStor 9000从目录：/a/b/c主目录：/d/h/jLAN/WANP36C72基于目录快照的异步远程复制1、启动数据同步前，先在主目录上创建基准快照2、同步全量或增量数据（基准快照相比之前最后一次主端目录快照的数据变更）3、数据同步完成后，为从目录创建一致性快照快照快照I

20、nfoRevive视频图像修复功能专门针对视频监控应用视频数据的完整性受到轻微破坏后，数据仍可正常播放，只是在播放时出现偶尔的模糊保证监控业务连续性和可用性故障节点/磁盘超出冗余上限的情况下，仍可正常读出部分可读的视频数据并继续写入视频数据Disk 1Disk 2Disk 3Disk 4Disk 5Disk 6StripTraditional RAID-Lose all dataDisk 1Disk 2Disk 3Disk 4Disk 5Disk 6StripWith InfoRevive-”ABCD00”ABCDABCDInfoTurbo性能加速主动感知Cache算法优化协议 文件 文件当前

21、读取位置下次读取位置Cache未命中，出现丢帧/花屏Cache命中，视频编辑画面连续，快速响应当前读取位置下次读取位置图例： 已读取数据 预取数据一个客户端、一条链路、一个服务端“一个客户端、多条链路、多个服务端”,打破网络链路和单服务端瓶颈Mac 10.10和或Redhat 6.3私有客户端提升NAS稳定时延下的带宽的技术，不额外占用客户端资源私有客户端下单客户端性能高达2.5GB/s，媒体领域可以提升编辑层数，高算场景获得更大数据吞吐量InfoScanner防病毒功能通过DeviceManager软件下载防病毒代理软件防病毒软件安装在防病毒代理服务器上采用轮询的方式将需要查杀的文件路径发送

22、给防病毒代理服务器防病毒服务器通过CIFS共享读取文件，进行病毒查杀、隔离支持瑞星杀毒软件防病毒服务器NFS/CIFSOceanStor 9000节点业务服务器对象存储特性：重复数据删除基于对象的重复数据删除，消除冗余数据、降低存储容量系统自动查找重复数据，并将相同数据只保留一个副本而删除多余的重复数据重复数据被替换成指向保留的单一副本的引用基于对象的重复数据删除对象存储特性：多租户技术OceanStor 9000User ASMBsUser BUser C数据中心单一系统提供多客户端服务用户之间数据逻辑隔离为用户减少初始投资，管理简单HDFS 接口与华为FusionInsight Hadoo

23、p 和 Cloudra对比(华为内部测试)ComponentPackage VersionCompatibleApache Hadoop(MR & YARN)hadoop-2.6.0+cdh5.4.1+565YApache HBasehbase-1.0.0+cdh5.4.1+141YHBase-Solrhbase-solr-1.5+cdh5.4.1+50YApache Hivehive-1.1.0+cdh5.4.1+126YHuehue-3.7.0+cdh5.4.1+1173YCloudera Impalaimpala-2.2.0+cdh5.4.1+0NApache Oozieoozie-4.

24、1.0+cdh5.4.1+142YApache Solrsolr-4.10.3+cdh5.4.1+251YApache Sparkspark-1.3.0+cdh5.4.1+35YApache Sqoopsqoop-1.4.5+cdh5.4.1+98YApache Sqoop2sqoop2-1.99.5+cdh5.4.1+28N, Repairing bugApache ZooKeeperzookeeper-3.4.5+cdh5.4.1+87Y优势：利用率更高(EC算法比3副本方式利用率更高) ，全生命周期管理(Tier)兼容传统NAS接口(NFS/CFS/FTP)更好的数据保护(Snapsho

25、t, Replication)FileSystemAbstractFileSystemcommon packageAbstract file system APIHDFSHBaseYarnextends & implementsS3 fsFTP fs9000 plug-inNFSCloudera + OceanStor 9000OceanStor 9000 DFSFileSystemAbstractFileSystemcommon packageAbstract file system APIHDFSHBaseYarnextends & implementsS3 fsFTP fsOrigina

26、l Hadoop.趋势分析诊断分析监控报表PCPhone 分析报表性能统计资源管理Pad性能统计工具采用数据采集、归档、分析、预测等方法，提供实时监控、历史趋势分析、对比分析、诊断分析和容量预测等功能热点统计报表集群、节点、硬盘、客户端、网口监控分析、趋势分析集群、节点容量趋势预测性能对比诊断分析3白牌介绍1市场概述与定位2OceanStor 9000介绍3白牌介绍4竞争分析5应用场景6如何获取资源白牌硬件介绍白牌配置仅合作伙伴OEM OUT使用提供OceanStor 9000 4U 36盘位节点的硬件和软件白牌化资料提供可编辑版本内部组网交换机不提供白牌一个节点仅支持配置一个虚拟机网卡插槽优

27、先使用顺序为B2、B1、B0，配置InfoContainer特性时，前端业务网络采用GE组网时，需要配置2个GE网卡4U 36盘（3.5寸数据盘）设备标配：双路Intel IvyBridge CPU ，32G内存， 2GB NVDIMM， 36* 2TB/4TB/6TB SATA盘或2TB/4TB NL SASB3B2B1B0扩展插槽，仅支持GE网卡扩展插槽，支持GE或10GE网卡扩展插槽，支持GE或10GE网卡支持GE或10GE网卡，前/后端组网使用A0A1SAS卡插槽支持GE或10GE网卡，前/后端组网使用前视图后视图InfoContainer特性单节点内存虚拟机最大可配内存32GB2GB

28、48GB8GB64GB16GB80GB26GB96GB40GB160GB96GB 虚拟机最大可配CPU核数：32（不能超过节点配置的CPU核心总数的一半）运行在虚拟机上的操作系统需完全兼容CentOS 6.5 x86_64操作系统使用InfoContainer特性时，虚拟机管理不支持配置eSight管理软件InfoContainer特性只支持CLI命令存储节点内嵌虚拟机（VNC Server）Devicemanager（VNC Client）解码器电视墙管理服务器交换机交换机交换机摄像头4应用场景1市场概述与定位2OceanStor 9000介绍3白牌介绍4竞争分析5应用场景6如何获取资源媒体

29、行业媒体云存储解决方案存储资源池收录制作媒资库备播 低码工作站编辑/渲染/合成卫星/摄像/DVD高码工作站编辑/渲染/合成编目/检索/转码/web播出、播控网络层IP OceanStor 9000高性能资源池（第一级）大容量资源池（第二级）方案亮点融合：采、编、播、管、存多业务共享存储资源池，按需部署，动态调配；数据分级存放，内部智能迁移和生命周期管理弹性：全分布式架构、全IP互联；存储资源池可扩展至100PB，支持新业务快速接入高效：统一命名空间，性能随节点增加线性增长，轻松满足上层制作业务10GB/s的带宽需求2-25分钟2分钟0.5分钟2.5分钟排队等待定位抓取磁带加载文件传输在线媒资库

30、近线带库在线存储0-5分钟2.5分钟排队等待文件传输7分钟-30分钟 2.5分钟-7.5分钟OceanStor 9000统一命名空间Tier1Tier2Tier3现场低并发处理1分钟：基于分级的跳跃式回迁传统分散存储存储资源池化媒体行业冷数据资产无带化，在线应用，瞬间回迁媒体行业方案竞争力极致性能节能降耗效率提升唯一支持6层高清编辑的NAS，单节点性能高Isilon 30%扩展能力是业界的2倍，支持更大规模应用高密，节省2倍媒资库空间，最大支持100PB容量低功耗，节省30%媒资库功耗融合架构，一套系统支持全业务流程数据系统内部流动，避免系统间迁移，提升效率40%深圳广电项目中央电视台辽宁电视

31、台云南电视台广州电视台河南电视台视频监控平安城市视频云中心解决方案视频云中心智能分析实时调阅图像侦查人脸对比GIS系统共享分析归档联网 存储池OceanStor 9000业务系统地铁商业道路小区视频采集融合汇聚，更大范围快速高效，更快响应数据安全，更可信赖开放架构，海量空间，简单易接入保证各种来源的视频数据融合并行架构，弹性能力，多处理模式保证各种类型的数据视频高效分析分布RAID，弹性冗余，自动容灾保证关键视频的持久可信赖1000路以上高清摄像存储（容量=1000路码率6Mbps1.1（码率波动系数）时长（s）/8/1024/1024 ）视频监控统一命名空间，按需使用，融合保证数据汇聚S/v

32、ideo最大100PB单一命名空间开放的架构，系统最大可满足10000个4Mbps码率摄像头连续存储110天视频都可以集中进行存储和管理；系统扩容时，扩充的容量可直接被纳入资源池使用，避免维护多套存储设备的困难。视频监控可靠保证数据安全，线索可回溯分布式数据冗余 数据分散校验存储多个节点，多个节点故障数据不丢失，业务不停顿关键视频4级冗余 关键视频最高可达4级冗余，可实现4份冗余校验 InfoRevive视频图像修复功能容灾保护 关键视频自动容灾备份，关键视频0丢失容灾保护关键视频弹性冗余分布式数据冗余+1+2+3+4弹性冗余快速恢复多层视频安全技术视频监控方案竞争力弹性扩展安全可靠简单易用标

33、准接口，提供高达100PB的资源池，视频数据大集中扩展能力是业界的2倍，支持更大规模应用独有的多重可靠性保障技术。数据快速恢复，视频数据修复，关键数据容灾边缘与中心合一，统一视图，统一管理单一命名空间，无RAID，LUN及独立热备盘济宁平安城市 克拉玛依平安城市俄罗斯圣彼得堡平安城市HPC卫星测绘编解码处理卫星信号处理数字地形产品应用在线高端存储天地图应用WEB服务器群LAN Free离线磁带库分析存储分析工作站ETL卫星影像数据处理分布式文件系统卫星信号接收与处理离线存档Oracle 数据库编辑工作站卫星测绘的业务流程：卫星信号处理：将获取的高频载波信号进行编解码处理，过滤出需要的影像数据；

34、卫星影像数据处理：对影像数据进行去“云雾”、逻辑分景、立体图像等处理；天地图应用：卫星测绘应用中心对外提供的在线地图应用，涉及到大量的地图缩影文件；离线存档：每隔七天，将处理完的逻辑分景及立体图像等数据离线归档到磁带系统中；数字地形产品应用：分析某时间段内行政区域的地形变化，涉及到从离线磁盘系统导入数据到分析系统中。HPC应用场景卫星测绘智能手机编解码处理OceanStor 9000WEB服务器群PC编辑工作站编辑工作站卫星信号处理卫星图片编辑系统图片查询系统图片分析系统数据免装载RequestSolution 存储大文件（GB-10GB级）和小文件（KB级）并存，大文件读写(单文件可达200

35、G)每天产生TB级的数据，存储总量PB级生成图像产品时批量作业，要求存储高吞吐原始数据不允许丢失 单节点性能最高可达1.6GB/s，应对每天产生的大量图片存储的需求数据动态分级，存储访问效率提升5倍3-288节点超大线性扩展能力，业务持续增长轻松扩容数据地形应用在线近线模拟地震波地震资料处理油藏模拟成像可视化地震资料收集HPC石油勘探地震资料处理过程计算能力数据处理随着处理精度的增加、算法复杂度的增加，对计算能力的需求持续增加随着勘探面积的扩大和数据采集密度的增加，对数据处理能力的需求急剧增加常规处理叠前时间/深度偏移处理叠后常规处理石油勘探需求：性能：大量的地质数据需要计算、处理和分析，要求

36、存储系统提供5GB/s以上的数据吞吐率可靠性：原始地震资料和过程数据需要长期保存，要求存储高可靠，数据不丢失扩展性：需要提供PB级单一命名空间，存储原始地震数据和计算中间数据易用性：支持空间配额管理，存储资源可以灵活的划分给不同的计算任务（计算节点）基因测序的业务流程介绍基因测序的业务流程：基因测序(454)：DNA文库制备、PCR扩增和焦磷酸测序，中间数据保存月半年左右，一年后归档数据分析：将长度只有几十个碱基的原始数据序列，组装或比对到已有的基因组或者相近物种基因组序列，分析数据基因库保存：储存和管理本国特有的遗传资源、生物信息和基因数据基因组学研究产生的海量数据正以每12-18个月10倍的速度增长，已远超越著名的摩尔定律，这使得众多生物企业和科研机构面临强大的数据分析和存储需求。基因数据库Trace数据库/SRA数据库基因测序分析结果数据分析基因库保存自然生物国家级基因库基因序列人类健康动植物研究微生物研究药物研发基因测序需求：1. 性能：需要数GB/s甚至数10GB/s的吞吐，满足上百个计算节点并行处理I/O需求2. 扩展性：需要数PB甚至数10PB的存储容量，以应对数据增长过快的压力3. 智能归档：需要智能的归档策略，以便将历史数据归档至高性价比的存储介质HPC应用场景基因