3.3.3 HCDCE151 华为海量存储系统 ISSUE1.00

HCDCE151--1.00李锋/WX640152016-7-20刘立灿/180730新开发华为海量存储系统学完本课程后，您将能够:描述OceanStor9000产品的产品定位；掌握OceanStor9000产品硬件及软件特性；掌握OceanStor9000产品组网容量规划。产品定位硬件介绍软件特性介绍组网规划容量规划“大数据”时代的来临2010201540ZB（Gartner）90%将为非结构化数据DigitalSocietyStorage：3.19ZB2020StorageCAGR61.4%大数据不仅仅是数据量ValueVolumeVarietyVelocityIDC：大数据四大特征快速的数据流转和动态的数据体系实时分析而非事后分析多样的数据类型文件、电子邮件和视频等非结构化信息约占未来十年数据产生量的90%巨大的数据价值对未来、行为模式等的预测分析海量的数据规模非结构化数据的超大规模增长大数据的数据来源Top大数据来源内容仓库：Appstore、iTunes、Youtube、Flickr、Youku。社会化网络：Facebook、Twitter、Weibo。Web网页/服务器日志。Web点击流：用户的Web点击/交易信息。海量传感器数据（物联网）。行业数据（媒体文件、医疗影像、金融交易数据、能源勘探数据、气象数据、科学研究数据等）。从数据来源和数据特征可以看出大数据市场的两大行业特点：互联网应用多；垂直行业的特征明显。传统数据大数据GB到TB级PB到EB级集中式分布式结构化半结构化和非结构化稳定的数据模型扁平化已知复杂的关联少量复杂的关联大数据相较“传统”数据的独特特征大数据聚焦两大方面海量数据管理：PB级数据的传输、存储、管理和数据保护。主要涉及存储领域，目前的主流技术是分布式NAS和云存储。大数据分析：从海量数据中抽取出有价值信息的分析技术和工具。涉及数据库/数据仓库，分析，商业智能等领域。推动原有的数据库/数据仓库技术演进（MPP、ShareNothing）；并催生出新的技术架构（Hadoop、NoSQL等）。新的趋势：存储和分析合一的平台大数据产业结构从市场舆论来看，炒作热情主要集中在大数据分析领域，这也是大数据时代又被称为“数据分析”的文艺复兴的原因，但相对而言，大数据存储和管理是短期内更为现实的需求。“大数据”时代存储面临新挑战数据增长迅速，如何与业务相匹配？数据类型复杂，如何简化管理？80%的数据不活跃，如何产生更高价值？数据如何快速流动，有效装载？50%OceanStor9000高性能、大容量，大数据解决之道系统容量业界第一OceanStor9000系统容量可达60PB，业界第一。扩展能力业界第一OceanStor9000系统支持3到288个节点，业界第一。性能容量200GB/s60PB存储归档分析数据全生命周期管理OceanStor9000卓越性能：世界上最快的NAS系统弹性空间：业界最大单一文件系统磁盘利用率高：最大95%的磁盘利用率简化管理：统一视图统一管理华为OceanStor9000业界领先的Scale-out分布式存储系统产品定位硬件介绍软件特性介绍组网规划容量规划OceanStor9000家族硬件–P12(Mini–Capacity)node2U设备前面板12个数据硬盘槽位（3.5“盘）后面板2个系统硬盘槽位（2.5“盘）标配：2路6核CPU，32G内存12*2TBSATA盘（数据盘）或1*200GBSSD+11*2TBSATA盘（数据盘）2*300GBSAS（系统盘）前视图后视图小容量应用场景OceanStor9000家族硬件–P25(Performance)node2U设备前面板25个数据硬盘槽位（2.5“盘）后面板2个系统硬盘槽位（2.5“盘）标配：2路6核CPU，48G内存1*200GBSSD盘（数据盘）24*600GBSAS盘（数据盘）2*300GBSAS（系统盘）OPS密集型应用场景后视图前视图OceanStor9000家族硬件–P36(Capacity)nodeOPS密集型/大容量应用场4U设备前面板24+后面板12个硬盘槽位（3.5“盘）后面板2个系统硬盘槽位（2.5“盘）标配：2路6核CPU，48G内存1*200GBSSD盘（数据盘）35*4TBSATA盘（数据盘）2*300GBSAS（系统盘）前视图后视图OceanStor9000家族硬件–C36node大容量/视频监控/归档应用场4U设备前面板24+后面板12个硬盘槽位（3.5“盘）后面板2个系统硬盘槽位（2.5“盘）标配：2路6核CPU，32G内存36*4TB或6TBSATA盘（数据盘）2*300GBSAS（系统盘）前视图后视图OceanStor9000家族硬件–C72node大容量/视频监控/归档应用场景4U设备标配：2路8核CPU，64G内存72*4TB或6TBSATA盘（数据盘）4*64GBmini–SATA（系统盘，位于控制模块中）前视图后视图OceanStor9000硬件节点–P12(Mini–Capacity)节点(1)高度2U尺寸（高×宽×深）86.1mm×446mm×585mm最大功耗470W电源配置交流：100V～127V和200V～240V，1+1电源冗余风扇配置支持1+1风扇冗余CPU2×IntelXeon6核2.2GHz内存32GB掉电保护内存2GBNVDIMM操作系统硬盘2×300GB10Krpm2.5寸SAS(RAID1)硬盘槽位12+2个硬盘槽位

业务硬盘配置方式1：支持12个3.5英寸的业务硬盘（SATA），插入0号～11号槽位业务硬盘配置方式2：支持1个3.5英寸的业务硬盘（SSD）插入0号槽位，11个3.5英寸的业务硬盘（SATA），插入1号～11号槽位

支持2个2.5英寸的后置操作系统硬盘（SAS）主机接口类型及数目板载：2×GE口（作为管理接口用）

选配以下业务接口：2端口10GE接口卡

2端口GE接口卡

其他板载口

1个百兆IPMI2.0管理网口，采用RJ–45连接器，带LNK/ACT指示灯

1个VGA端口

1个系统RS–232串口

4个USB2.0端口重量最大重量：32kg

空框重量：14.2kg

货运重量：45kgOceanStor9000硬件节点–P12(Mini–Capacity)节点(2)OceanStor9000硬件节点–P25(Performance)节点(1)高度2U尺寸（高×宽×深）86.1mm×446mm×582mm最大功耗560W电源配置交流：100V～127V和200V～240V，1+1电源冗余风扇配置支持1+1风扇冗余CPU2×IntelXeon6核2.2GHz内存48GB掉电保护内存2GBNVDIMM操作系统硬盘2×300GB10Krpm2.5寸SAS(RAID1)OceanStor9000硬件节点–P25(Performance)节点(2)硬盘槽位25+2个硬盘槽位支持1个2.5英寸的业务硬盘（SSD），插入0号槽位

支持24个2.5英寸的业务硬盘（SAS），插入1号～24号槽位

支持2个2.5英寸的后置操作系统硬盘（SAS）主机接口类型及数目板载：2×GE口（作为管理接口使用）

选配以下业务接口：2端口10GE接口卡

或2端口IB接口卡

或2端口GE接口卡

其他板载口

1个百兆IPMI2.0管理网口，采用RJ–45连接器，带LNK/ACT指示灯

1个VGA端口

1个系统RS–232串口

2个USB2.0端口重量最大重量b：35kg

空框重量c：10.65kg

货运重量d：43kg高度4U尺寸（高×宽×深）175mm×446mm×582mm最大功耗880W电源配置交流：100V～127V和200V～240V，1+1电源冗余风扇配置支持1+1风扇冗余CPU2×IntelXeon6核2.2GHz内存48GB保电内存2GBNVDIMM操作系统硬盘2×300GB10Krpm2.5寸SAS(RAID1)OceanStor9000硬件节点–P36(Capacity)节点(1)OceanStor9000硬件节点–P36(Capacity)节点(2)支持硬盘类型36+2个硬盘槽位支持1个3.5英寸的业务硬盘（SSD），插入0号槽位

支持35个3.5英寸的业务硬盘（SATA），插入1号～35号槽位

支持2个2.5英寸的后置操作系统硬盘（SAS）主机接口类型及数目板载：2×GE口（作为管理接口使用）

选配以下业务接口：2端口10GE接口卡

或2端口IB接口卡

或2端口GE接口卡

其他板载口

个百兆IPMI2.0管理网口，采用RJ–45连接器，带LNK/ACT指示灯

1个VGA端口

1个系统RS–232串口

4个USB2.0端口重量最大重量：70kg

空框重量：20.1kg

货运重量：80kgOceanStor9000硬件节点–C36节点(1)高度4U尺寸（高×宽×深）175mm×446mm×582mm最大功耗880W电源配置交流：100V～127V和200V～240V，1+1电源冗余风扇配置支持1+1风扇冗余CPU2×IntelXeon6核2.2GHz内存32GB保电内存2GBNVDIMM操作系统硬盘2×300GB10Krpm2.5寸SAS(RAID1)OceanStor9000硬件节点–C36节点(2)支持硬盘类型36+2个硬盘槽位支持36个3.5英寸的业务硬盘（SATA），插入0号～35号槽位

支持2个2.5英寸的后置操作系统硬盘（SAS）主机接口类型及数目板载：2×GE口（作为管理接口使用）

选配以下业务接口：2端口10GE接口卡

或2端口IB接口卡

或2端口GE接口卡

其他板载口

个百兆IPMI2.0管理网口，采用RJ–45连接器，带LNK/ACT指示灯。

1个VGA端口

1个系统RS–232串口

4个USB2.0端口重量最大重量：70kg

空框重量：20.1kg

货运重量：80kgOceanStor9000硬件节点–C72节点(1)高度4U尺寸（高×宽×深）175mm×446mm×790mm最大功耗1100W电源配置交流：100V～127V和200V～240V，1+1电源冗余风扇配置支持1+1风扇冗余CPU2×IntelAtom8核2.0GHz内存64GB（通过CBU模块让其中4GB具有掉电保护能力）操作系统硬盘支持4块64GB的操作系统硬盘（mini–SATA，位于控制模块中）OceanStor9000硬件节点–C72节点(2)支持硬盘类型72个硬盘槽位支持72个3.5英寸的业务硬盘（SATA），插入A0号～E14号槽位主机接口类型及数目板载：2×GE口（作为管理接口使用）

选配以下业务接口：2端口10GE接口卡或2端口GE接口卡

其他板载口

个百兆IPMI2.0管理网口，采用RJ–45连接器，带LNK/ACT指示灯

1个VGA端口

1个系统RS–232串口

4个USB2.0端口重量最大重量：96kg

空框重量：26.1kg

货运重量（不含业务硬盘）：80kg货运重量（仅业务硬盘，每箱含15块业务硬盘）：15kg/箱产品定位硬件介绍软件特性介绍组网规划容量规划对象检索查询数据分析HPC视频监控应用层硬件节点层媒体与娱乐Node分布式数据库WushanSQL企业级HadoopFusionInsightHadoop数据处理层NFSCIFSHDFSObjectSQLMR/HbaseNodeNodeNodeNodeNodeNodeNode分布式文件系统OceanStorDFS归档NodeNode网盘话单查询精准营销上网行为分析商业推广文件系统架构NodeNodeNodeNodeNodeNodeNodeNodeNodeNode对象存储服务OceanStor9000软件特性汇总InfoTierInfoEqualizerOceanStorDFSInfoStamperInfoLockerInfoReplicatorNDMPHDFSPluginInfoAllocatorInfoReviveInfoProtectorInfoContainerInfoScannerInfoTurboOceanStor9000软件特性汇总InfoTierInfoEqualizerOceanStorDFSInfoStamperInfoLockerInfoReplicatorNDMPHDFSPluginInfoAllocatorInfoReviveInfoProtectorInfoContainerInfoScannerInfoTurboOceanStorDFS软件架构对象存储软件架构文件读请求基本业务流程文件写请求基本业务流程对象存储读请求基本业务流程对象存储写请求基本业务流程统一命名空间分布式文件系采用全对称结构，将所有节点的命名空间整合为统一命名空间，将整个系统的所有节点的存储容量组成一个大的虚拟存储池，元数据和数据保存在每个节点上，每个节点都是元数据服务器同时也是数据服务器。全分布式架构，高可靠数据保护以热备容量替代专门独立热备盘以数据重构替代磁盘重构数据恢复速度1TB/h，是传统RAID的10倍减少维护错误，降低误操作风险+1+2+3+4RAID5RAID6ErasureCode硬盘故障容忍数1241TB数据恢复时间9.5小时10小时1小时InfoProtectorErasureCode特性原理（数据切片）文件数据被切成N（例如3)个数据分片，

另外再计算出M(例如2)个冗余分片N取值范围：2-16M取值范围：1-4ErasureCode特性原理（下盘规则）以4+2模式中一个64KB的文件为例，当所属目录的Strip大小分别为128KB和16KB时，如图所示。Strip值调优条带深度配置原则：strip越大，性能越高，硬盘利用率越低。更改目录条带深度，将对新写入此目录内的文件生效，对之前已存入此目录的文件不作处理。当平均文件大小小于等于64KB时，建议设置为16KB。当平均文件大小大于64KB且小于等于128KB时，建议设置为32KB。当平均文件大小大于128KB且小于等于2048KB时，建议设置为128KB。当平均文件大小大于2048KB且小于等于4096KB时，建议设置为256KB。当平均文件大小大于4096KB时，建议设置为512KB。节点间分布式RAID存储方式(N+M:B)DiskDiskDisk…DiskDiskDisk…DiskDiskDisk…源数据分片源数据分片源数据分片冗余数据分片冗余数据分片文件数据节点1节点2节点3图示以3份数据切片2份冗余切片存储在3个节点上举例文件数据被切成N（例如3)个数据分片另外再计算出M(例如2)个冗余分片N取值范围：2-16M取值范围：1-4B取值范围：1硬盘利用率

系统仅允许对空目录调整冗余配比。读写性能由高到低：N+1>N+2=N+2:1>N+3=N+3:1>N+4。快速数据恢复由于每个目标盘的恢复是独立的，目标盘之间的恢复可以并发，所以恢复速度较高(阵列中类似的故障下目标盘只有一个)，最高可达1TB/hr故障节点1节点2节点3节点4节点5节点6硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……元数据的存储和访问CAOBSOBSOBSOBSOBS①②③④⑤获得元数据后，根据元数据所指位置读取数据⑤①CA发起访问，首先从MDS（元数据服务）根路径开始查找元数据②根目录告知CA需要到另一个MDS查询③同一MDS继续查找④需要到另一个MDS查询目录树CA:ClientAgentMDS:MetadataServiceDS:DataServiceNFS/CIFS/FTP文件共享S3对象存储服务ObjectObjectKey元数据数据用户自定义元数据ObjectObjectObjectObjectBucketOceanStor9000Rest(http/https)EsdkAPPSwift对象存储服务InfoScanner防病毒功能(1)InfoScanner即防病毒特性。OceanStor9000提供防病毒代理软件，对接外部部署在防病毒服务器上的第三方防病毒软件，对共享目录进行病毒防护。部署在防病毒服务器上的第三方防病毒软件通过访问共享目录，并对OceanStor9000系统下的文件进行防病毒扫描。当防病毒软件扫描出文件携带病毒时，根据防病毒软件配置对该文件进行隔离、或者删除处理，从而为OceanStor9000中的数据提供持续保护。InfoScanner防病毒功能(2)触发实时扫描：当OceanStor9000实时扫描目录下新写入文件、或修改已有文件时。触发防病毒服务器进行实时扫描。进行实时扫描：OceanStor9000依据预先设置的扫描策略选择可用的防病毒服务器。通知该服务器读取文件内容，进行扫描。

扫描结果处理：当文件的扫描结果为携带病毒时，则根据防病毒软件配置对该文件进行隔离、或者删除处理。GlobalCachestorageCPUMemorystorageCPUMemorystorageCPUMemory全局缓存ABC应用服务器全局缓存与数据读取①主机E向NodeC上的客户端代理CA发出数据读请求。②NodeC上的客户端代理CA向分布式锁服务器申请分条资源读锁。③系统检查所读数据的缓存是否在全局缓存中以及缓存在哪个节点上，左图显示该文件分条资源在NodeA节点上的缓存中。④NodeC从NodeA节点上的全局缓存中获数据并返回（如果不在全局缓存中，则直接从各个节点上读取该分条数据的所有条带数据后构造出分条数据后再返回）。向锁服务器申请分条资源读锁②storageCPUstorageCPUMemorystorageCPUMemory应用服务器④LOCK③返回数据在NodeA缓存中①从NodeA缓存中读取数据E服务器向NodeC发起请求NodeANode

BNodeCGlobalCache全局缓存与数据写入①主机E向NodeC上的客户端代理CA发出数据写请求。②NodeC上的客户端代理CA向分布式锁服务器申请分条资源写锁。③NodeC上的客户端代理CA申请加锁成功后，NodeC将用户数据接收到本节点上的全局缓存中。④NodeC上的客户端代理CA将该条带数据根据该文件指定的保护级别进行分片处理，对所有分片后的原始数据通过ErasureCode进行计算生成校验数据片，最后将包括校验数据片在内的数据片写到对应的节点上的保电内存中，写各节点的保电内存成功后则本次写操作成功。加锁成功，数据写到NodeC全局缓存③storageCPUstorageCPUstorageCPU应用服务器LOCK①E服务器向NodeC发起请求NodeANode

BNodeC向锁服务器申请分条资源写锁②GlobalCache分片后写入保电内存④性能提升-合并连续大IOVSClient与Server之间仅可以使用一个网口的一条连接。SMB1.0,2.0SMB3.0性能提升-SMB3.0MultiChannelClient与Server之间可以使用多个网口的多条连接；将多个网口的能力聚合起来。提供更高的带宽，也可以抵御网络路径故障对业务的影响。性能提升-NFS协议增强(1)Client与Server之间仅可以使用一个网口的一条连接。Client与Server之间可以使用多个网口的多条连接。传统NFS协议：NFS协议+多路径技术：将多个网口的能力聚合起来。提供更高的带宽，也可以抵御网络路径故障对业务的影响。性能提升-NFS协议增强(2)MACNFS协议

默认最大传输单元为64KB。MACNFS协议+传输效率提升读单元传输能力提升到1MB写单元传输能力提升到128KB。大幅削减了MAC系统与OceanStor9000系统之间的报文交互，可以更充分的使用交换网络。InfoContainer通过在存储节点内部署虚拟机操作系统和相应的应用软件，直接对外提供如视频监控、文件仓储等基于应用的服务。虚拟机层包含上层业务软件、虚拟机操作系统和VMTools三部分：

上层业务软件是实现具体业务功能的第三方软件，这类软件可根据需要采购和安装，并按照业务要求进行配置。

虚拟机操作系统为运行业务软件所需的操作系统环境。VMTools是保障虚拟机操作系统正常运作的可靠性工具。产品定位硬件介绍软件特性介绍组网规划容量规划组网OceanStor9000组网可以分为：前端业务网络OceanStor9000与用户网络对接的网络，用于客户端接入OceanStor9000，简称前端网络。后端存储网络OceanStor9000内部节点间的组网，用于集群内部通信，简称后端网络。管理网络OceanStor9000与客户管理维护网络对接的网络，用于客户维护终端接入OceanStor9000系统。部署方案OceanStor9000节点根据不同的组网类型分为以下部署方案：10GE组网部署方案，包括如下两种细分场景

前后端均采用10GE组网：一般应用于客户对文件读写性能要求较高，或已经具备10GE前端业务网络的场景，包括高性能计算、媒资、资源池应用场景。

前端GE组网，后端10GE组网：一般应用于客户对文件读写性能要求不高，或前端业务网络为GE组网，且不新建或改造为10GE组网的场景，包括金融票据影像归档、医疗数据归档、办公数据归档、视频监控等应用场景。

IB组网部署方案，包括如下两种细分场景

前后端局均采用IB组网。前端10GE组网，后端IB组网。IB组网主要应用于高性能计算场景，包括天文测绘、基因测序等高科技行业，客户对文件读写性能有很高的要求，且普遍已经具备IB前端业务网络组网，要求存储设备同样采用IB组网。机柜配置说明节点在机柜中优先从底向上部署。当集群中的节点混合部署分布式文件系统服务和对象存储服务时，按从底向上的顺序优先放置需要部署对象存储服务的节点。基础柜内部的节点通过网线和SFP+线缆连接到本机柜中的交换机，扩展柜内部的节点通过网线和光纤连接到基础柜中的交换机。在实际项目应用中，需要计算机柜中存储节点、交换机、KVM的总功耗和总重量，并根据客户机房条件综合判断一个机柜中可容纳的节点数量，设计适合具体项目实际情况的部署方案。在实际项目应用中需根据如下原则选择配套的交换机类型:当3台≤节点数量≤10台时，建议使用24口交换机。当11台≤节点数量≤40台时，建议使用48口交换机。当节点数量>40台时，可采用更大容量的交换机配套型号，目前需按项目分析应用方案。逻辑组网图P25/P12/P36/C36节点组网接口P25/P12/P36/C36节点组网接口使用说明（前端网络为10GE）A0-0和B3-0（10GE光接口）连接到CE6800交换机。需要为两个接口分别规划1个后端网络IP地址。A0-1和B3-1（10GE光接口）连接到用户的交换机。需要为两个接口分别规划1个前端网络IP地址。NIC0（GE电接口）OceanStor9000集群中前3个节点提供管理维护接口，这些接口连接到S5752交换机。无需为这些接口单独分配IP地址，部署时为集群配置的管理IP地址将自动在这些接口上浮动。IPMI（FE电接口）连接到S5752交换机。需要为该接口规划1个IP地址，连接到用户管理维护网络。P25/P12/P36/C36节点组网接口使用说明（前端网络为GE）A0-0和A0-1（10GE光接口）连接到CE6800交换机。需要为两个接口分别规划1个后端网络IP地址。B3-0和B3-1（GE电接口）连接到用户的交换机。需要为两个接口分别规划1个前端网络IP地址。NIC0（GE电接口）OceanStor9000集群中前3个节点提供管理维护接口，这些接口连接到S5752交换机。无需为这些接口单独分配IP地址，部署时为集群配置的管理IP地址将自动在这些接口上浮动。IPMI（FE电接口）连接到S5752交换机。需要为该接口规划1个IP地址，连接到用户管理维护网络。C72节点组网接口C72节点组网接口使用说明（仅支持前端GE后端10GE组网）P0和P1（10GE光接口）连接到CE6800交换机。每个C72节点包含两块接口板，每块接口板均出P0和P1两个10GE光接口，即每个C72节点提供四个10GE接口。需要为每个接口分别规划1个后端网络IP地址。NIC1/NIC2/NIC3（GE电接口）连接到用户的GE交换机。每个C72节点包含两块接口板，每块接口板均出NIC1/NIC2/NIC3三个GE电接口，即每个C72节点提供六个GE接口。需要为每个接口分别规划1个前端网络IP地址。C72节点组网接口使用说明（仅支持前端GE后端10GE组网）NIC0（GE电接口）每个C72节点包含两块接口板，每块接口板均出一个NIC0接口，即每个C72节点提供两个NIC0接口。无需为这些接口单独分配IP地址，部署时为集群配置的管理IP地址将自动在这些接口上浮动。当C72节点与非C72节点混合部署时，必须选择非C72节点提供独立管理网口。当C72节点与非C72节点混合部署，且部署为对象存储服务时，对象存储管理节点必须部署在提供独立管理网口的节点上。IPMI（FE电接口）不支持。48口后端交换机接口连接说明下行接口当前端业务网络和后端存储网络均采用10GE组网时CE6800-1连接到P25/P36/P12/C36节点B3-0接口。CE6800-2连接到P25/P36/P12/C36节点A0-0接口。当前端业务网络采用GE组网，后端存储网络采用10GE组网时CE6800-1连接到P25/P36/P12/C36节点A0-0接口或C72节点P0接口。CE6800-2连接到P25/P36/P12/C36节点A0-1接口或C72节点P1接口。48口后端交换机接口连接说明堆叠接口节点数量≤16，使用2个接口。16＜节点数量≤24，使用3个接口。24＜节点数量≤40，使用4个接口。48口后端交换机接口连接说明ETH管理网口用于交换机的管理。这两个接口连接到S5752交换机。该部署方案适用于前端业务网络接入用户交换机，当前端业务网络和后端存储网络都接入CE6800交换机，此时CE6800交换机需要划分VLAN区分前端业务网络和后端存储网络。不同集群的后端存储网络接口必须完全隔离，当多个集群共用一对CE6800交换机时，需要划分VLAN区分不同集群的后端存储网络。24口后端交换机接口连接说明下行接口当前端业务网络和后端存储网络均采用10GE组网时CE6800-1连接到P25/P36/P12/C36节点B3-0接口。CE6800-2连接到P25/P36/P12/C36节点A0-0接口。当前端业务网络采用GE组网，后端存储网络采用10GE组网时CE6800-1连接到P25/P36/P12/C36节点A0-0接口或C72节点P0接口。CE6800-2连接到P25/P36/P12/C36节点A0-1接口或C72节点P1接口。堆叠接口使用2个堆叠接口完成堆叠。24口后端交换机接口连接说明ETH管理网口用户交换机的管理。这两个接口连接到S5752交换机。该部署方案适用于前端业务网络接入用户交换机，当前端业务网络和后端存储网络都接入CE6800交换机，此时CE6800交换机需要划分VLAN区分前端业务网络和后端存储网络。不同集群的后端存储网络接口必须完全隔离，当多个集群共用一对CE6800交换机时，需要划分VLAN区分不同集群的后端存储网络。48口管理交换机接口连接说明IPMI下行接口40个接口顺序连接到各节点的IPMI接口（C72节点没有IPMI接口）。NIC0下行接口部署P25/P36/P12/C36节点时，S5752交换机使用42～44号接口顺序连接到OceanStor9000集群最前面的3个节点（基础柜中01～03号节点）的NIC0接口。部署C72节点时，由于每个C72节点出2个NIC0接口，需要在S5752交换机上规划2N（N=节点数）个接口，顺序连接到每个节点的NIC0接口。部署P25/P36/P12/C36节点时48口管理交换机接口规划部署C72节点时48口管理交换机接口规划48口管理交换机接口连接说明10GE交换机管理口连接到两台CE6800交换机正面的ETH管理网口。上行接口连接到客户的管理维护网络。部署P25/P36/P12/C36节点时48口管理交换机接口规划部署C72节点时48口管理交换机接口规划IP地址规划原则（部署P25/P12/P36/C36节点）网络类型IP地址数量说明前端业务网络部署分布式文件系统服务，且前端业务网络提供2个10GE或GE接口：节点数量×4+1无论部署哪种类型的节点，都需要规划1个InfoEqualizerDNSIP地址。此外请根据业务需要分配如下IP地址：如使用静态域名挂载客户端，为每个节点分配2个静态前端IP地址。如使用动态域名挂载客户端，为InfoEqualizer功能的IP地址池分配n（n=节点数量×2）个动态前端IP地址。部署对象存储服务，且前端业务网络提供2个10GE或GE接口：节点数量×2请根据业务需要分配如下IP地址：为每个节点分配2个静态前端IP地址。部署对象存储服务时不需要再分配动态前端IP地址。混合部署分布式文件系统服务和对象存储服务，且前端业务网络提供2个10GE或GE接口：部署分布式文件系统服务的节点：节点数量×4+1部署对象存储服务的节点：节点数量×2部署分布式文件系统服务的节点和部署对象存储服务的节点，分别遵循上述单独部署时的规则进行规划。IP地址规划原则（部署P25/P12/P36/C36节点）网络类型IP地址数量说明后端存储网络实际IP地址数量：节点数量×2软件安装临时IP地址：节点数量每个存储节点分配2个后端存储网络IP地址，规划工具默认使用0～54网段作为后端存储网络的IP地址范围，默认子网掩码为（至少16位掩码），只要确认与实际应用的IP地址不存在冲突即可直接使用。OceanStor9000在软件安装过程中还需要申请以下临时IP地址：n（n=节点数量）个后端存储网络IP地址，软件安装阶段通过DHCP分配临时IP地址时，为每个存储节点分配1个。这些IP地址用于软件安装时临时分配给各节点。完成软件安装后，将自动删除这些地址。这些临时规划的后端存储网络IP地址不能与节点实际规划的后端存储网络IP地址重叠。IP地址规划原则（部署P25/P12/P36/C36节点）网络类型IP地址数量说明管理网络实际IP地址数量：节点数量+管理网络交换机数量+2软件安装临时IP地址：2每个P25/P36/P12/C36存储节点IPMI接口分配1个，每台管理网络交换机分配1个，OceanStor9000管理IP地址1个（在最前面3个节点（基础柜中01～03号节点）的NIC0接口上浮动），后端存储网络交换机1个。OceanStor9000在软件安装过程中还需要临时申请2个管理网络IP地址，1个配置在部署节点的NIC0接口上，另1个配置在部署使用的电脑上，用于安装软件时登录部署工具并上传文件包，部署完成后即可删除。IP地址规划原则（部署C72节点）网络类型IP地址数量说明前端业务网络部署分布式文件系统服务时：节点数量×12+1需要分配如下IP地址：规划1个InfoEqualizerDNSIP地址。如使用静态域名挂载客户端，为每个节点分配6个静态前端IP地址（每块接口板提供3个前端网络接口，两块接口板都需要分配）。如使用动态域名挂载客户端，为InfoEqualizer功能的IP地址池分配n（n=节点数量×6）个动态前端IP地址。部署对象存储服务时：节点数量×6需要分配如下IP地址：为每个节点分配6个静态前端IP地址（每块接口板提供3个前端网络接口，两块接口板都需要分配）。部署对象存储服务时不需要再分配动态前端IP地址。混合部署分布式文件系统服务和对象存储服务时：部署分布式文件系统服务的节点：节点数量×12+1部署对象存储服务的节点：节点数量×6部署分布式文件系统服务的节点和部署对象存储服务的节点，分别遵循上述单独部署时的规则进行规划。IP地址规划原则（部署C72节点）网络类型IP地址数量说明后端存储网络实际IP地址数量：节点数量×4软件安装临时IP地址：节点数量×2每个C72节点分配2×2个后端存储网络IP地址（每块接口板提供2个后端网络接口，两块接口板都需要分配）。规划工具默认使用0～54网段作为后端存储网络的IP地址范围，默认子网掩码为（至少16位掩码），只要确认与实际应用的IP地址不存在冲突即可直接使用。OceanStor9000在软件安装过程中还需要临时申请以下IP地址：n（n=节点数量×2）个后端存储网络IP地址（每块接口板分配1个临时IP地址，两块接口板都需要分配）。软件安装阶段通过DHCP分配临时IP地址时，为每个C72节点分配2个。这些IP地址用于软件安装时临时分配给各节点。完成软件安装后，将自动删除这些地址。这些临时规划的后端存储网络IP地址不能与节点实际规划的后端存储网络IP地址重叠。IP地址规划原则（部署C72节点）网络类型IP地址数量说明管理网络实际IP地址数量：管理网络交换机数量+2软件安装临时IP地址：2每台管理网络交换机分配1个，OceanStor9000管理IP地址1个，后端存储网络交换机1个。OceanStor9000在软件安装过程中还需要临时申请2个管理网络IP地址，分别配置在部署节点的NIC0接口和部署客户端上，用于安装软件时登录部署工具并上传文件包，部署完成后即可删除。交换机配置说明CE6800交换机配置说明配置两台交换机堆叠配置交换机流量控制开关配置交换机管理IP配置SNMPS5752交换机配置说明配置交换机管理IP配置SNMP组网助手工具使用介绍（1）使用方法：访问工具路径，默认显示“基础组网”内容，可根据选择的产品、组网方式和节点数量信息，自动绘制典型组网类型的组网连线图。组网助手工具使用介绍（2）下载图形：查看自动绘制完成的组网连线图，点击红色框中的下载按钮可直接保存到本地。组网助手工具使用介绍（3）定制需求：当实际项目组网与标准组网有差异时，点击“定制需求”，反馈项目名称和实际组网方案，工具维护团队可为您量身定制。组网助手工具使用介绍（4）现网案例：您的定制化方案完成后，会