H3C UniStor X10000 G3方案建议书模板

XXX数据存储项目

方案建议书H3C新华三集团2022年4月25日ConfidentiaI保密H3C戟字化噩决方案领导古目录TOC\o"1-5"\h\z\o"CurrentDocument"第1章 需求分析 3\o"CurrentDocument"1.1 用户现状 3IV 面临问题 3I?■ 建设原则 4z 建设目标 4\o"CurrentDocument"第2章 方案设计 6\o"CurrentDocument"1 方案描述 6JJ 设备组网 .7<3 配置清单 8:方案优势 8\o"CurrentDocument"安全可靠 8弹性扩展 9\o"CurrentDocument"开放性 9易维护性 9\o"CurrentDocument"第3章 产品介绍 101 概述 10产品优势 10融合架构 10\o"CurrentDocument"高可靠 10\o"CurrentDocument"高性能 11\o"CurrentDocument"高扩展 12简化运维 12\o"CurrentDocument"3 产品规格 132022年4月25日 ConfidentiaI保密 第2页第1章需求分析1.1用户现状随着XXX业务的快速发展，现有的IT系统在存储容量以及性能和可靠性上都不能满足现在业务发展的需求。存储作为支撑业务的重要环节，不仅要满足现在应用的需求，同时也要为未来数据增长提供良好的可扩展性。当今业务的数据量以指数级增长，用户对数据的要求全天候访问，现有的存储基础架构显得有些力不从心，系统管理复杂、运营成本不断上升，存储设施面临着多重挑战。分布式架构的存储方案在为未来业务发展提高强大的可扩展能力，同时能够有效提升海量数据的可管理性、可靠性以及可用性。通过增加集群规模，容量和性能能够同步提升，能够很好地满足XXX业务发展的需求。原有IT系统设备列表如下（简要说明，最好附上拓扑图）地点设备名称型号规格数量 备注XXX机房XXX数据库服务器H3CXXXX1XXX机房中间件服务器H3CXXXX1XXX机房XXX应用服务器H3CXXXX1XXX机房XX光纤交换机博科XXXX1XXX机房XXX存储HPEXXXX1XXX机房XXX备份服务器HPEXXXX11,2面临问题（选取典型的几个问题）＞存储孤岛：现有多台独立运行的存储服务器或SAN/NAS存储设备，各部门间不能实现信息共享，存储系统的利用率低下。此外系统管理员需要管理多个存储系统，管理工作极其费时耗力，同时还需要消耗大量软硬件资源。2022年4月252022年4月25日ConfidentiaI保密

＞系统性能瓶颈：传统Scale-up架构的性能无法线性增长，面临海量数据的高带宽要求时，往往无法快速响应应用的读写请求，尤其是大文件和海量小随文件读写。＞扩展能力不足：不能进行灵活的扩展以满足快速变化的业务需求、确保数据可用及业务不中断，缺乏可扩展性或大规模文件处理能力。＞管理维护难度大：随着应用不断发展，现有的数据规模已经超出原有平台管理的峰值，存储设备的增多带来维护成本居高不下，多套存储系统空间不能共用，管理复杂，需要多个IT管理人员维护多套不同的存储设备和网络，TCO急剧上升。13设原则13设原则1） 线性扩展能力：系统应具有良好的拓展能力，最大可扩展容量应能达到数十PB以上，同时性能随容量的提升线性增加,确保整套系统随容量增长不出现性能瓶颈，整套系统的扩展能力应能满足未来3-5年数据增长的需求。2） 高可靠性：系统应保证有充分的冗余,在部分硬盘或节点损坏时系统能够自动恢复而不影响业务运行，同时应保证系统在7*24的高负荷环境中依然有良好的安全可靠性。3） 易维护性：系统的运维管理应尽量简单，采用可视化图形界面对整套系统进行监控维护，一旦发生故障应能主动告警，并迅速定位故障点，硬件部署安装也应简便，方便以后进行系统扩容和节点替换。4） 绿色性：系统的能耗、噪声应满足环保要求，使用的材料也满足相关环保规定。1414根据XXX的IT发展规划，本次存储系统建设，需要针对未来3~5年建立一个高效、可扩展、高可靠的海量数据存储系统：1） 融合架构，能够在同一个资源池内同时提供块、NAS、对象存储服务。2） 能够支撑海量数据的存储，单一命名空间下，支撑PB级数据存储。2022年4月2022年4月25日ConfidentiaI保密

4） 高可靠的数据存储，针对PB级数据存储提供更高效、快速的备份、恢复能力。5） 高度自动化和简化的IT操作，方便用户管理PB级数据带来IT设备增长。2022年4月2022年4月25日ConfidentiaI保密

第2章方案设计2.1方案描述本次存储产品选型建议采用H3CUniStorX10000G3分布式融合存储。H3CUniStorX10000G3是新华三技术有限公司自主研发的新一代全对称分布式存储，在一个平台同时支持块、文件、对象存储能力，系统的性能及容量随节点数增加呈线性增长。产品拥有卓越的性能、超强的拓展能力、高可靠、高可用以及易维护等特性，单个系统可支持最大288个节点的集中部署，单一命名空间可存储超过100PB容量，面向政府、金融、企业、运营商、广电、教育、医疗、交通等各行业用户提供高效可靠易管理的存储资源池。H3CUniStorX10000G3与分散的存储孤岛相比，可以更好地满足应用的存储需求。为使IT服务更加密切适应业务目标，首先要整合分散资源，使存储数量更少但更具可扩展性,X10000G3通过将数据集中至单一的命名空间，并简化与保存、移动和访问文件相关的管理任务来支持整合。X10000G3提供了一个全局命名空间，允许基础架构存储容量从TB级扩展至PB级，能够支持大容量的结构化和非结构化数据，并支持iSCSI、CIFS、NFS、FTP、HTTP等多种访问协议。X10000G3的系统架构图如下:■I图形化界面J[V化运堆]I空间总摩IHandy管理平台iSCSINFSCIFSFTPSwift块荐储NAS■I图形化界面J[V化运堆]I空间总摩IHandy管理平台iSCSINFSCIFSFTPSwift块荐储NAS存储对象荐储SATA盘NVMeSSDX10326X10360X10516X105292022年2022年4月25日ConfidentiaI保密2.2设备组网X10000G3支持iSCSI、NFS、CIFS、FTP、S3、Swift等协议，可以同时对外提供块、NAS、对象存储服务，其集群组网如下所示，主要包括管理网，业务网和存储网。主机si站血丸―，讣交换机主机si站血丸―，讣交换机—业务网堵—互联网第—管理闽络1） 管理网络配合Handy组件承载存储集群管理业务，建议独立组网，带宽要求较低，可选用千兆带宽。2） 业务网络用于与用户网络相连，提供共享业务，需独立组网，万兆带宽，建议双链路冗余。3）存储网络（存储前端网和存储后端网承载存储业务数据（存储前端网），存储后端心跳报文、数据分发和迁移等数据流量（存储后端网），可能有较高的突发流量，带宽要求大，需独立组网，建议配置万兆带宽+双链路冗余。2022年42022年4月25日存储网络交换机搭建集群存储网络网络说明ConfidentiaI保密

推荐：H3CS6300-42QF（24口/万兆）；H3CS5820V2-52QF-H5（48口/万兆）建议使用2台，做IRF堆叠业务网络交换机建议用户侧也使用2台交换机进行IRF堆叠，避免单点故障管理网络交换机搭建管理网络推荐：H3CS5130S-52S-EI（52口/千兆）建议使用1台23配置清单名称型号规格单价数量 总价容量型节点XXXXX配置……支持……XX万4台XX万性能型节点XXXXX配置……支持……XX万3台XX万千兆交换机XXXXX配置……支持……XX万2台XX万万兆交换机XXXXX配置……支持……XX万2台XX万24方案优势X10000G3存储系统采用全分布式架构，可横向扩展288个节点，具有如下优势:2.4.1安全可靠采用副本及纠删码技术，冗余用户自定义数据保护级别，数据可靠性超过11个9;>支持快照、克隆、拷贝、故障域、保护域等数据保护技术；存储节点损坏时（包括硬盘、机柜故障）不会丢失数据，硬盘发生故障时系统自动执行自愈操作，异常掉电后不丢失数据，供电恢复后自动重新启动并自动恢复正常连接；2022年42022年4月25日ConfidentiaI保密

2.4.2弹性扩展>可横向最大扩展288个节点，单集群支持100PB，容量扩展时保证性能线性提升；>同时支持容量性及性能型两种硬件平台，X10300系列定位为大容量型存储节点，X10500系列定位为高性能型节点，在同一个系统内，可以实现容量和性能的完美结合；>基于X86平台扩展，整体系统利于灵活替换及容量扩展。2.4.3开放性支持云平台扩展，支持主流接口和协议类型；与主流服务器之间保持良好的兼容性，兼容各主流操作系统及应用程序，为客户环境中不同时期的操作系统，提供了良好的接入环境。2.4.4易维护性>全中文操作界面，操作方便，图形化界面管理方式简单；具有丰富的权限管理、日志管理、故障管理，并能够实现故障自动报警，可实时监测系统健康状态及性能参数；基于通用服务器架构，安装使用简单，无需专业人员维护；2022年42022年4月25日ConfidentiaI保密

第3章产品介绍3.1概述H3CUniStorX10000G3系列（以下简称X10000G3）是新华三集团自主研发的分布式融合存储，能同时提供块、文件、对象存储服务。X10000G3产品依托先进的分布式系统架构和强大的扩展能力，提供高性能的海量存储空间，满足用户不同应用的存储需求。3.2产品优势3.2.1融合架构从存储系统的业务供给能力角度看，不同的存储系统可以提供块存储、文件存储（NAS）、对象存储等不同类型。假如用户有多重应用，就需要购买不同的存储系统，这就会形成投资浪费。X10000G3可以对用户提供不同的存储接口，满足用户针对不同类型存储的需求：库函数接口：这一层的功能是对底层存储服务进行抽象和封装，并向上层提供API（包括C和C++、Java、Python、Ruby和PHP的支持。A高层应用接口：这一层包括了三个部分：对象服务、块设备服务、文件服务等三部分。应用层：这一层就是不同场景下对于存储集群各个应用接口的各种应用方式。从用户的角度，一个存储集群就可以满足用户不同的存储应用。从存储系统的业务供给能力角度看，不同存储系统可以提供块存储（Block）对象存储（Object）、文件存储（File）等不同类型的存储服务。假如用户有多种需求，就需要购买不同类型的存储系统。H3CX10000G3分布式存储系统可提供块、对象、文件等多种不同的存储接口，为用户提供多种不同的存储服务，从而达到统一存储的特性，降低多种存储系统带来的运维复杂度，提高存储资源利用率，节省机房空间。3.2.2高可靠对存储系统来说，可靠性（Reliability）—般指其对存储的数据无差错地保存能力，一般以在一段时间内的不出错的概率来表示。2022年4月252022年4月25日ConfidentiaI保密第10页X10000G3在1年内的数据可靠性最高可以达到11个9,即99.999999999%。在实际部署中，X10000G3集群可以根据用户需求针对不同的文件目录设计不同的冗余策略。1）多副本机制为了保证数据的高可靠，X10000G3支持多副本技术，即把数据在不同节点中存放多份，比如典型的3副本。在这种情况下，只有在3份数据全部丢失，用户的数据才会真正丢失。2）纠删码和多副本相比，纠删码技术以同样的初始容量存储更多的数据，磁盘利用率更高，从而大大降低了用户的成本。举例来说，3副本的利用率是1/3;而k+m纠删码的利用率是k/（k+m）,如8+2的利用率是8/10。3.2.3高性能对用户来说，存储系统的性能体现在两个方面：一个是从客户端角度看，客户端可以从系统获得的性能；一个是从存储集群的角度看，存储集群的供给能力。首先，从客户端角度看，集群中的文件或LUN会根据特有算法伪随机地分散在集群的所有磁盘。这个分布是通过集群自动完成，无需手动配置。由于每个文件或LUN可以使用整个集群的磁盘性能，因此整个集群能够提供更高的性能。在X10000G3集群中，默认存储对象的大小是4M（可配置），比如一个1GB大小的文件或LUN，会被划分成256个对象，这些对象分散在不同的OSD上。这样在读写文件时，就会充分利用集群的整体性能，提升IOPS和吞吐率。存储集群的性能取决于两方面：一方面是单节点的能力，另一方面是系统的扩展能力。如前所述，X10000G3系统的性能可以随节点的规模而线性扩展。对于单节点的能力，X10000G3在系统设计和硬件配置方便实现了足够的灵活性，从而可以表现出良好的性能。对传统HDD来说，受寻道能力的限制，单盘的随机读写能力一般不超过200个IOPS。SSD的出现，使得在IOPS上的能力相比于HDD有了成倍的提升，甚至是数量级的提升，在当前对IOPS有较高需求的应用（如数据库、VDI等）中得到了广泛使用。另一方面，当前SSD在容量、价格、使用寿命等方面和HDD相比还有一定的差距，所以针对不同的场景和需求，一个良好的存储系统应该可以进行灵活的配置。X10000G3系统支持的硬盘类型包括：全HDD、SSD+HDD混合组网、全SSD。2022年4月252022年4月25日ConfidentiaI保密第11页在SSD+HDD混合组网模式下，X10000G3系统既可以将SSD作为缓存使用，也可以将SSD和HDD放到不同的存储池做分层存储使用。在此情况下可以发挥SSD的IOPS和带宽的优势，又可以发挥HDD的容量和价格优势。3.2.4高扩展集群的线性扩展能力，主要体现在两个方面：一个是集群部署规模可以线性扩展，另一个方面，随集群规模的扩展，其性能要能够线性或近似线性扩展。在规模上，传统存储之所以在扩展能力上受限，一个很重要的原因就是一般其采用集中式控制，并且在控制节点存储大量的元数据信息，从而使控制节点容易成为系统的瓶颈。对于X10000G3系统，客户端节点通过特有算法可以直接计算出数据的存储位置，从而对OSD进行直接读写，完全是分布式并行的；而其元数据，也就是集群视图，是轻量级数据，而且其更新的频率较低。这种架构就在理论上保证了X10000G3具备线性扩展能力。当然，除了集群架构和元数据的设计之外，X10000G3在缓存设计，节点数据迁移方式等方面同样满足线性扩展的要求。在性能上，根据集群的分布式架构，客户端的读写数据最终会被打散，均匀分布到各OSD上,从而集群整体的吞吐率是各节点能力的总和，即集群的性能随节点数量的增加而线性增加。在实际部署中，X10000G3存储集群可以支持百PB级别的存储容量规模，用户可以根据自己的存储情况和业务使用情况不断向集群中添加存储节点进行扩容，扩容过程中不需要中断用户业务。3.2.5简化运维X10000G3为了简化管理运维，内嵌了大量自动化运维工具:1）集群快速部署包括批量部署、单节点增减、单磁盘增减等（详见"管理平台”章节，在此不再赘述）2）系统监控报警发生故障时能快速界定问题、排查故障（详见"管理平台”章节，在此不再赘述）3）灵活的部署方式X10000G3系统可以根据用户需求灵活地部署Monitor节点和Client节点。一方面，这些节点2022年4月2022年4月25日ConfidentiaI保密第12页H3C魏字化笈决方案领谆若既可以部署在单独的物理服务器上，也可以部署在和OSD相同的物理节点上。另一方面，Monitor和Client的节点可以根据用户的需求灵活地调整。比如为了可靠性保证，至少需要部署3个Monitor节点；为了保证对象存储网关的性能，需要部署过个RGW（Client）节点4） 自定义分布策略允许用户定制数据分布策略，方便地进行故障域隔离，以及对数据存储位置进行灵活选择。用户的需求主要体现在存储策略上，比如在选用副本策略时，用户可能希望不同数据副本存储在不同机架上面的主机上；或者主副本存储在某个机架的主机上，其它副本存储在另夕卜机架的主机上；此类需求可以灵活调整故障域和保护域策略，已满足需求5） 节点快速增删在增删存储介质或存储介质发生故障时系统会及时进行检测。比如，在磁盘发生故障时,X10000G3会利用损坏数据在其他存储体上的副本进行复制，并将复制的数据保存在健康的存储体上；在增加磁盘时，同样会把其他存储体的数据安排容量比例重新分布到新磁盘，使集群的数据达到均衡。在上述过程中，完全不需要人工干预6） 重构自动Qos在系统平衡数据（例如系统扩容或者存储节点、磁盘发生故障）的过程中，为保证用户10^X10000G3存储系统支持10优先级控制和Qos保证能力。我们知道，在系统扩容或者存储节点、磁盘故障过程中，为保证数据的可靠性，系统会自动进行数据平衡。为了尽快完成数据平衡，往往会沾满每个存储节点的带宽和10能力，这样做的好处是会使平衡时间最短，坏处是此时前端用户的10请求会得不到满足。在某些业务场景下，这时用户无法接受的。为此，X10000G3存储系统实现了10优先级和Qos控制机制，可以对前端用户网络流量和后端存储网络流量进行