城商银行基于核心系统应用场景存储选型实践

城商银行基于核心系统应用场景存储选型实践

【导读】本文以某城商行新一代核心业务系统建设项目为背景，根据核心业务系统应用数据存储实际需求，详述存储设备选型关键考量点、存储设备选型过程中的设备测试方法及重点内容、选型华为OceanStor18000系列高端全闪存储及新存储设备运行效果，希望为同业提供有价值的参考。全文共分为3个部分：需求分析及设备选型思路篇、设备测试篇、设备选型经验和效果篇。需求分析及设备选型思路篇本篇详述存储设备选型关键考量点，为同业进行关键应用系统存储设备选型提供思路。

一、项目背景我行的核心银行业务系统于2003年初投产上线，有效的支撑了我行各类业务发展15余年，随着时间的推移及业务模式的快速发展，原有的核心业务系统受到传统系统架构的制约限制，为快速适应当前BANK4.0时代的快速业务变化，我行于2018年底正式启动了“新核心业务系统升级建设项目”。我行现有生产数据中心存储设备品牌种类繁多且性能差异较大（包含：IBMDS8870、IBMDS400、IBMV7000、HDSG1000、HDSF1500、EMCVNX5100、NetAppFS6200、华为OceanStorS5500T、华为OceanStor6800V5等），过多的设备品牌给日常运维管理带来了较大挑战，人员维护技能无法及时提升，难以满足日常管理需要，日常运维过度依赖设备原厂商，设备维保成本逐年剧增，导致信息科技投入成本过高。为有效提升存储设备管理水平、满足新核心业务系统投产存储需要及降低新核心项目的投产切换上线风险，最终选择“新建生产环境数据中心统一整合存储设备”的方式进行核心升级建设项目投产切换上线，借此契机，整合优化存储架构。二、建设目标本次新数据中心建设的目标如下：（一）统一整合数据中心存储设备将数据中心原有6个品牌总计9个型号的存储设备统筹规划整合至2个品牌型号，满足全行100余套信息系统存储资源需求，提升存储效能，简化IT运维管理。（二）贯彻落实国家信息技术应用创新战略在满足安全稳定可靠及性能前提下，充分响应国家“信息技术应用创新”战略，优先考虑已经经过行业考验的优秀国内软硬件品牌。（三）提升数据中心技术架构水平借鉴业界最佳实践，结合当前信息技术发展趋势及实际情况，统筹规划新一代数据中心技术架构，建设“技术成熟、行业主流、架构稳健、运行稳定”的数据中心，满足未来5-10年业务发展需求。（四）优化容灾体系架构基于信息科技现状和容灾体系策略规划，统筹考虑第一生产数据中心、同城数据中心及异地灾备中心架构，确保新数据中心技术架构的可延续性，满足向未来双活数据中心的平滑过渡。三、存储设备选型思路存储设备作为数据中心内最关键、最核心的硬件资源，其重要性不言而喻。设备选型应该遵循“行业主流、安全稳定”的原则，同时，兼顾性能（主要包含IOPS、MBPS及延时等指标）与成本，并充分考虑国家信息技术应用创新战略。对于金融行业来说，新数据中心建设时，为确保安全可靠以及数据一致性等条件约束，建议按场景（如数据库和应用）分别对存储进行使用，不建议混合使用。银行业存储设备选型的关键点在于存储需要具备以下几个特点：（一）行业主流所选择的存储设备品牌及型号需要在业界（尤其是同行业）有广泛的成功应用案例，经得起同行业的考验。最后，需要有稳定的服务团队，产品和方案落地靠的是人，银行的数据中心存储方案落地，需要有资深的行业架构师和服务人员，才能确保该硬件产品得到强大的后台技术团队支持。参考2020年Gartner企业主存储品牌魔力象限排名，行业领先的象限中不仅有国际存储大厂HDS、Infinidat，而且也有例如华为这样与国际水平相比毫不逊色的国内存储厂商；近年来，某些国外传统存储大厂进行了战略大调整，在国内的存储技术服务力量明显削弱，相对其它厂商而言，华为存储设备的技术支持服务能力较强，能在第一时间响应客户需求。同时核心存储也需要考虑到存储的性能，对业务未来不可预测性能需求，需要可以应对，如使用更新的存储协议和存储介质、对于多云平台的支持，如Openstack、VMware、容器等。（二）安全稳定存储设备重点需要考虑稳定性和数据服务能力，对银行业数据中心而言，存储设备牵一发而动全身，存储架构的稳定性及可靠性是数据中心存储选型最基本也是最重要的需求，包含存储架构冗余度较高，各个部件（如：控制器、磁盘、前端接口卡、后端接口卡、网卡及电源等）均为冗余设计、支持在线热插拔，任意部件损坏均不影响主机上业务运行。首先，整个存储系统要具有全冗余与安全性设计，不存在“单点故障”，包括控制器、缓存、硬盘、前端口、后端口、电源、风扇、电池等部件均具有冗余，硬件维护对上层主机访问无感知。作为存储系统中最重要的两个部件“控制器”和“硬盘”，有的存储产品已经可以做到支持控制器四坏三，硬盘可容忍两块甚至三块同时损坏，如：华为最新高端存储甚至可以支持控制器八坏七。其次，各部件可以进行微码在线升级，对主机访问无影响。特别是关键部位控制器，已有最新存储产品可以支持控制器升级微码不重启。（三）可维护性存储设备需具备较高的可维护性，各个部件的预防性维护和更换均为在线操作，控制器、硬盘及接口卡等部件都必须支持在线微码升级，交替重启部件或更换部件时不可以影响到上层业务；可以通过机器学习等先进的存储算法，实现存储服务的自我优化，并且可以智能的监控存储设备的运行状态，预测未来的存储服务需求。（四）硬件架构当前存储设备产品根据架构分为“集中式架构存储”及“分布式架构存储”两大阵营。集中式架构存储采用的是块机制，以块为单位实现数据的更新和锁机制，其机制跟数据库管理数据文件的方式类似，性能及安全性可得到有效保障，这也是银行业选择它那么多年的理由。分布式架构存储现在有两种常见做法，一种是基于对象存储机制实现的分布式架构，一种是基于分布式文件系统实现的分布式架构。对于这两种架构的选择，需要结合上层应用配套考虑。集中式存储最大的优势在于架构简单、维护相对容易，已有的运维经验能够延续，同时传统存储厂商支持能力相对较强。而分布式存储在非一线城市中厂商技术支持方面还存在短板；集中式存储使用较早，而分布式存储出现时间才刚刚几年，软件的可靠性方面还有待进一步考量。传统的集中式存储使用至今在数据库和应用上都没问题，特别是集中式存储的同步工具等都很成熟，能较好地满足各类系统应用和数据库的性能与可靠性要求；从分布式存储软件授权和后期支持服务费用等价格方面考虑，整体价格优势是否比集中式存储已不够明显。集中存储的成本已不再让人望而生畏，现在集中式存储以闪存为主，容量大且体积小，价格越来越便宜，成本较全闪配置的分布式存储，差距已明显缩小。对于银行信息系统中大多数关键应用，包括核心系统、前置系统、支付系统、银行卡系统等应用，具有高稳定性、高吞吐量和低时延等特性的集中式架构存储是更好的选择，存储设备的各个控制器工作在对称Active/Active模式，各控制器性能负载稳定均衡；若上层应用有特定的分布式文件存储、对象存储或者海量数据存储需不断扩展的需求，同时对存储稳定性和时延要求不高，则可以考虑选择分布式架构存储。金融行业目前交易类和报表类数据库一般情况会在集中式存储上。对于高I/O且对时延较为敏感的核心或者其他重要业务系统，高吞吐低时延的集中式架构高端存储更为合适，安全性和稳定性也经过多年充分验证。同时，现在企业级高端存储内部架构都是支持在线横向、纵向扩展的，因此从某种意义上来说也是分布式。企业级高端存储既具有分布式特性又具有集中管理的优势，可以说是分布式集中存储。（五）可扩展能力存储设备具有灵活的体系架构，在不中断存储服务的情况下实现核心、边缘和云的现代化部署，并且可以按需在线进行横向扩展，同时扩展存储容量和存储性能，随着容量需求的增加可以按需进行在线扩容，包括存储柜内的纵向扩容和多柜的横向扩展，扩展之后实现存储资源的在线自动平衡。以机械盘为数据载体的上一代存储容量小、可扩展性差。而随着存储技术的飞速发展，硬件层面上闪存盘的普及使得单台高端全闪存储的性能和容量极大提升，再结合控制器在线横向扩容等技术的应用，单套存储架构的可用容量达到PB级别，基本能满足大行的某套应用或者中小银行的数据中心未来五年的容量需求。当前行业内主流高端存储设备基本配置为“四控制器”，Cache容量高达TB甚至更高，前端主机接口模块FC口速率高达到32GB。闪存盘因“大容量、高IOPS、低耗时和低返厂率”等特点已成为当前集中式高端存储设备的首选主流配置。对于预算充裕的用户，可以选择配置NVMeSSD盘，充分保障设备性能满足业务需求。（六）性能指标存储设备为数据中心最重要的硬件设备，一旦性能出现瓶颈，将会导致众多业务系统运行缓慢甚至导致业务中断，故在存储设备购买时，一定要充分结合业务系统运行情况，并充分预测未来5-10年业务发展趋势，推算出存储设备性能指标，至少保证未来5年内业务系统不会出现存储性能瓶颈。随着闪存技术的快速发展，目前全闪存存储已经成为各家主流存储厂商的标准配置，同时结合控制器和硬盘框的NVMe技术应用，IOPS已经从传统机械硬盘存储的几万、十几万，上升到几百万级别，性能得到极大提升，因此在当前形势之下采购新存储设备时，全闪存储已成为首选，如果成本可以承受，配备NVMeSSD的全闪存储是最佳选择。（七）成本评估对于银行业来说，高端存储设备选型一个重要的参考就是单位TB可用容量下的成本，能够花更少的钱买到更多的容量，一定是我们采购过程中的一个重要指标，这就对存储设备的架构能力和存储厂商的商业模式提出了一定的要求，最终的选择需要根据实际情况去做抉择。计算成本时除了硬件配置成本，还需要考虑软件许可成本和日常管理维护成本（包含存储设备维保服务成本）。（八）容灾能力对于银行业来说，两地三中心或多地多中心是当前监管部门强制要求必不可少的数据中心建设模式，在完善的容灾体系架构场景下，基于存储复制技术的容灾架构依然是各银行业倾向选择的一种数据保护措施，故在银行业选择存储设备时，还需要充分考虑存储设备的容灾架构支持能力。存储架构的容灾能力指的是本身高可用性之外对于各个灾备特性的支持，包括存储层双活、存储异步复制以及两地三中心架构的支持度，双活仲裁机制是否可以保证常见故障场景下业务的连续性和数据不丢失。集中式架构存储的容灾特性主要考虑如下三个方面：（1）支持免网关双活A-A架构，即不依赖于VPLEX、SVC等存储网关设备，而直接使用存储自身的机头进行两台存储之间的IO双活。如：华为公司的HyperMetro及H公司的GAD就属于免网关解决方案的主流技术之一。（2）数据同步和异步复制功能，可以与双活特性实现免网关的双活+异地容灾的三副本数据容灾架构。（3）快照功能。上述三方面的功能是采购高端存储时尽量要求满足的特性。（九）国家信息技术应用创新战略当前，国家提出“信息技术应用创新”战略，其中存储设备隶属于“信创基础设施产品”范畴，监管部门也出台相应政策，对于银行业来说，在满足安全稳定可靠及性能前提下，应该充分响应国家“信息技术应用创新”战略。随着国内存储厂商技术的不断提升，目前国内某些存储品牌已经得到业界公认和实践，实践案例也逐年丰富，能够满足数据中心建设的各项指标需求。随着国内厂商技术的不断演进，目前国内存储品牌（如：华为）已经得到业界公认和实践，能够满足数据中心建设各项指标需求。因此，在国家提倡科技创新和金融行业IT国产化战略的背景下，在存储产品各项功能均满足的前提下，可以优先考虑已经接受行业考验的国内存储品牌。（十）厂商技术支持服务能力重点考察设备厂商存储产品持续研发能力和本地技术服务能力。对于存储设备，采购和集成交付只是其生命周期中刚开始的很小一部分，后期的运行维护才是科技运维人员最主要的工作。尤其对于运维能力水平不是很高的中小城商行，存储设备硬件生产厂商自身的研发实力及后期延续性服务能力至关重要，是否有未来数年的规划支撑客户的业务需求变化，是否有软硬件的研发能力，在遇到个性化需求时或需求变化时能够及时响应处理的能力，是否有本地化的技术支持服务力量，对客户的响应是否及时且有效，这些都需要充分考查和了解。四、总结企业在进行数据中心存储设备选型时一定要本着“行业主流、安全稳定”优先的原则，这样才能保障信息系统及数据中心长期健康平稳运行，才能进一步提升业务连续性能力，企业也才能高质量快速发展。此外，在设备选型时还需要保持较高的政治觉悟，积极响应国家信息技术应用创新战略。在充分考虑项目建设目标与产品选型思路的情况下，我行最终将原来位于6个品牌8个型号存储设备中的100余套业务系统安全平稳迁移到4台华为OceanStor18500FV5高端全闪存储中。充分整合存储设备，目前新一代数据中心已安全平稳运行近15个月，存储设备未出现任何异常，性能及高可用性完全满足银行业务需求，通过持续不断的监控及维护，各项数据指标也证明了华为高端存储硬件的稳定可靠性。本文结合我行存储设备选型工作，分析存储设备选型过程中需要关注的要点，并具体解析其应对策略，希望给同行在存储设备选型工作方面提供一种借鉴。设备测试篇

存储设备作为数据中心最核心、最重要的基础设施，重要性不言而喻，是数据中心整体容灾解决方案中的关键环节，需要与服务器、数据库及应用架构等容灾技术相兼容和匹配。因此，银行在进行数据中心存储设备选型时必须进行POC测试验证，以验证备选存储设备的功能、性能及解决方案的可行性。笔者所在行对多家传统及国产存储高端全闪存储进行了POC测试，并根据测试结果择优选择了华为OceanStor18000系列高端全闪存储，自2020年6月投产上线后至今运行情况良好，未出现任何异常。本篇详述存储设备选型过程中的设备测试方法及重点内容，以期为同业进行关键应用系统存储设备选型测试提供有益参考。

一、存储设备测试基本情况存储设备是数据中心最宝贵的硬件资源，在选型阶段、设备采购入场后及投产使用前，一定要采取充分手段对硬件设备进行反复充分的测试验证，确保设备能够满足业务运行需求。笔者所在城市商业银行对多家传统及国产存储高端全闪存储进行了POC测试，并根据测试结果择优选择了华为OceanStor18000系列高端全闪存储，

以下主要展示针对于华为OceanStor18000系列高端全闪存储设备的测试情况。针对本次存储设备选型，测试案例主要涉及功能、性能及厂商推荐用例三个方面。本次存储选型，必须结合行内核心应用系统对存储进行测试，从功能及性能两大方面，验证存储是否满足核心系统业务要求。二、测试逻辑拓扑三、测试物理拓扑如上图所示：浪商Power小型机（型号：E850C）共计2台，其中生产环境1台，容灾中心1台，每台小型机划分为2个Lpar逻辑分区，部署OracleRAC集群数据库，软件版本为Oracle19.3.6；联想x86服务器（型号：ThinkSystemSR850）两台，其中生产环境1台，容灾中心1台，每台x86服务器安装VMwarevSphere6.5虚拟化操作系统后划分多个RedHatLinux虚拟机，部署应用程序，操作系统版本为：RedHatLinux7.4。四、测试设备清单设备名称数量型号配置用途小型机2E850C8个万兆网口，8个光口，安装AIX7.2本地1台同城1台X86服务器2ThinkSystemSR8504个万兆网口，4个光口，安装vSphereESXI6.5本地1台同城1台SAN交换机3博科DCX852024个16GB光口本地2台同城1台存储3华为18500F配置133块

SSD盘配置远程复制软件许可本地2台同城1台波分设备2OSN8800/本地1台同城1台五、测试要求

存储测试主要分为“功能测试”及“性能测试”两方面，其中：“功能测试”将从功能性、可靠性、可维护性等方面，对存储设备进行全面测试，存储及整体解决方案需支持行方核心系统全业务流程，并实现存储设备容灾切换等功能，要求功能测试结果完全满足我行核心架构功能需求。“性能测试”需使用行内认可的第三方性能测试软件，模拟核心应用系统业务流，对存储设备进行高压力场景下的性能测试，要求性能测试结果不低于我行现有核心架构下的性能且满足我行未来5-10年业务发展需要。六、测试过程及结果（一）破坏性及冗余性测试1.硬盘故障测试测试目的测试阵列硬盘故障。预置条件1、华为18000FV5设备运行正常，且和管理终端之间通信正常；2、使用超级管理员级别的用户通过DeviceManager登录阵列；3、系统中已创建一个硬盘域Diskdomain001（50块硬盘）、一个存储池Storagepool001和两个LUN，LUN命名为LUN001和LUN002；4、系统中已创建一个映射视图MappingView01，已添加主机组HostGroup01和LUN组LUNGroup01，主机组中已添加主机Host01且该主机已添加启动器，并将LUN001和LUN002添加到LUNGroup01；5、在服务器上扫LUN，并采用IO读写工具（vdbench）对LUN进行持续读写。测试步骤1、拔出对应硬盘域Diskdomain001中的任意2块硬盘。2、在“监控>告警和事件”界面下，检查系统是否产生硬盘无法监控的告警。3、在硬盘域Diskdomain001上查看硬盘域的状态。4、在服务器上检查LUN的IO读写是否中断。5、拔出对应硬盘域Diskdomain001中的第三块硬盘。6、在“监控>告警和事件”界面下，检查系统是否产生硬盘无法监控的告警。7、在硬盘域Diskdomain001上查看硬盘域的状态。8、在服务器上检查LUN的IO读写是否中断。9、插回拔掉的三块硬盘，在硬盘域Diskdomain001上查看硬盘域的状态。预期结果1、步骤2中，系统中有硬盘无法监控的告警。2、步骤3中，硬盘域、存储池的健康状态为降级，运行状态为重构。3、步骤4中LUN的IO读写正常。4、步骤6中，系统中有硬盘无法监控的告警。5、步骤7中，硬盘域、存储池的健康状态为降级，运行状态为重构。6、步骤4中LUN的IO读写正常。7、步骤8中LUN的IO读写正常。8、步骤9中硬盘域、存储池的健康状态为健康，运行状态为正在均衡。测试结果同时拔出两块硬盘存储告警：硬盘框监控不到硬盘：主机读写：硬盘域状态：2.控制器故障测试测试目的测试阵列控制器故障。预置条件1、华为18000FV5设备运行正常，且和管理终端之间通信正常；2、使用超级管理员级别的用户通过DeviceManager登录阵列；3、系统中已创建一个硬盘域Diskdomain001、一个存储池Storagepool001和两个LUN，LUN命名为LUN001和LUN002；4、系统中已创建一个映射视图MappingView01，已添加主机组HostGroup01和LUN组LUNGroup01，主机组中已添加主机Host01且该主机已添加启动器，并将LUN001和LUN002添加到LUNGroup01；5、在服务器上扫LUN，并采用IO读写工具对LUN进行持续读写。测试步骤1、同时拔掉两个控制器(A,C或者B,D)；2、在“监控>告警和事件”界面下，检查系统是否产生控制器无法监控的告警。在“系统”界面下，检查另外一个控制器的状态；3、在服务器上检查LUN的IO读写是否中断；4、CLL命令下查看控制器镜像同步状态，同步完成后拔掉B,D或者A,C中一个控制器；5、在“监控>告警和事件”界面下，检查系统中是否出现控制器无法监控的告警。在“系统”界面下，检查控制器的状态；6、在服务器上检查LUN读写状态。预期结果1、步骤2中，系统中有控制器无法监控的告警，另外两个控制器的状态为正常、在线；2、步骤3中，服务器上LUN读写正常，未出现IO错误；3、步骤4中，出现三个控制器无法监控的告警；4、步骤5中，在“监控>告警和事件”界面下，检查系统中出现三个控制器无法监控的告警，D控制器的状态均为正常、在线；5、步骤6中，服务器上LUN读写正常，未出现IO错误。测试结果拔掉A控存储告警：主机读写：拔掉C控存储告警：主机读写：镜像同步完成，拔掉B控存储告警：3.电源模块故障测试测试目的验证电源模块故障预置条件1、华为18000FV5设备运行正常，四个电源模块均正常，且和管理终端之间通信正常；2、使用超级管理员级别的用户通过DeviceManager登录阵列；3、系统中已创建一个硬盘域Diskdomain001、一个存储池Storagepool001和两个LUN，LUN命名为LUN001和LUN002；4、系统中已创建一个映射视图MappingView01，已添加主机组HostGroup01和LUN组LUNGroup01，主机组中已添加主机Host01且该主机已添加启动器，并将LUN001和LUN002添加到LUNGroup01；5、在服务器上扫LUN，并采用IO读写工具对LUN进行持续读写。测试步骤1、拔出任意一个电源模块；2、在“监控>告警和事件”界面下，检查系统是否产生电源模块被拔出的告警。在“系统”界面下，检查另外一个电源模块状态；3、在服务器上检查LUN的IO读写是否中断；4、3分钟后，将已拔出的电源模块插回；5、在“监控>告警和事件”界面下，检查系统中电源模块被拔出的告警是否恢复。在“系统”界面下，检查电源模块的状态；6、在服务器上检查LUN读写状态。预期结果1、步骤2中，系统产生电源模块被拔出的告警，另外三个电源模块的状态为正常、在线；2、步骤3中，服务器上LUN读写正常，IO未中断；3、步骤5中，电源模块被拔出的告警恢复，系统中不存在步骤2查看到的告警，电源模块的状态均为正常；4、步骤6中，服务器上LUN读写正常，IO未中断。测试结果存储测告警：电源模块状态：主机读写：4.SAS级联线缆故障测试测试目的验证SAS线缆故障预置条件1、华为18000FV5设备运行正常，且和管理终端之间通信正常；2、阵列已使用SAS双链路级联了一个硬盘框DAE040；3、使用超级管理员级别的用户通过DeviceManager登录阵列；4、系统中已创建一个硬盘域Diskdomain001、一个存储池Storagepool001和两个LUN，LUN命名为LUN001和LUN002；5、系统中已创建一个映射视图MappingView01，已添加主机组HostGroup01和LUN组LUNGroup01，主机组中已添加主机Host01且该主机已添加启动器，并将LUN001和LUN002添加到LUNGroup01；6、在服务器上扫LUN，并采用IO读写工具对LUN进行持续读写。测试步骤1、拔出控制框和硬盘框DAE010之间的一根SAS线缆；2、在“监控>告警和事件”界面下，检查系统是否产生SAS级联端口连接断开和硬盘框单链路的告警，在“系统”界面下，检查DAE010中硬盘的多路径；3、在服务器上检查LUN的IO读写是否中断；4、3分钟后，将已拔出的SAS线缆插回；5、在“监控>告警和事件”界面下，检查系统中SAS级联端口连接断开和硬盘框单链路的告警是否恢复。在“系统”界面下，DAE010中硬盘的多路径；6、在服务器上检查LUN读写状态。预期结果1、步骤2中，系统产生SAS级联端口连接断开和硬盘框单链路的告警，DAE010中硬盘的多路径只有一个控制器；2、步骤3中，服务器上LUN读写正常，IO未中断；3、步骤5中，SAS级联端口连接断开和硬盘框单链路的告警恢复，系统中不存在步骤2查看到的告警，DAE010中硬盘的多路径恢复为两个控制器；4、步骤6中，服务器上LUN读写正常，IO未中断。测试结果存储测告警：硬盘框状态：主机读写：5.接口模块故障测试测试目的验证接口模块故障预置条件1、华为18000FV5设备运行正常，且和管理终端之间通信正常；2、使用超级管理员级别的用户通过DeviceManager登录阵列；3、每个控制器上都存在一个接口模块，且接口模块和服务器之间都有物理连接；4、系统中已创建一个硬盘域Diskdomain001、一个存储池Storagepool001和两个LUN，LUN命名为LUN001和LUN002；5、系统中已创建一个映射视图MappingView01，已添加主机组HostGroup01和LUN组LUNGroup01，主机组中已添加主机Host01且该主机已添加启动器（请确保主机和每个接口模块的链路所对应的启动器都已添加进至主机），并将LUN001和LUN002添加到LUNGroup01；6、在服务器上扫LUN，并采用IO读写工具对LUN进行持续读写。测试步骤1、拔出任意一个接口模块；2、在“监控>告警和事件”界面下，检查系统是否产生接口模块被拔出的告警；3、在服务器上检查LUN的IO读写是否中断；4、3分钟后，将已拔出的接口模块插回，等待接口模块的电源指示灯恢复为绿色常亮；5、在“监控>告警和事件”界面下，检查系统中接口模块被拔出的告警是否恢复；6、在服务器上检查LUN读写状态。预期结果1、步骤2中，系统中产生接口模块被拔出的告警；2、步骤3中，服务器上LUN读写正常，未出现IO错误；3、步骤5中，接口模块被拔出的告警恢复，系统中不存在步骤2查看到的告警；4、步骤6中，服务器上LUN读写正常，未出现IO错误。测试结果存储测告警：模块状态：主机读写：6.逻辑端口模块故障测试（只适用于NAS业务）测试目的验证逻辑端口故障。预置条件1、华为18000FV5设备运行正常，且和管理终端之间通信正常；2、使用超级管理员级别的用户通过DeviceManager登录阵列；3、阵列一个控制框上的四个控制器各有2个以太网口和服务器连接，已创建1个逻辑端口，并指定主用端口为A控可用的绑定端口NAS-Bond-A；4、阵列中已创建一个硬盘域Diskdomain001、一个存储池Storagepool001和一个文件系统Filesystem001，并添加NFS共享；5、主机已使用NFSv3成功挂载文件系统，使用IO下发工具对文件系统读写。测试步骤1、拔出A控主用端口上的线缆；2、在服务器上检查文件系统的IO读写是否中断；3、在“资源分配>端口>逻辑端口”界面下，检查当前端口是否发生切换；4、拔出A控备用端口上拔出的线缆；5、在服务器上检查文件系统的IO读写是否中断；6、在“资源分配>端口>逻辑端口”界面下，检查当前端口是否发生切换；7、插回A控主备用端口上拔出的线缆；8、在服务器上检查文件系统的IO读写是否中断；9、在“资源分配>端口>逻辑端口”界面下，检查当前端口是否切换回原端口。预期结果1、步骤2中，服务器上文件系统的读写正常，未出现IO中断；2、步骤3中，当前端口未发生切换，当前端口为NAS-Bond-A；3、步骤5中，服务器上文件系统的读写正常，未出现IO中断；4、步骤6中，当前端口切换为NAS-BondB的以太网端口；5、步骤8中，服务器上文件系统的读写正常，未出现IO中断；6、步骤9中，经过一小段时间（约5分钟），端口切换为NAS-Bond-A。测试结果拔掉A控BOND-A第一根线存储测告警：主机读写：逻辑IP长ping:逻辑端口使用状态：拔掉A控BOND-A第二根线存储测告警：主机读写：逻辑IP长PING:逻辑端口状态：（二）IOPS性能测试1.8KB100%随机读命中为0测试目的验证华为OceanStor18500FV5存储系统能够达到的IOPS和时延数据：8KB100%随机读命中为0预置条件1、V5采用性能测试方案组网。2、总共准备4台测试主机，每台主机均安装好Vdbench测试软件。测试步骤1、在引擎0上创建1个硬盘数为50的硬盘域，等待硬盘域格式化完成。2、在硬盘域下创建一个RAID6-10级别、大小为所有可用容量的存储池，在存储池下创建8个（融合存储）、8个（虚拟化存储）大小为500GB的LUN。3、500GBLUN分别归属A、B、C、D控，其余参数默认，然后LUN平均映射给4台服务器。4、在主机上扫描LUN并安装vdbench。5、在4台主机vdbench目录下编辑paramfile脚本配置(然后执行./vdbench-fvdbench.conf，对LUN同时进行随机小IO读测试。预期结果IOPS:单台18万，总IOPS:80万。测试结果单台主机：存储测总IOPS平均：83万，时延：0.43ms。2.8KB100%随机读命中为100测试目的验证华为OceanStor18500FV5存储系统能够达到的IOPS和时延数据：8KB100%随机读命中为100。预置条件1、V5采用性能测试方案组网。2、总共准备4台测试主机，每台主机均安装好Vdbench测试软件。测试步骤1、在引擎0上创建1个硬盘数为50的硬盘域，等待硬盘域格式化完成。2、在硬盘域下创建一个RAID6-10级别、大小为所有可用容量的存储池，在存储池下创建8个（融合存储）、8个（虚拟化存储）大小为500GB的LUN。3、500GBLUN分别归属A、B、C、D控，其余参数默认，然后LUN平均映射给4台服务器。4、在主机上扫描LUN并安装vdbench。5、在4台主机vdbench目录下编辑paramfile脚本配置(然后执行./vdbench-fvdbench1.conf，对LUN同时进行随机小IO读写测试。预期结果IOPS:单台30万，总IOPS:120万。测试结果单台主机：存储测总IOPS平均：148万，时延：0.028ms。3.8KB70%读30%写读命中为0测试目的验证华为OceanStor18500FV5存储系统能够达到的IOPS和时延数据：8KB70%读30%写读命中为0。预置条件1、V5采用性能测试方案组网。2、总共准备4台测试主机，每台主机均安装好Vdbench测试软件。测试步骤1、在引擎0上创建1个硬盘数为50的硬盘域，等待硬盘域格式化完成。2、在硬盘域下创建一个RAID6-10级别、大小为所有可用容量的存储池，在存储池下创建8个（融合存储）、8个（虚拟化存储）大小为500GB的LUN。3、500GBLUN分别归属A、B、C、D控，其余参数默认，然后LUN平均映射给4台服务器。4、在主机上扫描LUN并安装vdbench。5、在4台主机vdbench目录下编辑paramfile脚本配置(然后执行./vdbench-fvdbench2.conf，对LUN同时进行随机小IO读写测试。预期结果IOPS:单台7万，总IOPS:28万。测试结果单台主机：存储测总IOPS平均：32万，时延：1ms。4.8KB70%读30%写读命中为100测试目的验证华为OceanStor18500FV5存储系统能够达到的IOPS和时延数据：8KB70%读30%写读命中为100。测试拓扑无预置条件1、V5采用性能测试方案组网。2、总共准备4台测试主机，每台主机均安装好Vdbench测试软件。测试步骤1、在引擎0上创建1个硬盘数为50的硬盘域，等待硬盘域格式化完成。2、在硬盘域下创建一个RAID6-10级别、大小为所有可用容量的存储池，在存储池下创建8个（融合存储）、8个（虚拟化存储）大小为500GB的LUN。3、500GBLUN分别归属A、B、C、D控，其余参数默认，然后LUN平均映射给4台服务器。4、在主机上扫描LUN并安装vdbench。5、在4台主机vdbench目录下编辑paramfile脚本配置(然后执行./vdbench-fvdbench3.conf，对LUN同时进行随机小IO读写测试。预期结果IOPS:单台9万，总IOPS:36万。测试结果单台主机：存储测总IOPS平均：41万，时延：0.33ms。5.8KB100%随机写命中为0测试目的验证华为OceanStor18500FV5存储系统能够达到的IOPS和时延数据：8KB100%随机写命中为0。预置条件1、V5采用性能测试方案组网。2、总共准备4台测试主机，每台主机均安装好Vdbench测试软件。测试步骤1、在引擎0上创建1个硬盘数为50的硬盘域，等待硬盘域格式化完成。2、在硬盘域下创建一个RAID6-10级别、大小为所有可用容量的存储池，在存储池下创建8个（融合存储）、8个（虚拟化存储）大小为500GB的LUN。3、500GBLUN分别归属A、B、C、D控，其余参数默认，然后LUN平均映射给4台服务器。4、在主机上扫描LUN并安装vdbench。5、在4台主机vdbench目录下编辑paramfile脚本配置(然后执行./vdbench-fvdbench7.conf，对LUN同时进行随机小IO读写测试。预期结果IOPS:单台2.9万，总IOPS:11.6万。测试结果单台主机：存储测总IOPS平均：12.3万，时延：0.31ms。6.8KB100%随机写命中为100测试目的验证华为OceanStor18500FV5存储系统能够达到的IOPS和时延数据：8KB100%随机写命中为100。预置条件1、V5采用性能测试方案组网。2、总共准备4台测试主机，每台主机均安装好Vdbench测试软件。测试步骤1、在引擎0上创建1个硬盘数为50的硬盘域，等待硬盘域格式化完成。2、在硬盘域下创建一个RAID6-10级别、大小为所有可用容量的存储池，在存储池下创建8个（融合存储）、8个（虚拟化存储）大小为500GB的LUN。3、500GBLUN分别归属A、B、C、D控，其余参数默认，然后LUN平均映射给4台服务器。4、在主机上扫描LUN并安装vdbench。5、在4台主机vdbench目录下编辑paramfile脚本配置然后执行./vdbench-fvdbench8.conf，对LUN同时进行随机小IO读写测试。预期结果IOPS:单台3万，总IOPS:12万。测试结果单台主机：存储测总IOPS平均：11.9万，时延：1.33ms。（三）存储写带宽性能测试验证测试目的验证华为OceanStor18500FV5存储系统写带宽能够达到的数据和时延表现:256KB100%顺序写命中为100%。预置条件1、V5采用性能测试方案组网。2、总共准备4台测试主机，每台主机均安装好Vdbench测试软件。测试步骤1、在引擎0上创建1个硬盘数为50的硬盘域，等待硬盘域格式化完成。2、在硬盘域下创建一个RAID6-10级别、大小为所有可用容量的存储池，在存储池下创建8个（融合存储）、8个（虚拟化存储）大小为500GB的LUN。3、500GB的LUN分别归属A、B、C、D控，其余参数默认，然后LUN平均映射给4台服务器。4、在主机上扫描LUN并安装vdbench。5、在4台主机vdbench目录下编辑paramfile脚本配置，然后执行./vdbench-fvdbench4.conf，对LUN同时进行大IO写测试。预期结果写带宽：7GB/s测试结果单台主机：存储测总带宽平均：7.5G，时延：1.5ms。（四）存储读带宽性能测试验证测试目的验证华为OceanStor18500F

V5存储系统读带宽能够达到的数据和性能表现:

256KB

100%顺序读命中为100%预置条件1、V5采用性能测试方案组网。2、总共准备4台测试主机，每台主机均安装好Vdbench测试软件。测试步骤1、在引擎0上创建1个硬盘数为50的硬盘域，等待硬盘域格式化完成。2、在每个硬盘域下创建一个RAID6-10级别、大小为所有可用容量的存储池，在存储池下创建8个（融合存储）、8个（虚拟化存储）大小为500GB的LUN。3、500GB的LUN分别归属A、B、C、D控，其余参数默认，然后LUN平均映射给4台服务器。4、在主机上扫描LUN并安装vdbench。5、在4台主机vdbench目录下编辑paramfile脚本配置，然后执行./vdbench-fvdbench5.conf，对LUN同时进行大IO读测试。预期结果读带宽：9GB/s测试结果单台主机：存储测总带宽平均：11.6G，时延：41us。（五）测试结果测试类别用例编号用例名称测试结果（PASS/FAIL/NT）硬件验收4.1.1机框验收PASS4.1.2控制器验收PASS4.1.3电源模块验收PASS4.1.4风扇模块验收PASS4.1.5硬盘验收PASS系统验收4.2.1存储容量验收PASS4.2.2存储授权验收PASS4.2.3存储版本验收PASS设备冗余保护验收4.3.1硬盘故障测试PASS4.3.2控制器故障测试PASS4.3.3电源模块故障测试PASS4.3.4SAS级联线缆故障测试PASS4.3.5接口模块故障测试PASS4.3.6逻辑端口故障测试PASS系统管理功能验收4.4.1DeviceManager登录和退出功能验收PASS4.4.2修改设备信息功能验收PASS4.4.3盘框定位功能验收PASS4.4.4用户管理功能验收PASS4.4.5性能统计功能验收PASS4.4.6告警和事件管理功能验收PASS4.4.7日志导出功能验收PASS4.4.8运行数据导出功能验收PASSNAS业务功能验收4.5.1文件系统功能测试PASS4.5.2CIFS协议共享功能测试PASS4.5.3NFS协议共享功能测试PASS性能测试验收4.6.1存储IOPS性能测试验证PASS4.6.2存储写带宽性能测试验证PASS4.6.3存储读带宽性能测试验证PASS双活及远程复制测试4.6.4存储本地双活架构测试验证PASS4.6.5存储远程复制测试验证PASS七、总结根据上述测试思路及测试方法，通过对华为OceanStor18000系列高端全闪存储设备进行了充分的POC测试，为生产数据中心建设及两地三中心灾备建设打下了坚实的技术基础。基于良好的测试结果，我行最终选择了7台华为OceanStor18000系列高端全闪存储设备构建了核心类和重要类业务系统两套本地双活、管理支撑类及虚拟化应用类3台本地单机模式部署的存储架构。具体的设备选型经验与实际实现的运行效果，可以阅读第三部分：设备选型经验和效果篇。希望可以对同业有所帮助和参考。设备选型经验和效果篇

本篇详尽阐述存储设备现状、最终选型华为OceanStor18000系列高端全闪存储及新存储设备运行效果，为同业进行数据中心关键应用系统存储设备选型提供可参考、可操作的真实案例和宝贵经验。

一、原数据中心存储设备现状分析原数据中心以“烟囱式架构”部署IT基础设施，一套或多套信息系统独立占用一套存储设备，随着信息化进程的不断快速推进，投产上线的信息系统越来越多，最终导致数据中心存在众多不同品牌型号的硬件设备，经过多年的项目建设，数据中心存储设备品牌型号主要包含“HDSG1000”、“HDSG1500”、“IBMDS8870”、“华为OceanStorS6800”四大系列，存储设备中主要存储虚拟机、数据库文件、非结构化文件等3大类文件，具体物理部署架构及详细用途如下：（一）主从复制模式架构两台“HDSG1000”日立高端存储设备以“TrueCopy本地主从同步复制模式”架构部署，独立用于承载核心业务系统，架构如下所示：（二）本地双活模式架构1.两台“HDSG1000”日立高端存储设备以“GAD免网关本地双活模式”部署，两台“IBMDS8870”高端存储设备以“SVC虚拟化网关模式部署”，用于承载支付、银联卡、社保一卡通及柜面等关键交易类业务系统，架构如下所示：2.两台“华为OceanStorS6800”中端存储设备以“HyperMetro免网关本地双活模式”部署，主要用于存储票据影像、视频及录音等非结构化类数据，架构如下所示：（三）本地单机模式架构1.一台“HDSG1500”日立高端存储设备及一台“华为OceanStorS5500T”中端存储设备以“本地单机模式”部署，一台“IBMDS8870”高端存储设备以“SVC虚拟化网关模式部署”，用于承载OA、财务、信贷等内部管理支撑类信息系统，架构如下所示：2.一台“HDSG1000”日立高端存储设备以“本地单机模式”部署，用于承载手机银行、微信银行、网上银行等互联网支付类信息系统，架构如下所示：二、新数据中心存储设备选型情况为确保新一代数据中心存储设备能够满足功能要求、性能需求、数据标准