城商行存储容灾方案设计及企业级高端存储产品选型实践经验

城商行存储容灾方案设计及企业级高端存储产品选型实践经验

【摘要】本文介绍了金融行业IT环境“稳态”与“敏态”双态共存的格局下，某城商行在应用架构转变、非结构化数据管理能力提升背景下，存储容灾项目的架构设计和相关高端存储选型思路，供广大同行参考。随着新兴存储技术逐渐发展成熟，承载银行业务数据的存储也变得更为多元。以往传统稳态IT环境中主要部署集中式存储，当前逐步向敏态IT模式转型，分布式存储技术被广泛采纳。金融行业IT环境呈现出双态共存的格局，在提高连续性水平支撑业务及运维创新发展的总体目标下，如何通过科学的产品选型和架构设计，发挥好企业级高端存储为代表的集中式存储的作用并放大其价值，成为行业需要共同思考解决的课题。项目背景我行同城容灾体系的现状是，采用基于EMCVPLEX存储网关实现的同城存储双活体系。在生产和同城两个数据中心，分别对称部署了三套ALUA架构双控中端阵列。其中EMCVPLEX和中端阵列的服役时间已经超过6年，更换超役设备成为我们高端存储项目立项的重要理由之一。其次，项目规划设计还要充分考虑我们行内技术架构的三大转变：第一，主机层广泛应用开放平台。主要是基于X86的虚拟化技术，采用小型机部署的业务只剩5套，存储容灾切换需要通盘考虑调度上层各类主机和应用架构；第二，行内在A类关键业务系统中推广应用级双活改造，应用级双活架构能够容忍一个数据中心存储的故障。其余B类及以下系统多为主备型业务仍需要高端存储提供同城容灾能力；第三，我行投产了对象存储用作行内非结构化数据类业务专用存储平台。从传统的块存储中剥离出非结构化数据，对象存储为这部分数据提供容灾能力。基于以上变化我行规划的企业级高端存储项目在容灾设计及产品选型中会存在与以往存储选型不同的关注点和侧重点。我行高端存储项目规划设计是在银行业存储技术“稳态”与“敏态”并存的技术发展趋势以及行内应用架构转变、非结构化数据管理能力提升的背景下实施的。相信同业也在经历类似的技术路线演进，因此分享我行对存储容灾方案设计选型实施思路供大家参考，希望对大家有所帮助。业务架构对数据中心容灾设计影响在展开容灾方案的设计前，我将先从应用架构和数据中心容灾模式互相匹配的角度阐述数据中心容各层资源的容灾技术是如何支撑上层应用达到业务连续性目标的。首先，从容灾切换维度可以将应用分为以下四种架构。主备型应用架构是指应用程序平时只在在生产数据中心运行，在同城灾备数据中心应用程序是不活动的，但配置了承载应用程序的计算资源和操作系统，底层存储不论是通过存储双活或者存储复制，在同城灾备数据中心有实时同步的数据镜像，但不可访问，所有IO请求都是从生产发起的。应用级双活架构是指应用程序平时在两个数据中心都是活动的，都可以对外提供服务。如果基于并行文件系统，两个站点的应用访问共同的文件系统，构成的磁盘来自两个数据中心，由文件系统维护数据的镜像；更为常见的情况是，两站点的应用访问各自的文件系统，底层不是同一个Lun，不需要同步到对端的数据中心。数据库容灾架构本文主要指OracleADG、DB2HADR或者其他数据库复制技术。两个站点的数据库存主从关系，通过在灾备站点传输然后应用活动日志使备库实时保持数据同步，备库通常为没有打开的状态，启用备库需要进行切换。两个站点的库在存储底层是各自的数据，原则上不需要通过存储同步到对端。数据库还可以使用一种更简单的容灾方案其模式和主备型应用架构非常相似，及数据库只在生产站点运行，在同城站点只配置了承载数据库程序的计算资源和操作系统，这种情况数据库数据的同步依赖于底层存储的数据镜像技术。综上，基于日志的数据库复制可以归为应用级双活架构，基于存储的数据容灾可以归为主备型应用架构。本文存储容灾的设计不考虑延展的数据库集群。分布式业务架构是指基于docker或者微服务等分布式框架开发的应用程序。但分布式业务系统的具体容灾实现方案又可归类到应用级双活和主备型两种情况。按照容灾切换情况可以将应用归类统分为两种容灾架构：一是生产中心灾难时需要进行人工干预或者由灾切平台调度完成网络、存储、数据库及应用程序切换，才能恢复业务的主备型应用架构；二是两站点的各层资源均完全解耦，平时两个数据中心都具备对外服务能力，生产中心灾难时几乎无需干预的应用级双活架构。下图是两种应用容灾架构构成的各层资源对比情况。

存储容灾模式选型集中存储的容灾特性主要体现在三个方面。第一，支持免网关双活A-A架构。第二是数据同步和异步复制功能，可以与双活特性实现免网关的双活+异地容灾的三副本数据容灾架构。第三是快照功能。这三个方面的功能是当前采购高端存储时尽量要求满足的特性。这里需要重点突出免网关双活A-A架构能力。免网关，顾名思义就是不依赖于VPLEX、SVC等存储网关设备，而直接使用存储自身的机头进行两台存储之间的IO双活。比如，据笔者了解，华为公司的HyperMetro就属于免网关解决方案的主流技术之一。基于我行客观情况，存储容灾模式采用本地双活+同城同步复制方案。产品选型分析产品选型部分将从我行接触的三个主流厂商的产品和技术进行对比，分别是E厂商的PowerMax2000、华为高端全闪存OceanStorDorado18500V6以及Hi厂商的VSP5000。我们主要从单阵列的可靠性、数据管理、容灾实现能力等几个关键能力方面进行比较。我们考察的产品定位都是配置NVME介质的产品。我行产品的选型分析仅仅是结合我行业务需求与关注重点的选择，如果存在偏颇的地方还请各位同业专家批评指正。E厂商PowerMax2000是典型的横向扩展的虚拟矩阵架构。PowerMax2000最大支持两个引擎，通过Infiniband交换机互联。后端使用Gen3PCIe协议连接硬盘扩展柜。不能异构其他阵列。就单阵列的可靠性方面来说，E厂商的产品与另外两个厂商相比的劣势在于引擎之间不共享后端硬盘扩展柜，存在单个引擎故障而存活的引擎连接不到归属于故障引擎的扩展柜的风险。但是引擎可靠性已达到6个9，几乎不会发生这种故障。在重删压缩技术方面，产品配置了硬件的重删压缩卡，执行重删压缩不消耗控制器CPU，因此开启重删压缩对性能影响较小。该产品承诺4:1的数据压缩比。三个产品中只有该产品配置了硬件的重删压缩卡。容灾方案方面来说，该E厂商产品支持SRDFMetro存储双活或SRDFS/A复制。但不支持双活+同步复制的技术方案，主要的考虑是维护三份实时镜像的数据可能会放大延迟并受线路质量影响。这种方案较为保守但稳定成熟。双活方案支持双仲裁，避免单一仲裁不可用风险。复制方案同城站点的数据时刻读状态。HiVSP5000系列的产品也是一款横向扩展架构的企业级存储产品。支持异构其他阵列，全系运行一套系统支持高端向中低端产品容灾节约灾备端投入。就硬件可靠性来说，该厂商承诺8个9系统可靠性。后端扩展柜和各种板卡在控制器之间都共享而且冗余连接。全局缓存在控制器之间进行统一编址管理。该产品硬件可靠性设计较为完善。重删压缩技术方面，该产品需要消耗控制器资源。容灾方案而言，构成双活的两个镜像会区分主从角色，而另外两厂商的产品支持全对等的双活，比较起来较为不足。华为高端全闪存OceanStorDorado18500V6区别于另外两个厂商，是一控制框满配四个控制器形态，内部使用无源背板而不是用交换机将四个控制器互联在一起，前后端的接口卡及后端的扩展柜在四个控制器之间共享。使用100GbRDMA协议连接扩展框。处理器基于ARM架构开发。支持异构其他存储，可纳管中低端存储为其实现容灾保护现有投入。硬件可靠性：1)每张前端接口卡通过4个PCIE3.0X4端口连接到4个控制器，支持Multihost技术，能够以active-active方式同时访问4个控制器。任一控制器故障物理链路不中断。主机层面无感知。2)缓存三倍镜像及持续镜像。单引擎四控支持“四坏三”，三个控制器的故障不能同时发生，“四坏三”需满足控制器依次发生故障并有时间间隔。3)RAID-TP支持三块盘同时故障。重删压缩方面：支持2.6：1的压缩比，需使用控制器处理资源。容灾方案方面：1）双活方案支持双仲裁。2）支持在线同步复制转异步复制，监控带宽和时延，跟原先配置的门槛触发同步转异步，可以规避链路抖动对业务影响。减少人为干预不及时导致的业务中断。3）支持双活+同步复制容灾架构。4）支持NAS双活。以上三个产品均为存储产品线里最高端的产品，因此冗余度，配置丰富性即数据管理能力都非常优异。我行选型主要考虑华为和E是权对等的双活，脑裂发生后决策出存活站点较快，IO暂停的时间短（当然三家产品IO暂停的时间均在linux操作系统IO超时时间范围内均满足需要）。综合考虑之下，选择了性能更为优异、与我行需求更匹配的华为高端全闪存OceanStorDorado18500V6。建设规划最终我行形成了同城“2+1”的存储容灾架构，即生产中心部署两台存储组成同中心的存储双活，提高生产中心站内的高可用，同城中心部署一台存储与生产形成同步复制。架构说明我行计划建成同城“2+1”存储容灾架构，生产数据中心两台存储A和B组成本地双活架构，在同一个机房内部署存储双活，提高生产中心存储可靠性，可以有效规避同城双活运营商线路质量问题的影响。从生产的A到同城的C配置是同步复制，但预先设置好同步转异步的检查条件，如果延迟等参数触发转换的门槛，可以不经人工干预转为异步复制，最大限度保障生产业务的可用性，降低维护三分镜像的开销。从生产的B到异地的D配置成异步复制，满足异地有一份保留一份数据要求。业务摆放华为高端全闪存OceanStorDorado18500V6主要承载行内A类关键业务系统。其中已经改造成应用级双活的系统，生产站点的应用通过存储双活保持两份实时镜像的数据，任一台存储故障或进行升级维护，生产存储服务不中断，保障业务系统连续性。同城站点的应用在同城存储保留一份数据镜像。主备型应用在生产数据中心配置两份双活镜像数据，生产存储A到同城存储C配置同步复制，利用灾备切换平台预先编排存储切换及上层应用切换，生产中心灾难发生时用灾备切换平台联动的调用存储和应用的切换。一旦生产存储Ａ故障，生产存储Ｂ接替Ａ和同城存储Ｃ形成复制关系。总结华为高端存储项目的实施构建了本地双活+同步复制的同城容灾体系，是我行落实提升存储基础架构的关键举措。主要价值体现在：一、在生产机房采用免网关SAN和NAS一体化双活，优先保障生产数据中心的业务连续性，嵌入了我行关键业务向应用级双活架构发展的规划，华为存储的多仲裁方案进一步消除了过去单一仲裁不可用的风险；二、同城两数据中心间使用同步复制方案，使两个数据中心在存储架构上进一步解耦，华为特有的同步转