V7000存储高可用解决方案

参考方案参考方案案建议书（XXX容灾方案建议）目录第1章 XXXX容灾方案参考 1 系统现状 1 容灾需求分析 1 容灾参考方案 2 总体架构规划 2 V7000外部存储虚拟化功能说明 3 V7000VDM（虚拟磁盘镜像）功能说明 3 后期存储扩展建议 4 系统配置参考 4第2章 V7000存储设备介绍 6 IBMV7000存储系统概述 6 通过IBMSystemStorageEasyTier增强访问能力 6 通过精简调配来优化效率 7 动态迁移避免系统中断运行 7 通过复制服务来保护数据 8 管理工具与IBMSystemsDirector相集成 10 高性能SSD支持 10 外部存储系统虚拟化 10第3章 存储高可用技术建议 12 存储高可用性的内容 12 存储高可用性方案的主要实现方式 14 方式一：磁盘设备间数据镜像(如LVMMirror) 15 方式二：磁盘设备间数据复制（如PPRC或ERM） 19 方式三：采用SVC或V7000或V7000实现逻辑卷镜像 21 三种HA方式的比较 23XXXX容灾方案参考系统现状XXXX现有IT系统的现状大致如下图所示。采用IBMP550服务器作为数据库服务器，采用DS3400存储设备作为主存储系统。容灾需求分析当前，XXXX计划在同一园区内建设容灾系统，在容灾中心和主生产中心之间采用2km长的裸光纤进行直连。并且，希望对现有的存储设备进行充分利旧。IBM将针对当前所了解的情况，做出初步的方案，供XXXX容灾建设参考。由于DS3400设备没有自身的基于磁盘的远程复制功能，因此无法采用基于存储底层的磁盘复制技术。此外，由于DS3400的性能有限，且缓存较低，因此采用基于AIX操作系统的LVM镜像方式性能会有影响。（各种高可用技术，详见第3章的说明）而目前IBM最新的虚拟化存储设备V7000，即可以支持外部存储的接入，也可以支持内部存储和外部存储之间的镜像，因此可以通过V7000存储设备来实现存储的高可用，并达到同园区内容灾的目的。容灾参考方案总体架构规划总体同园区容灾的架构如上图所示，建议新增一套IBMV7000存储设备，并配置外部存储接入功能。通过两对SAN交换机之间的2km裸光纤直连，可以将现有的DS3400作为V7000存储设备的外接存储，DS3400上的卷以image模式接入到V7000中，并和V7000上的卷组成镜像的卷（采用了V7000的VDM功能）。即当服务器写数据到VDM镜像后的卷的时候，V7000会自动在V7000的卷和DS3400的卷中各写一份，保障了在本地和远端同时都有一份相同的数据。在光纤交换机上，需要在每台SAN交换机上都配置一个单模长波模块用于2km裸光纤的直连。V7000外部存储虚拟化功能说明V7000具有外部存储虚拟化功能，该功能沿袭了目前业界最成熟的存储虚拟化产品IBMSVC的几乎所有功能，具有当前最广泛的存储兼容性能，可以连接大部分的光纤存储设备。外部存储系统虚拟化允许您将外部光纤通道控制器的磁盘容量添加到—例如，用作闪速拷贝目标或者用于保存归档数据的存储系统—这将能够延长它们的使用寿命，但不影响V7000VDM（虚拟磁盘镜像）功能说明通过IBMSVC或V7000（SANVolumeController）来实现两台存储系统上的磁盘进行镜像后为服务器提供存储。上图是通过SVC或V7000实现两台阵列之间存储镜像的示意图。对于底层的磁盘阵列来说，其使用方式与现在相同，对其内部的磁盘先进行RAID，然后在RAID组上进行逻辑磁盘（LUN）的划分。如上图的例子中，首先对两个阵列的磁盘做RAID5，然后在左边阵列中再作成LUNa和LUNb两个逻辑磁盘，同样在右边阵列中可以作成LUN1和LUN2两个逻辑磁盘。在没有SVC或V7000的时候，我们要把这些LUNmap给对应的服务器，然后在服务器上就可以找到这些硬盘。但是这样并没有实现磁盘阵列之间的Mirror。现在，我们有了SVC或V7000设备，这个时候不再把这些LUNmap给服务器，而是map给SVC或V7000。SVC或V7000把这些map过来的磁盘当做是可使用的原始磁盘，称之为ManagedDisk。SVC或V7000再对ManagedDisk进行处理，可以在不同的ManagedDisk之间进行镜像作成供服务器使用的VirtualDisk。如上图，SVC或V7000将从左边磁盘阵列获得的Ma和从右边阵列获得的M1进行Mirror后，形成了VirtualDisk为Vdisk1。然后再将Vdisk1map给服务器。服务器就像使用本地磁盘一样的使用Vdisk1。这个时候我们回头看一下Vdisk1的组成，它是由两个阵列中的LUN通过Mirror方式组成的。使用SVC或V7000进行跨阵列Mirror后，对于服务器获得的Vdisk来说，不会因为任何一个磁盘存储系统的故障而出现问题。这样大大提高了存储系统的可用性，为前端应用系统的开展提供了更好的保障。后期存储扩展建议由于V7000具有外部存储扩展功能，同时也支持自身的扩展柜，因此在后期的扩展中，可以同时增加自身的扩展柜和外部存储，来实现本地存储的高可用性，即本期所建设的同园区容灾功能。同样，V7000存储设备还具有远程复制功能，通过V7000的远程复制功能，今后还可以帮助XXXX建设异地的容灾系统。系统配置参考IBMV7000存储系统双控制器节点，16GB缓存8个8GbFC接口，4个1GbiSCSI接口24块300GB10K转SAS磁盘外部存储虚拟化功能许可（1个扩展设备）SAN交换机四台：每台配置15个8GbFC接口和1个单模长波接口。项目实施服务服务器设备需根据实际需求来配置。V7000存储设备介绍IBMV7000存储系统概述IBMStorwizeV7000是功能强大的存储系统，结合了适当的软硬件组件，提供单一控制点来帮助提高存储效率。IBMStorwizeV7000支持中型企业的存储资源虚拟化、整合与层级，旨在提高应用可用性和资源利用率。在您的IT基础架构中，无论是全新还是现有存储资源，该系统都提供易用的、经济高效的、卓有成效的管理功能。通过IBMSystemStorageEasyTier增强访问能力EasyTier能够将常被访问的数据自动迁移到高性能的固态驱动器中，从而提高利用效率。EasyTier功能运行在细粒度的“子LUN”环境中，能够基于IO模式和驱动器特征将数据片段自动转移到适当级别的驱动器上，无需管理员的进一步互动。EasyTier还允许您在不中断系统运行的情况下手动调整整个逻辑卷的位置，从而进一步提高灵活性和控制力，允许企业根据应用需求来更加有效地调节系统性能。EasyTier允许您轻松省钱地部署SSD。EasyTier允许您创建混合型存储资源池并且在托管磁盘组群中将存储资源分割成两层，通常是SSD和HDD。此外，EasyTier也支持其他的分割方法和定义。找出最繁忙的子LUN数据单元并且将它们自动转移到高性能SSD中。剩下的数据单元可利用容量更大的低价位驱动器来创造最佳客户价值。系统可自动监控和管理SSD或HDD托管磁盘组群中的卷，您也可以通过将热点数据块转移到SSD并且将冷点数据块转移到HDD来自动处理它们。通过精简调配来优化效率还能减少用电量、产热量和硬件的场地需求。例如，在某个环境中，没有任何用户请求超过10GB的数据，每名用户有效使用的数据平均不到6GB。在这个环境中，存储管理员可以决定通过精简调配卷的方式给每名用户分配6GB。如果有100名用户，则虚拟容量总计1TB，而存储子系统中的实容量仅为600GB。如果管理员根据以往经验知道并非所有的用户都在同一时间使用全部物理容量的话，则这种做法是有效的。有些用户只请求4GB或更少的数据，有些用户则可能请求全部的10GB数据。但前提仍然是用户平均请求的实容量不能超过，当容量到达门限值时，存储系统将会发出警报并且进行跟踪监控。动态迁移避免系统中断运行IBMStorwizeV7000使用虚拟化技术来防止主机应用受到物理存储变化的影响，因此，您在更改存储基础架构时，您的应用仍可继续正常运行。数据迁移是计划内停机的最常见原因之一。StorwizeV7000提供动态数据迁移功能，当您在现有存储器与全新系统之间迁移数据或者在StorwizeV7000系统的阵列之间迁移数据时，可保持用户继续访问数据。例如，当您为了实现负载均衡而更换老式存储器时，或者当您在层级式存储基础架构中迁移数据时，都可使用这项数据迁移功能。。通过复制服务来保护数据。您最多可为每个卷创建256个拷贝。IBMStorwizeV7000支持增量闪速拷贝操作，只拷贝自闪速拷贝功能上次运行以来发生变化的部分源或目标卷，并且支持“拷贝的拷贝”功能—对副本进行拷贝—从而提高效率。这些功能可用于帮助您基于生产数据来维护和更新测试环境。若与IBMStorwizeV7000的精简调配功能配合使用，您可以只使用完整物理拷贝所需的部分存储资源来创建拷贝。这项功能名为“空间高效型闪速拷贝”()，旨在帮助您提高存储资源的总体利用率。逆向闪速拷贝(ReverseFlashCopy)功能可令闪速拷贝目标变成源卷的恢复点，但不会破坏闪速拷贝的关系，也无需您等待最初的拷贝操作完成后才能采取行动。这项新功能将帮助您立刻使用磁盘备份拷贝来恢复受损数据，从而。IBMTivoliStorageFlashCopyManager专为当今的商业环境而设计，旨在支持应用服务器24小时全天候运行—并且全面保护数据。如果您拥有一个24x7全天候运行的环境，将无法容忍丢失任何数据，也不能接受为了充分保护数据而数小时中断关键系统的正常运行，企业也日益需要将备份数据导致的故障中断控制在绝对最低水平，但IT流程已经接近断点。TivoliStorageFlashCopyManager可以帮助您基于最大限度地降低备份影响。该产品可将备份与恢复时间从几小时缩短为—通过简化管理工作以及自动执行存储管理任务来提高生产力。运行在IBMStorwizeV7000系统之间不同位置的城域镜像和全局镜像功能能够帮助您创建数据拷贝，以便在数据中心发生灾难性事件时使用。城域镜像设计用于在“城市”距离(最长300千米)维护完全同步拷贝，而全局镜像则设计用于异步运行，以便帮助维持更长距离的拷贝(最长8000千米)。这两项功能均支持VMwarevCenterSiteRecoveryManager，以便快速实现灾难恢复。管理工具与IBMSystemsDirector相集成这个解决方案通过集成方法来管理IBM服务器和存储器，旨在帮助IT机构解决与同时管理物理和虚拟服务器基础架构相关的重大忧虑—包括监控和修复功能，以便提高可用性、运营效率IBM服务器(包括IBMStorwizeV7000)。高性能SSD支持对于需要高速磁盘及快速数据存取的应用来说，IBM通过72TB的物理容量。外部存储系统虚拟化外部存储系统虚拟化允许您将外部光纤通道控制器的磁盘容量添加到—例如，用作闪速拷贝目标或者用于保存归档数据的存储系统—这将能够延长它们的使用寿命，但不影响存储高可用技术建议云计算服务管理平台是为了加强和简化云计算平台的统一管理所提供的一整套管理系统。在银鹭集团的云计算项目中，建议在一期完成云基础平台后，于二期系统建设的时候部署。以下是云计算服务管理平台的相关介绍。存储高可用性的内容我们先来分析一下，高可用性所覆盖的内容。首先，业务连续性由三级支撑构成。高可用性，扮演着其中最为基本的一级：高可用性（HighAvailability）要求容错的硬件、自动诊断以及故障隔离、预分析、冗余等。其中，冗余是其最核心的特征。数据复制（DataReplication）在同城、异地，或者同城及异地进行数据的有效复制数据恢复（DataRecovery）非计划停机时，进行保护和恢复，满足恢复点目标和恢复时间目标高可用性，是体现在系统的各个细节中。从一个典型的IT系统拓扑来看，它的主要实现层次如下图所示：本地存储设备层次的高可用性，如图中蓝色虚线方框所示，主要从以下三方面考虑：冗余SAN网络SAN交换机冗余配置，主机光纤通道卡、存储光纤接口双配置，冗余连接等。这部分设计用于防范通道、接口和网络的单点故障。存储设备个体高可靠除普遍支持RAID保护技术外，目前的部分高端企业级存储，还采用全冗余设计、镜像缓存等技术来进行自身保护。这部分设计和使用，侧重在于保证存储设备单个个体内的数据安全。当存储设备出现全面故障，不能运转时，最多只能保证“数据不丢失”，不能支持“数据持续访问”。双存储设备如上图中红色虚线部分所示，配置双磁盘设备，存放双数据拷贝。保证在单个存储服务器出现故障时，首先实现数据不丢失，其次实现业务的连续运行。在这三方面中，冗余SAN网络、存储设备个体高可靠相对为人所熟悉，不再赘述。下面所谈的存储高可用性方案重点，将集中在“双存储设备”的环节上。存储高可用性方案的主要实现方式存储高可用性，有三种主要的实现方式：方式三：采用SVC或V7000虚拟存储实现逻辑卷镜像方式一：磁盘设备间数据镜像(如LVMMirror)通过pSeries的LVM（逻辑卷镜像）等技术，在两套磁盘设备间，建立数据镜像关系。两套存储设备同时处于活动状态。生产主机在写数据时，会同时写入两套磁盘设备中。该方式能够提供最佳的持续可用性。当一台存储设备出现整机故障时，由另一台存储设备独立工作，应用不会受到中断。配置双磁盘系统，通过操作系统的卷管理功能，在磁盘间进行数据镜像，保证两套磁盘设备保存有实时相同的数据拷贝。可以有效避免由于单一磁盘系统发生故障而导致的系统意外宕机。充分提高系统的连续可用性。这种双磁盘系统间数据镜像方式，是基于IBMp系列主机系统的LVM（逻辑卷管理）功能实现的。LVM功能，是IBM在UNIX系统创先使用的磁盘空间管理功能，它嵌入在AIX核心功能中，具有速度快、功能强大、管理方便等优点。LVM功能和IBM存储系统配合，是目前技术成熟度高、投资相对较低、实施快速简便、应用行之有效的本地高可用解决方案和容灾方案。在实施IBMLVM的数据镜像方案时，分别将磁盘系统A和磁盘系统B，通过光纤HBA卡连接到SAN交换机上，接入SAN网络。这时，主机会有效识别两套存储系统。之后，通过主机的LVM管理器，将需要高可用保护的数据，在两套磁盘系统上建立镜像关系。一份数据拷贝放置在磁盘系统A上，另一份数据拷贝放置在磁盘系统B上，两份数据拷贝保持着实时同步关系。读数据时，可以从任意一份数据拷贝中读出，提高性能；写数据时，两份数据拷贝被同时修改。当任意一个磁盘系统发生故障，即其中一份数据拷贝失效时，另一份数据拷贝照常发挥作用，业务不会停顿。非常好地保证了数据的高可用性。LVM可以为一个每一个数据卷提供多份拷贝，它可以支持2～3份数据拷贝。该功能包含在p系列主机AIX操作系统中。采用这种方式，业务和应用系统的运行可以通过集群软件HACMP进行主机之间的故障接管，实现应用系统运行功能的高可用性；数据存储系统可以采用LVM进行磁盘存储系统之间的故障接管，实现应用系统数据访问的高可用性。这样，即使有一半的主机系统和一半的存储系统发生故障，不能正常工作，整个系统也不会发生瘫痪，仍旧可以继续运行，充分满足了业务连续运行的要求。应用LVM的方案对用户的现有环境没有改变，不存在数据集中迁移的问题，而且业务系统保持同时在线，不存在系统接管、应用重新启动的问题，可以实现系统的平滑过度。实施LVM方案，既可以在相同型号的IBM存储产品之间进行，也可以在不同型号的IBM存储产品之间进行。下面简要说明LVM的实施过程。LVM为操作系统的卷管理器，对于IBM的存储设备，在相同或者不同型号的磁盘系统上，二个磁盘系统的磁盘空间可组成同一VG（volumegroup）,对操作系统来说磁盘A的盘和磁盘B的盘都是相应/dev/dsk下的设备号，同一VG又可以分成逻辑卷（logicalvolumes），每个逻辑卷之间又可以在线的做镜像，所以可以把磁盘B的盘加到磁盘A的VG里，形成逻辑卷，用LVM使磁盘B的相应的卷成为磁盘A的镜像。作为一个完善的高可靠性和高连续可用性系统应该能够同时满足数据备份与应用切换的需求，其中应用切换已经由HACMP高可用性集群实现，下面针对该方案中的数据同步部分加以分析。为了实现数据的同步，我们利用数据镜像功能LVM，为已有的磁盘A（下图所示之“数据拷贝一”）上的生产数据添加一个拷贝，并将其镜像设备指定为磁盘B（下图所示之“数据拷贝二”）。正常工作模式下，数据的写入操作可以用下图说明：数据更新流向图生产系统对磁盘A的“数据拷贝一”的任何更新都实时在磁盘B的“数据拷贝二”得到更新，“数据拷贝一”和“数据拷贝二”的更新方式有顺序方式、并行方式等多种机制可供选择。一般使用并行方式以增加整体性能。当存储系统A发生故障时，生产无需停顿，生产主机利用存储系统B上的数据拷贝继续运行。如下图所示：本地存储故障当对存储设备A进行维修时，断开镜像关系；存储设备A修复后，恢复数据镜像关系，数据自动在A和B的两份拷贝间同步，之后恢复到两份拷贝同步运行模式。方式二：磁盘设备间数据复制（如PPRC或ERM）通过PPRC或ERM等磁盘数据复制技术，在两套磁盘设备间建立数据复制关系。对于主机来讲，活动状态的存储设备只有一台。这台存储设备使用硬件复制技术和备份磁盘之间进行数据复制，保持两个存储设备上的数据一致。数据复制对主机是透明的。配置双磁盘系统，通过磁盘系统提供的数据复制功能，在磁盘间进行实时数据复制，保证两套磁盘设备上的数据同步。可以有效避免由于单一磁盘系统发生故障而导致的系统意外宕机。充分提高系统的连续可用性。这种磁盘设备间数据复制方式，是基于IBM磁盘系统提供的数据复制技术来实现的。使用DS8000、ESS800、DS6800等型号时，具体采用PPRC复制方案实现；使用DS4000系列型号时，具体采用ERM复制方案实现。这类数据复制技术，可支持的主机范围广，是目前技术成熟、应用广泛的本地高可用解决方案和容灾方案。下面，以PPRC复制方案为例，进行说明。点对点远程拷贝(PPRC)是基于IBM存储设备的一种数据复制工具，它分为同步、异步和层叠式PPRC。其中，同步方式又称为Metro-Mirror，异步方式又称为Global-Mirror，层叠方式又称为Metro/GlobalMirror。同步和异步方式可以转换。这种复制技术，既可以实现本地存储高可用，也可以实现远程灾难备份。本地高可用、远程灾备两部分内容可以并存，也可以平滑过渡和转化。在本地存储高可用性的应用中，重点在于保证数据的不丢失和完全可用，所以一般采用同步方式，即MetroMirror方式。它既可以用于同一机房内部、同建筑等本地的两个ESS800或DS8000系统之间的数据复制，也可用于相隔距离多达300公里的两个ESS或DS8000系统间的数据复制。PPRC将确保如果备份卷不能被更新，那么即使源卷更新成功，整个写操作也会返回失败彻底保证源卷和目的卷的数据彻底一致。同步方式可以保证数据不会丢失，更重要的是数据的一致性在这种方式下能够得到很好的保证数据的不一致意味着相关数据的丢失，此时数据库的数据安全机制无法保证数据的安全，严重时有可能造成数据库无法启动。PPRC的同步实现机制如下图所示：1）生产系统中的应用程序将数据写到生产磁盘设备。（主要是写入生产存储设备的CACHE和相应的NVS当中）2）生产数据复制到备份磁盘设备。 生产系统中的磁盘数据传输到备份磁盘（主要是写入到备份存储设备的CACHE和相应的NVS当中）3）当生产数据都写入备份存储设备的CACHE和相应的NVS后，备份磁盘将写完操作信息返给生产磁盘4）已写信息返回之后，生产磁盘系统通知主机该写操作已完毕，在此之后生产系统应用继续执行。5）重复进行以上的操作在PPRC的数据复制保护下，磁盘设备B和磁盘设备A上，存放着相同的生产数据。当生产磁盘设备A发生故障、无法使用时，仅需快速地改变生产连接到磁盘设备B，生产就能够得到回复，业务受到的中断影响严格可控制。基于磁盘设备的这类数据复制技术对主机要求较少，但是要求生产中心和备份中心的存储设备的硬件平台相同或相近。基于该种方案的数据复制系统在搭建数据链路时，普遍采用了基于FC的光纤裸链路，在同一机房或同一建筑内时，更是可以直接使用FC光纤，其数据的传输性能可以得到保证。方式三：采用SVC或V7000或V7000实现逻辑卷镜像通过IBMSVC或V7000（SANVolumeController）来实现两台存储系统上的磁盘进行镜像后为服务器提供存储。上图是通过SVC或V7000实现两台阵列之间存储镜像的示意图。对于底层的磁盘阵列来说，其使用方式与现在相同，对其内部的磁盘先进行R