V7000存储高可用解决方案

1、方方 案案 建建 议议 书书 （xxx 容灾方案建议）容灾方案建议） 参考方案参考方案 目目 录录 第第 1 章章 xxxx 容灾方案参考容灾方案参考.1 1.1系统现状.1 1.2容灾需求分析.1 1.3容灾参考方案.2 1.3.1总体架构规划.2 1.3.2v7000 外部存储虚拟化功能说明.3 1.3.3v7000 vdm（虚拟磁盘镜像）功能说明 .3 1.3.4后期存储扩展建议.4 1.4系统配置参考.4 第第 2 章章 v7000 存储设备介绍存储设备介绍.6 2.1ibm v7000 存储系统概述.6 2.2通过 ibm system storage easy tier增强访问能力

2、.6 2.3通过精简调配来优化效率.7 2.4动态迁移避免系统中断运行.7 2.5通过复制服务来保护数据.8 2.6管理工具与 ibm systems director相集成.10 2.7高性能 ssd 支持.10 2.8外部存储系统虚拟化.10 第第 3 章章 存储高可用技术建议存储高可用技术建议.12 3.1存储高可用性的内容.12 3.2存储高可用性方案的主要实现方式.14 3.2.1方式一：磁盘设备间数据镜像( 如 lvm mirror ) .15 3.2.2方式二：磁盘设备间数据复制（如 pprc 或 erm）.19 3.2.3方式三：采用 svc 或 v7000 或 v7000 实

3、现逻辑卷镜像.21 3.2.4三种 ha 方式的比较.23 第第 1 章章 xxxx 容灾方案参考容灾方案参考 1.1 系统现状系统现状 xxxx 现有 it 系统的现状大致如下图所示。采用 ibm p550 服务器作为数据库服务器，采 用 ds3400 存储设备作为主存储系统。 1.2 容灾需求分析容灾需求分析 当前，xxxx 计划在同一园区内建设容灾系统，在容灾中心和主生产中心之间采用 2km 长 的裸光纤进行直连。并且，希望对现有的存储设备进行充分利旧。 ibm 将针对当前所了解的情况，做出初步的方案，供 xxxx 容灾建设参考。 由于 ds3400 设备没有自身的基于磁盘的远程复制功能

4、，因此无法采用基于存储底层的磁 盘复制技术。此外，由于 ds3400 的性能有限，且缓存较低，因此采用基于 aix 操作系统的 lvm 镜像方式性能会有影响。（各种高可用技术，详见第 3 章的说明） 而目前 ibm 最新的虚拟化存储设备 v7000，即可以支持外部存储的接入，也可以支持内部 存储和外部存储之间的镜像，因此可以通过 v7000 存储设备来实现存储的高可用，并达到同园 区内容灾的目的。 1.3 容灾参考方案容灾参考方案 1.3.1 总体架构规划总体架构规划 总体同园区容灾的架构如上图所示，建议新增一套 ibm v7000 存储设备，并配置外部存储 接入功能。 通过两对 san 交换

5、机之间的 2km 裸光纤直连，可以将现有的 ds3400 作为 v7000 存储设 备的外接存储，ds3400 上的卷以 image 模式接入到 v7000 中，并和 v7000 上的卷组成镜像的 卷（采用了 v7000 的 vdm 功能）。即当服务器写数据到 vdm 镜像后的卷的时候，v7000 会 自动在 v7000 的卷和 ds3400 的卷中各写一份，保障了在本地和远端同时都有一份相同的数据。 在光纤交换机上，需要在每台 san 交换机上都配置一个单模长波模块用于 2km 裸光纤的 直连。 1.3.2 v7000 外部存储虚拟化功能说明外部存储虚拟化功能说明 v7000 具有外部存储虚

6、拟化功能，该功能沿袭了目前业界最成熟的存储虚拟化产品 ibm svc 的几乎所有功能，具有当前最广泛的存储兼容性能，可以连接大部分的光纤存储设备。 外部存储系统虚拟化允许您将外部光纤通道控制器的磁盘容量添加到 ibm storwize v7000 存储容量池中，从而提高软件价值和性能优势。对于不再用作主存储系统，但可通过重新部署而 用作备用存储系统的现有存储产品来说 例如，用作闪速拷贝目标或者用于保存归档数据的存 储系统 这将能够延长它们的使用寿命，但不影响 ibm storwize v7000 的管理及存储功能发挥 高效率的优势。 1.3.3 v7000 vdm（虚拟磁盘镜像）功能说明（虚拟

7、磁盘镜像）功能说明 通过 ibm svc 或 v7000（san volume controller）来实现两台存储系统上的磁盘进行镜像 后为服务器提供存储。上图是通过 svc 或 v7000 实现两台阵列之间存储镜像的示意图。 对于底层的磁盘阵列来说，其使用方式与现在相同，对其内部的磁盘先进行 raid，然后 在 raid 组上进行逻辑磁盘（lun）的划分。如上图的例子中，首先对两个阵列的磁盘做 raid5，然后在左边阵列中再作成 luna 和 lunb 两个逻辑磁盘，同样在右边阵列中可以作成 lun1 和 lun2 两个逻辑磁盘。 在没有 svc 或 v7000 的时候，我们要把这些 lu

8、n map 给对应的服务器，然后在服务器上 就可以找到这些硬盘。但是这样并没有实现磁盘阵列之间的 mirror。 现在，我们有了 svc 或 v7000 设备，这个时候不再把这些 lun map 给服务器，而是 map 给 svc 或 v7000。svc 或 v7000 把这些 map 过来的磁盘当做是可使用的原始磁盘，称之为 managed disk。 svc 或 v7000 再对 managed disk 进行处理，可以在不同的 managed disk 之间进行镜像作 成供服务器使用的 virtual disk。如上图，svc 或 v7000 将从左边磁盘阵列获得的 ma 和从右边 阵列

9、获得的 m1 进行 mirror 后，形成了 virtual disk 为 vdisk1。然后再将 vdisk1 map 给服务器。 服务器就像使用本地磁盘一样的使用 vdisk1。 这个时候我们回头看一下 vdisk1 的组成，它是由两个阵列中的 lun 通过 mirror 方式组成 的。 使用 svc 或 v7000 进行跨阵列 mirror 后，对于服务器获得的 vdisk 来说，不会因为任何 一个磁盘存储系统的故障而出现问题。这样大大提高了存储系统的可用性，为前端应用系统的 开展提供了更好的保障。 1.3.4 后期存储扩展建议后期存储扩展建议 由于 v7000 具有外部存储扩展功能，同

10、时也支持自身的扩展柜，因此在后期的扩展中，可 以同时增加自身的扩展柜和外部存储，来实现本地存储的高可用性，即本期所建设的同园区容 灾功能。 同样，v7000 存储设备还具有远程复制功能，通过 v7000 的远程复制功能，今后还可以帮 助 xxxx 建设异地的容灾系统。 1.4 系统配置参考系统配置参考 ibm v7000 存储系统 双控制器节点，16gb 缓存 8 个 8gb fc 接口，4 个 1gb iscsi 接口 24 块 300gb 10k 转 sas 磁盘 外部存储虚拟化功能许可（1 个扩展设备） san 交换机四台： 每台配置 15 个 8gb fc 接口和 1 个单模长波接口。

11、 项目实施服务 服务器设备需根据实际需求来配置。 第第 2 章章 v7000 存储设备介绍存储设备介绍 2.1 ibm v7000 存储系统概述存储系统概述 ibm storwize v7000 是功能强大的存储系统，结合了适当的软硬件组件，提供单一控制点 来帮助提高存储效率。ibm storwize v7000 支持中型企业的存储资源虚拟化、整合与层级，旨 在提高应用可用性和资源利用率。在您的 it 基础架构中，无论是全新还是现有存储资源，该系 统都提供易用的、经济高效的、卓有成效的管理功能。 2.2 通过通过 ibm system storage easy tier 增强访问能力增强访问能

12、力 easy tier 能够将常被访问的数据自动迁移到高性能的固态驱动器中，从而提高利用效率。 easy tier 功能运行在细粒度的“子 lun”环境中，能够基于 io 模式和驱动器特征将数据片段 自动转移到适当级别的驱动器上，无需管理员的进一步互动。easy tier 还允许您在不中断系统 运行的情况下手动调整整个逻辑卷的位置，从而进一步提高灵活性和控制力，允许企业根据应 用需求来更加有效地调节系统性能。 easy tier 允许您轻松省钱地部署 ssd。easy tier 允许您创建混合型存储资源池并且在托管 磁盘组群中将存储资源分割成两层，通常是 ssd 和 hdd。此外，easy t

13、ier 也支持其他的分割 方法和定义。 找出最繁忙的子lun数据单元并且将它们自动转移到高性能ssd中。 剩下的数据单元可利用容量更大的低价位驱动器来创造最佳客户价值。 系统可自动监控和管理 ssd 或 hdd 托管磁盘组群中的卷，您也可以通过将热点数据块转 移到 ssd 并且将冷点数据块转移到 hdd 来自动处理它们。 2.3 通过精简调配来优化效率通过精简调配来优化效率 使用精简调配功能，应用可以动态增长，但只会占用它们实际使用的空间。精简调配功能 旨在将业务成本控制在较低的水平，能够基于每名用户在任何指定时间点的最低空间需求通过灵 活的方式在多名用户之间分配磁盘存储空间，从而优化效率。这

14、不仅能够减少对存储硬件的使用， 而且还能减少用电量、产热量和硬件的场地需求。 例如，在某个环境中，没有任何用户请求超过 10 gb 的数据，每名用户有效使用的数据平 均不到 6 gb。在这个环境中，存储管理员可以决定通过精简调配卷的方式给每名用户分配 10 gb 的虚拟容量，每名用户分配到的实容量仅为 6 gb。如果有 100 名用户，则虚拟容量总计 1 tb，而存储子系统中的实容量仅为 600 gb。如果管理员根据以往经验知道并非所有的用户都在 同一时间使用全部物理容量的话，则这种做法是有效的。有些用户只请求 4 gb 或更少的数据， 有些用户则可能请求全部的 10 gb 数据。但前提仍然是

15、用户平均请求的实容量不能超过 6 gb。 存储管理员仍有责任监控实容量的分配情况，以免出现存储容量不够用的问题，当容量到达门 限值时，存储系统将会发出警报并且进行跟踪监控。 2.4 动态迁移避免系统中断运行动态迁移避免系统中断运行 ibm storwize v7000 使用虚拟化技术来防止主机应用受到物理存储变化的影响，因此，您 在更改存储基础架构时，您的应用仍可继续正常运行，进而您可以正常开展业务。 数据迁移是计划内停机的最常见原因之一。storwize v7000 提供动态数据迁移功能，当您 在现有存储器与全新系统之间迁移数据或者在 storwize v7000 系统的阵列之间迁移数据时，

16、可 保持用户继续访问数据。例如，当您为了实现负载均衡而更换老式存储器时，或者当您在层级 式存储基础架构中迁移数据时，都可使用这项数据迁移功能。 ibm storwize v7000 动态迁移功能可以创造商业价值并且提高效率。动态迁移可将创收速 度从几周甚至几个月缩短为几天、最大限度地缩短迁移造成的故障停机时间、消除添加迁移工 具的成本、并且帮助您避免与延期租借相关的罚款和其他维护开销，从而真正实现成本节约。 2.5 通过复制服务来保护数据通过复制服务来保护数据 ibm storwize v7000 提供极为丰富的闪速拷贝(flashcopy)功能，旨在创建近即时的活动数 据拷贝，以便顺利开展备

17、份工作或者并行处理活动。您最多可为每个卷创建 256 个拷贝。 ibm storwize v7000 支持增量闪速拷贝操作，只拷贝自闪速拷贝功能上次运行以来发生变 化的部分源或目标卷，并且支持“拷贝的拷贝”功能 对副本进行拷贝 从而提高效率。这 些功能可用于帮助您基于生产数据来维护和更新测试环境。 若与 ibm storwize v7000 的精简调配功能配合使用，您可以只使用完整物理拷贝所需的部 分存储资源来创建拷贝。这项功能名为“空间高效型闪速拷贝”(space efficient flashcopy)，旨 在帮助您提高存储资源的总体利用率。 逆向闪速拷贝(reverse flashcop

18、y)功能可令闪速拷贝目标变成源卷的恢复点，但不会破坏闪 速拷贝的关系，也无需您等待最初的拷贝操作完成后才能采取行动。这项新功能将帮助您立刻 使用磁盘备份拷贝来恢复受损数据，从而加快应用恢复速度。 ibm tivoli storage flashcopy manager 专为当今的商业环境而设计，旨在支持应用服务器 24 小时全天候运行 并且全面保护数据。如果您拥有一个 24x7 全天候运行的环境，将无法容 忍丢失任何数据，也不能接受为了充分保护数据而数小时中断关键系统的正常运行。但是，随 着需要保护的数据量继续呈现指数增长，企业也日益需要将备份数据导致的故障中断控制在绝 对最低水平，但 it

19、流程已经接近断点。tivoli storage flashcopy manager 可以帮助您基于 ibm storwize v7000 flashcopy 的备份和恢复功能对备份工作进行调整，从而最大限度地降低备份影 响。该产品可将备份与恢复时间从几小时缩短为几分钟 通过简化管理工作以及自动执行存储 管理任务来提高生产力。 运行在 ibm storwize v7000 系统之间不 同位置的城域镜像和全局镜像功能能够帮助 您创建数据拷贝，以便在数据中心发生灾难 性事件时使用。城域镜像设计用于在“城市” 距离(最长 300 千米)维护完全同步拷贝，而 全局镜像则设计用于异步运行，以便帮助维 持更

20、长距离的拷贝(最长 8000 千米)。这两项 功能均支持 vmware vcenter site recovery manager，以便快速实现灾难恢复。 2.6 管理工具与管理工具与 ibm systems director 相集成相集成 这个解决方案通过集成方法来管理 ibm 服务器和存储器，旨在帮助 it 机构解决与同时管 理物理和虚拟服务器基础 架构相关的重大忧虑 包括监控和修复功能，以便提高可用性、运营效率和基础架构规划 效力。一名系统管理员即可使用单一管理界面来同时管理并且操作 ibm 服务器(system x、 system p和 bladecenter)、网络基础架构及 ibm

21、 存储器(包括 ibm storwize v7000)。 2.7 高性能高性能 ssd 支持支持 对于需要高速磁盘及快速数据存取的应用来说，ibm 通过 300 gb 2.5 e-mlc (企业级多级 单元) ssd 提供固态驱动器，在一个支持向外扩展高性能 ssd 的系统中最多提供 72 tb 的物理 容量。 2.8 外部存储系统虚拟化外部存储系统虚拟化 外部存储系统虚拟化允许您将外部光纤通道控制器的磁盘容量添 加到 ibm storwize v7000 存储容量池中，从而提高软件价值和性能优 势。对于不再用作主存储系统，但可通过重新部署而用作备用存储系 统的现有存储产品来说 例如，用作闪速

22、拷贝目标或者用于保存归 档数据的存储系统 这将能够延长它们的使用寿命，但不影响 ibm storwize v7000 的管理及存储功能发挥高效率的优势。 第第 3 章章 存储高可用技术建议存储高可用技术建议 云计算服务管理平台是为了加强和简化云计算平台的统一管理所提供的一整套管理系统。 在银鹭集团的云计算项目中，建议在一期完成云基础平台后，于二期系统建设的时候部署。以 下是云计算服务管理平台的相关介绍。 3.1 存储高可用性的内容存储高可用性的内容 我们先来分析一下，高可用性所覆盖的内容。 首先，业务连续性由三级支撑构成。高可用性，扮演着其中最为基本的一级： 高可用性（high availab

23、ility） 要求容错的硬件、自动诊断以及故障隔离、预分析、冗余等。其中，冗余 是其最核心的特征。 数据复制（data replication） 在同城、异地，或者同城及异地进行数据的有效复制 数据恢复（data recovery） 非计划停机时，进行保护和恢复，满足恢复点目标和恢复时间目标 高可用性，是体现在系统的各个细节中。从一个典型的 it 系统拓扑来看，它 的主要实现层次如下图所示： 本地存储设备层次的高可用性，如图中蓝色虚线方框所示，主要从以下三方面 考虑： 冗余冗余 san 网络网络 san 交换机冗余配置，主机光纤通道卡、存储光纤接口双配置，冗余连接等。 这部分设计用于防范通道、

24、接口和网络的单点故障。 存储设备个体高可靠存储设备个体高可靠 除普遍支持 raid 保护技术外，目前的部分高端企业级存储，还采用全冗余设 计、镜像缓存等技术来进行自身保护。这部分设计和使用，侧重在于保证存储设备 单个个体内的数据安全。当存储设备出现全面故障，不能运转时，最多只能保证 “数据不丢失”，不能支持“数据持续访问”。 双存储设备双存储设备 如上图中红色虚线部分所示，配置双磁盘设备，存放双数据拷贝。保证在单个 存储服务器出现故障时，首先实现数据不丢失，其次实现业务的连续运行。 在这三方面中，冗余 san 网络、存储设备个体高可靠相对为人所熟悉，不再赘 述。下面所谈的存储高可用性方案重点，

25、将集中在“双存储设备”的环节上。 3.2 存储高可用性存储高可用性方案的主要实现方式方案的主要实现方式 存储高可用性，有三种主要的实现方式： 方式三：采用 svc 或 v7000 虚拟存储实现逻辑卷镜像 3.2.1 方式一：磁盘设备间数据镜像方式一：磁盘设备间数据镜像( 如如 lvm mirror ) 通过 pseries 的 lvm（逻辑卷镜像）等技术，在两套磁盘设备间，建立数据镜 像关系。两套存储设备同时处于活动状态。生产主机在写数据时，会同时写入两套 磁盘设备中。 该方式能够提供最佳的持续可用性。当一台存储设备出现整机故障时，由另一 台存储设备独立工作，应用不会受到中断。 配置双磁盘系统

26、，通过操作系统的卷管理功能，在磁盘间进行数据镜像，保证 两套磁盘设备保存有实时相同的数据拷贝。可以有效避免由于单一磁盘系统发生故 障而导致的系统意外宕机。充分提高系统的连续可用性。 这种双磁盘系统间数据镜像方式，是基于 ibm p 系列主机系统的 lvm（逻辑卷 管理）功能实现的。lvm 功能，是 ibm 在 unix 系统创先使用的磁盘空间管理功能， 它嵌入在 aix 核心功能中，具有速度快、功能强大、管理方便等优点。lvm 功能和 ibm 存储系统配合，是目前技术成熟度高、投资相对较低、实施快速简便、应用行之 有效的本地高可用解决方案和容灾方案。 在实施 ibm lvm 的数据镜像方案时，

27、分别将磁盘系统 a 和磁盘系统 b，通过光 纤 hba 卡连接到 san 交换机上，接入 san 网络。这时，主机会有效识别两套存储系 统。之后，通过主机的 lvm 管理器，将需要高可用保护的数据，在两套磁盘系统上建 立镜像关系。一份数据拷贝放置在磁盘系统 a 上，另一份数据拷贝放置在磁盘系统 b 上，两份数据拷贝保持着实时同步关系。读数据时，可以从任意一份数据拷贝中读出， 提高性能；写数据时，两份数据拷贝被同时修改。当任意一个磁盘系统发生故障，即其 中一份数据拷贝失效时，另一份数据拷贝照常发挥作用，业务不会停顿。非常好地保 证了数据的高可用性。 lvm 可以为一个每一个数据卷提供多份拷贝，它

28、可以支持 23 份数据拷贝。该 功能包含在 p 系列主机 aix 操作系统中。 采用这种方式，业务和应用系统的运行可以通过集群软件 hacmp 进行主机之间 的故障接管，实现应用系统运行功能的高可用性；数据存储系统可以采用 lvm 进行 磁盘存储系统之间的故障接管，实现应用系统数据访问的高可用性。这样，即使有 一半的主机系统和一半的存储系统发生故障，不能正常工作，整个系统也不会发生 瘫痪，仍旧可以继续运行，充分满足了业务连续运行的要求。 应用 lvm 的方案对用户的现有环境没有改变，不存在数据集中迁移的问题，而 且业务系统保持同时在线，不存在系统接管、应用重新启动的问题，可以实现系统 的平滑过

29、度。 实施 lvm 方案，既可以在相同型号的 ibm 存储产品之间进行，也可以在不同 型号的 ibm 存储产品之间进行。 下面简要说明 lvm 的实施过程。 lvm 为操作系统的卷管理器，对于 ibm 的存储设备，在相同或者不同型号的磁 盘系统上，二个磁盘系统的磁盘空间可组成同一 vg（volume group）, 对操作系统 来说磁盘 a 的盘和磁盘 b 的盘都是相应/dev/dsk 下的设备号，同一 vg 又可以分成 逻辑卷（ logical volumes），每个逻辑卷之间又可以在线的做镜像，所以可以把 磁盘 b 的盘加到磁盘 a 的 vg 里，形成逻辑卷，用 lvm 使磁盘 b 的相应

30、的卷成为磁盘 a 的镜像。 作为一个完善的高可靠性和高连续可用性系统应该能够同 时满足数据备份与应用切换的需求，其中应用切换已经由 hacmp 高可用性集群实现，下面针对该方案中的数据同步部分加以分 析。 为了实现数据的同步，我们利用数据镜像功能 lvm，为已有 的磁盘 a（下图所示之“数据拷贝一”）上的生产数据添加一个拷 贝，并将其镜像设备指定为磁盘 b（下图所示之“数据拷贝二”）。 正常工作模式下，数据的写入操作可以用下图说明： 数据更新流向图 生产系统对磁盘 a 的“数据拷贝一”的任何更新都实时在磁 盘 b 的“数据拷贝二”得到更新，“数据拷贝一”和“数据拷贝二”的 更新方式有顺序方式、

31、并行方式等多种机制可供选择。一般使用 并行方式以增加整体性能。 当存储系统 a 发生故障时，生产无需停顿，生产主机利用存 应用 aix lvm 数据拷贝一数据拷贝二 应用 aix lvm 储系统 b 上的数据拷贝继续运行。如下图所示： 本地存储故障 当对存储设备 a 进行维修时，断开镜像关系；存储设备 a 修 复后，恢复数据镜像关系，数据自动在 a 和 b 的两份拷贝间同步， 之后恢复到两份拷贝同步运行模式。 3.2.2 方式二：磁盘设备间数据复制（如方式二：磁盘设备间数据复制（如 pprc 或或 erm） 通过 pprc 或 erm 等磁盘数据复制技术，在两套磁盘设备间建立数据复制关 系。对

32、于主机来讲，活动状态的存储设备只有一台。这台存储设备使用硬件复制技 术和备份磁盘之间进行数据复制，保持两个存储设备上的数据一致。数据复制对主 机是透明的。 应用 aix lvm 数据拷贝一数据拷贝二 应用 aix lvm x x 配置双磁盘系统，通过磁盘系统提供的数据复制功能，在磁盘间进行实时数据 复制，保证两套磁盘设备上的数据同步。可以有效避免由于单一磁盘系统发生故障 而导致的系统意外宕机。充分提高系统的连续可用性。 这种磁盘设备间数据复制方式，是基于 ibm 磁盘系统提供的数据复制技术来实 现的。使用 ds8000、ess800、ds6800 等型号时，具体采用 pprc 复制方案实现；使

33、 用 ds4000 系列型号时，具体采用 erm 复制方案实现。这类数据复制技术，可支持的 主机范围广，是目前技术成熟、应用广泛的本地高可用解决方案和容灾方案。 下面，以 pprc 复制方案为例，进行说明。 点对点远程拷贝(pprc)是基于 ibm 存储设备的一种数据复制工具，它分为同步、 异步和层叠式 pprc。其中，同步方式又称为 metro-mirror，异步方式又称为 global-mirror，层叠方式又称为 metro/global mirror。同步和异步方式可以转换。 这种复制技术，既可以实现本地存储高可用，也可以实现远程灾难备份。本地高可 用、远程灾备两部分内容可以并存，也可

34、以平滑过渡和转化。 在本地存储高可用性的应用中，重点在于保证数据的不丢失和完全可用，所以 一般采用同步方式，即 metro mirror 方式。它既可以用于同一机房内部、同建筑等 本地的两个 ess800 或 ds8000 系统之间的数据复制，也可用于相隔距离多达 300 公 里的两个 ess 或 ds8000 系统间的数据复制。 pprc 将确保如果备份卷不能被更新，那么即使源卷更新成功，整个写操作也会 返回失败-彻底保证源卷和目的卷的数据彻底一致。同步方式可以保证数据不会丢 失，更重要的是数据的一致性在这种方式下能够得到很好的保证-数据的不一致意 味着相关数据的丢失，此时数据库的数据安全机

35、制无法保证数据的安全，严重时有 可能造成数据库无法启动。 pprc 的同步实现机制如下图所示： 1）生产系统中的应用程序将数据写到生产磁盘设备。（主要是写入生产存储设备的 cache和相应的nvs当中） 2）生产数据复制到备份磁盘设备。 生产系统中的磁盘数据传输到备份磁盘（主要是写入到备份存储设备的cache 和相应的nvs当中） 3）当生产数据都写入备份存储设备的cache和相应的nvs后，备份磁盘将写完操作信 息返给生产磁盘 4）已写信息返回之后，生产磁盘系统通知主机该写操作已完毕，在此之后生产 系统应用继续执行。 5）重复进行以上的操作 在 pprc 的数据复制保护下，磁盘设备 b 和磁

36、盘设备 a 上，存放着相同的生产数 据。当生产磁盘设备 a 发生故障、无法使用时，仅需快速地改变生产连接到磁盘设 备 b，生产就能够得到回复，业务受到的中断影响严格可控制。 基于磁盘设备的这类数据复制技术对主机要求较少，但是要求生产中心和备份 中心的存储设备的硬件平台相同或相近。基于该种方案的数据复制系统在搭建数据 链路时，普遍采用了基于 fc 的光纤裸链路，在同一机房或同一建筑内时，更是可 以直接使用 fc 光纤，其数据的传输性能可以得到保证。 3.2.3 方式三：采用方式三：采用 svc 或或 v7000 或或 v7000 实现逻辑卷镜像实现逻辑卷镜像 通过 ibm svc 或 v7000

37、（san volume controller）来实现两台存储系统上的磁 盘进行镜像后为服务器提供存储。上图是通过 svc 或 v7000 实现两台阵列之间存储 镜像的示意图。 对于底层的磁盘阵列来说，其使用方式与现在相同，对其内部的磁盘先进行 raid，然后在 raid 组上进行逻辑磁盘（lun）的划分。如上图的例子中，首先对两 个阵列的磁盘做 raid5，然后在左边阵列中再作成 luna 和 lunb 两个逻辑磁盘，同 样在右边阵列中可以作成 lun1 和 lun2 两个逻辑磁盘。 在没有 svc 或 v7000 的时候，我们要把这些 lun map 给对应的服务器，然后在 服务器上就可以找

38、到这些硬盘。但是这样并没有实现磁盘阵列之间的 mirror。 现在，我们有了 svc 或 v7000 设备，这个时候不再把这些 lun map 给服务器， 而是 map 给 svc 或 v7000。svc 或 v7000 把这些 map 过来的磁盘当做是可使用的原始 磁盘，称之为 managed disk。 svc 或 v7000 再对 managed disk 进行处理，可以在不同的 managed disk 之间 进行镜像作成供服务器使用的 virtual disk。如上图，svc 或 v7000 将从左边磁盘 阵列获得的 ma 和从右边阵列获得的 m1 进行 mirror 后，形成了 v

39、irtual disk 为 vdisk1。然后再将 vdisk1 map 给服务器。服务器就像使用本地磁盘一样的使用 vdisk1。 这个时候我们回头看一下 vdisk1 的组成，它是由两个阵列中的 lun 通过 mirror 方式组成的。 使用 svc 或 v7000 进行跨阵列 mirror 后，对于服务器获得的 vdisk 来说，不会 因为任何一个磁盘存储系统的故障而出现问题。这样大大提高了存储系统的可用性， 为前端应用系统的开展提供了更好的保障。 3.2.4 三种三种 ha 方式的比较方式的比较 针对以上三种 ha 方式的实现方法，将三种 ha 方式比较如下： 比较项目方式一：lvm方

40、式二：pprc/erm 方式三：svc 或 v7000 实现层面 服务器操作系统 aix 的卷管理层面 磁盘存储系统的控 制器层面 虚拟存储设备 ha 方式 同一个厂商相同 系列的两个阵列的逻 辑卷通过主机的 aix 操作系统进行镜像。 利用数据的远程同 步模式 利用 svc 或 v7000 可以实现不同厂商或同 一厂商不同系列存储设 备的逻辑卷的镜像功能。 服务器性 能影响 由于操作系统需 要同时写两次 i/o， 略影响服务器性能 由于异地数据同步 造成的 i/o 延时，降 低服务器的 i/o，影响 与距离相关，是三种 方式中最大的。 几乎无影响，甚至 由于采用 svc 或 v7000 后，

41、服务器获得更高的 i/o 性能。 业务连续 性 单个存储损坏， 不影响业务。 主存储损坏的情况 下，异地存储的启用 需要时间。有一定的 业务中断。 单个存储损坏，不 影响业务性能。 数据保护 距离 为本地，不超过 500 米 可异地，建议不超 过 30km 为本地，不超过 500 米 实施难度一般难度较为复杂一般难度 其它功能无容灾 存储虚拟化、数据 迁移、容灾扩展，异构 存储等。 羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿

42、蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇

43、蚄袆膀葿衿螂羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈

44、莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂 腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈

45、羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁

46、蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿

47、薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅 螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂

48、腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂

49、芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节

50、节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂 螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿

51、肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃

52、莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄

53、莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂 莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄

54、芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇

55、蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅

56、薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃 肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈

57、膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈

58、芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈

59、芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿 螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂

60、荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肃羄芃蚃罿羃莅衿袅羂蒇蚁螁肁薀蒄聿肀艿蚀羅肀蒂蒃羁聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅袄膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁蚂肁芈芁蒅羇芈莃蚁袃芇蒆蒃蝿芆芅虿螅芅莈薂肄芄蒀螇罿芃薂薀袅节节螅螁莂