EMC存储技术建议书黑龙江移动

1、1/60 黑龙江移动黑龙江移动 emcemc 技术建议书技术建议书 天图科技有限公司天图科技有限公司 附件二之一：emc 技术建议书 http:/ 2/60 目目 录录 1黑龙江移动通信业务支撑系统现状及容灾项目需求分析黑龙江移动通信业务支撑系统现状及容灾项目需求分析 .4 2灾难备份系统的建设灾难备份系统的建设 .5 3黑龙江移动通信公司容灾方案总体设计黑龙江移动通信公司容灾方案总体设计 .7 3.1emc srdf 容灾基本原理.7 3.2黑龙江移动通信 srdf 容灾方案 .10 3.3选择 emc 容灾方案的优势总结.15 4emc symmetrix srdf 容灾方式详述容灾方式详

2、述 .16 4.1什么是 srdf?.16 4.2srdf 的工作方式 .18 4.2.1远程磁盘镜像工作方式.18 4.2.2多米诺模式.19 4.2.3无效磁道.20 4.3srdf 和 emc time finder软件的配合.21 5emc 容灾方案特点容灾方案特点.22 5.1高性能存储和容灾平台 .22 5.2数据的安全性和系统的高可靠性 .22 5.3系统的高效性 .22 5.4高可用性和支持业务连续性 .23 5.5灵活性和系统管理的简单性 .23 5.6丰富的实施经验和优秀的售后服务 .24 6emc symmetrix dmx 简介简介.24 6.1symmetrix dm

3、x 企业智能存储系统的优势和特点.24 6.2symmetrix dmx 先进的系统结构.25 6.3symmetrix dmx 内部数据流及高性能.29 6.4symmetrix dmx 的高可靠性.30 7emc 软件简介及安装步骤软件简介及安装步骤.34 7.1powerpath介绍.34 7.2powerpath基本原理.35 7.3powerpath软件的基本安装步骤.38 附件二之一：emc 技术建议书 http:/ 3/60 7.4timefinder产品介绍 .38 7.5timefinder工作原理 .39 7.6timefinder优势 .42 7.7timefinder主

4、要应用领域 .42 7.8emc control center.45 7.9信息管理和“emc 效应”.46 7.10emc controlcenter的功能.47 7.11emc controlcenter的组件.47 8光纤交换机产品介绍光纤交换机产品介绍 .50 8.1emc-mcdata ed-140m.50 8.2emc-brocade ed-24000b.54 附件二之一：emc 技术建议书 http:/ 4/60 1 1 黑龙江移动通信业务支撑系统现状及容灾项目黑龙江移动通信业务支撑系统现状及容灾项目 需求分析需求分析 黑龙江移动通信业务支撑系统现状黑龙江移动通信业务支撑系统现状

5、 信息系统作为所有电信业务支撑系统的基石,始终走在 it 技术发展的前列,为电信 业务的快速发展提供保障。随着中国电信行业的进一步商业化运做以及中国加入世界贸 易组织(wto)步伐的加快,电信领域的竞争将会更趋激烈。在这一过程中我们可以看到, 信息系统的作用变得越来越重要,如何更有效地管理,保护和共享企业信息已经为电信行 业的发展提出了新的挑战。这种挑战实际上是由电信产业的本质所决定的。现代电信产 业发展速度很快, 业务的增长已非传统经济下的线形增长模式,经常会做跳跃式的发展。 在这样的大背景之下网通如何在竞争日益激烈的电信领域中继续保持领先地位,如何吸 引更多的用户,一个稳健、安全、灵活的信

6、息处理平台，特别是企业内统一存储平台的一个稳健、安全、灵活的信息处理平台，特别是企业内统一存储平台的 建立已成为电信企业发展的首要考虑因素建立已成为电信企业发展的首要考虑因素。传统的头疼医头,脚疼医脚的修修补部的方 案已不能胜任这一需求,企业真正需要的是坚实的 it 信息基础设施。 在传统的分布式处理模式下，电信企业所有的信息分散在多个分支机构及其内部多 个服务器上，信息的管理、信息的可用性受到了很大的限制，不能充分发挥应有的作用， 而且系统的升级和新业务的开发部署也都不能及时响应用户快速变化的要求，在这种情 形下，以信息和数据为中心的集中处理模式应时代的需要走上了历史舞台,而构建企业 信息基

7、础设施则更是集中处理模式的重中之重. emc 公司基于信息为核心提出的 e- inforstructure 为这种新的产业模式提出了完善的解决方案。绝大多数世界顶级的电 信企业都已在 emc 的 symmetrix 企业存储平台上之上建立了自己的信息基础设施。 为满足目前及未来业务发展的需要，以提高系统处理能力、可靠性、业务连续性和 可扩展性，使之具有最佳的投入产出比，emc 公司在对黑龙江移动通信现有 it 系统进 行了充分评估和需求分析之后，结合黑龙江移动通信的具体要求，提出此存储容灾方案 设计建议书。本建议书将对方案设计、技术选择、投资保护等方面做充分的论述和分析。 附件二之一：emc

8、技术建议书 http:/ 5/60 emc 公司希望能够将在类似项目中积累的经验与用户分享，让 emc 公司的先进存储技术 和解决方案能加速黑龙江移动通信信息系统的发展，保障黑龙江移动通信更好的服务于 新经济发展的需要,取得更好的经济效益，并在电信行业目前激烈的竞争中获得主动和 优势。 黑龙江移动通信作为国内大型固网运营商，中国移动的主要子公司之一，不断强大 的业务支撑系统为黑龙江移动通信的业务发展提供了强有力的支持，同时不断发展的业 务量和新增值业务也为支撑系统的建设提出了更高的要求。 目前黑龙江移动通信的 boss 系统由 ibm 小型机组成集群系统平台，存储平台采用 2 台 ibm sh

9、ark，组成一个小规模的 san(存储局域网)环境。备份系统采用 lto3584 大 型磁带库，备份管理软件采用 veritas nbu 系统。数据库平台是 sybase. 2 2 灾难备份系统的建设灾难备份系统的建设 随着黑龙江移动通信有限责任公司 boss 系统重要性的提高，boss 省中心数据处 理的高可靠性和高可用性越来越成为关键。因此黑龙江移动通信有限责任公司决定在异 附件二之一：emc 技术建议书 http:/ 6/60 地建立 boss 系统的容灾备份中心。本次工程先进行数据级容灾系统的建设，将 boss 系统的重要数据保护起来。同时在进行容灾系统的建设时，对原有的生产系统进行必

10、要 的调整及优化，达到功能、结构的最佳，以保证容灾系统建设一步到位，减少后期调整 工作。 在生产系统整合的基础上，整个系统部署完成后，将初步形成“企业统一存储平 台”，核心业务在该平台上可以有效运行、无缝扩展，并实现透明的冗余保护。同时， 通过主机系统的整合，我们可以利用更先进的主机系统来提高处理平台的效率，同时这 个整合的企业统一存储平台也为黑龙江移动通信建设灾难备份系统打下了良好的基础。 对于整合 it 系统的电信企业而言，如果业务支撑系统发生灾难，造成全部业务中 断，而短时间内不能恢复的话，将对企业声誉和业务的发展造成严重的负面影响，并且 为竞争对手提供难得的侵蚀市场份额的时机，从而使得

11、企业雪上加霜。企业容灾系统的 建设成为越来越多的国内电信运营商业务发展的必然选择。 计算机系统灾难是指计算机应用系统中断了不可忍受的一段时间的事故。造成计 算机系统灾难的事故原因有自然灾害、基础设施的突发性事故和各种人为因素等。也有 观点认为计算机系统故障、性能严重下降也是系统灾难的一种。在与黑龙江移动通信合 作的过程中，emc 公司发现黑龙江移动通信的所有关键业务的计算机支持系统几乎都 考虑到了对本地计算机系统故障的处理措施现有的系统几乎都建立在集群系统的环境 中，系统中 ups、服务器、存储设备、网络、系统软件、数据库平台、应用系统的设计 都基本消除了单点故障 spof，并建立了较完善的数

12、据备份措施。 相对于灾难备份，对本地计算机系统故障的恢复，是指系统停顿后，在事故现场 快速处理故障，使系统重新恢复运行。如启用本地备份设备、更换设备或部件、重启系 统、利用备份磁带恢复数据等。它与灾难备份的不同除了恢复地点之外，本地内部恢复 还可能做到业务不停顿，而灾难备份则不可能做到，用户的业务系统或多或少都会经历 一定的中断。能够实现何种程度的灾难备份系统，需要从业务角度进行定义和分析。 对电信业务支持和运行支持系统而言，一个完善的灾难后备系统包括：对电信业务支持和运行支持系统而言，一个完善的灾难后备系统包括： （1）一个设计完善的灾难后备基础设施）一个设计完善的灾难后备基础设施 （2）一

13、整套数据保护和恢复的方法以及）一整套数据保护和恢复的方法以及 （3）一个科学的、可靠的、经过验证的灾难恢复计划。）一个科学的、可靠的、经过验证的灾难恢复计划。 附件二之一：emc 技术建议书 http:/ 7/60 灾难恢复的目标一是恢复数据，保护数据的完整性，使业务数据丢失最少甚至没 有业务数据丢失(数据容灾)。二是快速恢复应用的运行，尽可能缩短业务停顿的时间(业 务容灾)。对于黑龙江移动通信的灾难备份系统建设目标，我们可分析为近期目标和长 期目标： 近期目标：近期目标： 确保系统在灾难发生的情况下，生产系统可以在极短的时间内，恢复运行 减少各种计划内的批处理操作（备份，操作系统升级等）对生

14、产系统的影响， 保证生产系统 724 小时运行 为近期企业信息系统的增加或现有系统数据容量的增加提供一定的扩展余量 长期目标：长期目标： 为企业信息化建设，提供一个统一的、模块化的、安全可靠的、高性能的电子 信息架构平台（e-infostructure） 为黑龙江移动通信建设具有高度业务持续运行能力的企业统一存储平台 3 3 黑龙江移动通信公司容灾方案总体设计黑龙江移动通信公司容灾方案总体设计 3.1 emc srdf 容灾基本原理容灾基本原理 emc 公司作为全球最大的专业存储及容灾解决方案供应商，在国内外实施了众多公司作为全球最大的专业存储及容灾解决方案供应商，在国内外实施了众多 的大型容

15、灾项目，的大型容灾项目，emc 公司占有全球公司占有全球 90以上的以上的 unix 容灾市场分额，容灾市场分额，本次项目中， 我们建议采用 emc srdf 容灾解决方案构建黑龙江移动通信的灾备平台。 随着计算机技术的不断发展，进入 90 年代以后，磁盘阵列技术发展十分迅速。就 象七、八十年代通过 ibm3705 等设备的电信处理控制功能来减轻处理负荷那样，磁盘 阵列正在将磁盘镜象功能的处理负荷从主机转移到智能磁盘控制器企业智能存储系统 上。有了这种技术，就可以实现生产中心和灾难备份中心的操作系统、数据库、系统库 和目录的实时拷贝维护能力。如果在系统恢复场所具备了实时数据，那么就可能做到在

16、灾难发生的同时实现应用处理过程的恢复，并且可以省去迄今为止在系统恢复过程中一 附件二之一：emc 技术建议书 http:/ 8/60 直困扰人们的费时费力的倒带操作。远程备份系统的重新启动可以做到象一般电源故障 后的重新启动那样简单！基于智能存储系统 emc symmetrix 的 srdf 就是通过上述方 式实现的，目前已占据了 90%以上市场份额的远程容灾解决方案。 emc 的 sdrf 灾难备份系统为大型机和 unix 开放系统用户提供了独特的功能。它 可以实现不同地点之间的磁盘数据实时备份，距离可以是几英尺、数英里、甚至跨越不 同的大陆，srdf 是 emc 公司重要的竞争优势之一。

17、sdrf 在 1994 年就达到了泛可用性(ga)的水平。目前，还没有其他厂商的远程镜 象功能达到该水平。emc 利用软件和硬件的有机结合所实现的 mosaic：2000 体系结 构，在技术水平上至少领先了一年半左右的时间。直到现在为止，srdf 在全世界已出 售了超过 50000 多个 license。 srdf 已经应用于客户的许多重要应用领域，并为客户带来了真正的实惠。当今的 商务活动每天 24 小时都离不开数据。如果由于维护、内部调整、系统升级，或是由于 自然灾害或人为故障造成重要的业务数据无法访问，其代价将是巨大的，甚至关系到企 业的存亡。所以，最重要的是要保证数据的持续可用性，以确

18、保各种应用系统能不间断 地服务于业务活动。srdf 可以应用于许多重要方面，下面所列出的只是其中的一部分： 业务持续性：即使是在可能出现磁盘错误的情况下，也能保证业务应用程序的持 续运行； 灾难恢复：灾难发生是，可以在几分钟(而不是几小时)内，在备份现场实现数据的 恢复； 信息中心迁移：将应用程序的停止时间从数小时减少到了几分钟； 工作量迁移：于信息中心迁移类似，sdrf 是进行常规的软硬件维护时缩短应用程 序失效时间的理想手段； 工作量压缩或消除备份的处理时间：通过利用 srdf 的第二数据拷贝缩短或消除 备份的处理时间。 srdf 的主要特点如下： 1. 远程数据备份技术成熟 附件二之一：

19、emc 技术建议书 http:/ 9/60 srdf 远程灾难备份方案在国内外都有大量成功范例，特别地这些成功范例都是运 行关键业务的生产系统中，其可靠性得到世界范围用户的认可。 2. 功能强 sdrf 是目前世界上主要的真正意义上的远程热备份解决方案，其数据安全性是容 灾系统的最高境界。 3. 实现简捷 由于 srdf 方案中只要求 emcsymmetrix 企业存储系统之间直接互通，无需对应 用作任何修改。 4. 连接性强 对业界大多数主机硬件系统，包括大型机，unix 开放系统，windowsnt 和 as/400 平台都可连接，适用性强。 5. 支持多种通讯方式 支持的数据传输协议包括

20、 escon/ficon/fc，支持的通信协议包括 escon，ficon，fc，atm，fddi,dwdm，t1/e1,t3/e3 连接方式，以及 ip 网络 6. 无其他资源要求 srdf 运行过程中，不占用任何主机 cpu，主机 i/o 通道，系统网络资源，不影响 主机业务处理的性能，远程镜像由 emc 存储设备独立完成。 7. 切换简便 系统切换简单易行，只需几条命令即可。对网点用户透明 8. 支持灵活的网络拓扑结构 srdf 支持通常远程镜方式外，还支持互为远程镜像，以及支持一对多的备份方式， 借此，可为多个数据中心，建立统一的数据备份中心。 9. 支持多平台同时连接 支持不同平台同

21、时连接，同时做远程镜像备份。 10 动态的改变配置 srdf 可以支持在线的动态改变容灾配置，从同步方式改为异步方式，或对换源数 据 r1/目标数据 r2 配置 附件二之一：emc 技术建议书 http:/ 10/60 3.2 黑龙江移动通信黑龙江移动通信 srdf 容灾方案容灾方案 黑龙江移动通信拟在同城的机房建设灾难备份中心，实现核心业务系统的灾难备 份。该容灾系统应能实现备份中心与生产中心之间的互相容灾，即当主中心故障、不可 用时容灾备份中心将及时恢复主中心的数据,为快速恢复业务提供保证，并确保容灾备 份中心与主中心之间生产数据的完整性、一致性及业务可恢复性。 根据黑龙江移动通信的实际情

22、况和发展需要，我们对黑龙江移动通信的灾难备份 系统建设规划如下： 黑龙江移动通信的容灾系统将以黑龙江移动通信的容灾系统将以 boss1.5 系统整合后的系统整合后的 it 平台作为基础，我们在平台作为基础，我们在 将在生产中心把，营业数据和帐务数据存放在本地的将在生产中心把，营业数据和帐务数据存放在本地的 dmx2000 上上,通过通过 raid0+1 和热和热 备盘保护备盘保护,然后在相距然后在相距 10km 的备份中心配置另外一台的备份中心配置另外一台 emc dmx3000 系统。两台系统。两台 symmetrix dmx 存储系统之间采用存储系统之间采用 emc srdf 软件和软件和

23、 dwdm 设备实现业务数据的实设备实现业务数据的实 时同步透明复制，在生产中心的时同步透明复制，在生产中心的 it 系统出现重大故障时整个生产系统的数据仍然有一系统出现重大故障时整个生产系统的数据仍然有一 份完整保留数据在备份中心，实现最高可用的企业核心存储数据平台。并且将报表业务份完整保留数据在备份中心，实现最高可用的企业核心存储数据平台。并且将报表业务 迁移到容灾中心进行迁移到容灾中心进行.emc 建议的容灾方案的特点是：实时容灾，无数据丢失，可实现建议的容灾方案的特点是：实时容灾，无数据丢失，可实现 两个互相容灾备份的业务生产中心，多平台支持、可扩展的容灾平台两个互相容灾备份的业务生产

24、中心，多平台支持、可扩展的容灾平台,为将来调整容灾为将来调整容灾 中心和生产中心打下了良好的基础。中心和生产中心打下了良好的基础。 附件二之一：emc 技术建议书 http:/ 11/60 采用 emc srdf 容灾解决方案，其主要内容包括如下： 一。在生产中心和备份中心均采用先进的 emc 智能存贮系统 dmx，构架新的存储平 台，在生产中心均配置相应主机系统，主机系统均连入 emc dmx 智能存储系统。 二。根据黑龙江移动通信的实际根据黑龙江移动通信的实际 i/oi/o 峰值负荷为基础，科学测算容灾链路所需带峰值负荷为基础，科学测算容灾链路所需带 宽、时延，并根据用户的实际情况决定最终

25、配置的链路种类及数量宽、时延，并根据用户的实际情况决定最终配置的链路种类及数量。在目前的项目设计 初期阶段，我们根据经验建议采用 fc 光纤通过 dwdm 设备连接的方式实现两个中心的 srdf 连接，目前推荐的交换机采用 2gb/s 解决方案，因此可实现较高的传输通道带宽, 实际的传输带宽可达 100mb/s 以上，可满足绝大多数电信支持系统核心业务的容灾需要， 具体的链路数量可由用户的最终设计目标决定,我们推荐的为 6 条 srdf 光纤通道；由于 两个中心之间距离 10-20km，光信号传输时延较小，根据一般的光传输时延计算规律 每米 5ns 计算，4km 的传输时延为 20 微秒，考虑

26、 fcp 协议的写特征，主机的一次写 i/o 总的传输时延为 80 微秒。相对与磁盘系统毫秒级的系统时延，本项目中的光传输时延 是非常小的，不会对生产系统的写操作造成较大影响，基本可忽略不计，因此本项目中 完全可以采用同步 srdf 方式进行数据复制。 另外，为保证整个系统完全没有单点故障，我们建议容灾的 srdf 光纤通道链路采 取双链路配置。 三。采用 emc timefinder 解决方案提高企业的业务连续性.在备份中心的 dmx3000 上提供 bcv 卷,可用来进行查询和备份工作.所有的数据磁带备份工作,可通过备份中心 利用本地磁盘镜像数据来完成，有效降低生产系统的备份窗口需求,大大

27、延长生产系统 的在线服务时间；emcemc srdfsrdf 和和 timefindertimefinder 相结合，也可实现更远距离的容灾解决方案，相结合，也可实现更远距离的容灾解决方案， 能够为黑龙江移动通信容灾系统的未来拓展做好准备。能够为黑龙江移动通信容灾系统的未来拓展做好准备。 在没有采用 emc 智能化存储之前，系统的磁带备份只能通过主机系统来完成，这 既增加了主机系统的负担，又影响了业务系统的正常运行。目前各个电信企业的数据备 份工作都是在夜间进行一次，这种方式不仅不能随时保存最新的业务数据，而且当业务 数据量很大或是备份工作出现不正常时极有可能影响业务第二天的正常开业。采用 e

28、mc 的 timefinder 技术能够完美地解决以上问题，实现数据快捷的定期备份，从而保证即 使在日间这种备份工作也能实现。timefinder 使系统和存储管理者能够在后台状态下， 为主机和开放系统信息存储器创建可独立寻址 bcv 卷。bcv 卷建立后，通过命令可以与 附件二之一：emc 技术建议书 http:/ 12/60 其生产卷分割开，备份系统可利用 bcv 卷进行备份,大大缩短了应用系统 offline 的时 间。当然，利用 bcv 卷也可以恢复原生产数据，比用磁带恢复生产数据速度要快的多。 利用 timefinder 生成的 bcv 进行备份工作的具体操作流程如下： 建立生产卷和

29、 bcv 卷的镜像关系 将生产卷和 bcv 卷的镜像关系切开。 生产卷上的生产系统可继续联机交易，同时备份系统可利用 bcv 卷做备份或查询工 作。 当需要时可重建生产卷和 bcv 卷的镜像关系(增量方式)。 四。在新的信息基础设施上利用在新的信息基础设施上利用 emcemc 的的 eccecc 管理解决方案更有效的完成系统管理管理解决方案更有效的完成系统管理, ,降降 低系统管理的难度和工作量低系统管理的难度和工作量, ,从统一平台上实现对企业存储平台的统一管理和控制。从统一平台上实现对企业存储平台的统一管理和控制。我 们建议在生产中心和备份中心均配置一套 emc ecc 管理软件平台，对两

30、个数据中心进行 管理。两套 ecc 管理系统可分别对各数据中心进行监控、管理，也可实现在一个 ecc console 上对整个容灾存储环境的管理。通过 ecc 可以更有效更全面的管理 symmetrix 企业存储平台,对于系统性能进行及时监控,从而可以更好的对未来的系统升级作出评估 和规划,并可以在整个企业内实现对存储系统的统一管理和控制。同时还可利用同第三 方应用的集成有效地将磁盘系统的管理统一到 unicenter、tivoli,openview 等管理框 架中。symmetrixcontrolcentre-是基于主机的软件产品，为 symmetrix 提供图形 生产卷生产卷 m1 bcv

31、备份备份 备备份主机份主机 生生产产主机主机 生产数据生产数据 库库 磁磁带库带库 bcv卷卷 m1 附件二之一：emc 技术建议书 http:/ 13/60 用户界面。emc control center 软件可以从一台 windowsnt 工作站上浏览 emc 的企业 存储网络系统配置，包括企业内所有的 symmetrix 上的物理磁盘和逻辑卷布局,以及 symmetrix 上各个逻辑卷同前端主机的连接情况,这使得用户可以对传统上一直作为”黑 合子”使用的磁盘阵列有一个更为清晰的了解。通过 emc control_center 可以实时监控 symmetrix 的性能使用情况,包括短期和长

32、期的 cache 命中比率,读写操作比率,i/o 次数 统计,还可以对每一个控制单元,每一个设备也进行同样的性能使用情况监视。 emc_control_center 还提供了很好的报表功能,可以对 symmetrix 上的磁盘配置,逻辑 卷分布,以及同主机的连接情况分别作出报表统计。 ecc 主要功能包括： 对磁盘系统进行配置 性能调优 错误预警和报警 报告磁盘系统运行状态 报告磁盘性能 报告磁盘系统的配置状态 完成 timefinder 软件和 srdf 软件的控制操作 五。由于由于 emcsrdf 系统特有的数据保护功能，在主中心磁盘卷故障时，主中心主系统特有的数据保护功能，在主中心磁盘卷

33、故障时，主中心主 机可透明地通过机可透明地通过 srdf 链路从备份中心的链路从备份中心的 symmetrix 中直接读写数据，该操作对主中中直接读写数据，该操作对主中 心主机系统完全透明。心主机系统完全透明。只有当主中心 symmetrix、或主机等出现严重故障无法自愈时， 生产中心才会完全切换至备份中心继续生产任务，emc srdf 的这一功能有效减少了不 不必要要的灾备切换操作。 六。备份中心的建设用户可根据业务发展需要选择主中心生产，备份中心只作为灾备份中心的建设用户可根据业务发展需要选择主中心生产，备份中心只作为灾 备的方式；也可采用业务垂直切分，使两个中心同时参与不同的业务生产，并

34、互为备份。备的方式；也可采用业务垂直切分，使两个中心同时参与不同的业务生产，并互为备份。 由于 emc srdf 容灾方案的灵活、高效和多平台支持，因此用户可以灵活地根据业务 发展需要，及技术人员的分配情况确定两个中心的具体作用。 七。对于备份中心的主机系统配置，用户可以采用同生产中心完全相同的配置，实对于备份中心的主机系统配置，用户可以采用同生产中心完全相同的配置，实 现现“同级备份同级备份”；也可采用备份中心主机配置小于生产中心的方式，实现；也可采用备份中心主机配置小于生产中心的方式，实现“降级备份降级备份”。 具体方式可由用户的业务规划和投资规划决定。 附件二之一：emc 技术建议书 h

35、ttp:/ 14/60 八。从扩展性角度分析，由于从扩展性角度分析，由于 emcsymmetrix 支持多种主机操作系统和多种支持多种主机操作系统和多种 unix 群集技术，因此未来用户新增不同业务和不同的主机平台时，都可利用已构建好的容灾群集技术，因此未来用户新增不同业务和不同的主机平台时，都可利用已构建好的容灾 平台，真正实现平台，真正实现“业务持续性企业统一存储平台业务持续性企业统一存储平台”的技术目标。的技术目标。 九。从性能方面分析，除了已建议的高性能存储平台和 srdf 容灾软件外，我们还 需要考虑到主机端的 i/o 负载均衡问题，因此，我们建议在服务器端配置 emc 的 powe

36、rpath 负载均衡软件，实现多个 i/o 通道和路径之间的负载均衡与错误保护，使整 个容灾存储平台的性能达到最优。powerpath 原理如下图所示： 十。灾难切换过程： a) 生产端磁盘系统故障 当生产端的数据磁盘和本地镜像盘发生故障，或者磁盘控制器发生故障时，生产 端主机通过 srdf 连接直接访问备份端远程镜像盘。生产系统照常运行。当维护人员热 更换有关部件后，srdf 系统自动将备份端的 r2 的数据拷贝到生产端的 r1 上。这项功这项功 能是能是 emc 特有的特有的. b) 备份端磁盘系统故障 当备份端的磁盘子系统发生故障时，生产系统照常运行 ，数据被存储到生产端的 r1 上，当

37、备份端的磁盘系统修复后，srdf 自动将 r1 的数据拷贝到备份端的 r2 上。 附件二之一：emc 技术建议书 http:/ 15/60 c) 生产端主机故障或者整个磁盘子系统全部损坏 当生产端主机故障或者整个磁盘子系统全部损坏时，这时： 1）切断备份端的 r2 与生产端的 r1 的 srdf 连接。 2）在备份端配置相应主机,通过 srdf 控制命令，将 r2 磁盘 read only 状态改为 备份端主机 write enabled 状态。 3）生产中心修复后，将备份中心数据通过增量的方式恢复到生产中心,开始业务。 d) srdf 链路中断故障 当发生 srdf 链路中断故障时，生产端的

38、 symmetrix 系统将自动记录未被传输的 磁道。 symmetrix 不断试探链路，一旦链路恢复，则自动将未传送的磁道源源不断地传 送到备份端 。 e) 系统的回切过程 当 sitea 的设施完全恢复，具备生产条件时，可以很容易地将业务系统从备份系统 切回到生产系统。 实现步骤： 1）待非生产时间，停止备份机的系统运行。 2）通过备份中心主机 srdf 控制命令，将 r2 磁盘 writeenabled 状态改为备份 中心主机 read only 状态。 3）将备份端的 r2 反向同步到生产端 r1。 4）从生产端启动系统及应用，将生产系统切回到原生产系统。 3.3 选择选择 emc 容

39、灾方案的优势总结容灾方案的优势总结 选择选择 emc 容灾方案也比一般的容灾方案更能够有效提高系统的可靠性，当主中心容灾方案也比一般的容灾方案更能够有效提高系统的可靠性，当主中心 数据卷故障时，主中心主机可以透过数据卷故障时，主中心主机可以透过 srdf 透明的访问备份中心透明的访问备份中心 symmetrix 中的数据，中的数据， 这是一般容灾方案无法实现的；这是一般容灾方案无法实现的； 选择选择 emc 容灾方案还可以提高整个业务支撑系统的处理能力，由于容灾方案还可以提高整个业务支撑系统的处理能力，由于 emc 多年优多年优 化的化的 srdf 软件的优秀性能，使容灾功能对生产系统的影响降

40、至最小，能购充分发挥高软件的优秀性能，使容灾功能对生产系统的影响降至最小，能购充分发挥高 附件二之一：emc 技术建议书 http:/ 16/60 端端 unix 服务器和整个服务器和整个 san 网络的处理能力。网络的处理能力。想提高整个电信支撑系统的性能单靠主想提高整个电信支撑系统的性能单靠主 机系统的强大是无法实现的，良好的整体架构才是解决问题的根本。机系统的强大是无法实现的，良好的整体架构才是解决问题的根本。“皮之不存，毛将皮之不存，毛将 焉附焉附”，核心存储容灾平台的建设才是企业，核心存储容灾平台的建设才是企业 it 系统建设的真正核心。系统建设的真正核心。emc 容灾方案为容灾方案

41、为 黑龙江移动通信提供了一个构建高性能处理平台的基础，是用户解决性能问题的根本。黑龙江移动通信提供了一个构建高性能处理平台的基础，是用户解决性能问题的根本。 选择选择 emc 容灾方案也是最具有可扩展能力的方案，容灾方案也是最具有可扩展能力的方案，emc 容灾解决方案可以灵活容灾解决方案可以灵活 进行扩展，可不断新增多种主机平台，也可实现更远距离、更大数据量的容灾系统，并进行扩展，可不断新增多种主机平台，也可实现更远距离、更大数据量的容灾系统，并 能够实现同一应用系统跨越多个磁盘阵列的容灾方案，这些都是能够实现同一应用系统跨越多个磁盘阵列的容灾方案，这些都是 emc 容灾方案的重要容灾方案的重

42、要 优点。优点。 4 4 emcemc symmetrixsymmetrix srdfsrdf 容灾方式详述容灾方式详述 4.1 什么是什么是 srdf? 概括地讲，symmetrix 远程镜像软件 srdf（symmetrix remote data facility） 是 一 种热备份方式的容灾系统。它是 emc 公司的 symmetrix icda 系统用于保护本地 数据的磁盘 镜像（raid-1）技术的一种发展。 如果某个磁盘卷使用了磁盘镜像来实现保护，那么在同一个子系统中会分配另一 个磁盘卷作为它的完全拷贝，写到一个磁盘卷上的任何数据会同时写到另一个镜像的磁 盘卷上。通常市场上实现的

43、 raid-1 技术是一个基于处理器的方案，其包括大量的系统 程序、i/o 描述和性能的隐含关系， 并依赖操作系统的功能实现数据的恢复。emc 的 symmetrix icda 的磁盘镜像（raid-1） 技 术是完全在磁盘子系统中实现的。被称作 m2（镜像）的第二个磁盘卷，其数据是由子系统在向基本卷（m1）写数据的同时被写入 的。这些功能的实现对操作系统是透明的，无需进行系统编程、i/o 描述，也不占主机 的资源。因此这一级保护不影响系统性能。用户只要定义一个地址，其余的就可以交给 symmetrix 去处理。有了磁盘镜像 raid-1 的保护，无论 m1 或 m2 磁盘卷中的哪一个 失 效

44、，剩下的卷都可以保证运行的正常继续。在等待故障盘的更换和进行磁盘内容拷贝期 附件二之一：emc 技术建议书 http:/ 17/60 间，维持运行的那个盘失效的概率是极低的，可以忽略不计，因此在 symmetrix 企业智 能系统中用户可以在不损失系统性能的情况下确保有 100%的可用性。 srdf 远程容灾方案就是在上述磁盘镜像（raid-1）技术成功的基础上，通过对磁 盘子系统性能的不断改进而产生的。1994 年，emc 通过实现一种独特的 raid-1 版本而 使自己向前跨越了一大步。新的技术不再是把 m2 驱动器安置在与 m1 相同的存储子系统 中，而是移动到第二个子系统中，并通过 e

45、scom 光纤或其它的电信线路实现与第一个驱 动器的连接。这显然对两个子系统之间的通信技术提出了挑战，但其实际效果与 raid- 1 类似。从最简单的概念来说，这就是我们 所说的 srdf（symmetrix 远程数据镜象）。 上面所提到远程镜像，其性能问题是最重要的。数据的复制处理显然需要消耗资 源，从而会影响到子系统的性能。为使 symmetrix 的性能具有竞争力，我们又对其增加 了一个“预留”资源的缓冲池，它可以为用户提供新的专用功能，以提高用户在其业务 领域的竞争力。 srdf 在概念上为用户提供了一种有趣的特性组合。首先这一对磁盘卷在名称上变 成了 r1（远程 1）和 r2（远程

46、2），但其功能于其前身 m1 和 m2 相同。其中第二个数据 拷贝 r2 处于实时备份模式，它所处于的 symmetrix 系统与基本拷贝（r1）所处于的 symmetrix 系统之间的距离可以是近在咫尺，也可以相隔千里。由于处于不同的系统， 所以可以分别进行寻址。第二个数据拷贝（r2）可以按照只读模式供附加在第二个子系 统上的第二个处理器（或 lpar）使用。这样当任何一台出现故障时，系统应用将利用 剩下的完好的磁盘卷继续运行。出故障的磁盘在不影响系统运行的情况下经过维修或更 换之后，可以重新恢复与完好磁盘的同步。 总而言之，srdf 建立物理上独立的两个 symmetrix 系统之间的完全

47、的、实时的数 据镜像，为企业提供两套实时生产数据，帮助企业在数据中心现场发生灾难时，确保另 有一套完整的生产数据安全可用，达到容灾级别的数据高可用性。 srdf 的实现包括以下部分，如下图所示： 二套或多套 symmetrix 系统 远程链路适配器（remote link adapter） 每套 symmetrix 的 srdf 微码许可证 附件二之一：emc 技术建议书 http:/ 18/60 symmetrix icda 之间的链路（escon 光纤或电信线路） srdf 的运行独立于主机和主机操作系统，不占用任何主机 cpu、主机通道和网络 资源。srdf 支持几乎所有主机配置，包括

48、ibm rs/6000，ibm as/400， ibm es/9000，hp， sun，ncr，dec 以及 unisys，siemens，fujutsu 等。srdf 是目前世界 上唯一成熟的远程灾难备份解决方案。在全球各地银行，电信等行业有广泛应用，用于 生产环境的全球总安装套数达 12000 多套。 4.2 srdf 的工作方式的工作方式 为了阐述 srdf 的工作方式，本节首先介绍 srdf 远程磁盘镜像工作方式，然后介 绍与此相关的多米诺模式和无效磁道的概念。 4.2.1 远程磁盘镜像工作方式远程磁盘镜像工作方式 srdf 远程磁盘镜像工作方式有三种： 同步工作方式 半同步工作方式

49、异步工作方式 三种工作方式的工作过程在下面的三个图中分别显示： 附件二之一：emc 技术建议书 http:/ 19/60 附件二之一：emc 技术建议书 http:/ 20/60 在上述三种工作方式中： 同步工作方式保护性最强，不会发生数据丢失。但是它对通信线路要求较高； 半同步工作方式一般用于 i/o 读写比例为 7:3 场合； 异步工作方式用于超长距离的连接。 4.2.2 多米诺模式多米诺模式 多米诺模式可分为全局多米诺模式和链路多米诺模式两种。 全局多米诺模式 附件二之一：emc 技术建议书 http:/ 21/60 如果将一对磁盘驱动器的同步指定为全局多米诺模式，当由于任何原因造成两个

50、 卷的写操作失败时，srdf 的差错处理器将向操作系统发出“请求干预”状态信号，然 后回到驱动应用。多米诺模式的目的是要提醒用户镜象写操作没有完成，让用户选择是 否阻止数据库的进一步操作。 当数据库部件分散在多个 symmetrix 单元时，这种模式十分有用。此种情况下， 只要有一个单元的远程写数据操作失败，即使其他单元的写操作成功了，由于这些数据 在逻辑上的相互关联，仍会造成数据库的不一致现象。采用多米诺模式可以使用户防止 这种现象的发生，在发生第一个错误时，就能禁止以后的写操作。 如果磁盘卷中存在可以由驱动应用程序自动切换到其他设备的文件或数据，例如 典型 dbms 环境下的 log 数据

51、集，则会自动进行这些文件或数据的切换。用户可以按照 系统信息所提供的故障原因选择处理方法。其中最可能的情况是中断应用的执行。 链路多米诺模式 链路多米诺模式就是设置成只在所有链路同时失效的情况下起作用。如果用户选 择在 srdf 关系中只有 r1 和 r2，并且认可磁盘驱动器偶然发生故障是可能的，但两个 驱动器同时出现故障的可能性几乎为零，并且希望系统能够在剩下的驱动器上继续运行， 则这种多米诺模式将很有用途。 该模式在所有链路同时中断的情况下，可以有效地终止任何应用程序对源驱动器 （r1）的更新处理。 4.2.3 无效磁道无效磁道 该功能是专门为解决 rolling disaster 问题而

52、开发的。它是一种在逻辑卷层的实 现。当出现故障时，两台 symmetix icda 开始重新进行同步，并就各自重新同步的状态 相互交换信息。当再次发生链路中断时，用户确定按照 r2 的数据开始系统处理，对于 那些被指定为“无效磁道”，而且不同步的磁盘卷，主机是不能使用的。因此，这些数 据将处于“not ready（未准备好）”状态。只有靠人工介入才可 能将这些数据修复。 “not ready（未准备好）”状态向用户提示数据中有异常情况存在，可能 需要更进一 步的数据恢复处理，诸如利用磁带进行恢复等。 附件二之一：emc 技术建议书 http:/ 22/60 4.3 srdf 和和 emc ti

53、me finder 软件的配合软件的配合 time finder 是 emc 又一个重要的存储功能层软件，在容灾系统建设中，它能够 为容灾后备中心提供更多的业务价值。在 emc 参与建设的许多容灾项目中，srdf 和 time finder 软件的紧密配合，取得了十分好的应用效果。 emc 的 time finder 软件是 1998 年推出的业务持续性解决方案软件。time finder 能够在 symmetrix 内部对标准数据卷（standard volume 简称 std）克隆出最多 16 个数据卷，成为业务连续卷（简称 bcv）。bcv 和 std 建立对应关系后，time find

54、er 软件将在后台同步这组对应卷，当 bcv 和 std 完全一致后，可以在任何时刻分 离 bcv 与 std，使 bcv 成为某确定时刻 std 的即时影像。分离后的一个或多个 bcv 可以 被同样连接在 symmetrix 内部的其他主机所读写。 分离之后的 bcv 可以和原来的 std 再度连接，可以增量再同步 bcv，也可以利用 bcv 来恢复被破坏的 std。 time finder 软件解决了在企业关键业务当中常见的多个业务操作要同时访问同一 组关键数据集的问题，在没有 time finder 软件之前，这些业务只能顺序进行，而无法 并行完成。 最常见的例子包括数据备份，为了不干扰

55、生产系统，只能在半夜几个小时的“备 份窗口”期间进行，而当数据量越来越大，一天的业务时间不断增长，备份窗口越来越 小时，有时几乎无法完全备份数据。类似的应用还有报表系统、数据仓库的加载系统、 应用软件的测试、容灾系统的演习等等。 time finder 软件的出现，很好地解决了这些威胁业务安全运行的问题，受到十分 广泛的欢迎，目前该软件在用户生产环境中已安装超过 15000 套。 emcsrdf 软件和 time finder 软件在容灾系统当中的集成应用，使容灾后备中心 能够对系统代码和基础数据的复制能够作到及时测试，证明其正确性。而对应用数据， time finder 软件可以使其同时用于

56、应用软件的测试或数据仓库系统的加载。 这样容灾中心在平时，设备能够得到完全利用，同时由于对数据的测试等同于灾 难发生时系统的恢复工作，系统的可用性也处于不断验证之中，系统整体可靠性得以进 一步加强。 附件二之一：emc 技术建议书 http:/ 23/60 5 5 emcemc 容灾方案特点容灾方案特点 5.1 高性能存储和容灾平台高性能存储和容灾平台 采用 emcsymmetrix 高性能存储平台，能够最大限度保证用户的数据访问效率； 采用先进的 emcsrdf 容灾解决方案，能够在对应用透明的情况下实现高性能的容灾系 统，使容灾功能的实现对生产系统的影响降低到最小。 5.2 数据的安全性和

57、系统的高可靠性数据的安全性和系统的高可靠性 该项目中所选磁盘阵列系统设备是黑龙江移动通信信息中心中联机保存数据的关 键资源，symmetrix 所连接的服务器所处理的业务均很重要，需要能够提供 7*24 小时的 服务，是典型的关键业务，是不能停止的，对系统的高可靠性有着很高的要求。特别是 数据的安全性方面尤为重要。 emcsymmetrix 系统具有独特的容错结构设计，能够提供了全面的数据保护，使得 业务的连续性得以保证，充分满足黑龙江移动通信信息中心对系统高可靠性和数据安全 性的强烈要求。 通过实施 srdf，从而进一步加强了系统的安全系数。 5.3 系统的高效性系统的高效性 该系统关系到黑

58、龙江移动通信信息中心的数据处理能力。由于过去 10 年中 cpu 技 术和网络技术进步神速，因此目前 it 系统在这种信息处理中的主要瓶颈在于磁盘这个 计算机系统中唯一的机械部件占大部分的设备，因此要求系统必须拥有一个强大高效的 存储系统以支持系统对大容量数据的频繁操作。 emcsymmetrix 企业智能存储系统能够提供世界最优的存储系统性能,极大地改善 计算系统的 i/o 瓶颈。此外驻留在主机系统的 powerpath 软件能够帮助用户实现多路负 载均衡、自动通道切换等功能，大大提高系统性能和可靠性。 附件二之一：emc 技术建议书 http:/ 24/60 srdf 使用专用的远端光纤通

59、道板上的 cpu 资源和 symmetrix 内部的内存资源， 通过高效率的光纤通道协议，可以实现单通道上 60100mb/s 的数据传输效率，从而确 保实施后对生产系统的正常运行没有影响。 5.4 高可用性和支持业务连续性高可用性和支持业务连续性 emcsymmetrix 系统除了采用独特的容错结构设计之外，还通过提供 timefinder，srdf，powerpath 等软件支持高可用性和业务连续性。 多平台连接性和系统的可扩展性以及对用户的投资保护 随着时间的推移、技术的发展以及环境的变化，业务系统的数据量会飞速增长， 许多新业务系统会不断产生，对系统的可扩展性要求很高，特别是在存储系统

60、方面。 emcsymmetrix 智能存储系统系列产品具有很强的适应性和可扩展性。它们不仅能 够同时支持各种 unix 开放系统平台，包括 hp、ibm、dec、sun、sgi、ncr、bull 等，而且能够和 windowsnt、ibmas400、mainframe 相连。同时 symmetrix 支持多种 连接接口，其中包括 fwdscsi，ultrascsi，fcal，escon 等。这些特点保证了 symmetrix 存储系统拥有了非凡的可扩展性，即使将来黑龙江移动通信信息中心的用户 选用了不同的主机平台，symmetrix 仍能保持与不同主机的无缝连接。因此，symmetrix 智能