某人寿保险IT系统基础架构容灾经验分享

1、xx人寿IT系统基础架构容灾经验分享 XX人寿保险股份有限公司系1996年8月22日经中国人民银行总行批准成立的全国性、股份制人寿保险公司。 截至2012年，XX人寿总资产超4100亿元，净资产近210亿 元，在全国设立了北京、上海、湖北、山东、广东等35家分公司，各级机构超4200家，构建起完整的服务网络为客户提供及时和周到的服务，累计为2776 万个人客户和25万机构客户提供过服务，累计理赔客户927万人次，累计理赔金额99亿元。 XX人寿旗下拥有XX资产管理有限责任公司、XX养老保险股份有限公司和XX之家投资有限公司。XX资产是国内资本市场大型机构投资者之一，受托资产管理总 规模超460

2、0亿元，综合投资收益率居于行业前列。2012年，XX人寿和XX资产分别通过“保监会不动产投资能力和投资计划产品创新能力备案”，成为 保险资金投资不动产暂行办法实施以来，行业内第一批取得不动产直接投资、不动产金融产品设立与发行双重资格的保险集团化公司。 未来，XX人寿将坚持专业化经营，深耕寿险产业链，为广大客户提供“从摇篮到天堂”持续一生的全方位金融保险服务，致力于让保险更便捷、更实惠，让XX人寿成为人们生活的一部分。客户简介u 1. 客户急需解决的问题与需求u 2. 什么是容灾u 3. 容灾方案的选择u 4. 容灾技术u 5. 数据远程容灾软件u 6. 容灾演练客户需求 ECM系统作为XX人寿

3、重要的在线业务支撑系统，为一线业务人员提供在线的电子文 档、电子保单等服务。主数据中心：金融街数据中心，运行所有重要系统的核心机房，满足所有重要系统的数据备份、恢复需求。 ECM系统是金融街数据中心中最重要的系统之一。在2008年部署了EMC与HDS存储，作为高速存储负责OLTP事件型ORALCE数据库核心并且同时存放海量影像文件。为ECM系统提供了一个高性高效率能的存储池。由于现在地址灾难和各种火灾停电等因素造成只有一个数据中心的XX人寿数据安全性相对较低，而随着国家法律法规对于金融保险行业的要求，在同城建设数据容灾中心成了重中之重的任务。规划本地容灾中心：亦庄容灾数据中心，满足ECM系统的

4、本地数据级容灾需求，通过40MBIT 带宽传递容灾数据（每天的新增数据），实现了数据级容灾。同时由于本套系统为客户的核心业务数据库存放的系统，所以在保障数据安全性的前提下对存储系统的性能有很高的要求，不能因为部署容灾中心增加了容灾传输的性能压力后就影响当前的客户数据正常访问。客户现状金融街数金融街数据中心据中心 主业务存储主机群集主机群集主机群集主业务存储性能情况什么是容灾 容灾备份系统就是防止意外情况而采取的一种解决方案，其目的只有一个，那就是保证数据安全。 根据DISASTER RECOVERY JOUNAL的调查表明，在受到灾难袭击的5个公司中，将有2个公司无法从灾难中重新开始工作。而那

5、些即使是重新开张的公司中，也将有至少1个将在两年后关张 建设容灾系统的目的就是保护所有的业务数据，保证业务的连续性什么是业务连续性 业务持续性（CONTINUOUS BUSINESS） = 保证业务的稳定 保证企业可以面对计划的和意外的事件发生的时候继续维持运作 受到对下面两个方面的理解的驱动 业务影响：考虑如何避免对商业的影响 业务流程与风险：考虑计划和意外事件发生时的情况 数据的可用性保护只是操作灵活性的一部分，最终的解决方案将会围绕着其它方面（例如人员、流程和架构等）(恢复策略)Backup 策略策略Replication 策略策略Geo ClusterSynchronous Repli

6、cationAsynchronous ReplicationDB log性价比qWhat about Application availability and business access availabilityApplicationDataBusiness AccessCMCC运营方式运营方式技术难度技术难度业务恢复业务恢复速度速度维护维护人员要求人员要求资源复用资源复用主备中心主备中心相对简单慢相对简单相对不高较低双双 中中 心心相对复杂快相对复杂相对较高较高两种方式同城容灾同城容灾远距离容灾远距离容灾灾难抵御种类灾难抵御种类较少较少较多较多对用户服务的连续性对用户服务的连续性较差较差

7、较好较好网络组织难度网络组织难度较容易较容易难度较大难度较大技术复杂度技术复杂度较容易较容易难度较大难度较大容灾中心技术支持容灾中心技术支持较好较好较差较差人员组织人员组织较容易较容易难度较大难度较大项目管理协调难度项目管理协调难度低低高高工程投资工程投资较低较低较高较高运营成本运营成本较低较低较高较高建设周期建设周期较短较短较长较长两种方式同级设备容灾同级设备容灾q主机处理能力与生产中心相等主机处理能力与生产中心相等q存储设备与生产中心配置相等存储设备与生产中心配置相等q容灾中心系统可靠性与生产中心设置级别相当，如主机集群等容灾中心系统可靠性与生产中心设置级别相当，如主机集群等q投资高，与生

8、产中心平台投资接近投资高，与生产中心平台投资接近降级设备容灾降级设备容灾q主机处理能力低于生产中心主机处理能力低于生产中心q存储设备配置低于生产中心存储设备配置低于生产中心q容灾中心系统可靠性低于生产中心设置级别，如不考虑主机集群等容灾中心系统可靠性低于生产中心设置级别，如不考虑主机集群等q投资低于同级规模投资低于同级规模CMCC设备配置策略q 存储级q 数据库级 (Oracle)q IPStorq 第三方软件(VVR) q LVM (VxVM)数据复制策略qRecovery-time Objective (RTO) 多长时间内关键应用必须恢复多长时间内关键应用必须恢复 我能承受多长时间宕机我

9、能承受多长时间宕机?qRecovery-point Objective (RPO) 哪一个时间点之前的数据必须被恢复哪一个时间点之前的数据必须被恢复 我能容忍多少数据丢失我能容忍多少数据丢失?q被选定的切实可行的灾难恢复方案必须基于成本和恢复时被选定的切实可行的灾难恢复方案必须基于成本和恢复时间的平衡间的平衡 如果我花费多一点，我的恢复过程会快多少如果我花费多一点，我的恢复过程会快多少? 如果我花费少一点，我的恢复过程会慢多少如果我花费少一点，我的恢复过程会慢多少?预定的恢复目标决定相关解决方案 需要对中心机房所有的主机系统都有进行改造，改为使用VERITAS VOLUME MANAGER。而

10、这种方式需要把IBM主机上的VG信息都铲掉，即所有的数据库都要首先备份到磁带库上，然后把IBM主机的卷管理软件改为VERITAS VOLUME MANAGER，然后重建VG，再把数据从磁带库上恢复出来。 系统风险极大！在实施阶段很容易造成现有系统的不稳定、数据丢失 项目实施周期长，并且需要每个业务主系统都要多次停机，社会影响较大 VERITAS VVR通过主机实现，对主机系统和应用系统影响较大 性能不可预测、难于优化、需要在每台主机上都进行配置和优化 如果采用VERITAS VVR解决方案，需要对生产中心的8台IBM主机、将近20个分区、容灾中心将要购买的所有主机和分区都要进行改造，工作量可想

11、而知！ 如果进行软件升级，则所有的主机则都要重新调整，不但工作量大，而且风险高！ 如果采用VERITAS VVR解决方案，将来的新建系统都要进行相同的工作，工作量很大 VERITAS VVR 是按照CPU个数计算LICENSE，成本不菲 而采用IBM硬件容灾方案，是与主机无关的；如果采用IBM存储解决方案，那么只对2台存储进行操作。将来微码升级、系统配置也只针对2台存储。软件解决方案HDS虚拟化方案IBM方案方案复杂度复杂简单实施复杂度复杂简单实施风险在生产端要把EMC DMX3000虚拟化，需要把主机映射关系重做小是否适合大型数据库不适合，目前来看虚拟化方案仅适用于文件系统应用适合对整体系统

12、性能影响对EMC DMX3000的每一次访问都要通过USP机头，对系统性能影响可想而知无影响软件维保成本每年需要维保成本，标准配置无现场服务；如需现场服务，需额外购买软件维保随存储硬件设备提供，不增加额外成本；IBM提供现场服务容灾成功案例较少很多对集成商的工作影响大小硬件解决方案Synchronous Remote Replication 同步复制同步复制q实时镜像，数据同步实时镜像，数据同步q系统快速恢复，最少数据丢失系统快速恢复，最少数据丢失q理论极限值理论极限值100km，距离越长，距离越长，时延越大时延越大q高带宽需求（高带宽需求（I/O峰值计算）峰值计算）q对生产端对生产端I/O响

13、应时间冲击响应时间冲击q备份端存储处理能力要求足够好备份端存储处理能力要求足够好否则会连累生产端，导致否则会连累生产端，导致宕机宕机Cache、DestagingSynchronousn 1 - Write to primaryn 2 - Write to secondaryn 3 - Write complete on secondaryn 4 - I/O Completion 1生产主机生产主机 可以无需备份主机可以无需备份主机342100公里公里P-VOLS-VOL同步数据复制的理想条件同步数据复制的理想条件q 网络带宽网络带宽 光纤光纤 1000Mb/s ATM 622Mb/sq 距离

14、距离 10公里，最长不超过公里，最长不超过30公里公里The Rolling Disaster. (IBM, 4/8/94)“Except in a total disaster, (explosion, earthquake)you should NEVER expect your entire systemto fail at the same moment. Failures willbe intermittent and gradual, and the disaster will actually occur over many seconds, even minutesThis i

15、s the Rolling Disaster”. 除了地震，爆炸等完全毁灭性灾难外，你根本不可能碰到系统同时瘫痪的情况。故障总是间断的，渐渐的累积起来的，整个灾难的过程会持续数秒钟，甚至几分钟，这就是我们所谓的Rolling Disaster。同步方式的挑战同步方式的挑战: Rolling DisasterRolling Disaster数据保持I/O的一致性数据结构可能被破坏，数据不可用第一波故障灾难结束计算终止Corruption can occurq保证数据一致性和完整性保证数据一致性和完整性 Timestamp write sequencing Consistency groupq最小

16、的响应时间冲击最小的响应时间冲击q低带宽（平均低带宽（平均I/O计算）计算）q很少的数据丢失很少的数据丢失q没有没有0数据丢失数据丢失Asynchronous1生产中心生产中心容灾中心容灾中心Primary Host 342n 1 - Write to primaryn 2 - I/O Completionn 3 - Write to secondaryn 4 - Write complete on secondary任何距离任何距离S-VOLP-VOLMainframe VSE, VM, OS390IBM AIXSun SolarisHP-UX, TRU-64 and VMSWin2K/Wi

17、nNTAsynchronous Remote Replication 异步复制异步复制容灾方式的采用容灾方式的采用q同步容灾的理想条件同步容灾的理想条件 距离距离30公里公里 两地有光纤连接或者两地有光纤连接或者622Mb/s ATMq异步容灾没有距离限制异步容灾没有距离限制q在实际银行、电信的应用中，同步容灾对联机事务处理类的业务会在实际银行、电信的应用中，同步容灾对联机事务处理类的业务会增加响应时间，对批处理业务处理速度也有很大的影响增加响应时间，对批处理业务处理速度也有很大的影响q技术的选择是性能，投资和技术的选择是性能，投资和RPO等指标的平衡等指标的平衡q应用应用级容灾，需要针对容灾

18、对应用做出相应的调整级容灾，需要针对容灾对应用做出相应的调整cache5 nanoseconds/m speed of light in Fiber2 microseconds/switchup to 1 ms write into cache memoryup to 30 ms write to back-end disk时延考虑时延考虑=1ms 1,000 IOPS for local write to cachesynchronous considerationscachecachewrite IOcomplete5 s/m2 s/switch1 ms cache write+ 0.3m

19、s cache read remote link latency1 ms cachewrite=2.3ms 435 IOPS 0km100km FC direct1ms (ROT)DWDM250s/devFCIP Europe19msFCIP trans atlantic81msFCIP NorthAmerica44msFCIP Sing.US210ms=3.3ms 303 IOPS 100km=83ms 12 IOPS IP London-NY数据远程复制软件移动BOSS/BAS系统容灾(原有系统)CRM 计费 结算 营业 帐务 经营分析DB2 OLAP 数据挖掘 SAN经营分析系统经营分析

20、系统SANSANDWDM 钦洲北路机房 金桥机房关于容灾链路的问题目前情况看，容灾链路主要有以下方式 将长波口放置在大交换机上（湖南、上海移动） 将长波口放置在小交换机上大、小交换机不互联（辽宁移动、江苏移动）大、小交换机互联（ISL）l容灾链路到底需要多少对光纤需要采集现有生产系统的数据l对现有生产系统进行先期优化非常重要l如果没有裸光纤，那么可以通过SAN Router，把FC转换为IP，但只能走异步容灾方式容灾链路的容量 具体情况、具体分析 EMC有ET Wizard工具协助进行容灾规划 需要收集数据、统计数据变化率，主要影响写操作的响应时间，估算最大写吞吐量。通过数据分析工具可以得出每

21、秒的写操作IO数和写操作IO量（MB） 现有系统的容量规划非常重要，ET Wizard会根据时间间隔分析每个LUN的IOPS变化情况，然后分析该LUN上的SRDF同步写对系统性能的影响 不同距离、不同存储类型、不同微码、不同Block Size大小 根据经验，两边都是IBM存储、5771 code、32KB Block Size、20公里内，RDF单链路可承载的IOPS为3200左右（吞吐量为32KB*3200=102.4MB/s）（最近湖北移动的实施中，RDF单链路初始同步速率达到60MB，此时I/O SIZE 为32K，接近2000IOPS，故在正常生产中可达到更高）IBM解决方案建设容灾

22、系统我们所关心的问题业务需求的SLA、特定应用系统的RTO、RPO、KPIIT蓝图整体系统架构鲁棒性、灵活性与最佳实践经验差距分析数据恢复、容灾切换、回切流程业务连续性包含更广的内容主动性更强业务连续性流程危机管理人力资源管理IT系统恢复一石激起千层浪易于使用易于使用提高能源效率提高能源效率以信息为中心的保护以信息为中心的保护投资保护投资保护IBM拥有最完善的存储产品线DS8000DS4000DS3000DS6000DS50002009更可靠更可靠DS8000/XIV/DS6800/SVC 电源、接口、数据均冗余； XIV划时代全新体系结构； DS8000支持三点容灾； DS6800、DS80

23、0支持System Z更绿更绿 支持异构环境的虚拟化SVC和NAS网关； 配合SATA磁盘更绿色； 支持Thin Provision精简配置；更经济更经济 DS3200/DS3300/DS3400更具价格优势,面向System X的存储 N系列存储，基于IP的容灾建设 支持SAS/FC/SATA磁盘更快更快 DS8000最高490万IOPS; SVC的SPC性能优异； DS4800+GPFS适合HPC应用； DS5000高达70万IOPS； DS5000最高吞吐率6400MB/s；DS8000 XIVSAN Volume Controller多种类型多种类型访问需求访问需求异构环境异构环境虚拟

24、引擎虚拟引擎高端服务器高端服务器向外扩展向上扩展向外扩展通用通用存储存储DS3000, DS4000, DS5000N系列系列IBM磁盘存储定位DS高级拷贝服务技术Primary Site AMetro Site BOut of Region Site CMetro / Global MirrorThree site synchronous and asynchronous mirroringAvailable on:DS8000, ESSN SeriesFlashCopyPoint in time copyAvailable on:DS8000, DS6000, ESSSAN Volume

25、ControllerDS4000N SeriesWithin Storage SystemOut of Region Site BPrimarySite AGlobal MirrorAsynchronous mirroringAvailable on:DS8000, DS6000, ESSSAN Volume Controller DS4000N SeriesPrimary Site AMetro distance300km Site BMetro Mirror Synchronous mirroringAvailable on:DS8000, DS6000, ESSSAN Volume Co

26、ntrollerDS4000N Series39IBM DS8000创新的革命创新延续了 DS8000 世界级的性能，提供绿色存储POWER 5+处理器 支持4,900,000 IOPS，业界第一 支持固态硬盘, 性能提升8倍！存储池条块化 新增卷配置选项可以无须特别优化即可获得最大性能AMP 领先的缓存专利技术可以显著地提高性能（成倍提高RAID 5的性能），减少备份时间、商业智能/数据仓库的处理时间、流媒体、以及批量处理Z/OS 全球镜像多线程读 IBM独有的创新技术可以提高 Z/OS 远程镜像的性能业界目前唯一的支持磁盘加密功能的厂商支持重复数据删除创新以简化并提高效率IBM FLASH

27、COPY SE (SPACE EFFICIENT) 可以通过减少容量来减少成本，更少的磁盘、更少的能耗、更绿色DYNAMIC VOLUME EXPANSION 更简单、在线、卷扩展来支持发展SSL-新的安全性连接协议选项，为回拔支持额外的审计记录IBM SYSTEM STORAGE PRODUCTIVITY CENTER 增强的用户管理图形化界面，支持单一的管理平台管理多台DS8000设备混插磁盘 提供内部层次化存储分区（LPAR）-扩展性能与性能的完美结合，相对单一存储提高TCO创新与服务器协作以提高数据中心效率IBM DS8000 运行 DB2 和 AIX 在 IBM SYSTEM PTM

28、 平台上可以支持统一的自动化功能和集成的有效性和性能更有效地利用P服务器与DS8000中的缓存，可以提高整个系统的性能而无需增加管理的复杂DS8100DS8300DS8300 with up to four ExpansionsProcessor-pSeries POWER52-way4-way4-wayCache16 to 128 GB32 to 256 GB32 to 256 GBExpansion RackYes (1)Yes (2)-Host Adapters-4-port Fibre Channel / FICON (2 Gb)-2-port ESCON2 to 162 to 162 to 32Device Adapters2 to 122 to 122 to 12Drives-145GB, 300GB, 450GB (15,000 rpm FC)-500 GB (7200 rpm high capacity drives)16 to 128*(Increments of 16)16 to 128(Increments of 16)16 to 1024(Increments of 16)Physical Capacity1.1 to 58 TB1.1 to 58 TB