HP容灾技术培训.ppt

1、容灾技术培训,2,Agenda,XP容灾原理 容灾系统架构及设计 容灾系统日常维护 容灾数据切换及恢复 外挂存储,3,XP磁盘阵列容灾原理,4,Continuous Access (CA),Continuous Access XP （简称CA）是基于XP磁盘阵列的远程镜像软件。通过CA 可以实现两台XP之间的实时数据复制。,Primary XP,Secondary XP,P-VOL = 源数据卷 S-VOL = 目标卷 MCU = Master Control Unit，包含P-VOL RCU = Remote Control Unit，包含S-VOL,MCU,RCU,5,数据复制技术Cont

2、inuous Access XP Sync,每一个写IO先后在主备阵列上写完以后才返回完成，数据零丢失 两站点之间距离越远，写延时越长 适用于两站点之间距离较近（通常小于30KM），且远程链路带宽较高（通常大于1Gb）的情况,6,数据复制技术Continuous Access XP Async,每一个写IO写入主阵列缓存即返回完成 主阵列通过建立IO顺序表的方法向备阵列异步更新数据 主阵列通过缓存（Sidefile）储存尚未发送给备阵列的数据 写IO延时基本不受远程链路距离影响 在链路带宽足够的情况下可实现数据接近零丢失 需要通过参数设置的方式限制暂存数据对缓存的占用,7,数据复制技术Cont

3、inuous Access XP Journal,每一个写IO写入主阵列缓存并更新Metadata后即返回完成 备阵列向主阵列发送请求，异步从主阵列读取数据 主阵列通过Journal盘储存尚未发送给备阵列的数据，对缓存占用很少 写IO延时基本不受远程链路距离影响 合理设置Journal盘的容量可以最大程度保持数据传输的有序性,8,HP 3DC Solution,一、二中心之间通过Continuous Access Sync方式进行数据复制，实现数据零丢失 二、三中心之间通过Continuous Access Journal方式进行数据复制，实现远距离数据容灾 在每个中心分别通过RaidMana

4、ger主机进行管理和控制,RaidManager,RaidManager,RaidManager,9,Continuous Access 的控制方式,在XP上安装CA软件，在访问XP的主机上安装Raidmanager软件。通过控制Raidmanager命 令来管理CA的运行,RAID Manager Instance,控制命令,主机,RAID Manager Instance,控制命令,主机,FC网络,SVP,UDP,CA软件,CA软件,IP网络,FC连接,FC连接,MCU,MCU,RCU,RCU,10,Consistency Group (CT Group),在异步模式下，CA通过Consi

5、stency Group （简称CT Group）来保证写入顺序的一致性。对于同一个 CT Group内的所有镜像卷来说，写入远程XP的顺序和写入本地XP的顺序是一致的。,11,Raid Manager (RM),RAID Manager （简称RM） XP是基于主机的软件包。通过RM可以从主机上使用命令行来 控制XP镜像软件（包括Continuous Access、Business Copy等）的运行。,Commands: pairdisplay paircreate pairsplit .,Configuration File,Raid Manager Instance,Host,CMD

6、Device,XP,12,Raid Manager 在容灾系统中的应用,IP,FC,13,RAID Manager配置文件,/etc/horcm.conf: HORCM_MON #ip-addressservicepoll(10ms)timeout(10ms) 132.33.34.11horcm010003000 本机IP地址horcm进程监听端口号 轮询设置超时设置 HORCM_CMD #dev_name /dev/rdsk/c11t15d7 XP CMD Device的设备文件 HORCM_DEV #dev_groupdev_nameportTargetLun ca-billbill01_

7、01CL1-A00 CT group名称镜像卷名称LUN所在的端口target号LUN号 HORCM_INST #dev_groupip_addressservice ca-bill132.33.34.11horcm0 CT group名称对端RM主机IP地址对端RM主机horcm进程监听端口号,14,容灾系统架构及设计,15,方案概述,本项目的目标是构建XX集团计费帐务系统的大连容灾系统。 容灾中心选址在大连XX机房。数据复制机制选择基于存储级的数据复制软件Continuous Access/XP。容灾存储设备选择惠普公司的企业级高端存储设备XP10000。在容灾机房中配备了各子应用系统的容

8、灾主机 惠普公司的HP9000服务器。 本项目实施完成后，根据目前应用系统在两台XP128上的部署，将实现北京机房的两台XP128到大连一台XP10000的实时数据复制。,16,本次项目复制数据范围,根据东软及网通集成公司的共同确认，本次容灾项目涉及的数据复制范围如下：,17,现有SAN环境,18,项目实施后的SAN环境,19,XP10000划分,硬件配置 Cache : 16GB CHIP端口：16个 ACP：1对 磁盘组：146GB x 4 x 26 （裸容量14TB左右） Cache划分 五个业务系统共享16GB cache。 磁盘组 OPEN-E。Raid级别采用RAID5（3D+1P

9、）。 LDEV ID LDEV ID的分配采用disperse方式。,20,XP10000端口配置,CHIP端口 计费系统，MQ：2个CHIP端口 帐务系统，采集系统：2个CHIP端口 客服系统：2个CHIP端口,21,XP128及XP10000配置表,22,Continuous Access配置,两台XP128到XP10000的CA配置的MCU-RCU关系如下：,Maximum Initial Copy Activity: 4,CU 0,CU 1,CU 1,CU 0,CU 1,CU 2,XP128-20917,XP128-20434,XP10000-83066,23,CT Group规划,2

10、4,Raid Manager配置,/etc/horcm0.conf,Instance 0,Instance 0,/etc/horcm0.conf,Commands,P-VOL,CA,c17t15d7 / c21t15d7,XP128-20917,Commands,132.33.34.11,132.37.3.11,S-VOL,CA,c12t15d7 / c13t15d7,XP10000-83066,IP,FC,P-VOL,CA,c36t15d7 / c37t15d7,XP128-20434,FC,北京,大连,25,RAID Manager配置文件-北京,yz-col2:/etc/horcm0.c

11、onf: HORCM_MON 132.33.34.11horcm010003000 HORCM_CMD #unit0 (20917) /dev/rdsk/c17t15d7 /dev/rdsk/c21t15d7 #unit1 (20434) /dev/rdsk/c36t15d7 /dev/rdsk/c37t15d7 HORCM_DEV ca-billbill01_01CL1-C25 ca-busbus01_01CL1-B36 ca-colcol01_01CL1-A83 ca-feefee01_01CL1-A00 ca-mqmq01_01CL1-B02 ca-dsbilldsbill01_01CL

12、1-E100 ca-dsbusdsbus01_01CL1-F100 ca-dsfeedsfee01_01CL1-E132 HORCM_INST ca-bill132.37.3.11horcm0 ca-fee132.37.3.11horcm0 ca-bus132.37.3.11horcm0 ca-col132.37.3.11horcm0 ca-mq132.37.3.11horcm0 ca-dsbill132.37.3.11horcm0 ca-dsfee132.37.3.11horcm0 ca-dsbus132.37.3.11horcm0,26,RAID Manager配置文件-大连,B35-RZ

13、DL-COL01:/etc/horcm0.conf: HORCM_MON 132.37.3.11 horcm0 1000 3000 HORCM_CMD /dev/rdsk/c12t15d7 /dev/rdsk/c13t15d7 HORCM_DEV ca-billbill01_01CL3-A25 ca-busbus01_01CL3-B00 ca-colcol01_01CL1-A57 ca-feefee01_01CL1-A00 ca-mqmq01_01CL3-A215 ca-dsbilldsbill01_01CL3-A186 ca-dsbusdsbus01_01CL3-B51 ca-dsfeeds

14、fee01_01CL1-A83 HORCM_INST ca-bill132.33.34.11horcm0 ca-fee132.33.34.11horcm0 ca-bus132.33.34.11horcm0 ca-col132.33.34.11horcm0 ca-mq132.33.34.11horcm0 ca-dsbill132.33.34.11horcm0 ca-dsfee132.33.34.11horcm0 ca-dsbus132.33.34.11horcm0,27,容灾系统日常维护,28,启动和停止Raid Manager进程,启动RM进程： horcmstart.sh 0 停止RM进程：

15、 horcmshutdown.sh 0,29,Raid Manager常用命令-pairdisplay,显示镜像卷状态: pairdisplay g I0 fxc #pairdisplay g ca-bill I0 -fxc GroupPairVol(L/R) (Port#,TID, LU),Seq#,LDEV#.P/S,Status,Fence, %,P-LDEV# M ca-billbill01_01(L) (CL3-A , 2, 5)83066 75.S-VOL PAIR ASYNC , 0 75 ca-billbill01_01(R) (CL1-C , 2, 5)20917 75.P-

16、VOL PAIR ASYNC , 0 75 Group：CT Goup PairVol(L/R)：镜像卷名称（L表示本地卷，R表示远程卷） (Port#,TID, LU)：horcm.conf里指定port/target/LUN号 Seq#：XP序列号 LDEV#：LDEV号（十六进制） P/S：LDEV属性（P-VOL或S-VOL） Status：镜像卷状态 Fence：ASYNC表示为异步模式 %：Status为PAIR时表示Cache占用，COPY时表示复制进度，PSUS/PSUE时表示两端LDEV尚未变化的数据量 P-LDEV#：对端LDEV号,30,镜像卷状态,SMPL：无镜像关系

17、COPY：正在做初始化复制或正在恢复同步 PAIR：镜像卷状态同步 PSUS：镜像卷被用户断开 PSUE：镜像卷由于链路异常被断开 PFUS：镜像卷由于Sidefile占用超过Cache设定上限被断开,31,Raid Manager常用命令,断开镜像卷： pairsplit g -I0：断开镜像卷，S-VOL不可写 pairsplit g -I0 -rw：断开镜像卷，S-VOL可读写 pairsplit g -I0 -S：删除镜像关系 pairsplit g -I0 -R：强制从S-VOL一端断开镜像，用于灾难恢复 恢复镜像关系: pairresync g -I0 c 15 显示CT Grou

18、p状态： pairevtwait g -I0 -nowait 返回值： 1-SMPL 2-COPY 3-PAIR 4-PSUS （PFUS也表示为PSUS） 5-PSUE 该命令只有在CT Group中所有镜像卷状态一致时才会正常返回。,32,维护脚本,yz-col2和B35-RZDL-COL01 主机上： /opt/dr/maintain_script/checkCA_status.sh：检查所有CT Group的状态及Cache占用率 /opt/dr/maintain_script/splitCA_all.sh：以读写方式断开所有CT Group /opt/dr/maintain_scri

19、pt/splitCA_bill.sh：以读写方式断开ca-bill组 /opt/dr/maintain_script/splitCA_fee.sh：以读写方式断开ca-fee组 /opt/dr/maintain_script/splitCA_bus.sh：以读写方式断开ca-bus组 /opt/dr/maintain_script/splitCA_col.sh：以读写方式断开ca-col组 /opt/dr/maintain_script/splitCA_mq.sh：以读写方式断开ca-mq组 /opt/dr/maintain_script/splitCA_dsbill.sh：以读写方式断开ca

20、-dsbill组 /opt/dr/maintain_script/splitCA_dsfee.sh：以读写方式断开ca-dsfee组 /opt/dr/maintain_script/splitCA_dsbus.sh：以读写方式断开ca-dsbus组 /opt/dr/maintain_script/resyncCA_all.sh：恢复所有CT Group的镜像同步,33,大连容灾系统可能出现的故障,大连容灾系统可能出现的故障现象及解决方法如下：,34,容灾数据切换及恢复,35,需要进行容灾切换的情形,需要进行容灾切换的情形主要有： 生产中心所属区域发生重大自然灾害 生产中心机房受到严重破坏或长时

21、间停电 生产中心两个SAN网络全部故障 生产中心XP128出现严重故障 容灾演习 ,36,容灾数据切换流程,37,检查容灾中心软硬件状态,检查容灾中心主机及存储硬件 确认Xp10000的MESSAGE（黄）和ALARM（红）告警等不亮 确认主机告警等不亮 确认SAN交换机无告警 检查容灾中心集群状态 在各台主机上执行cmviewcl v 确认所有节点状态为running，所有运行包状态为halted,38,断开镜像,以root用户登录到B35-RZDL-COL01主机上执行： /opt/dr/switch_over_script/splitCA_all_R.sh 断开镜像并将大连Xp10000

22、上的数据置为可读写,39,修改卷组属性和数据库配置,以root用户登录到各台容灾主机上 激活卷组 /opt/dr/switch_over_script/vgactive_xxx.sh 修改数据库配置 /opt/dr/switch_over_script/dataconfig_xxx.sh 去激活卷组 /opt/dr/switch_over_script/vgdeactive_xxx.sh,40,启动运行包,以root用户在各台主机上执行 cmrunpkg v n 主机名 运行包名 cmviewcl cmmodpkg e 运行包名,41,容灾数据恢复（回切）流程,42,Metrocluster

23、/ Continental Cluster,43,MetroCluster 同城集群,与MC/Service软件集成，实现同城数据中心之间（200公里）构建高可用集群 与Continuous Access XP软件集成，实现生产中心和灾备中心之间的数据一键切换 每个数据中心应配置同样数量的主机，并在第三中心提供Quorum Serivce 支持自动或手动切换方式,44,Continental Cluster 洲际集群,实现两个远程集群（距离不限）之间的监控及切换 与Metrocluster软件集成，实现生产中心和异地灾备中心之间的数据一键切换 不支持自动切换，只支持手动切换,45,案例：某船运

24、公司3中心架构,46,客户需求及解决方案,需要同时满足零数据丢失和防范大范围灾难的需求。 HP 3DC Solution 数据传输方面需要使用两地之间已具备的IP网络，不再另行铺设裸光纤 使用MP Blade配置FC over IP，通过IP网络实现两地之间的容灾数据传输 客户主要系统均为Windows Server，要求实现自动化的容灾管理和切换。 Cluster Extension XP软件与微软集群进行集成，实现自动化容灾集群。,47,系统架构图,48,整体规划,HK2为主中心，HK1为同城容灾中心，SZ为异地容灾中心 HK2和HK1之间采用长波光纤直联，通过CA Sync方式进行数据复

25、制 HK2和SZ之间采用FCIP远程连接，通过CA Journal方式进行数据复制 三个数据中心均有相应的服务器进行应用接管 在HK2和HK1之间，以及HK2和SZ之间通过Cluster Extension XP软件与Microsoft Cluster集成实现自动化容灾功能。,49,M公司3DC结构,50,M公司FCIP架构图,VE_port,VEX_port,Backbone Fabric,Edge Fabric,51,External Storage,52,External Storage XP virtualization overview,External Storage XP vir

26、tualizes heterogeneous disk arrays Hosts connected to the XP12000/10000 see the capacity, but not the physical attributes of the external arrays,53,External Storage internal overview,External LUNs are mapped as XP virtual devices (VDEVs), logical devices (LDEVS), and host-facing LUNs Ports (and CHIP

27、 MPs) are dedicated to external array connections The host sees internal and external based LUNs in a similar way If necessary, the host can distinguish external LUNs via SCSI inquiry,54,External Storage solution connectivity,For high-availability, the following setup is recommended: A matched set of one host facing CHIP multiprocessor (MP) and one storage facing CHIP MP One Fibre Channel path One external array port One external LUN Warning! Deviate from this only if you cl