GPFS双活数据中心建设方案

1、IBM ATS, China IBM CorporationPower GPFS Active-Active SolutionATS: Ni Gang第1页 双活数据中心思索 GPFS双活处理方案及实施 客户案例分享 内容提要 GPFS双活数据中心处理方案2第2页 1双活数据中心思索双活数据中心需求“0”切换高资源利用率双活数据中心技术实现条件基础架构要求第3页4关键业务运行依赖信息系统Gartner and DRJ BCM/DR survey各行业关键业务RTO各行业宕机损失商业运行每小时营收30秒数据价值制造业$1,610,000 $13,417 金融$1,495,000 $12,458

2、零售$1,107,000 $9,225 制药$1,082,000 $9,017 医疗$636,000 $5,300 公用事业$643,000 $5,358 天灾人祸难以防止灾备市场 & 增加率IDC中国业务连续性与灾难恢复市场-预测与分析第4页5恢复时间目标15 Min.1-4 Hr.4 -8 Hr.8-12 Hr.12-16 Hr.24 Hr.Days成本/价值BC Tier 4 快照复制， 用于备份/恢复BC Tier 3 磁带库，电子VaultingBC Tier 2 热备站点，磁带恢复BC Tier 7 服务器或者存放复制，且端到端服务器自动恢复BC Tier 6 实时连续数据复制，服

3、务器或者存放BC Tier 1 磁带恢复从磁盘恢复从磁带拷贝恢复数据容灾级别（BC Tier）恢复时间目标 RTO需要均衡成本与性能客户目标: 均衡 恢复时间 和 合理成本BC Tier 5 应用/数据库级复制和集成RTO=0 & RPO=0 双活数据中心能提供更高BC Tier第5页双活系统中心”0”切换当前非双活系统中心模式”0”切换当地高可用系统异地容灾系统应急保障系统双活系统中心=“0”切换系统切换风险和成本用户满意度运行/KPI考评应急情况处理能力技术创新点用户满意度运行/KPI考评 双活系统“0”切换运行风险第6页双活系统中心高资源利用率ServerSAN存放Active Site

4、SAN存放Active Site not standbyServer第7页Fabric AFabric B支持跨站点集群功效应用存放虚拟化，实现跨站点数据读写和数据冗余双活数据中心实现条件8第8页设计双活数据中心考虑原因不论客户或者厂家实施双活数据中心都必须处理以下挑战：双活数据中心之延迟和稳定性:因为光速限制，每 100km 所产生数据往返延迟约为1ms。该延迟已经跟普通硬盘读写可比。所以，会对实际应用性能组成影响, 尤其是两数据中心数据交互亲密业务。另外，数据中心之间网络更难以维护和掌控。Quorum / Tie-Breaker 之需求:为了防止双活数据中心产生脑裂(Split Brain

5、)或场地分割(site isolation) 情况，处理方案需要提供有效Quorum / Tie-Breaker方式来确保数据完整性.工作负载之考虑:业务交易中，应用所产生之写操作 (INSERT, UPDATE, DELETE)百分比越高，则越多数据需要跨数据中心传送。这类型业务交易不利于双活数据中心设计。推荐业务划分，读写分离等有效躲避数据中心间交互架构。9第9页IBM GPFS双活处理方案GPFS相关技术介绍GPFS双活+Oracle RACGPFS双活+DB2 Purescale(GDPC)与EMC VPLEX竞争分析 2第10页11storage networkIP network

6、并行文件系统 shared disk storage/DB1_data/user_homeclients server cluster softwarecluster softwarecluster software/DB1_data/user_home/DB1_data/user_home/DB1_data/user_home第11页IBM ConfidentialIBM GPFSGeneral Parallel File System (GPFS) 悠久历史1998HPCGPFS General File ServingStandardsPortable operating system

7、interface (POSIX) semantics-Large blockDirectory and Small file perfData managementVirtual Tape Server (VTS)Linux Clusters (Multiple architectures)IBM AIX Loose ClustersGPFS 2.1-2.3HPCResearchVisualizationDigital MediaSeismicWeather explorationLife sciences32 bit /64 bitInter-op (IBM AIX & Linux)GPF

8、S MulticlusterGPFS over wide area networks (WAN)Large scale clustersthousands of nodesGPFS 3.1-3.2First called GPFSGPFS 3.4Enhanced Windows cluster support- Homogenous Windows ServerPerformance and scaling improvementsEnhanced migration and diagnostics support GPFS 3.3Restricted Admin FunctionsImpro

9、ved installationNew license modelImproved snapshot andbackupImproved ILM policy engine Ease of administrationMultiple-networks/ RDMADistributed Token ManagementWindows Multiple NSD serversNFS v4 SupportSmall file performanceInformation lifecycle management (ILM)Storage PoolsFile setsPolicy EngineGPF

10、S 3.5Active File ManagementGPFS Native RAIDGPFS Shared Nothing Cluster12第12页 | GPFS是基于共享存放分布式、高性能集群文件系统存放Server网络集群内可多达8192个节点，256个FS支持多平台PowerPowerX86IntaniumX86AIXAIXRedhat/SUSEWindowsWindows支持异构存放（IBM DS Sotrage / IBM XIV / EMC DMX ）实测环境中，文件系统容量高达 4 PB网络支持EthernetInfinBandSANSAN能够无限扩展在线灵活扩展第13页支持

11、存放产品In addition to IBM Storage, IBM GeneralParallel File System (GPFS) supportsstorage hardware from these vendors:GPFS supports many storage systems, and the IBM support team can help customers using storage hardware solutions not on this list of tested devices.EMCHitachiHewlett PackardDDN第14页GPFS处

12、理方案GPFS is certified for RACon/solutions/sap/doc/content/landingdtw/1605307130.html?g_type=pspotPowered by GPFSIBM Virtualization Engine TS7700TS7510 Virtualization EngineVirtual Tape Server Model B10Virtual Tape Server Model B20IBM family ofVirtualization Tape Systems GPFS insideSAS Grid is support

13、ed on GPFSGPFS V9.8 & GPFS第15页NSD ServerNSD ServerSANNSD ClientAppNSD ClientAppNSD ClientAppNSD ClientAppNSD ClientAppNSD ClientAppNSD ClientAppNSD ClientAppNSD ClientAppNSD ServerNSD Server仅NSD服务器 连接SAN存放盘，NSD Client经过LAN连接Server全部节点连接SAN存放盘，NSD Server*NSD ServerApp*NSD ServerApp*NSD ServerApp*NSD

14、ServerAppSAN*Optionally configured to enhance availabilityGPFS存放管理-NSD（Network shared disk）GPFS中全部Disk定义成NSD，是否直连SAN存放是区分NSD Server和Client标志NSD即GPFS中集群用于描述各Disk全局唯一名字一个节点上定义则全部节点可用NSDs能够在各种存放设备类型上创建(hdisk,vpath,Emcpower,Lv)第16页IBM ConfidentialFailure Group:在一个Storage pool中，经过不一样failure groups对pool内D

15、isks进行分离;文件复制时，两份数据自动分布到两个不一样group元数据同时及数据复制预防存放故障引发数据高可用支持定义失效组，预防存放单点故障（如数据位于同一存放阵列）失效组数据自动同时多至2份拷贝支持复制整个文件系统，一组文件或单个文件失效组恢复日志自动同时支持Local 读支持异地容灾 支持跨域GPFS复制 支持同时Metro Mirror支持异步Global Mirror17GPFSGPFS存放管理-Failure Group第17页IBM ConfidentialReplication:复制，当GPFS复制功效启用时,GPFS文件系统数据和元数据将被保留两个分布在不一样失效组副本,

16、当其中一个副本不可用时,另一个副本将使文件系统保持可用.18GPFS Replication over failure groupsInode, indirect block, and/or data blocks may be replicatedEach disk address: List of pointers to replicasEach pointer: disk id + sector no.GPFS文件系统写数据时候会同时写入不一样失效组内盘中, 这么就实现了数据高可用. 数据类型能够包含结构化及非结构化数据.另外GPFS支持当地读, 这么对于读操作, GPFS优先选择本数据

17、中心存放进行读取, 防止了因读取远端存放而引发性能损失.第18页此quorum机制是文件系统关键仲裁,和failure group一起保障了存放层高可用.创建时: 若有个不一样failure groups,就会创建份复制若有个不一样Disk,就会创建份复制若只有个或个Disk,则每个Disk上创建一份复制这些Disk中必需超出半数复制可用来维持文件系统操作可经过创建descOnly NSD增加mmlsdisk device -L remark field: desc or excl Disk Descriptor QuorumNode 1Node 2File System Descriptor

18、 Quorum第19页IBM ConfidentialQuorum NodeNon-Quorum NodePrimary Configuration ServerSecondary Configuration ServerIP NetworkSANSANGPFS Synchronous ReplicationPrimary SiteSecondary SiteTie-Breaker SiteSingle GPFS Cluster20Active-ActiveGPFS Active-Active Solution第20页 | IP networkSite ASite BSite C (tiebr

19、eaker)Shared disk access (SAN / NSD)Site A storage(failure group 1)Sample disk descriptor listgpfs1nsd:siteAnode1:dataAndMetadata:1gpfs2nsd:siteAnode1:dataAndMetadata:1gpfs3nsd:siteAnode3:dataAndMetadata:1gpfs4nsd:siteAnode4:dataAndMetadata:1gpfs5nsd:siteBnode1:dataAndMetadata:2gpfs6nsd:siteBnode2:d

20、ataAndMetadata:2gpfs7nsd:siteBnode3:dataAndMetadata:2gpfs8nsd:siteBnode4:dataAndMetadata:2gpfs9nsd:siteCnode1:descOnly:3Site B storage (failure group 2)non-quorum nodequorum nodeprimary cluster configuration data serversecondary cluster configuration data server仲裁站点(C) 用于确保一个数据中心出现故障时，维持整个cluster可用性

21、Holds an additional quorum node Holds a “file system descriptor-only” (descOnly) disk in a third failure groupSingle replicated GPFS file system: mmcrfs /gpfs/fs0 fs0 F diskDescList -r 2 -R 2 -m 2 -M 2GPFS Active-Active Solution Configuration第21页 22IBM ConfidentialGPFS Cluster心跳机制第22页 23IBM Confiden

22、tialGPFS Cluster心跳相关参数 leaseDurationTime a disk-lease is granted from CfgMgr to any node.Default: 35 seconds leaseRecoveryWaitAdditional time to wait in case a node failed to renew the lease. The purpose allows for I/Os that were started just before the lease ran out to finish first.Default: 35 seco

23、nds PingPeriodTime period between two pings (second)Default: 2 seconds TotalPingTimeoutTotal amount of time pinging a node before giving up (second)Default: 120 seconds第23页 24IBM ConfidentialGPFS Persistent Reserve Function Persistent Reserve: Persistent Reserve refers to a set of Small Computer Sys

24、tems Interface-3 (SCSI-3) standard commands and command options. These PR commands and command options give SCSI initiators the ability to establish, preempt, query, and reset a reservation policy with a specified target disk. The functions provided by PR commands are a superset of current reserve a

25、nd release mechanisms. These functions are not compatible with legacy reserve and release mechanisms. Target disks can only support reservations from either the legacy mechanisms or the current mechanisms.Note: GPFS manages reserve_policy and PR_key_value using reserve_policy=PR_shared when Persiste

26、nt Reserve support is enabled and reserve_policy=no_reserve when Persistent Reserve is disabled.第24页 GPFS Persistent Reserve HW Support List 25IBM Confidential第25页 26IBM ConfidentialGPFS Local Read Configuration Local Read: 在GPFS Replication环境下，能够经过指定NSD优先级来实现双数据中心当地读需求.普通情况下，GPFS优先使用SAN提供IO服务. # mm

27、fsadm dump disk | grep relAcctime dtype nsd, directly attached relAcctime 0 dtype nsd, directly attached relAcctime 1 dtype nsd, LAN attached relAcctime 2 默认下，SAN Attached 优先级为0，LAN Attached 优先级为2. Command: mmfsadm test diskrelacc oradata nsd1 1 #修改远端数据中心nsd1优先级为1.第26页IBM ConfidentialIP NetworkSANSA

28、NGPFS Synchronous ReplicationPrimary SiteSecondry SiteTie-Breaker Site Single GPFS Cluster27More Requirement 两地三中心IP NetworkSANMetro or Global MirrorBackup SiteBackup GPFS Cluster第27页IBM Confidential RAC Public NetworkRAC01RAC02IP networkSAN SWITCHSAN SWITCHDWDNDWDNGPFS Cluster using Replication Pri

29、vate networkActive Site AActive Site BTie-Breaker Site CGroup 1PrimaryGroup 2Group 2Primary Group 1GPFS AA + Oracle Extended RAC28第28页GPFS for Oracle RAC 11g on AIXThe GPFS v3.2 Concepts, Planning and Installation Guide contains a “GPFS use with Oracle” chapter that contains Oracle configuration and

30、 tuning considerations.Oracle MetaLink Note 302806.1 contains a “GPFS Tuning Requirements for Oracle” section which describes the latest tuning information.IBM Whitepaper: Oracle Database 11g and Oracle RAC 11g on IBM AIX Tips and Considerations/support/techdocsGPFS is the only IBM file system certi

31、fied for RACon29第29页Oracle RAC & GPFSRAC ON GPFS 基本配置GPFS当地复制,增加RAC可用性GPFS经过SAN或IP异地复制方案为RAC提供灾备处理方案第30页Oracle RAC仲裁: 31IBM ConfidentialOracle RAC仲裁机制: OCSSD 这个进程是Oracle Clusterware中最关键进程，假如这个进程出现异常，会造成系统重启，这个进程提供CSS(Cluster Synchronization Service)服务。 CSS 服务经过各种心跳机制实时监控集群状态，提供脑裂保护等基础集群服务功效. CSS 服务有

32、2种心跳机制： 一个是经过私有网络Network Heartbeat，另一个是经过Voting DiskDisk Heartbeat.这2种心跳都有最大延时，对于Disk Heartbeat， 这个延时叫作IOT (I/O Timeout);对于Network Heartbeat, 这个延时叫MC(Misscount);重启起最大允许被驱逐次数reboottime默认为3次，Disk timeout 默认200秒，Misscount默认值:第31页Oracle RAC仲裁和GPFS集群仲裁: 32IBM ConfidentialOracle不提议使用共享文件系统来保留Voting disk.

33、实施中提议取两台存放raw device做为voting1和voting2， 仲裁站点仲裁Sever创建NFS为做voting3.在容灾场景中，GPFS 恢复时间应该小于Oracle RACtimeout.GPFS使用网络做为整个IO集群心跳，OraclePrivate Network也对网络有很高要求，提议分别布署dedicated network.第32页DB2 PureScale 处理方案 Geographically-Dispersed PureScale Cluster (GDPC)33Mbr1Mbr3Mbr2Mbr4CFsecCFpriInfiniband switch Datab

34、ase Log Log Log LogEthernetInfinibandFiber ChannelGPFS Shared Storage (logical view)Physical StorageSingle-sitepureScaleconfigurationGDPCpureScaleconfigurationN kmIB range extenderMbr1Mbr3Mbr2Mbr4CFsecCFpriDark Fiber or WAN Database Log Log Log LogFiber ChannelGPFS Shared Storage (logical view)Physi

35、cal Storage site APhysical Storage site BInfiniband + IPoIBGPFS replication between sites3rd Site tie-breakerEthernet第33页 LAN BackboneSANswitchesHeterogeneous storagesystemOracle RAC cluster(primary)Node 1RAC interconnectLAN BackboneNode 2Mirror A (active)Mirror B (active)VPLEX interconnect(dark fib

36、re)Primary I/O pathPrimary I/O pathNote:No Mirror I/O path requiredVPLEXClustersVPLEXWitness(virtual machine)Dedicated IP linkDedicated IP link“Identical” virtual volumes(actually the same volumes)Physical volumesEMC VPLEX双活数据中心方案 第34页经过VPLEX Metro提供分布式联合能力，扩展了同时距离内两个位置间访问能力。VPLEX Metro 利用AccessAnyw

37、here支持跨远距离共享、访问单个数据拷贝。实现主备主机同时访问同一套卷愿望，也就是所谓“双活”架构，35EMC VPLEX双活数据中心方案 第35页IBM GPFS VS EMC VPLEX指标对比指标EMC VPLEXIBM GPFS应用案例5月才公布早在2.X版本就支持AA架构 ()支持盘阵与主机类型有限（IBM i系列不支持）绝大多数厂商都支持物理安装全部设备必须安装在同一EMC机柜能够分开安装在任何标准机柜最大虚拟卷数量每个集群8000个只受OS限制和存放限制最大虚拟卷大小96TB只受OS限制和存放限制Point-in-time copy不支持有snapshot功效远程异步复制不支持

38、不支持写缓存不支持（只支持读缓存）GPFS本身提供写缓存(Oracle使用DirectIO)copies之间在线复制/同时支持支持是否支持向两地三中心扩展使用存放异步复制实现使用存放异步复制实现数据不一样时后是否支持增量同时不支持支持当地读支持支持价格低，性价比高36第36页客户案例分享交通银行(GDPC)山东移动(win)渤海银行(ongoing)武汉社保(ongoing) 3第37页交通银行GDPC项目 - 项目需求项目目标把试点应用改造为在双中心同时处理双中心运行时业务交易性能控制到可接收范围内恢复时间目标（RTO）为分钟级恢复点目标（RPO）需趋近于0设计方案不要求应用有太多改动试点考

39、查应用系统一套网银支付类应用一套贷款流程管理类应用依据实际效果推广 381/2 of clientconnections1/2 of clientconnectionsClientAppsClientAppsClientAppsClientAppsClientAppsClientAppsM1M3M2M4CFSCFPSite ASite B70 kmConnections balanced第38页生产中心和同城副生产中心之间光纤距离70公里客户与其合作搭档了解 DataSharing/z原理实现了MultiSite DataSharing，采取读写分离等办法到达了期望性能年部分实施了GDPS客户

40、开放平台试点应用改造前采取了WAS Cluster, DB2 ESE +HA CMP和EMC SRDF. 客户选择了GDPC参考架构作为实现项目目标基础交通银行GDPC项目 - 项目背景39GDPCActive-Active第39页故障类型场景应用故障转移时间提供业务连续性Member服务器故障重启约3秒非故障Member DB2进程瓦解约5秒非故障MemberInfiniband网络故障约2秒非故障Member以太网故障(非GPFS心跳网)约9秒非故障MemberGPFS心跳网络故障约38秒非故障Member暂挂约18秒后继续服务主CF服务器故障重启应用几乎不受影响全部MemberCF进程瓦

41、解应用几乎不受影响全部MemberInfiniband网络故障应用几乎不受影响全部Member以太网故障(非GPFS心跳网)应用几乎不受影响全部MemberGPFS心跳网络故障应用几乎不受影响全部Member交通银行GDPC项目 实测结果40切换测试第40页山东移动Oracle双活项目 介绍41GPFSActive-Active第41页RAC私网GPFS心跳以太网络生产与DR主机DR与生产主机生产存放分区节点站点全部网络生产节点第42页类型描述被操作设备执行操作现象描述数据恢复网络故障模拟一个节点RAC私网中止Power770_3ifconfig en1 downPower770_3数据库IO

42、终止而且该实例退出.其它节点数据库数据库IO暂停40秒左右后继续两份数据一致, 数据无需恢复模拟一个节点GPFS心跳通讯网络故障Power770_4ifconfig en2 downPower770_4被从GPFS集群中踢出,数据库实例退出，其它三个节点数据库IO暂停20秒左右后继续两份数据一致, 数据无需恢复模拟站点间网络通讯故障Power770_3/Power770_4ifconfig en2 down;ifconfig en1 downPower770_3,4从集群中踢出，其它两个节点IO暂停60秒后继续数据一致，无需恢复存放故障两个站点间FC链路故障DS8300-08/09关掉生产站点

43、存放与DR站点主机相连光纤端口一个站点停顿服务，另一个站点在暂停40-50秒后恢复服务两份数据不一致, 经过增量方式实现数据同时关掉DR站点存放与生产站点主机相连光纤端口生产存放故障DS8300-08关掉生产站点存放与4个节点相连光纤端口四个节点业务暂停20秒左右后继续两份数据不一致, 经过增量方式实现数据同时山东移动Oracle双活项目 实测结果143切换测试第43页类型描述被操作设备执行操作现象描述数据恢复节点故障模拟节点故障Power770_3halt -q其它三个点数据库IO暂停30秒左右后继续两份数据一致, 数据无需恢复站点故障模拟站点间通讯故障Power770_3/Power770

44、_4,DS8308/09ifconfig en1/en2 down;一个站点停顿服务，另一个站点在暂停40-50秒后恢复服务两份数据不一致, 经过增量方式实现数据同时关掉生产站点存放与DR站点主机相连光纤端口关掉DR站点存放与生产站点主机相连光纤端口模拟生产站点故障Power770_1,Power770_2,DS8300-08Power770_1/2: halt -qPower770_3/4数据库IO暂停60秒左右后继续两份数据不一致, 经过增量方式实现数据同时关掉生产站点存放与4个节点相连光纤端口山东移动Oracle双活项目 实测结果244切换测试第44页天津渤海银行Oracle双活项目 介

45、绍45GPFSActive-Active第45页类型被操作设备执行操作现象描述数据恢复1节点故障RAC02halt -qRAC01数据库IO暂停17秒后继续两份数据一致, 数据无需恢复2仲裁节点(RAC03)halt -q没有任何影响两份数据一致, 数据无需恢复3存放故障生产站点存放关掉生产节点存放连到交换机上全部端口(2个)两个节点数据库IO均暂停76秒后继续暂停76秒受PowerPath判断路径失败机制影响, 卸载PowerPath之后切换时间降低到15秒两份数据不一致, 经过增量方式实现数据同时mmnsddiscover -a -N allmmchdisk oradata start -

46、d data_dr4网络故障RAC02ifconfig en4 down模拟一个GPFS网络通讯故障RAC02数据库IO终止而且该实例退出RAC01数据库IO暂停20秒后继续两份数据一致, 数据无需恢复需要重新开启第二个节点数据库5RAC02ifconfig en3 down模拟RAC私有网络通讯故障RAC02节点会Crash并rebootRAC01节点数据库IO暂停58秒后继续两份数据一致, 数据无需恢复需要重新开启第二个节点数据库6RAC02ifconfig en3 down;ifconfig en4 down;模拟站点间网络通讯故障与上一致与上一致7RAC02RAC03(仲裁站点)RAC

47、02: ifconfig en4 down;RAC03: ifconfig en1 down;模拟两个GPFS节点通讯网络故障GPFS集群因为超出半数节点失效,故GPFS文件系统不能访问,Oracle被终止,两个节点数据库IO均中止两份数据一致, 数据无需恢复网络恢复后需要重新开启两个节点数据库天津渤海银行Oracle双活项目 实测结果146切换测试第46页类型被操作设备执行操作现象描述数据恢复备注8FC链路故障RAC01关掉fcs0连在交换机上端口两个节点数据库IO暂停79秒后继续两份数据不一致, 经过增量方式实现数据同时暂停79秒受PowerPath判断路径失败机制影响, 卸载PowerP

48、ath之后切换时间降低到15秒9两个站点间FC链路故障关掉生产站点存放与DR站点主机相连光纤端口关掉DR站点存放与生产站点主机相连光纤端口两个节点立刻没有数据库IO, 第一个节点Oracle进程退出, 第二个节点数据库IO暂停76秒后继续两份数据不一致, 经过增量方式实现数据同时暂停76秒受PowerPath判断路径失败机制影响, 卸载PowerPath之后切换时间降低到15秒10站点故障生产站点(RAC02)及生产站点存放RAC02: halt -q关掉生产节点存放连到交换机上全部端口(2个)RAC01数据库IO暂停76秒后继续两份数据不一致, 经过增量方式实现数据同时暂停76秒受PowerPath判断路径失败机制影响, 卸载PowerPath之后切换时间降低到15秒11存放故障(卸载PowerPath驱动)生产站点存放关掉生产节点存放连到交换机上全部端口(2个)两个节点数据库IO均暂停15秒后继续(PowerPath影响了3,8,9,10测试场景切换时间)两份数据不一致, 经过增量方式实现数据同时采取AIX Native MPIO能加紧路径切换时间天津渤海银行Or