分布式双活数据中心技术体系

1、分布式双活数据中心技术体系分布式双活数据中心在传统“两地三中心”模式的基础上，针对不同双活模型部署不同的技术。基于IP 地址发布业务的数据中心端网络的Ingress 方向(客户端到服务器)上需要设备支持 RHI 特性，在 Egress 方向(服务器到客户端)上需要配置网关分离。在数据中心后端需要部署服务器负载均衡与 HA，以及数据分布式双活技术。基于发布业务的数据中心端网络需要采用全局负载分担设备(GSLB)进行选路。以下将对各类实现方式与技术进行介绍分析。1 数据中心前端分布式双活网络技术在分布式双活数据中心网络环境下，通过数据中心前端分布式双活技术，用户能快速“距离最近”的可用数据中心相对

2、应的业务，提高服务响应速度，用户体验。数据中心的业务对外发布时，可以采用纯 IP 地址也可以采方式。根据业务对外发布方式的不同，数据中心前端也相应采用不用 DNS同的技术实现分布式网络双活。1.1 纯IP 地址方式发布业务的前端网络双活技术如图 1 所示，当业务采用纯IP 方式对外发布时，正常情况下只有主中心DCA 对外发布业务路由，从而将用户流量牵引到主中心，实现主中心业务。而备中心DC B 的流量管理设备(支持 RHI 特性)只探测业务地址，因没有探测到而不对外发布业务路由，实现主中心的备份作用。图 1. 纯IP 地址方式发布业务正常情况由主中心提供业务当主中心业务迁移到备中心后，备中心的

3、流量管理设备探测到业务 IP 已经转移到备中心，从而对外发布业务路由，引导用户备中心的业务 IP，从而实现基于纯IP 发布业务的数据中心前端网络双活。值得注意的是，该方案需要备中心流量管理设备支持RHI 特性(如图2 所示)，能够对外发布路由。数据中心间需配置网关分离(如采用 ACL 方式对相关报文进行控制)。若数据中心互联采用 EVI 方式，则天然支持网关分离，无需配置。图 2. 纯IP 地址方式发布业务备中心接管业务方式发布业务的前端网络双活技术1.2当业务系统基于 DNS方式对外发布时，可以采用基于智能 DNS的GSLB1。GSLB 解决了第一步即引导数据中心前端广域网用户流量适当的数据

4、中心问题，所以 GSLB 的应用环境往往是基于担和相互之间的容灾备份。的多数据中心之间的负载分图 3. DNS 方式GSLB 的基本模型(如图 3 所示)GSLB 基于DNS 的流量管理机制主要完成DNS请求的负载均衡、服务器状态、用户路径优化。用户应用时，请求将由 GSLB 负责处理，它通过一组预先定义好的策略，将最接近用户的节点地址提供给用户，使其可以得到快速的服务。同时，它还与分布在各 DC 的所有 GSLB节点保持通讯，搜集各节点的健康状态，以保证不将用户的请求分配到任何一个已经不可用的节点上。GSLB 通过就近探测实现负载分担(如图 4 所示)。图 4. GSLB 就近探测原理数据中

5、心A、B、C 各部署一个GSLB，其中 DC A 的GSLB 为主GSLB，响应流程如下：1. Local DNS 向主GSLB 发起请求;2. GSLB-A、GSLB-B、GSLB-C 将local DNS 的延迟时间等相关信息返回给GSLB-A 汇总，并判断最优的地址返回给local DNS;3. 以站点的响应时间作为引导用户的依据，用户的好，响应时间快的站点。请求被导向到性能DNS 方式的GSLB 主要功能和特性如下：应用智能：感知应用，及时发现业务中断;可管理：自动切换，通知用户改变数据点;高性能：支持流量在数据中心的动态负载均衡。服务器负载均衡与 HA 技术为了保证分布式双活数据中心

6、的持续业务提供能力，需要在后端采用服务器负载均衡与 HA 技术，和前端网络双活配合，实现服务资源的调配和高可用保证。2.1 服务器负载均衡为了满足高性能和高可靠性的服务需求，将多台服务器通过网络设备相连组成一个服务器集群，每台服务器都提供相同或相似的网络服务。服务器集群前端部署一台 SLB2 设备，负责根据已配置的均衡策略将用户请求在服务器集群中分发，为用户提供服务，并对服务器可用性进行。服务器负载均衡可以工作在 L4 或 L7 模式下，一般采用 L4 模式。负载均衡的工作方式有以下两种。DR(Direct Routing)方式。(如图 5 所示)负载均衡设备对数据流量优化时，采用旁挂方式部署

7、，在此模式下只有客户端的请求报文通过负载均衡设备，服务器的响应报文不经过负载均衡设备，从而减轻负载，有效的避免了其成为网络瓶颈。客户端请求报文的目的地址为虚服务地址(VSIP)，此地址由负载均衡设备对外呈现。负载均衡设备分发服务请求时，不改变目的IP 地址，而将报文的目的MAC 替换为实服务的MAC 后直接把报文转发给实服务。图 5. DR 方式的服务器负载均衡NAT 方式。(如图 6 所示)组网更加灵活，后端服务器可以位于不同的物理位置或不同的局域网内。客户端将发往 VSIP 的请求发送至服务器群前端的负载均衡设备，负载均衡设备上的虚服务接收客户端请求，根据持续性功能、调度算法依次选择真实服

8、务器，再通过网络地址转换，用真实服务器地址重写请求报文的目标地址后，将请求发送给选定的真实服务器;真实服务器的响应报文通过负载均衡设备文的源地址被还原为虚服务的 VSIP，再返回给客户，完成整个负载调度过程。图 6. NAT 方式的服务器负载均衡一般情况下，SLB 更加适合在一个数据中心部署，而不是跨数据中心部署。因为当 SLB 跨数据中心部署时，会导致跨中心的广域/城域链路承载流量多，而且跨中心转发一般延迟高，流量路径复杂低效，不利于实现高性能的负载均衡集群(如图 7 所示)。而 GSLB 更加适合实现跨数据中心的负载均衡，所以GSLB 和SLB 配合能够很好的实现从数据中心前端到数据中心全

9、路径的负载均衡，以及更好的实现服务器健康状态检测(如图 8 所示)，主要包括：GSLB 可针对 SLB、服务器做状态监测，可消除单点故障，并引导流量避开性能较低的站点和服务器;通过收集这些设备的性能测量数据，GSLB 可了解网络状态，对包速率、每秒千字节、磁盘、内存、CPU 利用率以及连接数量等参数进量。图 7. SLB 跨中心部署图 8. GSLB 和 SLB 配合实现服务器健康状态检测2.2 服务器 HA 技术高可用性集群(High Availability Cluster，HA Cluster)是以减少服务器中断时间为目的实现故障的服务器集群技术，主要包括可靠性和容错性两方面。在这种高可

10、用集群环境下，若某台服务器出现故障导致服务中断，预先设定的接管服务器会自动接管相关应用并继续对用户提供服务，具有更高的可用性、可管理性和更优异的可伸缩性。HA Clusters 是可用于“热备模式容灾”的集群技术(如表 1所示)，其技术特点是：需要共享资源(磁盘卷或是卷)，HA 集群可在同城或较近距离署;对客户端来说，集群只有一个IP 地址，由Active 节点响应ARP;需要一个独立的网络做节点之间的进程通信(心跳);心跳网络对传输延迟不敏感(如微软 MSCS 要求的最节点间的传输延迟小于 500ms 即可;跳间隔是 1 秒)，因此两因为对外只有一个虚IP 地址，所有节点需在一个网段(二层互

11、联);双节点的高可用性集群典型的工作方式有以下两种。主/主( Active/Active) 。集群中两节点同时运行各自的应用并且相互对方的情况， 当一台主机宕机后，预先设定好的另一台主机立即接管它的一切工作。这种工作方式允许最大程度的利用硬件资源，一般要求各节点具有相等或相似的处理能力，所有的服务在故障转移后仍保持可用。主/从( Active /Standby) 。主机工作，从机处于准备状况。当主机宕机后，从机接管主机的一切工作，继续为客户机提供服务，待主机恢复正常后，用户可以自行设定以自动或手动方式将服务从 Standby 上切换到 Active 上，也可不切换。厂商名称简明IBM HACM

12、P 应用于小型机的高可用服务器集群技术OracleRAC 数据库应用集群技术MSCS 应用于X86 Windows 环境的服务器集群技术VMware SRM 应用于虚拟化环境下的服务器集群技术表 1 常见的HA CLUSTER 产品2.3 延时对服务器集群部署的影响与传统 IP 网络应用能够较大的网络传输延时不同，网络对传输延时非常敏感。由于服务器集群成员一般是共享，所以必须考虑延时对服务器集群部署的影响。以通信线路SDH 155M 链路(其中 50M 用于业务)为例，经过测算：光纤距离为 50KM(典型的同城距离)时的单向延时为 1.51 ms，正常系统能够接受;光纤距离为 1000KM(典

13、型的异地距离)时的单向延时为 7.26 ms，将导致共享部署时服务器应用能力急剧下降到不可接受的程度。可见，距离对传输延时的影响巨大。因此在“两地三中心”数据中心灾备方案中，远距离的异地范围要部署采用异步的暖备灾备方案(如图 9 所示)，即采用广域链路如 SDH、ATM 或IP 相连，通过异步方式实现灾备功能;同城范围内则可以部署基于共享的服务器 HA 方案(如图 10 所示)，即两个中心之间用光纤、波分或 SDH 项链，通过同步方式部署HA Cluster，在这种部署环境下，主备中心之间需要二层互联以满足集群成员之间二层通信需求，同时还需要 SAN 互联以实现数据同步。图 9. 三站容灾方案

14、的网络图 10. 适用城容灾的HA Cluste 工作方式3 数据分布式双活技术3.1 数据库分布式双活技术目前主要的数据库备份技术有两种。主-备方式image002图 11. 数据库级备份系统互联方式(如图 11 所示)主数据库服务器(PRIMARY)承担生产业务，备用数据库服务器(STANDBY)只完成数据功能。当主数据库中发生事务操作时，会同时将日志文件通过 TCP/IP 协议传送到备用数据库服务器，然后备用数据库对接受到的日志文件进行重放(Replay)，从而保持与主数据库的一致性。当主数据库发生故障时，备用数据库服务器才会接管主数据库服务器的事务处理。此时，备用数据库服务器作为新的主

15、数据库服务器进行数据库的读写操作，而客户端应用程序的数据库连接可以通过自动客户端重新路由机制转移到新的主服务器。当原来的主数据库服务器被修复后，又可以作为新的备用数据库服务器加入系统。主流的数据库(如IBM DB2、Oracle、SQL Server 等)都支持通用主-备方式数据备份技术，金融行业业务以该备份方式为主。双活数据库备份技术随着技术的发展，出现了更加先进的双活数据库备份技术(如图 12 所示)，活数据库备份技术的主、备数据库能够同时承担生产业务并且实现备份功采能，即主-主方式的数据库双活技术。极大提高数据库的利用效率。图 12. 双活数据库备份技术工作原理双活数据库备份技术在源数据

16、库端实时交易日志数据，捕获数据的变化部分并暂存到队列中，然后将变化的数据经过压缩和加密后通过网络传送到目的地。在目的数据库端，变化的数据被还原为标准的 SQL 语句提交到目的库实现修改数据的备份功能。这个备份过程是双向的，即可以从目的端向源端数据库做类似的。双活数据库备份技术能够支持灵活的拓扑结构(包括单向、双向、点对多点、集中和分级等方式)，如图 13 所示。图 13. 双活数据库备份技术支持多种拓扑结构双活数据库备份技术可以应用于高可用的容灾备份环境中，最大化利用灾备中心的 IT 设施，实现加倍的计算能力，系统整体性能，实现双中心负载均衡，改善地域分布，提高系统及网络响应实现分布式双活的数

17、据库，双向，同时两端数据库都是活动的，可以对两端的数据库同时进行操作，两端数据库的同步。双活数据库备份技术提供异构环境下交易数据的实时捕捉、变换、投递，支持多种类型的异构数据库(如 Oracle、DB2 UDBSQL Server、Sybase ASE、Teradata、Ingres、 Enscribe、SQL/MP、SQL/MX)和操作系统(如 Windows2000/2003/ XP、Linux、Sun Solaris、HP NonStoIBM z/OS)。-UX、HP TRU64、IBM AIX、分布式双活技术3.2在容灾备份的应用环境中，有两种典型的备份工作方式。主-备方式这是主流厂商

18、如 EMC、IBM、HDS 等都支持的备份方式，即建立物理上独立的两个系统之间的完全的、实时的数据镜像，数据中心现场发生灾难时，确保另有一套完整的生产数据安全可用，达到容灾级别的数据高可用性。由于传统的备份技术是采用主备方式，从而决定了主中心和灾备中心也工作在主动-方式，即在同城灾备中心建立主中心的同步镜像备份，当主中心出现故障不能工作时灾备中心利用备份的数据接管主中心工作(如图 14 所示)。该备份技术广泛应用于各个行业，特别是在追求安全稳定高可靠地金融行业。图 14. 主动-的和数据中心分布式双活技术分布式双活解决方案基于虚拟化技术实现，用于数据中心内、跨数据中心和在数据中心之间进行信息虚拟化、共享和迁移。本地联合提供站点内信息基础架构的透明协作;分布式联合提供跨远距离两个位置的读写能力。随着技术的不断发展，分布式双活技术逐步成熟，为实现分布式双活数据中心打下了良好的基础。分布式双活方案承载于一个硬件与虚拟化，作为基于虚拟化的解决方案，可实现本地和分布式数据中心。通过部署分布式双活技术，跨数据中心实现了的逻辑映像，进而支撑分布式双活数据