3DNS或GTM多线路或多数据中心负载均衡解决方案

1、F5 3DNS 或 GTM 多链路 /多数据中心接入解决方案StevenZhengF5 公司广州办事处2006-10-17接入方案F5 接入方案F5 F5 3DNS或GTM/GTM 多链路/多数据中心1.前言3.2.需求描述.3.3.系统设计3.1 3DNS或GTM多链路设计结构图:3.2网络拓扑结构说明7.3.3系统逻辑结构3.4同一组服务器对外多地址服务原理3.5 3DNS或GTM分配算法及运行机制3.5.1 RTT算法运行机制:3.5.2地理分布算法3.5.3全球可用性算法链路健康检查机制系统切换时间服务器负载均NS或GTM与现有系统的融合

2、194.1改变上级注册授权域DNS服务器地址4.2不改变上级注册授权域DNS服务器地址20系统安全性考虑21成功案例22F5 3DNS或GTM/GTM 多链路/多数据中心刖言在原Chinanet分为北方China Netcom和南方China Telecom之后。由于南北网络之间的互联问题。出现了从南方用户访问北方网站或北方用户访问南方用户访问速度较慢的问题。其出现的根本原因为南北网络的互通互联接点拥塞,造成用户丢包、延迟较大,从而导致访问缓慢，甚至对于一些应用根本无法访问。需求描述对于一个运行关键业务的电子商务网站来说，保持用户的访问速度和访问的成功率非常重要。需要一套系统来解决南方和北方用

3、户的访问问题，以及多数据中心的冗灾问题。多数据中心的作用本身就是为了解决单线路单ISP的单点故障，以及分地域优化访问。F5对一个数据中心的多链路负载均衡解决方案及多数据中心的全局负载均衡在基本原理上大致相同。例如：有两个冗灾中心，一个是网通的接入线路,就成了一一个是电信的接入线路。当把这两个冗灾中心合并到一个数据中心时, 个数据中心有两条接入：一条电信，一条网通接入。再如有两个冗灾中心，都是电信的接入线路，当把他们合并到一个数据中心时,就成了一个数据中心有两个接入线路都是电信。大多数情况下，企业都希望有 多个ISP接入线路，因此，当有多数据中心时，就是不同的数据中心有不同的ISP接入线路。当是

4、单数据中心时，就是一个数据中心有多个ISP接入。国内经常就采用电信及网通两个ISP .以下以多链路为例，来阐述F5全局负载均衡3DNS或GTM( 3DNS的下一代产品，现在主推的V9 BIGIP GTM 产品)的解决方案,以多链路为例，便于理 解，当然，也附带阐述多数据中心的解决方案。以下是一张实测数据表测试项目网通北京 ADSL 用I广东电信用户访网通北京 ADSL 上海ADSL宽适.接入方案F5 #适.接入方案F5 F5 3DNS或GTM/GTM 多链路/多数据中心户访问12月2日凌 晨1时问，宽带用户，带用户访问，12月2日 16:00带用户访问，12月2日20:00宽未知，日 16:3

5、012月2DNS Result202.xxx.xxx.209219.xxx.xxx.11202.xxx.xxx.209219.xxx.xxx.11网通电信网通电信网通电信网通电信Number of hits:726947652471935Requests per Second71.270.870.780.320.58Socket Conn ects737057753482036TotalBytesSen t (in KB)14.1913.470.9614.9613.6112.233.877.03BytesSentRate (in KB/s)20.25

6、60.12TotalBytesRecv (in KB)4148.244001.90256.584388.543019.942703.2621.7339.83BytesRecvRate (in KB/s)69.1266.684.2873.1250.3245.050.360.66表中可以看出，对于同一个站点，一个用户分别从两条线路进行访问，得 出的访问速度差异是非常大的。最大的差值在广东电信分别访问站点的两条线 路，其速度差异接近20倍。系统设计通常用户系统原有结构设计图接入方案F5 接入方案F5 F5 3DNS或GTM/GTM 多链路/多数据中心核心交换机DNS月g务霜WE

7、B/APP/DB 服务器在系统原有系统结构中，采用单条接入线路，一个或多个DNS服务器，这些服务器对于同一个域名均解析为同一个地址。3.1 3DNS或GTM多链路设计结构图:非冗余结构:F5 3DNS或GTM/GTM 多链路/多数据中心ISP1ISP傲路接入路由器ISP2线路接入路由器I防火墙zinaniMrim核心交换机在非冗余结构下，系统中需要增加一侧接入路由器、两台3DNS 或 GTM设备和一台BIGIP设备作为多线路接入设备。冗余结构:ISP1ISP2ISP1线路接入路由器0P2线路接入路由器 i-防火墙防火墙:HI： I- i*-核心交换机核心交换机ISP2在冗余结构中，则采用两台3

8、DNS或GTM和两台BIGIP实现了系统的全F5 接入方案F5 接入方案F5 3DNS或GTM/GTM 多链路/多数据中心冗余，同时，在BIGIP下端，可采用防火墙和核心交换机冗余保证系统的进 步可靠性。前面已经阐述，多数据中心的方案，对F5 3DNS或GTM来讲，处理的原理是一样的，把各条链路拆分出来，各形成一个数据中心，放到远端，就成了多数据中心的结构了，如图:主IDC3DNS 或 GTMternet #备份/或其他接入ISP的IDC二3DNS 或 GTMRoutLocalUserGLOBAL-S 二蟲W W3.2网络拓扑结构说明在原系统接入中，增加一条线路,并采用相应的接入路由器，将两台

9、3DNS或GTM服务器分别接在两台接入路由器上，负责用户的DNS访问请求。引导用户使用最快的链路进行访问站点。 同时，3DNS或GTM负责检查两条线路的 健康状态，一旦检测到线路的中断，则停止相应线路的地址解析。在接入路由器之后，采用了 F5 BIGIP作为多链路接入设备，在BIGIP上配置多个IP对应每条线路分配的IP网段。这些IP同时对应后端的一台或多台服 务器。实现服务器组的对外统一服务。根据每个系统的需求，可以采用非冗余结构或者冗余结构。3.3系统逻辑结构3DNS或GTM上采用DataCente、VS、和 WideIP来标识系统中的各元素,系统逻辑结构图如下:F5 3DNS或GTM/G

10、TM 多链路/多数据中心其中:3DNS或GTM配置:VS:表示各线路真实对外提供服务的IP地址，在本系统中，VS为BIGIP上虚拟的后端服务器地址。WidelP:表示外部用户访问的统一域名，每个WidelP均与相应的两个或多个VS相对应，对于每一个 LocalDNS的请求，3DNS或GTM均会选择一个或多个相应的 VS地址返回。Wide IP主要负责A记录的解析。VS、DataCenter:用于标识线路或数据中心，位于同一条线路侧的所有 3DNS或GTM均位于同一个 DataCente。NameSurfer/BIND:在3DNS或 GTM内部用于解析非动态域名，提供标准DNS服务器的所有功能。

11、包括 SOA、NS、MX和A记录的解析。BIGIP配置:VS:表示对应于各线路的服务地址，该地址为虚拟地址Pod:用于对后端的服务器分组，在同一组内可以是一个或多个服务器组成的负载均衡组。BIGIP将对VS的访问根据预先定义的算法分配到Pool中的每个Node节点上。Node标识每一台真实的服务器地址和提供服务的端口。3.4同一组服务器对外多地址服务原理由于采用了多条链路接入，则此时必将面临将系统中的一台或多台服务器同时对多条链路提供服务的问题。在系统设计中，我们采用了F5 BIGIP来实现接入方案F5 3DNS或GTM/GTM 多链路/多数据中心了多出口接入。如图:ISP1接入路由器 ；IS

12、P2接入路由器MAC:00-50-56-CO-00-01MAC:.00-04-61-78-9BB0VSnnaiH：202.10S.6.177- 192 168.0.4VSwww-1:202 108.6.178-VSmail-2:24-VSwwv-2:219 17.19 125-Mai服务器Mail.VWA/ja艮务器组www1:www2:192.16S.0.2www3:在BIGIP实现多链路接入的时候，采用了 BIGIP上的AutoLastHop技术。BIGIP对于每条线路，在BIGIP上均配置一个与线路分配网段对应的IP地址，这些IP 地址均映射到后端的一台或同一组服务器。当用户访问不同地址

13、的时候, 上将建立每个请求与来源设备 Mac地址的对应关系表。即将每个用户的请求连接和上端的路由器MAC地址进行对应，在服务器数据返回的时候，则根据该对 应表将返回的数据包发送到相应的路由器，避免了数据往返通路不同的问题。3.5 3DNS或GTM分配算法及运行机制F5 3DNS或GTM/GTM 多链路/多数据中心3-DNS空制器采用了完善的负载平衡算法和业界最先进的流量分配方法:循环 全球可用性LDN持续性应用可用性 地理分布 虚拟服务器容量 最少连接Pkt/sec （数据包/每秒）KB/sec （千字节/每秒） 往返时间 中继段（hop） 数据包完整率 用户定义服务质量（QoS 动态比率LD

14、NSI 环 比率 随机在3DNS或GTM的每个WidelP中，可以选择三种算法，这三种算法按照预定的优先级进行排列。在通常情况下，选择RTT动态计算方法作为系统的优选算法，即所有的LocalDNS请求均被3DNS或GTM计算其就近性，以保证绝 大部分用户访问的最优化性。而Topology算法则作为RTT动态计算的补充算法,在RTT计算方式没有结果的时候，将用户请求定义到其本网的线路上。GlobalAvailability算法作为系统的默认算法，将所有无法计算结果并且不在Topology范围之内的LocalDNS请求，定义到系统的默认线路上。3.5.1 RTT算法运行机制:接入方案F5 接入方案

15、F5 F5 3DNS或GTM/GTM 多链路/多数据中心通过3DNS或GTM的RTT就近性算法会自动运算生成一个Idns就近分布 表，通过这个动态的表，每个客户上来都会提供一个最快速的链路进行访问, 于站点有ISP1和ISP2的两条广域网线路。在3DNS或GTM上会针对站点服 务器（以为例）解析ISP1和ISP2的两个不同的公网地址。对应于 HYPERLINK .c .c n 域名，在 3DNS 或 GTM 上配置 wide ip : HYPERLINK ，对 应两个 Virtual Server: VS1 : 77, VS2 :0a分别属于ISP1和ISP2两条线路分配的IP地址段。在3DN

16、S或GTM内部，同时定义两个 DataCenter分别与ISP1和ISP2相对应。用户的访问流程如下:202,106.83.177ClientRTT-IEOms、202.106.S3.177Jittp :Z/ww. 5. HYPERLINK ISP2ttDNSflliiB09 NS= 216 34,3 乩仃JLocal DN3wwMfS朮omen ISPIflUDN SIK2O2.1O7.03,125 一Root name Server192.33.4J2,xnf=202.10B.S3.17TRTT=300ms219 172.SS 100访问网银的用户在发起DNS请求时(1)首先向其所在运营商

17、的LocalDNS 发起 HYPERLINK 域名的DNS请求。步骤2(2)运营商的Local DNS服务器通过递归算法查找到工行的主、辅DNS服务器。步骤3和4。接受到请求的3DNS或GTM首先查询在本地是否有该F5 3DNS或GTM/GTM 多链路/多数据中心LocalDNS的就近性表项，如果存在，则直接给 LocalDNS返回速度最快的服务器地址。如果不存在，则通知另外一台3DNS 或(4)(5)(6)(7)GTM发起对该LocalDNS的查询。步骤5。两台3DNS或GTM分别对LocalDNS进行Probe.例如ISP1侧3DNS 或 GTM 查询该 LocalDNS 的 RTT 时间

18、为 150ms,而 ISP2 侧3DNS或 GTM查询同一 LocalDNS的RTT时间为300ms,则此时在两台3DNS或GTM内都形成了该LocalDNS的对应就近性表记录。接受到LocalDNS请求得3DNS或GTM根据系统的就近性表返回相应的DataCenter内的 WEB服务器地址。步骤 6。在用户LocalDNS获得地址后，将该地址返回给用户。步骤 7用户向网站发起访问。步骤 &通过以上流程可以看出，通过动态计算方式，可以最为准确的估算出用户LocalDNS与两条线路之间的速度。通过 3DNS或GTM之间的信息交互，在两台3DNS或GTM上形成就近性表，并根据该表返回用户的最佳访问

19、地址。3DNS或GTM可以选择多种测试方法判断对local DNS的RTT时间,包括:DNS_Dot:向local DNS 发起一个包含”.”的测试,也就是向目标LocalDNS请求root清单，该解析一般默认配置的 DNS服务器均提供支持。DNS REV:向 local DNS 发起 LocalDNS本机 IP 的 PTR请求UDP发起一个UDP的包,看是否回应TCP:发起一个TCP的包看是否回应ICMP发起一个ICMP的ping包，看是否回应在以上各检测方式中，无论目标系统返回那种类型的数据包,3DNS 或GTM均可认为是有效数据包而记录数据包往返时间，最终形成就近性表。F5 3DNS或G

20、TM/GTM 多链路/多数据中心针对一个local DNS的RTT结果:Idns address29cur_target_state 419446729ttl2419199p robe_ protocoltcppath datace nterCNCcur_rtt189850cur_h ops cur_c omp letion_rate 10000cur_last_h ops0path datace nterTELcur_rtt57209cur_h ops cur_c omp letion_rate 10000cur_last_h ops0通常情况下，我们选择RTT动态算法作为优选算法，只要是3

21、DNS或GTM 能检测到的地址，一律按照动态算法分配，保证系统最大的灵活性。在实际的运行环境中，可能存在某些LocalDNS无法检测的情况，所以我们可以采用地理分布算法作为动态 RTT算法的有效补充。3.5.2地理分布算法F5 3DNS或GTM/GTM 多链路/多数据中心在3DNS或GTM上，可以根据用户的LocalDNS地址来决定给用户返回 那个地址。在3DNS或GTM上可配置多个自定义区域，并将这些区域与链路 相对应。当用户的 LocalDNS发起请求连接 3DNS或GTM的时候，3DNS或GTM将根据LocalDNS所位于的区域返回给LocalDNS适当的链路侧服务器地址，引导用户从正确

22、的线路进行访问。在该算法下，需要收集各运营商的IP地址网段表。将网段进行整理后输入到3DNS或GTM内形成自定义区域表。一个典型的topology表结构如下：topo logy / 4 Items/ serverld nsscoredc.CNC/16100dc.TEL/16100dc.CNC这样，就将所有从表中/16Idns网段内的LocalDNS100请求有限定到相应的表中对应的链路上。通常，我们采用地理分布算法作为第二算法。当动态检测机制无法检到LocalDNS就进性的时候，将启动静态算法，将在地址范围列表之内的用户定义到正确的线路上去。如果用户的LocalDNS即不可被动态RTT计算所检

23、测，又不在本机对应的 地理分布表中。此时就需要采用全球可用性算法引导用户到默认的线路上。3.5.3全球可用性算法全球可用性算法主要用于灾难备份系统。通过3DNS或GTM的健康检查算法，可判断各站点或线路的健康状态。 并在配置的时候，将同一域名所对应的IP地址进行排序，在系统正常的时候，仅会有排名第一的服务器对外提供服务。只有在排名第一的服务器无法对外提供服务的时候， 由排名第二的服务器接管服F5 接入方案F5 LocalDNSn ternetLocalDNSI3P1lP2ISP2线路接入瞎由器ISP1线路接入賂由器vwvv.fS -202,106.93,177viVMf5 -Confvcn21

24、9,172.66,100 -219.172.66J 00-202.106.83J 77F5 3DNS或GTM/GTM 多链路/多数据中心接入方案务。如果有多线路或者多站点则依次类推。通常，我们采用全球可用性算法作为第三选择算法。在动态计算和地理分布均没有命中的时候，将所有的用户定义到默认的线路上。3.6链路健康检查机制两台3DNS或GTM分别检查本地端的服务器地址和对端线路的服务器地 址。这些服务器地址实际上为 BIGIP上配置的内部服务器的对外服务地址。vww, -219J72.66J00-202J 06.83 J 77当一条线路出现故障的时候，两台 3DNS或GTM服务器均无法检测到对端线

25、路的地址。所以在每台 3DNS或GTM服务器上均只解析本侧线路对应的服务器地址。F5 3DNS或GTM/GTM 多链路/多数据中心但在此时故障线路的3DNS或GTM服务器无法接受请求，根据DNS的冗 余机制。所有的用户请求均会发送到正常线路侧的 3DNS或GTM，所以此时所有的用户均将通过正常的线路进行访问。3.7系统切换时间在采用DNS实现链路切换时，系统的切换时间主要取决于每个域名的 TTL时间设置。在3DNS或GTM系统里，每个域名如均可设置对应 的TTL生存时间。在用户的LocalDNS得到域名解析纪录后，将在本地在 TTL设定时间内将该域名解析对应纪录进行 Cache,在Cache期

26、间所有到该LocalDNS上进行域名解析的用户均将获得该纪录。 在TTL时间timeout之后，如果有用户 到LocalDNS上请求解析，则此LocalDNS将重新发起一次请求到3DNS或GTM 上获得相应纪录。因此，当单条线路出现故障时，3DNS或GTM将在系统定义的检查间隔（该时间可自行定义）内检查到线路的故障，并只解析正常的线路侧地址。但此 时在LocalDNS上可能还有未过时的 Cache纪录。在TTL时间timeout之后，该LocalDNS重新发起请求的时候就将从3DNS或GTM上获得正确的解析，从而接入方案F5 3DNS或GTM/GTM 多链路/多数据中心引导用户通过正常的线路进

27、行访问。系统检测间隔加上TTL时间之和则为系统切换的最长时间。通常，系统检测间隔设置为60秒，而TTL时间设置为600秒, 所以系统切换的整体时间为11分钟。3.8服务器负载均衡BIG/IP利用虚拟IP地址（VIP由IP地址和TCP/UDP应用的端口组成，它是个地址）来为用户的一个或多个目标服务器（称为节点：目标服务器的IP地址和TCP/UDP应用的端口组成，它可以是in ternet的私网地址）提供服务。因此，它能够为大量的基于TCP/IP的网络应用提供服务器负载均衡服务。BIG/IP连续地对 目标服务器进行L4到L7合理性检查，当用户通过VIP请求目标服务器服务时,BIG/IP根椐目标服务

28、器之间性能和网络健康情况，选择性能最佳的服务器响应用户的请求。如果能够充分利用所有的服务器资源，将所有流量均衡的分配到各个服务器，我们就可以有效地避免“不平衡”现象的发生。BIGIP是一台对流量和内容进行管理分配的设备。它提供12种灵活的算法将数据流有效地转发到它所连接的服务器群。而面对用户，只是一台虚拟服务器。用户此时只须记住一台服务器，即虚拟服务器。但他们的数据流却被BIGIP灵活地均衡到所有的服务器。接入方案F5 接入方案F5 F5 3DNS或GTM/GTM 多链路/多数据中心这12种算法包括:? 轮询（RoundRobin）:顺序循环将请求一次顺序循环地连接每个服务器。当其中某个服务器

29、发生第二到第7层的故障，BIG/IP就把其从顺序循环队 列中拿出，不参加下一次的轮询，直到其恢复正常。?比率（Ratio）：给每个服务器分配一个加权值为比例，根椐这个比例，把用户的请求分配到每个服务器。当其中某个服务器发生第二到第7层的 故障，BIG/IP就把其从服务器队列中拿出，不参加下一次的用户请求的 分配，直到其恢复正常。?优先权（Priority）:给所有服务器分组，给每个组定义优先权，BIG/IP用户的请求，分配给优先级最高的服务器组（在同一组内，采用轮询或 比率算法，分配用户的请求）；当最高优先级中所有服务器出现故障,BIG/IP才将请求送给次优先级的服务器组。这种方式，实际为用户

30、提供 一种热备份的方式。?最少的连接方式（LeastCo nn ection）：传递新的连接给那些进行最少连接处理的服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就 把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢 复正常。?最快模式（Fastes）:传递连接给那些响应最快的服务器。当其中某个 服务器发生第二到第7层的故障，BIG/IP就把其从服务器队列中拿出，不 参加下一次的用户请求的分配，直到其恢复正常。?观察模式（Observed）：连接数目和响应时间以这两项的最佳平衡为依据为新的请求选择服务器。当其中某个服务器发生第二到第7层的故障,BIG/IP就把其从服务

31、器队列中拿出，不参加下一次的用户请求的分配, 直到其恢复正常。?预测模式（Predictive）： BIG/IP利用收集到的服务器当前的性能指标, 进行预测分析，选择一台服务器在下一个时间片内，其性能将达到最佳 的服务器相应用户的请求。（被big/ip进行检测）F5 3DNS或GTM/GTM 多链路/多数据中心?动态性能分配(DynamicRatio-APM):BIG/IP收集到的应用程序和应用服务器的各项性能参数如CPU、内存和磁盘的占用情况，动态调整流量分 配。动态性能分配可通过标准SNMP或服务器端插件完成。?动态服务器补充(DynamicServerAct.):当主服务器群中因故障导致

32、数量减少时，动态地将备份服务器补充至主服务器群。? 服务质量(QoS):按不同的优先级对数据流进行分配。?服务类型(ToS):按不同的服务类型(在TypeofField中标识)对数据流进 行分配。?规则模式：针对不同的数据流设置导向规则，用户可自行编辑流量分配 规则，BIG/IP利用这些规则对通过的数据流实施导向控制。BIGIP当出现流量“峰值”时，如果能调配所有服务器的资源同时提供服务，所谓的“峰值堵塞”压力就会由于系统性能的大大提高而明显减弱。由于 优秀的负载均衡能力，所有流量会被均衡的转发到各个服务器，即组织所有服务器提供服务。这时，系统性能等于所有服务器性能的总和，远大于流量“峰值”。

33、这样，即缓解了“峰值堵塞”的压力，又降低了为调整系统性能而增加的投资。多种屋务蛊状谿 测手段服务器 恥血)-Fing CraF 服务(Port) - Ccimect扩展的应用验证皿扩展的内容验证 m)频度,6. 5，10 sec ands冏应g. 5 seconds3DNS或GTM与现有系统的融合考虑到DNS系统变动的复杂性，3DNS或GTM在与现有系统DNS服务 器配合的时候可以采用两种方式。最佳的方式是将站点的所有域名解析均放置到3DNS或GTM上进行解析，优点是可以充分利用 3DNS或GTM的动态用户 引导和强大的图形化管理界面，缺点是需要变动上级注册授权域 DNS服务器地F5 3DNS

34、或GTM/GTM 多链路/多数据中心址。另外一种方式是将需要进行动态指向的域名分配到3DNS或GTM上进行解析，优点是对现有系统的变动较小，缺点是系统中存在多级、多台DNS服务器，不利于统一管理。两种方式分别对应不同的配置方式。对于一个域名中的所有记录，我们可以分为动态和静态记录两种，其中静 态记录是相对不变的DNS解析记录，如SOA、MX、NS等记录类型；而动态记录则为需要用户通过两条链路进行访问的域名记录，通常情况下为A记录。4.1改变上级注册授权域DNS!务器地址在每个域名注册的时候，均需要提供主辅 DNS服务器，通常采用提供域名注册提供商的DNS服务器或者自建DNS服务器。在一个完整的域名解析中，通常包含:SOA记录，如：86400 IN SOA .(2004122932 10800 3600 604800 86400 )A记录，如： HYPERLINK .c .c nMX记录，如：IN A77IN MX 5 78在 3DNS 或 GTM中，可实现所有以上记录的解析。3DNS或GTM上配置有完整的BIND域名服务器系统，并且支持 NameSurfer图形化界面管理。可以更为方便的管理静态记录。而对于需要做动态解析的记录，通常是系统中的A记录，在3DNS或GTM 中则通过WideI P配置方式实现。每个Wide IP即是一个域名，并对应