BluecoatSPHTTP反向代理和CDN技术方案建议jun

1、知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝xxx用户用户反向代理和反向代理和 cdn 技术方案建议书技术方案建议书2007 年年 7 月月 17 日日知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝目目 录录 1前言前言.42用户需求分析用户需求分析.53方案设计原则方案设计原则.64技术方案建议技术方案建议.74.1反向代理网络的总体设计.74.1.1在同一数据中心部署反向代理节点.74.1.2异地部署反向代理节点.94.2adn + cdn 业务（动态和静态网页同时加速业务） .104.2.1设计概述.104.2

2、.2动态网页加速流程.114.2.3设备选型.134.2.4https 加密动态网页加速业务.144.2.5reflect client ip(用户 ip 地址传送).174.2.6保留用户原有域名.174.3bluecoat http 业务特点.184.3.1https 源服务器卸载.194.3.2http 压缩.194.3.3多线程下载.204.3.4典型 http 策略设置.204.4bluecoat网络安全设计 .204.4.1bluecoat 抗ddos攻击和port scanning.204.4.2sgos 操作系统.214.4.3bluecoat 协议检测.224.4.4防止反向

3、代理服务器成为open proxy .224.4.5管理员访问限制和安全.234.5用户行为分析和统计及错误定位用户的追踪.234.6全局网络管理.24知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝4.7未来扩展.255bluecoat http 缓存技术特点缓存技术特点.275.1pipelining：快速的内容抓取 .275.2自适应的刷新：快速、新鲜的内容.285.3自适应的刷新：对带宽消耗的影响.305.4新鲜度测量和报告.315.5blue coat 存储子系统.325.6http 策略控制引擎.335.6.1blue coat 可视化策略管理器

4、.34 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝1 前言前言本文是 bluecoat 对 xxx 用户 http 反向代理工程的技术方案建议。我们期待着和 xxx 用户进行进一步的深入交流。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝2 用户需求分析用户需求分析xxx 用户目前的网站站点设计有 http apache 服务器，主要服务的内容是大量新闻和图片及一些 flash 视频类的节目。采用 apache 服务器带来的主要挑战有三方面，一方面系统运行在通用操作系统上，网站安全性存在风险。另一方面 apache

5、 服务器的性能受限，通常一台服务器只能处理 3000-5000 个并发 http 客户连接。性能上存在瓶颈。最后还有在后台存储 xxx 用户使用基于 fc san 的磁盘阵列。当为了提升网站性能而增加前面的 apache 服务器时，后台存储的共享也成为了一个复杂的技术问题。为了解决上述的一些实际问题。xxx 用户需要在 http web server 前端增加硬件反向代理服务器，利用其安全和高性能的特性来降低 apache 服务器的负载和被黑客攻击的风险。同时由于主要的负载都被反向代理服务器所承担，源服务器只需要保持一个基本的 ha 服务器就可以，也无需涉及复杂的 fc san 共享问题。知识

6、水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝3 方案设计原则方案设计原则考虑 xxx 用户的实际情况，在方案设计时需要遵循如下原则：1标准性现在构建的 http 反向代理网络应当符合网络业界的主流标准，保证系统和已有的 web server 的兼容性。2合理的性能价格比在满足当前的业务需求的同时，还考虑到今后业务发展的需求，确保在未来扩容时能够扩展到更多的性能和容量支持。同时尽量选择经济的设备，做到最优的性价比。3高可靠性在确保系统可靠工作和数据的可靠性的原则基础上，尽可能的做到高起点，选用先进的技术和设备，使构建的反向代理系统有较高的可靠性，以适应今后的发

7、展。4可管理性和可维护性反向代理设备可以通过多种技术和方式实现了高可靠性，同时也增加了系统的复杂性，从而容易导致维护和管理的复杂性。因此在方案设计中在提供高可靠性的同时，也要注重提供反向代理系统的可管理性和可维护性。整个系统应该能够采用基于 web 的界面对存储设备进行配置管理。系统配置工作应该简单明了，流程清晰。系统应该能够提供远程告警。5. 高性能整个反向代理系统应该提供较高的 http 和 https 性能，能够满足大量用户同时使用时的性能要求。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝4 技术方案建议技术方案建议4.1反向代理网络的总体设计反向

8、代理网络的总体设计使用 bluecoat sg 设备作为反向代理的方式对源服务器进行加速，利用bluecoat 设备的安全性和强大的性能来实现对源服务器的卸载和安全防护。同时可以部署多台 bluecoat sg 设备在前端，实现高速性能负载均衡和系统高可用性。并且会降低后台源服务器的部署数量，解决存储共享的问题。.1 在同一数据中心部署反向代理节点在同一数据中心部署反向代理节点在同一数据中心的条件下，部署反向代理的结构如下图所示：slb设备设备/ 四层交换机四层交换机internetsgsg内网内网ocs 源服务器源服务器用户用户知识水坝（豆丁网pologoogle）为您倾心整

9、理（下载后双击删除）百度一下知识水坝sg 实际部署在源服务器的前端，缓存用户访问的内容，因此大部分的服务压力都会被 sg 所承担，而不需要源服务器具有高性能的处理能力。同时由于sg 和源服务器之间是通过内部私网地址的连接，这样保证了内部的源服务器是绝对安全的，因为没有黑客能够从公网上访问到源服务器。后台的源服务器还可以使用多台 web server 来实现冗余和可靠性。在bluecoat 的方案中，后台的源服务器组并不需要使用四/七层交换机来实施负载均衡，因为 sg 设备本身可以具有负载均衡能力。在从 sg 向源服务器请求未命中的内容时会根据几种不同的算法进行负责均衡，包括：round-rob

10、in, 最少连接，用户源地址关联，根据用户被加速设备设置的 cookie 关联等。bluecoat sg 设备还可以对后台的源服务器实施健康检查，检查的方法包括四层协议和http 协议等。如果发现某一台源服务器出现故障，sg 则会自动将流量切换到别的服务器上。bluecoat sg 也提供了性能上的显著提升，通常的 web server 具有二方面的性能瓶颈：http 并发连接数，http 吞吐量。尽管可以给这些服务器配置较大的内存和更新的 cpu，但是其性能依然无法令人满意。而作为对比，bluecoat 的设备 sg810-c 可以支持 12000 个客户端的并发 http 连接，并且在典型

11、环境下支持 150mbps 到 200mbps 的反向 http 代理吞吐量。因此同样的性能要求条件下，会使用数量很少的 sg 设备就可以满足用户的性能要求，并由此节省了大量的机房空间，电源消耗和空调消耗等相关资源。从维护成本的角度上来考虑，是更为节省的一个方案。在反向代理的方案中，对于静态网页的性能提升效果是非常明显的。因为大部分的静态网页会缓存在本地。而对于动态网页而言，由于不能缓存在代理服务器内部，所以必须代理回源服务器，此时对源服务器的服务并没有性能卸载的能力。对于这种动态网页的加速，可以参考后续章节的方案，bluecoat 提供了一种独到的 adn 加速方案来对动态网页进行加速。这一

12、方案的范围已经超出了反向代理的概念，而是和 cdn 的方案融合在一起。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝.2 异地部署反向代理节点异地部署反向代理节点整个反向代理网络组件包括：gslb 和 slb 设备，http 缓存设备，web 源服务器等。这种部署实际上已经成为了 cdn 的部署。下图表示了整体的网络架构：sg数据中心数据中心加速动态网页加速动态网页 wansg加速动态网页加速动态网页sg加速静态网页加速静态网页sg加速流媒体加速流媒体sg加速流媒体加速流媒体镜像服务器镜像服务器gslb设备设备slb设备设备slb设备设备内

13、容分发内容分发字节缓存比较字节缓存比较源服务器源服务器数据中心数据中心新建新建cdn节点节点动态网页源服务器动态网页源服务器在新建反向代理节点中部署 4 台 sg 缓存设备，其中 2 台主要用于加速流媒体业务，1 台主要用于加速静态网页和 flash 视频的业务，1 台主要用于加速动态网页的业务。考虑到业务安全的需要，2 台加速 http 网页的 sg 缓存设备可以通过 slb 设备进行负载均衡。2 台加速流媒体业务的 sg 缓存设备通过 slb设备进行负载均衡。这里假定缓存设备中已经存有用户需要访问的内容（用户访问命中的情况），其中第 1 步是 dns 解析，用户解析过一次后就可以把 dns

14、 记录缓存在本机上，知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝下次可以不用再去 gslb 设备进行解析。如果用户访问的内容未命中，则会由cache 去源服务器抓取。对于较简单的单个节点异地反向代理方案，可以不使用 gslb 设备，只使用 dns 解析到反向代理服务器即可。4.2adn + cdn 业务（动态和静态网页同时加速业务）业务（动态和静态网页同时加速业务）.1 设计概述设计概述在中心和边缘节点部署的 sg 缓存设备和网络的总体架构如下图所示：internetgslb设备设备slb 设备设备slb设备设备静态对象静态对象（http

15、,ftp）源服务器源服务器中心节点中心节点(全国和北京全国和北京)边缘边缘cdn节点节点动态网页源服务器动态网页源服务器sg加速动态加速动态/静态网页静态网页sg加速动态加速动态/静态网页静态网页sg数据中心数据中心加速动态网页加速动态网页内容分发内容分发字节缓存比较字节缓存比较directorcdn管理和管理和内容分发内容分发考虑到冗余的设计要求。在中心节点放置二台 sg 加速设备，这二台加速设备并不需要一定连接在 slb 设备之后来实施负载均衡。因为 bluecoat 的 adnsg数据中心数据中心加速动态网页加速动态网页知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）

16、百度一下知识水坝加速方案里提供了不需要 slb 的中心点负载均衡。因此只需要给这二台设备各一个公网 ip 地址就可以。二台中心点的设备会设置 adn 路由表，自动把源服务器的网段地址广播给所有的边缘的 sg 设备。在边缘节点，如果有多台 sg 设备的话，则可以放置在 slb 负载均衡设备后面，使用私网地址，然后在 slb 上映射为公网的 vip。此时 slb 负载均衡设备的算法建议使用基于用户源地址 hash 的，来保证每个用户的连接都达到同一台 sg 设备中进行处理。这样加速效果更好。边缘节点的 sg 设备和中心节点的sg 设备之间会形成 peer 关系，并建立 adn 隧道进行加速。二者的

17、字节缓存是完全同步的。边缘节点的 sg 会根据目的地网段的 adn 路由进行数据包转发选择。如果发现去往目的地的网段有多台 sg peer 都可以通达，则会根据自己的设备id 采用 hash 的方式自动选择一个 peer 作为下一跳。由于边缘节点有众多 sg设备，因此最终会使得流量较为平均的转到中心节点的 2 台 sg 设备上。如果中心节点有一台 sg 设备故障，则边缘节点的 sg 设备会自动切换到另外一台中心节点 sg 上。director 分发设备需要一个独立的公网 ip 地址来管理所有的 sg 设备。为了管理的目的，每个边缘节点的 sg 也需要配置一个单独的公网 ip 地址用于管理。di

18、rector 使用 ssh 协议管理 sg 设备。director 设备也可以被配置为冗余的来保证可靠性。.2 动态网页加速流程动态网页加速流程下图表示了用户访问动态网页时的数据包流程：知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝sg全国数据中心全国数据中心加速动态网页加速动态网页 internetsg加速动态加速动态/静态网页静态网页gslb设备设备slb设备设备slb设备设备内容分发内容分发字节缓存比较字节缓存比较源服务器源服务器边缘边缘cdn节点节点动态网页源服务器动态网页源服务器12345678sg加速动态加速动态/静态网页静态网

19、页中心节点中心节点(全国和北京全国和北京)这些流程可以分步骤解释如下：1）用户请求内容 http:/ dns 解析请求会达到 gslb 设备。2）gslb 设备作出就近性判断把用户的请求重定向到离用户最近的 adn 节点(边缘节点)的 slb 设备上3）边缘节点 slb 把用户请求 http:/ 发送给边缘 sg。4）sg 设备根据自己的加速策略判断需要进行 adn 加速，把用户的请求通过adn 隧道发给对端的 sg 设备（中心节点）。这一请求过程本身也会被加速，因为通常一个 http request 数据包在几百个字节，如果加速后，则可能只传送 12 个字节，因此大大缩短了在广域网上的传送延

20、时。5）sg 中心节点收到数据包后，向动态网页的源服务器发起请求6）动态网页的源服务器响应给 sg 中心节点真正的用户数据，如数据库表单查询或网上购物明细等页面。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝7）sg 中心节点收到响应后和自己的字节缓存数据库进行比对，将差量数据传送到对端的边缘节点 sg，这一传送过程的速度会较未加速前大大加快。8）sg 边缘节点收到响应后，根据自己的字节缓存，把源服务器的响应还原并发送给用户。上述流程就是一个完整的用户请求动态网页加速的流程。如果用户请求的一个域名下的内容是既有动态网页，又有静态网页。则 sg 加速的流程如

21、下：1）sg 判断是否是可缓存的页面，如果是，则检查a) 是否已经在本地的 http 对象缓存中且未过期，如果是则直接给用户服务b) 如果已经在本地的 http 对象缓存中但对象已经过期，则向源服务器发送 ims 请求要求最新的对象。这一请求过程同样会经过 adn 加速。c) 如果不在本地的 http 对象缓存中，则向源服务器发送内容请求。这一请求过程同样会经过 adn 加速。2）sg 判断此网页为不可缓存，则会直接把请求发给源服务器并且这一请求过程会经过 adn 加速。.3 设备选型设备选型这里给出了不同设备型号之间的硬件参数对比：sg8100-gsg810fsg810esg

22、510b磁盘6x300g 15k4x300g scsi4x144gb scsi1x300gb sata内存4gb4gb4gb1gb网络接口2 个 ge 标配，可扩展到 6个 ge2 个 ge 标配，可扩展到 6 个ge2 个 ge 标配，可扩展到 6 个ge2 个 ge 标配，可扩展到 6 个ge知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝.4 httpshttps 加密动态网页加速业务加密动态网页加速业务在实际的网站类型的客户中，很多网站是使用 https 进行加密的业务处理。而且这些 https 的页面往往是个性化的动态的页面。这就要

23、求 cdn/adn 业务能够提供针对 https 的动态网页加速能力。而传统的 adn 加速方案是无法直接加速 https 的业务的。这一问题的原因在于 adn 的字典压缩算法对于加密的数据流是没有显著效果的。bluecoat 的 adn/cdn 解决方案提供了一个完整的解决方案可以对 https类型的动态网页进行加速。从而扩展 cdn/adn 加速的适应范围。它的工作原理是利用 ssl proxy 来截取 https 的流量并对未加密的页面进行字典压缩，然后再把压缩后的流量进行 ssl 加密传送到 adn 对端设备。这里也分为二种情况：1）源服务器使用了 https 加密，用户也使用 htt

24、ps 协议请求内容。2）用户使用 https 协议请求内容，但是源服务器只使用普通的未加密http。从 sg 边缘节点到源服务器之间使用加密的数据传送。第一种情况的工作原理如下图所示：知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝边缘节点的 sg 会直接向 https 源服务器发送请求，并得到源服务器颁发的证书。边缘节点的 sg 和中心节点的 sg 之间会形成一个联合工作的 ssl proxy。bluecoat 称之为 ssl split proxy。边缘节点的 sg 会把证书传递给中心节点，由中心节点作为客户端和 https 源服务器进行直接通讯，并形成

25、一个完整的 https 连接。中心节点的 sg 在得到 ssl 内容后可以解密，从而得到了解密后的 http 内容，能够直接对这些不加密的内容实施高效的字典压缩。而在边缘节点和中心节点之间，二者使用自己预装的有效证书进行认证和传输加密。这保证了数据传输的安全性。在边缘节点的 sg 会自动根据源服务器颁发证书的信息仿真一个新的证书颁发给客户端。对于 xxx 用户来说，这样的技术方案带来的优势是，由于在 xxx 用户 cdn托管的互联网公司会有非常多的源服务器，每个源服务器颁发的证书都是不同知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝的。而采用了证书仿真和

26、ssl split proxy 技术后，整个 cdn/adn 网络的管理会变得异常简单。bluecoat sg 设备会自动为每个源服务器创建一个新的用于用户端的证书。这种技术可以大大节省 xxx 用户的维护成本。第二种情况的工作原理如下图所示：internetsg中心节点中心节点sg边缘节点边缘节点http 源服务器源服务器动态网页动态网页建立https连接https 请求在adn隧道中请求http对象,字典压缩，并且可以使用ssl加密颁发证书（预装）请求http内容返回http内容在adn隧道中返回http内容,字典压缩，并且可以使用ssl加密返回https内容在这个部署方式下，边缘节点的

27、sg 预装了已经签过的数字证书。当用户访问 https 内容时，边缘节点的 sg 会把预装的数字证书发给用户。然后边缘节点sg 可以把用户的解密内容进行字典压缩，并通过加密 adn 隧道传送给对端的中心节点设备。中心节点设备会以 http 的方式和源服务器进行通信。这种方式源服务器不需要支持 https，可以节省大量源服务器的计算资源。这种方式实际上是对源服务器的 https 卸载。上面的二种部署方案可以共存在边缘节点 sg 中，sg 设备可以根据用户的访问条件，如域名，url 路径，http header 等多种信息来定义，定义部分用户请求需要是全程使用 https 加密，部分是需要做 ht

28、tps 卸载的。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝.5 reflectreflect clientclient ip(ip(用户用户 ipip 地址传送地址传送) )如果有网站客户需要统计用户的源 ip 地址，或者有特别的认证需求是基于源 ip 地址的。此时需要把用户的源地址发送给源服务器。bluecoat 中心节点的 sg 设备此时需要打开 reflect client ip 选项，并使用用户真正的源地址连接到源服务器来请求内容。但这里需要注意的是，需要增加四层交换机或设置路由器上的 wccp 流量把源服务器送回的流量重定向到

29、中心节点的 sg 上。否则会无法建立完整的 tcp 连接。.6 保留用户原有域名保留用户原有域名在实际的 cdn 运营中，会有客户提出这样的需求，他们的原有网站已经申请了域名，不想放弃，同时又想通过 cdn 的方案部署新的服务，并使用全新的域名。此时 bluecoat 可以提供一个非常好的方案自动的帮助用户实施全新域名的 cdn，同时用户原有网站的域名和内容都不需要更改。这里举例如下：用户原有的域名和网站 url 为：http:/http:/, 希望通过 xxx用户的 cdn 部署为 https:/https:/, 实际客户访问到https:/https:/ 时是访问 xxx

30、用户的 cdn，然后再作反向代理，其源服务器是 http:/http:/ 。这样 xxx 用户给其用户的网站提供了ssl 卸载服务和 cdn 服务。而用户原有的 http:/http:/ 可以继续保留，用于测试或继续服务的目的。这里面需要注意的一个技术问题是在原有的 http:/http:/ 网站中其页面内容中还会嵌入大量的连接，都是基于 域名的链接。如果对这样的网页实施 cdn 加速，用户点击其中 cdn 加速页面的链接时会直接访问 ，这样会绕过 cdn 网络而直接访问源服务器。为了避免这个问题，通常是需要源网站改写其中的页面，这样的工作量是相当大的。知识水坝（豆丁网pologoogle）为

31、您倾心整理（下载后双击删除）百度一下知识水坝bluecoat sg 缓存设备提供了一个功能叫做 two way url rewriting，可以解决这个问题，它可以自动改写网页内部嵌入的链接，如果源网站中页面嵌入的链接为 http:/ 则 bluecoatsg 设备在接受到源服务器响应后，把页面中的这个链接自动的改写为：https:/ 这一功能可以避免用户在源网站侧保留域名的同时还需要对自己的网站内容进行大量改写。是一个提高用户满意度的非常好的功能。这里面需要注意的是 bluecoat sg 的 two way url rewriting 功能目前不能对网页中的 activex 控件中的链接进

32、行改写。如果用户的网站大量使用了acitvex 控件则此功能目前还无法实施。4.3bluecoat http 业务特点业务特点http 缓存是整个反向代理的基础业务。bluecoat proxysg 提供了非常丰富的 http 业务服务功能，包括：非常灵活的 http 策略设置支持认证，授权，sso灵活的对象刷新机制支持 http 压缩支持多线程下载https 加速和缓存带宽管理内容安全的保证 对用户上传内容进行病毒扫描这里需要指出的是，http 压缩功能也是免费提供的。下面就其中的一些具体业务进行详细描述：知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝4

33、. httpshttps 源服务器卸载源服务器卸载使用 bluecoat sg 设备作为反向代理的方式对源服务器进行加速，可利用bluecoat 设备的安全性和强大的性能来实现对源服务器的卸载和安全防护。如果直接在源服务器上部署 https 的业务，则会给源服务器带来很大的压力和资源开销。如果一个基于软件的 http 服务器上实施 https 服务，其性能通常只有4-5mbps 的 ssl 吞吐量，并且能够处理的每秒请求数量也是非常有限的。而如果在 http 源服务器前端部署 bluecoat sg 设备，则可以利用bluecoat 的设备内置的 ssl 硬件加速卡实现对 ht

34、tp 源服务器的 ssl 加速功能，从而使得源服务器专注于 http 服务，而将 ssl 加密的任务交给 sg 设备来处理。在 bluecoat sg 设备上，可以通过二种方式装入数字证书用于颁发给用户的访问。一种是在 bluecoat 设备上自己签发的证书，这种证书不需要去互联网上的证书发放机构进行签署，但是用户的浏览器可能没有直接设置为信任bluecoat 签发的证书并弹出一个提升窗口让用户确认是否信任这个证书。另一种方式是装入经过互联网上证书发放机构发放的标准数字证书，如verisign，baltimore 等公司签发的数字证书，这些证书通常是被用户客户端所信任的。.2

35、httphttp 压缩压缩bluecoat sg 设备支持标准的 http1.1 压缩，可以支持的 http 压缩算法是 gzip 和 deflate。对于 bluecoat sg 来说，如果源服务器没有使用 http 压缩，而 client 端请求压缩对象，则可以把未压缩的 http 对象压缩后缓存在本地，对于后续的 http 访问则直接提供压缩后的对象进行服务，不需要再去源服务器拿去内容和重新压缩。bluecoat http 压缩功能是可以根据策略设定来启用的，例如，可以根据用户访问 url 的不同来确定是否启用 http 压缩。另外如果用户请求的是非压缩知识水坝（豆丁网pologoogl

36、e）为您倾心整理（下载后双击删除）百度一下知识水坝的对象，则 bluecoat 会缺省给用户非压缩的对象。对于一些不能压缩的对象，如 gif 图像文件和 jpg 图像文件，此时尽管 http 策略设定压缩这些对象，但是bluecoat 设备也会自动忽略这些请求而给用户服务非压缩的对象。.3 多线程下载多线程下载bluecoat sg 设备支持标准的 http byte-range 字头，可以被多线程下载程序如 flashget 用于多线程下载。因此利用 bluecoat 设备可以支持常见的多线程下载程序。但是目前 bluecoat 设备还不能限制单个用户同时使用的多线程下载的线

37、程个数。.4 典型典型 httphttp 策略设置策略设置bluecoat 的 http 策略引擎提供了非常丰富的 http 策略控制功能，常见的应用案例包括：1） 去除用户请求的 no-cache header 来保证源服务器的安全。2） 根据用户的 user agent header 来判断用户的浏览器版本和类型来判断用户是否能够得到理想的页面效果3） 进行 http 重定向来实现用户访问转向4） 强制缓存指定的内容5） 对 http 源服务器的错误代码响应提供定制的出错提示页面6） 拒绝某些指定用户对内容的访问4.4bluecoat网络安全设计网络安全设计4.4.1blu

38、ecoat 抗抗 ddos 攻击和攻击和 port scanningblue coat 提供了完整的抗 ddos 攻击能力，包括如下的技术特性：sg 可以限制单个客户地址的 http/tcp 连接数量，并且对超过了连接数量限制的客户连接请求进行拒绝和复位。对于被限制访问的客户，可以设定限制知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝访问的时间间隔，时间到期后恢复这些客户的访问权限。这一防护能力是针对tcp 以上的协议。对于常见的底层 ddos 攻击如 icmp flood, tcp syn flood，sg 可以进行安全防护并且不会因此而消耗系统资源。对

39、于 icmp flood，bluecoat 的设备可以实施限速，保证不会因为大量的 ping 响应而导致系统资源过载。对于 tcp syn flood，可以对不完整的 tcp 连接不分配资源，从而不会导致系统资源过载。对于端口扫描的攻击，缺省 bluecoat 设备不会打开任何端口。只有提供http 服务的 80 端口和 ssh 及 https 管理端口。对于这些提供服务的端口还可以实施访问控制，只有信任的客户才可以访问这些端口。4.4.2sgos 操作系统操作系统blue coat 专用设备的操作系统 sgos 是一个专门为高速对象缓存应用而开发的操作系统，它通过了国际著名的安全认证：ics

40、a labs 安全认证。表示这个操作系统是一个非常安全和没有后门的操作系统。黑客不会知道真正的源服务器地址，也无法通过 bluecoat 的反向代理设备而去篡改源网站的内容和攻击源服务器。而作为对比，一个运行在通用操作系统上的 web server 程序，它的安全性是受限于操作系统的安全性的。在 www.cert.org 网站上，可以搜索到成千上万的关于 windows, linux, unix 操作系统的安全漏洞。运行在这样的操作系统之上的网站是非常不安全的。如果把这个 web 服务器直接暴露在 internet 上实际是一个很危险的部署方式。在对象存储方面，bluecoat 使用的是按照对

41、象 url 产生高速索引的存储机制，在硬盘上没有文件系统。即使黑客获取了 bluecoat 代理服务器的硬盘，由知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝于其不了解 bluecoat 的专有存储格式，也无法读出其中存储的数据内容，更不用说篡改其中的内容。美国军方的很多网站都采用 bluecoat 的设备作为反向代理作为安全设备部署在网站的前面，避免其网站遭到黑客的攻击和篡改。4.4.3bluecoat 协议检测协议检测blue coat sg 可以检测到 80 或 443 端口访问的流量是否为真正的 http 或https 流量。只有真正的 http

42、或 https 流量才会被 sg 进行处理，转发回源服务器或在本地命中。这种技术可以防止黑客利用 80 和 443 端口对反向代理设备或源服务器进行攻击。对于标准 https 协议来说，客户机会使用 http connect method 来连接服务器，通过对这些方法的检测，bluecoat sg 设备可以清楚地感知是否是真正的 https 客户端在使用 443 端口还是伪装的 https 流量。4.4.4防止反向代理服务器成为防止反向代理服务器成为 open proxyblue coat 反向代理设备可以被同时用作正向代理设备，因此当 sg 被部署在公网上的时候，需要增加相应的安全策略保证

43、sg 设备不会被作为一个公用的代理服务器来被其他非法用户用于访问 internet 上的内容。典型的配置包括：1）在反向代理服务器上不要配置 dns 服务器。这样非法设定 sg 为代理服务器的客户将无法访问 internet 上的内容。2）在反向代理服务器上配置 acl 控制策略。检查用户请求的 http host header 是否匹配正在加速的域名，匹配的进行处理，不匹配的则拒绝其访问。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝通过上述的二个反向代理上的配置可以保证没有用户或黑客使用代理服务器访问 internet 上的内容。4.4.5管理员访问限

44、制和安全管理员访问限制和安全为了防止在公网上的黑客扫描 sg 的管理端口和进行破坏，在 sg 设备上可以设置管理员访问控制列表，限制只能有特定的工作站才能访问 bluecoat sg 的管理端口。同时为了保证设备管理的安全，bluecoat sg 设备使用的是 https 和 ssh协议进行管理。并且可以定义使用一个专用的 https 端口而非标准的 443端口。4.5用户行为分析和统计及错误定位用户的追踪用户行为分析和统计及错误定位用户的追踪bluecoat proxysg 提供了多种方式的系统访问日志信息，包括：http access log, streaming access log 等

45、。bluecoat proxysg 的系统访问日志可以被集中的送往 syslog / ftp 服务器进行存储，也可以以实时的方式输出到一个独立的 log 服务器上进行实时监控。为了确保 log 日志的安全性，proxysg还可以把日志信息进行数字签名，确保 proxysg 的日志不会被黑客攻击。典型的 proxysg http access log 格式为 w3c，squid 等标准格式。同时 bluecoat 提供了 reporter 工具软件来分析所有 bluecoat 设备的用户访问日志。reporter 工具可以位于一个数据中心，集中地分析反向代理网络中所有的 log 信息，也可以在每

46、个省网部署一个 reporter 工具。对于 xxx 用户来说，由于实际运营商网络条件的限制，如果由于错误配置或设备故障引起的电信用户跨网访问 xxx 用户地址内容的情况出现，则会给用户的访问效果来很大的影响，甚至影响后续业务的发展。为了避免这个情况的知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝出现，需要反向代理的管理员能够具有追踪和定位能力，把错误定位用户的 ip地址迅速定位。避免这种跨运营商访问的情况出现。proxysg 提供了基于策略的 log 能力。可以产生一个独立的 log 文件，把符合条件的错误定位的用户记录在这个 log 中，供反向代理系统

47、管理员来进行追踪和分析。例如：假定电信的用户 ip 地址为 /16 网段，xxx 用户的用户 ip 地址为 /16 网段，cache 上为电信用户提供服务的 ip 地址是 , cache 上为 xxx 用户用户提供服务的 ip 地址是 。如果电信的用户错误定位到了为 xxx 用户用户服务的 ip 地址，则 proxysg 上则会产生出用户访问记录，记录 c-ip 和 cache 服务 ip 地址。这样对于反向代理管理员来说，只需要察看这个 log 的文件就能追查到任何错误定位的用户访问。4.6全局网络管理全局网络管理blu

48、ecoat 提供了 bluecoat director 设备用于 bluecoat proxysg 专用设备的功能强大的集中配置管理、更新管理、策略管理平台。director 是一个专用的硬件可以支持集中管理和内容分发。blue coat director 集中管理设备实现对 blue coat proxysg 系列专用设备的可伸展的更新管理、配置管理和策略管理。产品的设计基于可扩充的管理专用设备，director 减少了管理成本和复杂性。它为管理员提供了强大的平台，来对分布的、远程的 sg 系列专用设备进行中心化的集中管理。配置信息和安全策略都可通过任何一台 pc 或工作站上，通过浏览器在一

49、个易于使用的界面来生成和管理。 现在，企业能够采用管理成百上千的设备所必须的工具，在他们的整个网络的全球分支机构内部署 proxysg 专用设备，对地理位置分布的远程系统进行安装配置和策略更新和耗时且成本很高的工作。director 集中管理设备使这个改变过程自动化，通过为企业提供快速地实施配置、资源和策略修改所必须的实质性的工具来有效地管理 blue coat sg 系列专用设备。 blue coat director 集中管理设备使企业能够： o中心化的、全企业范围内的、基于策略的管理 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝o软件升级自动化 o

50、备份配置，并在灾难时恢复 o强大的自动化任务定时安排 o管理专用设备，简化安装和日常维护的难度 o通过安全的 gui 或 cli 进行远程管理 o中心化管理策略，进行全局策略分发 o可从任何带有 web 浏览器的 pc 或工作站上启动管理 下图表述了 bluecoat director 管理的方式：4.74.7未来扩展未来扩展目前 xxx 用户的一期工程只考虑了二个节点，未来可以考虑随着业务的发展扩展为更大规模的反向代理和 adn。 具体的扩展方式非常简单。在每个地方的新建 pop 点，然后增加 slb 设备，再根据用户的业务量增加缓存设备和广域网加速设备。知识水坝（豆丁网pologoogle

51、）为您倾心整理（下载后双击删除）百度一下知识水坝广域网加速设备在扩展时，通常只需要扩展 pop 节点设备就可以了，因为广域网加速设备中心节点设备可以和多个边缘节点设备形成 1 对多的伙伴关系。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝5 bluecoat http 缓存技术特点缓存技术特点下面详细介绍 bluecoat sg 缓存设备针对 http 缓存的高级特性。5.1pipelining：快速的内容抓取：快速的内容抓取当浏览器请求内容时，在浏览器和远端的 web 服务器之间将有许多的往返通讯发生，这是因为一个 web 页面通常由许多对象组成，而对于

52、每个对象的获取都必须首先有一个 tcp 会话建立，然后进行 http “get”请求，如下图： 这种串行的对象获取对于最终用户来说就意味着大量的延时，blue coat proxysg 设备的运用，将消除这种延迟的大部分；用户连接将终结在 blue coat proxysg 设备，该设备运行 sgos，包含了针对延迟的算法；这些算法之一就是pipeline 抓取，该专利算法将打开尽可能多的到源服务器的 tcp 连接，并发地获取 web 对象，这些对象将在浏览器请求它们时，被直接从专用设备快速地传递到用户桌面系统，如下图：知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一

53、下知识水坝object 1object 2object n pipeline 抓取的作用，使 blue coat 产品能够将对 web 页面的首次访问速度提高 2 倍，这种性能的改善对最终用户来说是直观、生动的。5.2自适应的刷新：快速、新鲜的内容自适应的刷新：快速、新鲜的内容由于在 web 服务器上的内容在不断变化，blue coat proxysg 设备必须保持缓存内容的更新；对于 blue coat 专用设备在将内容从其存储传递给用户时，必须确信内容是新鲜的，那么，一个“refresh check”必须被发给源服务器；然而，为了快速地提供内容，那就不能等到用户请求时才实现“refresh

54、”操作。如果“refresh”检查只在用户请求内容时进行，用户就必须忍受使得网络变慢的延时，web 页面的响应时间必然也得不到很大的改善。传递快速、新鲜的 web 页面的唯一可行的方法是将“refresh”操作与实际的用户访问分开处理；blue coat 专用设备实现这个操作是通过另一个针对延迟的算法自适应的刷新算法；该专利算法根据 web 对象的需要进行有选择地刷新，刷新操作与实际的用户请求是异步进行的。选择哪些对象、何时进行刷新要求专用设备理解对象的变化规律；web 对象以不同的节奏变化，一部分变化很频繁、一部分很少变化，而大多数介于两者之间。下图是 blue coat systems 设

55、备在全球不同地区提取的数据，可以发现知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝对象变化比例最高的 24 小时内。（该柱状图并不代表对象如何变化的绝对模型；它只是说明在分析时的变化比率） 自适应的刷新算法是业界唯一为缓存的每个 web 对象建立“变化模型”的技术，它还根据这些对象被用户访问的历史情况建立其“使用模型”，然后，综合这两方面信息来确定适合于这些对象的刷新模式（刷新产生的结果将随这些模型的变化不断调整）。通过自适应的刷新算法，blue coat proxysg 专用设备自动与源服务器实现“新鲜度检查”，从而保证旧的内容被删除，并用新鲜的内容替代

56、。例如，如果在 首页中的对象，对于通过 blue coat 专用设备访问的用户群，是访问量很大的；blue coat sgos 将更新那些变化的对象（例如：“top story”对象），而不刷新那些不变化的对象（例如：“cnn logo”对象）；这样保证当前内容被快速地传递给用户。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝并发抓取能够改善 web 页面的第一次请求的响应，同时，动态刷新由于使用户不必等待对象的刷新时的延迟，从而巨大地改善对象的后续请求的响应。 只有通过 blue coat systems 独创的针对延迟的算法，才能对首次及多次请求基于

57、web 的通讯进行加速；通过“快速、新鲜”地传递内容，blue coat sgos成为业界领先的互联网 proxysg 的基础。5.3自适应的刷新：对带宽消耗的影响自适应的刷新：对带宽消耗的影响自适应的刷新技术是关键技术，用于将常用的 web 内容保存在靠近用户的地方，并在不引入不必要的网络流量前提下保持内容更新。测量 blue coat proxysg 对 wan 或互联网连接带宽的影响，一种有效方法就是区分出提供给用户内容的流量和 proxysg 消耗的流量，这两者的差被称为“带宽增益”；当一个 proxysg 传递给用户的通讯量超过他从主干获取内容的通讯量时，带宽增益就产生了。下图是 b

58、lue coat systems 产品典型应用环境中的带宽增益情况： 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝其中，出口连接上的带宽为 3000kbps，与用户通讯带宽为大约4000kbps，blue coat 专用设备的安装有效地将网络通道能力提高了 33%。由于自适应的刷新算法能够高效地选择对那些对象及在何时进行刷新，blue coat sgos 使已有带宽的使用更高效。5.4新鲜度测量和报告新鲜度测量和报告blue coat 专用设备自动测量和报告传递给用户的内容的新鲜度，这种报告的功能基于自适应的刷新算法所跟踪的 web 对象属性。测量功能首

59、先跟踪存储在 blue coat 专用设备中的对象，从上次被检查新鲜度之后被用户访问的次数，然后与自适应的刷新操作相比较；当一个刷新操作发生时不同的结果将会产生： 如果一个对象在服务器上没有改变，那么该对象前面的传递被记录为“新鲜的”；如果该对象在服务器上已经变化了，sgos 将依据该对象在源服务器上改变的时间来计算该对象新鲜传递的比率和是否传递了“陈旧的”内容。 这些信息将报告在 blue coat 管理终端的统计部分，如下图：知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝 通过这种实际的报告机制，网络管理员能够确定用户获得的内容是他们生成请求时 web 上存在的内容。5.5blue coat 存储子存储子系统系统在磁盘上存储对象的方法对于实现高性能和高扩展能力是至关重要的，存储方法将决定(1) 当一个对缓存对象的用户请求到达时，该对象将以多快的速度被访问到，(2) 新的对象将多快被确认并存储到磁盘上，(3) 每个磁盘能对用户请求提供服务的速率。blue coat 专用设备的对象存储系统不是文件系统，它是对象的缓存，在该专用设备中没有目录，对象的访问是通过内存中的 hash 表进行的，从而保证任何对象的获取只需一次磁盘读操作；传统的文件系统在满的时候运行性能很差，而 blue coat proxysg 能够在满的时候保持高性能。知识水坝（