淘宝CDN系统架构

1、淘宝CDN系统架构存储与架构分论坛上，淘宝网技术委员会主席，淘宝网核心工程师章文嵩向我们详细介绍了 淘宝网图片处理与存储系统的架构。章文嵩博士的演讲日程包括了淘宝的整个系统架构、 淘宝图片存储系统架构，淘宝网独立开发的TFS集群文件系统，前端CDN系统以及淘宝网在 节能服务器方面的应用和探索。本文侧重介绍淘宝网图片处理与访问系统前端的CDN系统架构从商用系统到自主研发实际上，淘宝网对CDN系统的要求还是十分严格的，CDN服务的图片规模包括大约250T容 量的原图和大约250T容量的缩略图总和;约286亿左右的图片数，平均图片大小是17.45K； 8K以下图片占图片数总量的61%，占存储容量的1

2、1%CDN的部署规模达到22个节点，部署在网民相当密集的中心城市（7月初），每个节点目前处 理能力在10G或以上，CDN部署的总处理能力已到220G以上，目前承载淘宝流量高峰时119G， 含一些集团子公司的流量。淘宝网现有的CDN系统也完全是淘宝自己开发的，最早淘宝也应用过一段商用的CDN产品， 选择Netscaler的CDN系统来解决海量小图片访问和读 取的问题。使用一段时间后，认为 市场普遍的商用产品存在一些性能瓶颈、功能欠缺，并且性能不稳定。面对淘宝网背后如此 巨大的图片存储规模，商用系统在整个系统的规模、性能、可用性和可管理性都无法达到 要求。目前淘宝网自主开发的CDN系统，采用了全新

3、的优化架构，包括CDN监控平台、全局流量调 度系统支持基于节点负载状态调度和基于链路状态调度、CDN实时图片删除、CDN访问日志 过滤系统、配置管理平台。新旧CDN架构平台对比ciientVIP1VIP2NetScaler(7LB) Net5caier(7LB)squid squid itjuidlMsqufd源站 你的存储频道.淘宝网老架构的CDN平台应用Netscaler产品图为淘宝网应用Netscaler产品的老架构的CDN平台，背后管理500TB容量，前端缓存空间约1TB左右，命中率较低，因此需要强大的调度策略。淘宝网最新的CDN系统架构上图为最新的CDN系统架构，全部由淘宝网自己开发

4、，前面介绍过CDN系统的服务规模，包 括约250T容量的原图+ 250T容量的缩略图，总计500TB图片存储容量;约286亿左右的图 片数，平均图片大小是17.45K;8K以下图片占图片数总量的61%，占存储容量的11%，实际 上带给CDN系统极大的挑战。CDN部署规模达到22个节点，部署在网民相当密集（具体访问量）的中心城市（7月初），每个 节点目前处理能力在10G或以上，部署的总处理能力已到220G以上，目前承载淘宝流量高 峰时119G（含一些集团子公司的）。新勰构老架构流鱼分向均勺性可维护性抗攻击雎力 女女计主控制能力女女女扩展能力灵活性你的-存储频道t新旧两代CDN架构的对比上图是淘宝

5、网对新旧2代CDN架构进行对比，新的CDN系统在流量分布均匀性上有了较大改 进，所有的频道统一调度到128台squid，而不是将squid按频道分组，可提高命中率2% 以上;扩展能力也有了较大提升，在一个VIP 上新架构可以扩展到近100G的流量（当然要用 万兆网卡）；灵活性也有了较大提高，一致性Hash调度方法使得增加和删除服务器非常方便， 只有1/（n+1）的对象需要迁移新的CDN架构。除了在可维护性商稍微弱一点，其余的指标 全面超出商用的产品。Squid节点的改进和优化新的CDN在squid节点上也进行了一些改进和优化，包括：在COSS存储系统基础上实现了 TCOSS，FIFO加上按一定

6、比例保留热点对象，支持1T大小的 文件Squid内存优化，一台Squid服务器若有一千万对象，大约节省1250M内存，更多的内存 可以用作memory cache。用sendfile来发送缓存在硬盘上的对象，加上page cache，充分利用操作系统的特性 针对SSD硬盘，可以采用DIRECT_IO方式访问，将内存省给SAS/SATA硬盘做page cache 在Squid服务器上使用SSD+SAS+SATA混合存储，实现了类似GDSF算法，图片随着热点变化 而迁移。根据淘宝网的资料数据，SSD的存储成本大约是20每GB左右，SAS硬盘的存储成本约在 5-6每GB，SATA盘的每GB成本不到1

7、。随着对应用性能的要求提升，应用SSD是未来 的趋势，针对不同硬盘的存取特性进行优化是十分必要的。目前在squid节点中的热点迁移采用了两种策略，一种是根据文件大小来定义迁移到哪种磁 盘上去。例如较大的文件存放在SATA磁盘，中等大小的文件放在SAS磁盘上，较小的文 件存放在SSD磁盘。下图是淘宝网进行自动分层迁移后的性能测试结果，测试环境包括1 块SSD硬盘+4块SAS硬盘+SATA硬 盘。访问负载状况如下：SSD t 4 * SAS + 3ATA上的访问负载如下：roat3chel61 7# i眄皿 w -KEO | -egren * -epu!：褊的e 邮眼蜘匡山m上sdle3.15 0

8、,00 5.63 115 Ch .00 75.87Dsu ice:rrqm/sw rqm/s rfii W/5rkB/swkB/s 3xgrq-sz avgqu-sz加日itsvctm 幼 uUL斯15刊1.1? 5。-砰23河1* 孵 105-Q10351039sdbQ.07G.03 447.291 Q24359J1191 用 0 2Q.300 710.37 musdc5-,73fl.4 2100.5S 跄.14】,如3,4目M网-13.94sdd5.572.07 121.939.571319.4510JI 42 2L.&7,199.E3.63 47.7 25.531,45 111.4512

9、柄 53LOli 云.出 0.957.8A-3.4； 41.0sdF5.53血 L1BBOOE&K 海的存储频道）.墅曰眼itl眺由Mi第一种迁移策略按文件大小决定存储的磁盘类型，上图中：黑色为SATA，绿色为SSD，红色为SAS，4块SAS硬盘上的访问量总和超过SSD硬盘上的访问量另外一种策略则是根据访问热度来决定，最热的文件存放在SSD盘，较热的存放在SAS盘， 最冷的文件存放在SATA盘。下图是淘宝网同样在1块SSD硬盘+4块SAS硬盘+SATA硬盘下 的测试结果，访问负载状况如下：SSD 小弓* SAS + SAT&上的访问负载如下；rootcacnelGL 花 iostmt -x-k

10、 60 | eg rep -v -e:Osteal 惭K*3.15 a.00 5.&3 11 35 0.00 79.87rrqm/sF/5 w/e HB/ewkB/E avgrq-M 3四叫-我i await验吓!泌甘5.081j65 18-55 2.52 1210.0711S.D0 125D.14&丸 $.46 11.511.60。5河 L 7S的牌聂心带 94的0.2 BD.46 。一” 14.2dea.220.D3 2fi 87 Q.97 11723189.13 时 m: 0.16S.2B13.25驼d。，治繇M 诵“ 0.77 L133.4?12.53 845 O.iS49甲 4.39

11、 13.37典Q.1SQ.-03 23.23 1.C3 1Q7B.72206.27E7.B10.15S.DD 4.2 4 12.40suf0.1D0.02 28.4 CJ.55 2C9U.Z?1成叩枷.朝寄蛾置坷制整H襦岛m第二种迁移策略按访问的热度来进行迁移，其中：黑色为SATA，绿色为SSD，红色为SAS;SSD 硬盘上的访问量是4块SAS硬盘上访问量之和的5倍以上，SAS和SATA的硬盘利用率低了 很多。节点的运行状况淘宝网列出了两个代表性节点的运行性能状况。节点一由32台DELL R710服务器构成，逻辑结构包括2LVS+32Haproxy+64Squid构成，于 12月21日上线运行

12、。以下是该节点的运营状况：当前最大服务流量：10. 58 Gbps理论最大负载能力:15Gbps以上单台R 710服务器可到500Mbps以上的吞吐率单squid最大object数目：18。0万Cachc请求命中率：97%Cache字节命中率：97%最重要的是命中率提高，大大改糙箱曲访回醐节点二由30台DELL PowerEdge 2950服务器构成，逻辑结构包括：2LVS + 30Haproxy + 60Squid，于2010年5月上线运行。以下是该节点的理论运行状况：理论最大负载能力：12Gbps单台2950服务器可到400业ps的吞吐率单台存储三 160G SSI） 4 143G SAS * 4 + IT SATA单squid最大object数目:30。0万CecE请求命中率：97.5%Cache字节命中率：97. 5%最重要的是命中率提高，大大改鞠翩访r回俺验淘宝CDN的发展方向淘宝网未来的CDN发展方向针对研发、运维和CDN建设有不同的要求。从CDN的研发和运