（计算机应用技术专业论文）cdn网络中p2p内容分发机制的研究与实现.pdf

东北大学硕士学位论文 摘要 c d n 网络中p 2 p 内容分发机制的研究与实现 摘要 在网络电视( i p t v ) 业务中，保证网络服务质量( q o s ) 的一种重要方法是内容 分发网( c d n ) 的方式。通过c d n 把视频内容分发到靠近用户端的边缘节点，利用 边缘节点为用户提供服务，很好地解决了访问量大、服务器分布不均对骨干网造成的 拥塞问题，可以在一定程度上保证端到端的服务质量，减轻i p t v 业务对骨干网络的 冲击，提高用户的响应速度。 c d n 的内容分发机制，是决定c d n 性能好坏的一个关键因素。然而，在普通c d n 采用的是基于客户端服务器的内容分发方式，面在提供婵t v 视频点播服务的c d n 网络中需要分发的内容往往是体积庞大，数量众多的视频文件，并且它面向的是所有 的传统电视用户，这使得它拥有比一般视频点播系统的大德多的用户群。边缘服务器 的数量也更多。基于客户端朋匣务器的内容分发方式很容易造成源服务器的过载。 因此，本文讨论了内容分发的各神方法。然后结合i p t v 视频点播系统的特点， 研究并实现了一种c d n 网络中的p 2 p 内容分发机制，在这种机制下，原来由源服务 器独力承担的内容分发带来的负载分摊到了边缘服务器上。播放服务器数量的增加并 不会引起源服务器负载的明显增加。整个系统对内容分发的负载均衡能力有了显著的 提高。 目前已在疋t v 视频点播系统采用了本文的p 2 p 内容分发机制，该系统在实验室 环境下运行良好。系统实际运行和相关性能铡试表明：本文所设计和实现的内容分发 机制平衡了各服务器间的内容分发负载，提高了系统的可伸缩性，达到系统预期目标。 关键字：对等网络；网络电视；内容分发网：负载均衡 一n 一 查些查堂塑主堂堡笙查 垒! 堕型 t h er e s e a r c ha n di m p l e m e n t a t i o no fp 2 pc o n t e n t d i s t r i b u t i n gm e c h a n i s m i nc d n a b a s t r a c t a ni m p o r t a n tw a yt og u a r a n t e et h eq l l a l i t yo fs e r v i e e ( q o s ) o fi n t e r n e tp r o t o c o l t e l e v i s i o n ( i p t v ) s y s t e mi sc d nt e c h n o l o g y w i t ht h eh c l po fc d n ，i p t v c a l ld i s t r i b m e t h ec o n t e n t st om u c hc l o s e rp l a c e st ou s e r s t h i sw i l lg e tr i do ft h ec o n g e s t i o nb r o u g h ti nb y t h el a r g en u m b e ro fu s e r s ，a n dt h u sr e d u c et h ep r e s s t l r eb r o u g h ti nb yi p t vt ot h ei n t e m e t ， a n ds h o r t e nt h er e s p o m et i m et ou s e r s t h ec o n t e n td i s t r i b u t i o nm e c h a n i s mi so n eo f 血em o s ti m p o r t a n tf a c t o r si nc d n m o s t o ft h ec u r r e n tc d n sa d o p tt h ec l i e n t s e r v e rm e c h a n i s m h o w e v e r ，b e c a u s et h ec o n t e n t st o b ed i s t r i b u t e da r eu s l l a l l yl a r g ei ns i z ea n dn u m b e ri n 瑾t vc d n , i ti sn ol o n g e rs u i t a b l et o u s es u c haw a yf o rc o n t e n td i s t r i b u t i o n o ri tw i l lb r i n gt o om u c hl o a dt ot h e 砸g i n a ls e r v e r t h i sp a p e rc o m p a r e sv a r i o u sw a y so fc o n t e n td i s t r i b u t i o n t h e n ，i tr e s e a r c h e sa n d i m p l e m e n t sap 2 pw a y t od i s t r i b u t et h ec o n t e n ti nt h ei p t vc d n u s i n gt h em e c h a n i s m p r o v i d e di nt h ep a p e r ，t h el o a do ft h ec o n t e n td i s t r i b u t i o ni st a k e nb yb o t ht h eo r i g i n a l s e r v e ra n dt h ee d g es e r v e l - s a n dt h u st h es y s t e m sl o a db a l a n c ea b m t yi sg r e a t l yp r o m o t e d c u r r e n t l y ，t h es y s t e mr u n sw e l li n t h el a b a n dt h es y s t e mt e s ts h o w st h a tt h e m e c h a n i s mp r o v i d e db yt h ep a p e re v i d e n t l yp r o m o t e st h el o a db a l a n c ea b i l i t ya n dt h e s c a l a b i l i t yo f t h es y s t e m k e y w o r d s ：p 2 p ；p t v ：c d n ；l o a db a l a n c e 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加 以标注和致谢的地方外，不包含其他人已经发表或撰写过的研究成果，也不包含本人为 获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示谢意。 学位论文作者签名：老辫 日期： d 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即 学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人授权东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交 流。 ( 如作者和导师同意网上交流，请在下方签名；否则视为不同意。) 学位论文作者签名：导师签名 签字日期： 签字日期： 东北大学硕士学位论文笫1 章绪论 1 。1 项目背景 第一章绪论 随着宽带网络的普及，用户对网络的使用和信息的需求，己不仅仅停留在信息查 询和静态的文本内容上，开始向娱乐，影视欣赏等方向转移。人们对于视频的需求越 来越迫切。例如，在远程教育中，学员们分布比较分散，他们希望在家中通过网络实 时地观看远程教育中心站点的直播课堂，并能通过网络进行实时提问；在娱乐方面， 人们希望通过网络实现视频点播，享受在家中通过网络看大片的乐趣。但是传统的基 于球网络的视频服务不能提供用户类似于广播电视的高质量图像信息，另一方面，目 前的广播电视技术又不能满足用户期待交互式的，实现互动点播模式的需求。 碑t v 即交互式网络电视，是一种利用宽带有线电视网，集互联网、多媒体、通讯 等多种技术于一体，向家庭用户提供包括数字电视在内的多种交互式服务的崭新技术。 m t v 技术是电视网与计算机网融合的产物，也必将推动三网融合的进一步发展 1 1 。 婵t v 既不同于传统的模拟式有线电视，也不同于正在兴起的数字电视【2 】。因为， 模拟电视和数字电视都具有频分制、定时、单向广播等特点；尽管数字电视相对于模 拟电视有许多技术革新，但只是信号形式的改变，而没有触及媒体内容的传播方式。 而i p t v 关键技术是利用“机顶盒+ 电视”完成接收视频点播节目、视频广播等功能， 比起前者来说它具有很强的交互性。它采用高效的视频压缩技术，使视频流传输带宽 在最低5 1 2 k 情况下可以有接近v c d 的收视效果，对今后开展视频类业务如因特网上 的视频直播、远距离视频点播、节目源制作等来讲，有很强的优势，是一个全新的技 术概念。 i p t v 让电信运营商可以为用户提供更多新的娱乐和服务，增加收入。传统上网方 式只能限定为使用p c ，而i p t v 的终端既可以是个人计算机( p c ) ，也可以是t v ， 这就决定了i p t v 的适用范围相当广阔。i p t v 包含了两大用户群体，一个是p c 用户， 另一个是电视用户。随着口t v 推出，这两大群体都有相应的需求。不难想象，i p t v 一旦推广，必将会在全国各地产生星火燎原的扩张效应。 i p t v 的出现在宽带视频应用方面填补了空白，支起了宽带市场的另一片蓝天。它 将电视、通讯和p c 三个领域结合在一起，被业界喻为撬开宽带市场的新支点。业内 人士指出，口t v 预示着一场新技术演变的趋势到来。随着i p t v 终端应用环节机顶盒 价格的大众化，以及宽带接入的跨越式增长，决定了p t v 在宽带市场上必将大有作 为，这也是运营商对其情有独钟的主要原因。 一1 。 东北大学硕士学位论文 第1 章绪论 1 2 课题的提出 通过网络，可以进行学习、交流、娱乐等活动。虽然目前的网络能提供的服务内 容仍以文字，图片为主要形式，但是人们对于视频的需求越来越迫切。而i p t v 的出 现，使得视频点播服务很快就会成为高速网络中最重要的服务方式之一。 但是视频数据非常占用网络资源，在大规模视频点播系统中单个视频服务器可同 时服务的客户数十分有限。如何使系统可以同时服务大量用户，有效地利用机器资源 是一些大规模视频点播系统面临的主要问题。 仔细分析网络速度缓慢的原因，带宽不是导致互联网连接速度慢的唯一因素，如 果没有良好的流量管理策略，网站不管有多大的带宽，用户对网站的访问连接都会慢 如蜗牛。 鉴于此，为提高用户访问的响应速度、减少网络拥塞，在现有的i n t e m e t 网络之 上建立一个完善全面的中间层一c d n ，使用户能以最快的速度，从最接近用户的地 方获得所需的信息，这是目前最为流行的网络优化应用方案之一脚【4 】【5 l 。 c d n 的内容分发机制，即采用何种方式从源服务器向边缘服务器分发内容。是决 定c d n 性能好坏的一个关键因素。然而，由于i p t v 视频点播网络的特点，目前普通 c d n 网络的内容分发机制并不能完全胜任它的要求。i p t v 视频点播网络具有如下特 点： ( 1 ) 需要分发的内容往往是体积庞大，数量众多的视频文件。 ( 2 )由于i p t v 面向的是所有的传统电视用户，使得它拥有比一般视频点播系 统的大得多的用户群，边缘服务器的数量也更多，对源服务器的要求也更高。 普通的c d n 网络中采用的是基于c s 方式的内容分发机制【_ ”，在这种方式中，源 服务器承受了内容分发的大部分负载，且这种负载随参加分发的边缘服务器的数量增 多而增大。这种方式用来分发体积不大的网页或图片尚可，而如果用来分发体积庞大 且为数众多的视频文件却很容易使得源服务器不堪重负，尤其当边缘服务器数量众多 时更是如此。 为了有效地解决上述问题，本文提出了一种在c d n 网络中以p 2 p 方式【8 1 进行内容 分发的机制。p 2 p ( p e e r - t o - p e e r ，即对等网络) 最根本韵思想，同时也是它与c s 最 显著的区别在于，网络中的节点( p e e r ) 既可以获取其它节点的资源或服务同时又是 资源或服务的提供者，即兼具c l i e n t 和s e r v e r 的双重身份。在本文提出的方案中，通 过采用p 2 p 技术将内容分发的负载分摊在c d n 网络的各个节点( 包括中心节点和边 缘节点) 上。采用这种机制进行内容分发时，源服务器和边缘服务器都成为一个对等 节点。因此边缘服务器不仅是内容分发的客户端，还是分发的服务器端，也就是说边 2 东北大学硕士学位论文 第1 章绪论 缘服务器可以承担内容分发的大部分负载，因而，通过本文所述的算法，能够明显提 高整个c d n 网络的负载均衡能力，而且即使有新的边缘服务器加入也不会给源服务 器增加太多负担，也就是说系统的可伸缩性也得到了提高。 1 3 国内外现状 在国外，已经部署了i p t v 的运营商集中在欧美地区和亚太部分国家和地区。在 北美电信运营商的电视业务市场中，加拿大传统电信公司走在了前列，曼尼托巴电信 和萨斯喀萨温电信已经在v d s l 和a d s l 网络中开通i p t v 业务，t e l u s 和加拿大贝尔 也计划在2 0 0 5 年进入这一市场。与加拿大i p t v 市场相比，美国i p t v 市场的发展进 程较为稳定，美国众多的本地运营商非常积极地在其领地上开展d s l 网络和光纤网络 上的田t v 业务。 在国内，i p t v 业务也同样让宽带运营商找到了一条介入内容运营挖掘宽带网络商 业潜力的现实路径。2 0 0 4 年9 月，随着北京地区网络电视m t v 用户正式开始收费运 营，上海、江苏、广东等地的i p t v 业务很快也逐渐推广开来。国内h t v ( n 络电视1 商用试验正在加速进行。2 0 0 5 年底，在中国电信与上海文广共同进行的第三轮测试中， i p t v 试点范围已经从原先的1 7 个城市扩至2 3 个城市，中国网通与上海文广合作的试 点城市也扩至2 0 个。目前涉及i p t v 中国标准的相关方案正在起草中，按照计划将在 2 0 0 6 年内出台。可以说，i p t v 技术已经成为当今最热门技术之一，d 的星火燎原 之势已逐渐形成。 1 。4 论文结构 本文按下来的第一部分介绍了c d n 网络技术的概念，包括c d n 的组成结构，实 现方式，关键技术等，并讨论了在i p t v 视频点播系统中采用c d n 技术应该注意的问 题。 第二部分详细探讨了c d n 中各种可能的内容分发技术，并比较了它们的优缺点 以及本系统应该采用何种内容分发技术。 第三部分介绍了i p t v 视频点播系统的架构，并用专f - j d , 节讨论了p 2 p 内容分发 部分( 包括推式分发和拉式分发) 的设计。 第四部分则深入分析了p 2 p 内容分发部分实现中可能遇上的问题和解决方案，给 出了主要类图( 包括t r a c k e r 和内容分发客户端) 。 最后，对内容分发模块进行了性能测试，并对测试结果进行了分析，得出结论：p 2 p 内容分发机制有效的提高了系统在内容分发上的负载均衡能力。 此外，为了叙述方便，本文中交替使用文件和内容两个词语，两者可以互换。 3 ， 东北戈学硕士学位论文 第1 章绪论 缘服务器可以承担内容分发的大部分负载，因而，通过本文所述的算法，能够明显提 高整个c d n 网络的负载均衡能力，而且即使有新的边缘服务器加入也不会给源服务 器增加太多负担，也就是说系统的可伸缩性也得到了提高。 1 3 国内外现状 在国外，已经部署了i p l v 的运营商集中在欧美地区和亚太部分国家和地区。在 北美电信运营商的电视业务市场中，加拿大传统电信公司走在了前列，曼尼托巴电信 和萨斯喀萨温电信已经在v d s l 和a d s l 网络中开通母t v 业务，t e l u s 和加拿大贝尔 也计划在2 0 0 5 年进入这一市场。与加拿大i p t v 市场相比，美国i p t v 市场的发展进 程较为稳定，美国众多的本地运营商非常积极地在其领地上开展d s l 网络和光纤网络 上的p 业务。 在国内，i p r v 业务也同样让宽带运营商找到了一条介入内容运营挖掘宽带网络商 业潜力的现实路径。2 0 0 4 年9 月，随着北京地区网络电视邛1 v 用户正式开始收费运 营，上海、江苏、广东等她的p t v 业务很快也逐渐推广开来。国内n t v ( n 络电视1 商用试验正在加速进行。2 0 0 5 年底，在中国电信与上海文广共同进行的第三轮测试中， i p t v 试点范围已经从原先的1 7 个城市扩至2 3 个城市，中国网通与上海文广合作的试 点城市也扩至2 0 个。目前涉及i p t v 中国标准的相关方案正在起草中，按照计划将在 2 0 0 6 年内出台。可以说，i p 下v 技术已经成为当今最热门技术之一，四t v 的星火燎原 之势己逐渐形成。 1 4 论文结构 本文接下来的第一部分介绍了c d n 网络技术的概念，包括c d n 的组成结构，实 现方式，关键技术等，并讨论了在i p l v 视频点播系统中采用c d n 技术应该注意的问 题。 第二部分详细探讨了c d n 中各种可能的内容分发技术，并比较了它们的优缺点 以及本系统应该采用何种内容分发技术。 第三部分介绍了i p t v 视频点播系统的架构，并用专门小节讨论了p 2 p 内容分发 部分( 包括推式分发和拉式分发) 的设计。 。 第四部分则深入分析了p 2 p 内容分发部分实现中可能遇上的问题和解决方案，给 出了主要类图( 包括t r a c k e r 和内容分发客户端) 。 最后，对内容分发模块进行了性能测试，并对测试结果进行了分析，得出结论：p 2 p 内容分发机制有效的提高了系统在内容分发上的负载均衡能力。 此外，为了叙述方便，本文中交替使用文件和内容两个词语，两者可以互换。 此外，为了叙述方便，本文中交替使用文件和内容两个词语，两者可以互换。 3 东北大学硕士学位论文第2 章c d n 网络技术概述 第二章c d n 网络技术概述 2 1 内容分发网络概念 随着经济和技术的发展，人们对i n t e r n e t 内容和应用的需要在不停地飞速增长。 在1 9 9 8 年全球只有6 8 0 0 万个w e b 用户，而根据c n n i c 的数据，截止至2 0 0 5 年6 月3 0 目，仅中国的网民已经突破一亿。 虽然网络用户的数量、网络上分布的内容在迅速膨胀，但是用户对内容的访问 率却提升得很慢，网络上应用业务的种类仍旧相当单一。造成这种局面的一个重要 原因是：用户访问网站的响应速度太慢。由于慢，许多用户不得不放弃对网络内容 的访闯；由于幔，很多用户迫切需要而技术上已经很成熟的业务只能束之高阁；由 于慢，用户很可能在短时间内连续几次发起对网站的连接请求，从而进一步加重了 网络的负担。这种不良的网络性能对于用户和服务提供商都是不利的。 通过提高用户接入带宽来提高用户服务质量是一项长期的工程，不可能一蹴而 就。而且带宽并不是导致互联网连接速度慢的惟一因素，如果没有良好的流量管理 策略，网站不管有多大的带宽，用户对网站的访问连接同样会慢如蜗牛。 为提高用户访问的响应速度、减少网络拥塞，c d n 技术应运而生。它使用户能 以最快的速度，从最接近用户的地方获得所需的信息，是目前最为流行的网络优化 应用方案之一。 c d n 通常被称为内容分发网络( c o n t e n td i s t r i b u t i o n n e t w o r k ) 或被称作内容传 递网络( c o n t e n t d e l i v e r y n e t w o r k ) 3 1 4 1 1 卦。内容分发和传递一方面可以看作是c d n 的两个阶段，分发是内容从源分布到c d n 边界节点的过程，传递是用户通过c d n 获取内容的过程；另一方面，分发和传递可以是从不同角度来看c d n 得出的结果， 分发强调c d n 作为透明的内容承载平台，传递强调c d n 作为内容的提供和服务平 台。在本文中讨论的主要是c d n 的内容分发功能，所以如无特殊说明，后文都将 c d n 称为内容分发网络。 c d n 最初被用于分发w e b 内容，即主要实现w e bc a c h e 钧功能 剐。随着宽带 接入的普及和基于流媒体的宽带应用的迅速发展，c d n 被发现是一种能够有效缓解 流媒体传输的高吞吐率对骨干网络带宽带来的压力，同时提升流媒体服务质量的有 效手段【l ”。因此，近年来，c d n 得到越来越多的重视，并在国内外得到广泛的部署， 而流媒体内容也取代w e b 内容成为c d n 主要承载的对象。 4 东北大学硕士学位论文第2 章c d n 网络技术概述 c d n 的核心思想是将内容从中心推到边缘靠近用户的地方，这样，不但有效 提高了用户访问内容的性能，而且有效减轻了中心设备和骨干网络的压力。通过 c d n ，可以将内容服务从原来的单一中心结构变为分布式的结构。 2 2l p t v 视频点播系统中的c d n 2 2 1 i p t v 概念 目前全球的宽带发展已经进入一个高速增长的时期，全球宽带用户数也在成倍 的增长，接入技术也在不断的提升，宽带已经成为一种成熟的产业在全球各地推行。 在宽带产业化的同时，多媒体技术也在蓬勃发展，数字内容依托宽带平台已形成一 种良性循环。 和传统的数字电视机顶盒不同，i p t v 的数据传输和接收完全依靠i p 网络，这 决定了产品可以彻底的实现内容和用户之间的互动。 产品连接如图2 i 所示。 信 息 交 互 图2 1i p t v 产品连接的示意图 f i g 2 1 c o n n e c t i o no fi p t vp r o d u c t s 2 | 2 1 1l p 。的简要定义 i p t v 即交互式网络电视，是一种利用宽带网络，集互联网、多媒体、通讯等多 种技术于一体，向家庭用户提供包括数字电视在内的多种交互式服务的崭新技术。 用户在家中可以有两种方式享受i p t v 服务： ( 1 ) 计算机；( 2 ) 网络机顶盒+ 普通 电视机。 2 _ 2 1 2i p t v 的特点及应用 i p t v 是利用宽带网的基础设施，以家用电视机作为主要终端电器，通过机顶盒 连接网络来提供包括电视节目在内的多种数字媒体服务。可以实现多种业务，如表 2 1 所示。 - 5 圄一 第唑 东北大学硕士学位论文第2 章c d n 网络技术概述 特点表现在： ( 1 ) 用户可以得到高质量数字媒体服务。 ( 2 ) 用户可有极为广泛的自由度选择宽带i p 网上各网站提供的视频节目。 ( 3 ) 实现媒体提供者和媒体消费者的实质性互动。i p t v 采用的播放平台：岛 是新一代家庭数字媒体终端的典型代表，它能根据用户的选择配置多种多媒体服 务功能，包括数字电视节目，可视i p 电话，d v d v c d 播放，互联网游览，电子 邮件，以及多种在线信息咨询、游戏、娱乐、教育及商务功能。 ( 4 ) 为网络发展商和节目提供商提供了广阔的新兴市场。 2 2 2 流媒体技术概述 i p t v 视频点播系统的一个基础是流媒体技术，在系统中传播的视频都利用了流 媒体技术，因此这里再简要介绍一下流媒体技术。 流媒体技术把连续的影像和声音信息经过压缩处理后存放到视频传送服务器 上，由视频传送服务器把节目传送到网络，用户在客户端通过播放器就可实时观看 节目。在网络上传送的一系列相关的数据包称为“流”。使用流媒体技术，用户可 以一边传输一边观看、收听，不需要下载整个多媒体文件，不仅不会占用大量的磁 盘空间，而且提高了数据传输效率。 2 2 2 1 流媒体的概念 流媒体是与传统的下载播放方式相对应的。传统的媒体播放方式的优点是播 放与下载分开，因此播放与网络速度无关，可以重现发送端的质量，还可以一次 下载多次播放。流媒体则是使用流传输技术，通过网络实时传输多媒体数据。流 6 东北大学硕士学位论文第2 章c d n 网络技术概述 ( s t r e a m i n g ) 把数据分成适当大小的分组，然后在服务器和客户端之间传输。实时 数据的处理流程分解成传输、解码和播放等几个流程。客户端可以在播放一个分组 的时候，解码下一个分组，同时接收后续分组，类似于流水线操作【9 】。通常，流应 用通过重复使用缓冲区来存储到达的分组。因此，用户的等待时间大大减少，只需 要较少的缓存。 2 2 2 2 流媒体文件格式 把普通的视频文件格式转化成流媒体文件格式需要经过特殊编码，视频文件首 先进行编码处理，并分割成一个个适于在网络上传播的数据包。另外在编码时，还 需要在数据包中加入一些附加信息，如计时、压缩和版权信息，最终形成流媒体文 件。 目前最常用的流媒体编码技术标准有：m p e g 2 、m p e g 4 、h 2 6 3 和h 2 6 4 等，在 流媒体市场上主要有微软、r e a l n e t w o r k s 和苹果电脑等三家公司，它们的产品分别 是w i n d o w sm e d i a ，r e a ls y s t e m 和q u i c kt i m e 。其文件格式主要包括w m v 、r m 、r i o v 等。 2 2 1 2 3 流媒体的传输方式 不同的流媒体应用需要不同的传输方式，而不同的传输方式带给网络不同的影 响。流媒体在网络中的传输方式有三种【3 3 1 。 ( 1 ) 单播 单播即点对点的连接，客户端和服务器之间建立一个单独的数据通道。从台 服务器传送出的数据包只能由一个客户端接收。这种传输方式增加了服务器的负担， 响应时间长，只适用于客户端数量较少的情况，如视频点播。 ( 2 ) 多播 多播也称组播，是一种多地址广播。发送源和接收端是点对多点的关系。对于 内容相同的数据包，服务器向一组特定的用户只发送一次，组中的各个用户可以共 享，而组外的用户接收不到。使用多播的优势在于原来由服务器承担的数据重复分 发工作转到路由器中完成，由路由器负责将数据包向所连接的子网转发，每个子网 只有一个多播流。这样就减少了网络上所传输信息包的总量，使网络利用率大大提 高，成本大为降低。多播更适用于现场直播。 ( 3 ) 广播 在广播的传输方式中，一个单独的数据包拷贝发送给网络上所有用户。客户端 对媒体流不具有任何的控制，不论是否需要，只能被动接收媒体流，造成了网络带 宽的浪费。 7 东北大学硕士学位论文笫2 章c d n 网络技术概述 2 2 3 在i p t v 视频点播系统采用c d n 技术 i p t v 承载的最主要内容包括视频点播( v o d ) 和电视频道( t v ) 节目。为了 保证i p t v 的收看质量与目前的有线电视网收看质量相当，i p t v 承载网要求能在带 宽、频道切换时延、网络q o s t l o 等方面提供保证。 如果为用户提供d v d 效果的i p t v 业务，利用现有广泛使用的编码技术，用户 至少需要3 4 m b i t s ( 使用m p e g - 2 编码) 或1 - 1 5 m b i t s ( 使用m p e g 4 或更高压缩率 的编码) 的下行接入带宽。如果为用户提供v c d 效果的i p t v 业务，则必须达到5 1 2 k 的下行接入带宽。此外，丢包、抖动等都会严重影响i p t v 的收看质量，会让用户 觉得i p t v 比不上有线电视。 在i p t v 业务中，网络服务质量的保证的一种重要的解决方法是c d n 3 。c d n 把视频内容分发到靠近用户端的c d n 节点，很好地解决了访问量大、服务器分布 不均对骨干网造成的拥塞问题，可以在一定程度上保证了端到端的服务质量，扩大 了用户访问流媒体内容的范围，减轻i p t q 业务对骨干网络的冲击，提高了用户的 响应速度，是视频点播业务非常有效的组网方式。 为了保证c d n 的利用率，在i p t v 中规划c d n 需要根据用户的“8 0 2 0 ”规律 合理设计。“8 0 2 0 ”规律即8 0 的v o d 用户在收看2 0 的节目。基于这个规律， c d n 的边缘节点可以只存储中心节目库2 0 的节目，这样可以保证8 0 的用户可在 边缘节点直接得到节目，不需从中心节目库下载节目，这样有利于提高用户的响应 速度及减小网络流量。 现有的c d n 系统并不能完全适应i p t v 业务的要求，由于i p t v 面向的是所有 的传统电视用户，使得它拥有比一般视频点播系统的大得多的用户群，边缘服务器 的数量也更多，对源服务器的要求也更高。而普通的c d n 网络中采用的是基于c s 方式的内容分发机制，在这种方式中，源服务器承受了内容分发的大部分负载，且这 种负载随参加分发的边缘服务器的数量增多而增大。这种方式用来分发体积不大的 网页或图片尚可，而如果用来分发体积庞大且为数众多的视频文件却很容易使得源 服务器不堪重负，尤其当边缘服务器数量众多时更是如此。 为了有效地解决上述问题，本文提出了一种在c d n 网络中以p 2 p 方式进行内 容分发的机制。采用这种机制进行内容分发时，源服务器和边缘服务器都成为一个 对等节点，边缘服务器可以承担内容分发的大部分负载，这样就可以能够明显提高整 个c d n 网络的负载均衡能力，即使有新的边缘服务器加入也不会给源服务器增加 太多负担。 。8 东北大学硕士学位论文 第2 章c d n 网络技术概迷 2 3c d n 组成结构 一个典型的c d n 系统结构如图2 1 所示 3 【1 1 1 。它由7 部分组成：客户端，边缘 服务器，中心服务器，请求路由系统，内容分发系统，a a a 服务器和账单组织。 图2 2c d n 系统结构 f i g 2 2 a r c h i t e c t u r eo fc d ns y s t e m 其工作流程如下： ( 1 ) 中心服务器收到客户请求后，把请求发送到请求路由系统中，由请求路由 系统进行路由选择。 ( 2 ) 请求路由系统和a ( 验证，鉴权，计费) 服务器进行交互，判断客户 的合法性。如果客户通过a a a 验证，为客户选择一个合适的边缘服务器。另外请 求路由系统和内容分发系统进行交互，根据路由情况，内容分发系统决定是否需要 进行内容分发，将文件发送到边缘服务器上。 ( 3 ) 客户从请求路由系统那里请求得到文件地址。 ( 4 ) 客户连接被选中的边缘服务器，边缘服务器向客户传输所请求的内容。 ( 5 ) 边缘服务器把所传内容的计费信息发送到a a a 服务器。a a a 服务器对计 费信息进行计算、整理、提取出中心服务器和账单组织所需要的数据和记录。 ( 6 ) 账单组织利用这些数据和记录在参与内容发布和传输的各方之间进行清 算。 2 4c d n 的主要实现方式 尽管c d n 的发展已经有多年的历史，但是至今c d n 还缺乏统一的国际标准。 不同的c d n 解决方案在实现上备不相同。 9 ， 东北大学硕士学位论文第2 章c d n 网络技术概述 总体上，c d n 网络的设计有两种思路：一种是将c d n 设计为一种透明的承载 网络：另一种是将c d n 设计为一个分布式内容服务网络6 1 。 2 4 1c d n 作为一个透明承载网络 在这种方式下，c d n 可以看作是一个应用层承载网。如下图2 2 所示： 图2 3c d n 一作为透明承载网 f i g 2 3 c d n - a sat r a n s p a r e n tc a r r y i n gn e t w o r k 用户从应用服务器中请求内容。应用的控制仍然由应用服务器处理，但是内容 数据由缓存在c d n 中的c a c h e 提供。在这种方式下，c d n 的内容分发以p u l l 为 主，即内容的分发从用户请求驱动，按需获取的。这种内容分发方式能够适应大量 的多样化内容，并根据用户的行为模式进行内容收敛。 为了支持这种c d n 透明承载方式，c d n 的设备，特别是c a c h e 设备，通常在 设计上能够要求支持各种应用协议和媒体格式，并能够以透明的方式对用户的控制 信息进行处理。同时它需要能够支持各种方式的从用户请求u r l ( 经过c d n 请求 路由处理后) 到源应用服务器的映射规则，如正向代理规则、反向代理规则等。 这种模式具有较好的上下层无关性，能够适应不同的上层应用服务器和下层用 户终端设备，其优点是在实施上具有简单性和灵活性，其部署对原有的应用系统改 动较少，而且支持的应用丰富，应用扩展性强。缺点是设备实现比较复杂，价格较 高。 2 4 2c d n 作为一个分布式服务网络 在这种方式下，c d n 是作为内容服务网络，而不是中间承载网络存在的，c d n 本身由分布式应用服务器构成。从这个意义上，c d n 可以看作是一个“传递”网络。 其工作模式如下： 1 0 东北大学硕士学位论文 第2 章c d n 网络技术概述 图2 。4c d n 一作为内容提供网络 f i g 2 4 c d n a sac o n t e n tp r o v i d i n gn e t w o r k 如图2 4 ，c d n 仅从内容源获取内容，内容的应用服务由c d n 独立提供。在这 种方式下，内容的分发以p u s h 为主，主要以预分发的方式提前将内容发布到c d n 上的服务节点。这种内容分发适应于有针对性的内容服务，对内容的管理和控制能 力强。 为了支持这种方式，c d n 设备通常直接用应用服务器设备加载c d n 管理软件 构成。这种方式通常采用集中的方式实现全网的内容管理和控制。因此，效率较高， 但是这种方式对应用的适应性较差。适合于针对特定应用类型的内容分发，如流媒 体点播。 这种方式优点是实现简单，对内容的管理能力较强，成本较低。缺点是灵活性 不够。 在本文所述的i p t v 视频点播系统中，综合借鉴了这两种做法的思想。在以后 的章节将可以看到，本文的内容分发包括推式分发和拉式分发。推式分发是源服务 器主动向边缘服务器下发文件，而拉式分发是在用户点播时，边缘服务器主动从源 服务器下载文件。 2 5c d n 的关键技术 2 5 1 请求路由 c d n 负载均衡系统实现c d n 的请求路由【印功能。它的作用是将用户的请求导 向整个c d n 网络中的最佳节点。最佳节点的选定可以根据多种策略，例如距离最 近、节点负载最轻等。负载均衡系统是整个c d n 的核心，负载均衡的准确性和效 率直接决定了整个c d n 的效率和性能。 通常负载均衡可以分为两个层次：全局负载均衡和本地负载均衡。全局负载均 衡主要的目的是在整个网络范围内将用户的请求定向到最近的节点( 或者区域) 。 1 1 东北大学硕士学位论文第2 章c d n 网络技术概述 因此，就近性判断是全局负载均衡的主要功能。本地负载均衡一般局限于一定的区 域范围内，其目标是在特定的区域范围内寻找一台最适合的节点提供服务，因此， c d n 节点的健康性、负载情况、支持的媒体格式等运行状态是本地负载均衡进行决 策的主要依据。 2 5 2 内容管理 内容管理【5 】在广义上涵盖了从内容的发布、注入、分发、调整、传递等一系列 过程。在这里，内容管理重点强调内容进入边缘服务器后的内容管理，称为本地内 容管理。 本地内容管理主要针对一个c d n 节点。本地内容管理的主要目标是提高内容 服务的效率，提高本地节点的存储利用率。通过本地内容管理，可以在c d n 节点 实现基于内容感知的调度，通过内容感知的调度，可以避免将用户重定向到没有该 内容的边缘服务器上，从而提高负载均衡的效率。通过本地内容管理还可以有效的 实现在c d n 节点内容的存储共享，提高存储空间的利用率。 2 5 3 内容分发 内容分发【5 】包含从内容源到c d n 边缘服务器的过程。从实现上，有两种主流的 内容分发技术：推式分发( p u s h ) 和拉式分发( p u l l ) 。 p u s h 是一种主动分发的技术。通常，p u s h 由内容管理系统发起，将内容从 源或者中心媒体资源库分发到各边缘节点。通过p u s h 分发的内容一般是比较热点 的内容，这些内容通过p u s h 方式预分发到边缘服务器，可以实现有针对的内容提 供。对于p u s h 分发需要考虑的主要问题是分发策略，即在什么时候分发什么内容。 一般来说，内容分发可以由c p ( 内容提供商) 或者c d n 内容管理员人工的确定， 也可以通过智能的方式决定，即所谓的智能自动分发，它根据用户访问的统计信息， 以及预定义的内容分发的规则，确定内容分发的过程。 p u l l 是一种被动的分发技术，p u l l 分发通常由用户请求驱动。当用户请求的 内容在本地的边缘节点上不存在( 未命中) 时，边缘节点启动p u l l 方法从内容源 或者其他c d n 节点实时获取内容。在p u l l 方式下，内容的分发是按需的。 在实际的c d n 系统中，一般两种分发方式都支持，但是根据内容的类型和业 务模式的不同，在选择主要的内容分发方式时会有所不同。通常。p u s h 的方式适 合内容访问比较集中的情况，如热点的影视流媒体内容；p u l l 方式比较适合内容 的访问比较分散的情况。 1 2 东北大学硕士学位论文 第2 章c d n 网络技术概速 内容分发是本文要研究的主要内容，本文比较了各种内容分发方法的优劣，提 出了一种在内容分发网络中利用p 2 p 技术进行大体积视频文件的分发的方法。 - 1 3 东北失学项士学位论文 第3 章c d n 网络中的内容分发技术 第三章c d n 网络中的内容分发技术 在第二章谈到，内容分发技术是c d n 网络的关键技术，这也是本文将要讨论的 核心问题。本章将介绍在c d n 进行内容分发的两种机制：基于客户端服务器模型的 内容分发方案和基于p 2 p 模型的内容分发方案。 3 1 基于客户端，月反务器结构的内容分发 3 1 1 概念 网络信息的检索由两台或两台以上的计算机通过网络通信、互相协作而实现，联 网通信实质上是计算机程序之间的通信。因特网采用的传统通信方式是客户机h a 务器 ( c l i e n t s e r v e r ) 方式，其思想是：因特网上的一些计算机运行服务程序，充当专门 提供服务的服务器，其它需要服务的计算机作为客户机。当用户需要某项服务时，客 户计算机( 客户程序) 通过网络能提供该种服务的服务器建立连接，向它发出服务请 求，服务器根据该请求做出相应的处理，并返还处理结果。在建立连接后，客户机不 断接收服务器送来的数据，同时又把新的服务请求送给服务器进行新的处理。 在这种方式下，要实现一个i n t e m e t 应用，必须有两种软件：一个是运行在用户 计算机上的客户机软件，一个是运行在i n t e m e t 中的某个主机上的服务器软件。如果 采用基于客户端，服务器的内容分发技术，那么客户端的所有内容都是从服务器下载 的，各个客户端之间不发生内容的交换。客户端傩务器的内容分发如图3 1 所示： 图3 1 基于客户端j l i 务器模型的内容分发 f i g 3 1 c o n t e n t d i s t r i b u t i o n b a s e do n c s 1 4 东北大学硕士学位论文 第3 章c d n 网络中的内容分发技术 3 1 2 存在问题 在基于客户端朋艮务器模式的内容分发机制中，客户端与服务器有明确的分界。由 于所有客户端均从服务器下载文件，也就是说服务器承担了内容分发的绝大部分负载， 因此就常常发生客户端能力过剩，服务器能力不足或网路堵塞的现象。当需要分发的 文件和分发客户端数量很多的时候，就容易出现内容分发速度变慢，服务器性能变坏 的情况。正是由于这些局限性，本系统中并不采用这种内容分发方式。为了把内容分 发的负载均衡到参加分发的各个计算机上边，下边看一下内容分发的另外一种不同思 路：基于p 2 p 的内容分发技术。 3 2 基于p 2 p 的内容分发 3 2 1p 2 p 技术概述 对等网络【1 2 】 1 3 】【1 4 1 ( p 2 p ) 技术是目前国际计算机网络技术领域研究的一个热点， 被财富杂志誉为将改变互联网未来的四大新技术之一，目前微软、s u n 、m m 等 很多著名的企业和公司都投入到对p 2 p 技术的研究之中。但p 2 p 技术并非一种全新的 技术，在2 0 世纪7 0 年代就已出现，其典型代表是u s e n e t 和f i d o n e t 两个分散、分 布的信息交换系统，真正的p 2 p 技术的大规模应用起源于文件交换软件n a p s t e r 。虽然 “客户服务器”模型是目前互联网上占统治地位的计算模型，但从某种意义来说，p 2 p 计算可以说是一种向传统互联网技术的回归，体现了互联网的本质，因为互联网最初 的设计目标就是让网络上的计算机互相之间可以直接通信而不需要中介。 目前，业界对p 2 p 的定义还没有一个标准的说法，i n t e l 将p 2 p 技术定义为“通过 系统间的直接交换达成计算机资源与信息的共享”，这些资源与服务包括信息交换、 处理器时钟、缓存和磁盘空间等。i b m 则对p 2 p 赋予了更广阔的定义，把它看成是由 若干互联协作的计算机构成的系统并具备如下若干特性之一：系统依存于边缘化( 非 中央式服务器) 设备的主动协作，每个成员直接从其他成员而不是从服务器的参与中 受益；系统中成员同时扮演服务器与客户端的角色；系