（计算机系统结构专业论文）cdn技术及其在媒体点播系统中的应用研究.pdf

c d n 技术及其在媒体点播系统中的应用研究 摘要 “c d n 技术及其在媒体点播系统中的应用研究”论文是结合科技部十五重大科技攻关项目： “网络教育技术及示范工程”的“非实时教学系统”课题进行的。论文旨在研究c d n 网络关键技术， 并结合远程教育的媒体点播系统，开发基于媒体点播系统的c d n 系统，在现有的媒体点播系统上形 成一层新的网络覆盖层，统管理媒体资源和用户访问，提高媒体点播系统的服务性能和完善媒体 点播系统的管理功能。 论文从c d n 网络的基本概念入手，阐述了c d n 网络的原理、构架及应用，并给出了适合媒体点 播系统的c d n 网络架构。本文重点研究了c d n 网络的两项关键技术：负载均衡技术和内容分发技术， 分别对其策略进行了分析研究，提出了适合于媒体点播系统的负载均衡策略和内容分发策略。此外 分析了s n m p ( 简单网络管理协议) ，通过s n m p 实现c d n 网络信息采集。 在相关理论分析和策略设计的基础上，本文介绍了自行设计和实现的个适用于现行媒体点播 系统的“基丁媒体点播系统的c d n 系统”，对系统的总体结构、系统功能模块及其实现策略和实现 方法进行了详细描述，并且介绍了基于s t r u t s 构架的c d n 管理平台的功能及实现。论文最后对系 统改进和完善进行了探讨。 关键字：c d n ，负载均衡，内容分发，媒体点播，s n m p ，m i b 东南大学硕士学位论文 a b s t r a c t t h ep a p e r , t h et e c h n o l o g yo f c d na n di t sr e s e a r c ha p p l i c a t i o no nm e d i ao nd e m a n ds y s t e m i s d e v e l o p e db yi n t e g r a t i n gt h e “n o n r e a l - t i m ee d u c a t i o ns y s t e m w h i c hi so n et a s ko fm o s t s ( m i n i s t r y o fs c i e n c ea n dt e c h n o l o g y ) n a t i o n a lk e ya n dt e c h n o l o g i e sr & d p r o j e c to ft h et e n t hf i v e y e a rp l a n ： “n e t w o r ke d u c a t i o nk e yt e c h n o l o g ya n dd e m o n s t r a t i o np r o j e c t ”t h ep a p e ri st os t u d yt h ek e y t e c h n o l o g yo fc o n t e n td e l i v e r yn e t w o r ka n dd e v e l o ps o f t w a r ec d nb a s e do nt h em e d i ao nd e m a n d s y s t e m ，b e c o m i n gao v e r l a yo nt h em e d i a o nd e m a n ds y s t e m ，i tm a n a g e rt h em e d i ar e s o u r c ea n dt h eu s e r u n i f o r m l ya n di m p r o v et h es e r v i c eq u a l i t ya n dp e r f e c t i n gt h em a n a g e m e n to ft h em e d i ao nd e m a d n s y s t e m t h ep a p e rb e g i n sw i t ht h er a t i o n a l eo fc o n t e n td e l i v e r yn e t w o r k f i r s ti ti n t r o d u c e st h ec o n c e p t i o n t h e o r ya n df r a m e w o r ko fc o n t e n td e l i v e r yn e t w o r k ，a n dg i v e st h ef r a m e w o r ks u i t a b l ef o rt h em e d i ao n d e m a n ds y s t e m t h e nt h i sp a p e re m p h a t i c a l l ys t u d i e st w ok e yt e c h n o l o g y ：l o a db a l a n c ea n dc o n t e n t d i s t r i b u t i o n ，a n a l y s i s i n gt h e i rs t r a t e g ya n dd e s i g n i n gt h es t r a t e g yo ft h el o a db a l a n c ea n dc o n t e n t d i s t r i b u t i o ns u i t a b l ef o rt h em e d i ao nd e m a n ds y s t e m i na d d i t i o n ，t h ep a p e ri n t r o d u c e st h es n m p , b y w h i c ht h ei n f o r m a t i o nc o l l e c t i o no f c d ni sr e a l i z e d b a s e do nt h er e l a t i v et h e o r e t i ca n a l y s i sa n dt h es t r a t e g yd e s i g n ，t h ep a p e ri n t r o d u c e st h es o f t w a r e c d nb a s e do nt h em e d i ao nd e m a n ds y s t e ms u i t a b l ef o rn e t w o r ke d u c a t i o n ，w h i c hi sd e s i g n e da n d d e v e l o p e db yo u r s e l v e s i td e s c r i b e st h ea r c h i t e c t u r e ，f u n c t i o nm o d e l sa n di t si m p l e m e n t a ls t r a t e g ya n d m e t h o d t h e n ，i ti n t r o d u c et h ed e s i g na n dd e v e l o p m e n to fc d nm a n a g e m e n tp l a t f o r m a tt h ee n do f t h i s p a p e r , w eg i v et h ec o n c r e t es c h e m eo ft h ei m p r o v e m e n ta n dc o n s u m m a t i o nf o rt h i ss o l t w a r ec d nb a s e d o nm e d i ao nd e m a n ds y s t e m k e y w o r d s ：c d n ( c o n t e n t d e l i v e r y n e t w o r k ) ，l o a d b a l a n c e ，c o n t e n t d e l i v e r y ，m e d i a o n d e m a n d s n m p ，m i b 东南大学学位论文独创生声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名：幽日期：2 q q 5 生3 旦 东南大学学位论文使用授权声明 东南大学、中幽科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子义档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被硷阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：容盛导师签名： 日期：2 q q 5 生3 旦 c d n 技术及其在媒体点播系统中的应用研究 1 1 论文背景 第一章引言 计算机技术以及i n t e m e t 的发展给教育方式带来了革命式的变革，一种新型的教育模式 远程教育( 或者称为网络教育) 正在被越来越多的人所接受。从技术上讲，现代远程教育系统是建 立在现代传媒技术基础上的多媒体应用系统，它通过现代的通信网络将教师的图象、声音和电子 教案传送给学生，也可以根据需要将学生的图象、声音回送给教师，从而模拟出学校教育的授课 方式；同时还可以利用现有的网络条件建立虚拟的班级，加强学生之间的交流。在远程教育中， 非实时教学起着主体作用，它充分体现了学生学习的自主性，可以不受时间、空间的限制，学习 到与教师课堂教学相同的课程，收到相同的教学效果；体现了个性化学习，学生不一定按照教师 的教学过程按部就班地学，可以根据自身的学习情况自己掌握学习的内容和学习的进度。媒体点 播是非实时教学系统中的一个非常重要的环节，媒体点播是将一些教学资源( 教师上课时实时录 制的课件、利用多媒体制作工具的多媒体教学素材等) 放在服务器上，使学生可以随时随地地通 过网络进行异步模式的播放学习。 目前的大多数点播系统只提供了内容服务功能这些系统的可扩展性、可用性和服务能力存 在严重的不足，难以扩展，并且当大量用户点播时则不能正常提供服务，也不能保证服务质量。 其主要问题在于目前的点播系统中媒体文件或集中存放在一起或分布存放在各个节点的点播服 务器上，系统不能在大量用户发出访问请求时将请求合理地在各个点播服务器之间分配：不能使 用户“就近访问”：由于媒体文件不能合理分布，用户要经过更多的网络路由和耗费更多的时间， 造成服务质量下降，同时也增加了网络拥塞的可能性。 内容分发网络( c o n t e n td e l i v e r yn e t w o r k c d n ) 技术，为这一问题提供了一个很好的解 决方案。它在现有的i n t e r n e t 中增加一层新的网络架构，提供了一种传送内容的新型体系结构， 利用c d n 技术可以将网站的内容发布到最接近用户的刚络哇盘缘”，使用户可以就近取得所需的 内容，提高用户的访问响应速度。将c d n 技术应用到媒体点播系统中，可以提高点搔系统的服 务质量，方便用户，充分发挥点播系统在远程教育中的作用。 1 2 论文的项目来源及研究目标 “c d n 技术及其在媒体点播系统中的应用研究”是结合科技部十五重大科技攻关项目“网络教 育关键技术及示范工程”中的“非实时教学系统”课题进行的。 本文的主要研究目标是结合网络教育中非实时教学系统的媒体点播系统的快速、稳定、大量 访问的需求通过对c d n 关键技术( 主要是对负载均衡、内容分发等技术) 的分析研究，提出 适合媒体点播系统的负载均衡策略和内容分发策略，设计并实现一个基于媒体点播系统的c d n 系统。该系统可以将媒体点播系统的资源按照内容分发策略进行复制，将大量媒体节目预先分发 到离用户较“近”的点播服务器上；当用户点播时，系统可以根据负载均衡策略将用户的请求重 定向到合适的点播服务器，以缩短响应时间，提高点播系统的服务质量。 1 3 论文的组织结构 本论文主要围绕着c d n 关键技术及其在远程教育的媒体点播系统的应用研究开展讨论，全 文共分为七个章节，具体如下： 东南大学硕士学位论文 第一章引言，介绍论文的研究背景、目标和论文的结构。 第二章c d n 内容分发网络，综合介绍了c d n ( 内容分发网络) 的功能架构及其关键技术， 并分析了c d n 的分类和应用。 第三章c d n 网络的负载均衡技术，主要介绍了现有的负载均衡技术及策略，并对适用于 c d n 的负载均衡技术进行了剖析。 第四章内容分发复制技术，主要介绍了c d n 网络内容分发原理，并对分发策略进行了深入 研究。 第五章c d n 网络管理，主要针对c d n 介绍了网络管理，并对s n m p ( 简单网络管理协议) 进行了分析。 第六章基于媒体点播系统的c d n 系统的设计与实现，介绍了系统的总体结构以及各模块的 功能，并对其策略及实现进行了详细描述。 第七章结柬语 参考文献 致谤i 2 c d n 技术及其在媒体点播系统中的应用研究 2 1c d n 概述 第二章c d n 内容分发网络 随着i n t e m e t 的高速发展，网络中图像、音频、视频服务所占的比重越来越大，这部分应用 对h a t e m e t 的服务品质和访问速度要求更高，虽然带宽不断增加但受w e b 服务器的负荷和传输距 离等因素的影响，响应速度慢还是令人困扰的一大问题。然而据统计，i n t e m e t 上超过8 0 的用 户重复访问2 0 的信息资源，说明互联网上传递的内容大部分为重复的数据。根据这一实际情况 而产生的解决方案就是内容分发网络( c o n t e n t d e l i v e r y n e t w o r k ，c d n ) ，它通过预先的内容发布 使网络数据流能被就“近”访问，有效的优化网络数据传输，从而获得高速的访问速度和良好的 品质保证。 c d n 的全称是c o n t e n td e l i v e r yn e t w o r k ，即内容分发网络。c d n 提供了一种传送内容的新 型体系结构，c d n 设立若干分支节点，尽量将用户请求的内容存储到距离用户“最后一公里” 的边缘节点上，使得用户请求可以在本地进行，改善用户的访问效果。c d n 是一个建立并覆盖 在互联网之上，由分布在不同区域的节点服务器群组成的虚拟网络，它通过实现用户对网站的就 近访问及网络流量智能分流，从技术上全面解决由于网络带宽小、用户访问量大、网站分布不均 等对用户访问效果的影响，大大提高了网络的响应速度。 狭义地讲，内容分发网络( c d n ) 是一种新型的网络构建方式，它是为能在传统的f p 网上 发布丰富媒体而特别优化的网络覆盖层；而从广义的角度，c d n 代表了一种基于质量与秩序的 网络服务模式。简单地说，内容分发网络( c d n ) 是一个经过策略性部署的整体系统，它包括负 载均衡和内容分发两个主要部分。其中内容分发是c d n 的核心所在，是负载均衡的前提和基础。 通过用户就近性和服务器负载的判断，c d n 确保内容以一种极为高效的方式为用户的请求提供 服务。总的来说，内容服务基于边缘服务器，它位于网络的边缘，距用户仅有“一跳”( s i n g l e h o p ) 的距离，也称作代理服务器( s u r r o g a t e ) 。同时，边缘服务器是网络内容提供商( i c p i n t e m e t c o n t e n t p r o v i e d e r ) 的源服务器( 通常位于c d n 服务提供商的数据中心) 的一个透明镜像。这样的架构 使得c d n 服务提供商能够代表他们客户，即i c p ，向最终用户提供尽可能好的服务。据统计， 采用c d n 技术，能处理整个网站页面的7 0 9 5 的内容访问量，减轻服务器的压力，提升了 网站的性能和可扩展性。 与目前现有的内容分发模式相比较，c d n 强调了网络在内容分发中的重要性。通过引入主 动的内容管理层的和全局负载均衡，c d n 从根本上区别于传统的内容分发模式。在传统的内容 分发模式中，内容的发布由i c p 的应用服务器完成，两网络只表现为一个透明的数据传输通道， 这种透明性表现在网络的质量保证仅仅停留在数据包的层面，而不能根据内容对象的不同区分服 务质量。在这样的内容分发模式下，不仅大量宝贵的骨干带宽被占用，同时也大大加重了i c p 的 应用服务器的负载，而且这种过重负载不可预计。当发生一些热点事件和出现浪涌流量时，会产 生局部热点效应，从而使应用服务器过载退出服务。这种基于中心的应用服务器的内容分发模式 的另外一个缺陷在于个性化服务的缺失和对宽带服务价值链的扭曲，i c p 承担了他们不该干也干 不好的内容分发服务。而c d n 内容分发网络能较好的解决这一问题，它具有以下显著优点： ( 1 ) 由于在地理上或者网络拓扑结构中更接近所需内容，用户将获得更快的响应速度。 冬| l 淼一 粼百0 监 l 瓣 东南大学硕士学位论文 4 2 分发策略研究 根据内容分发的两种不同方式，两种分发方式对应的内容分发策略也有不同。下面分别研究 两种不同的分发策略。 以热门节目分发方式为例说明分发策略。 设在c d n 网络中，有n 个边缘服务器，有m 个内容分布在边缘服务器上。在时间间隔t 内只 有当其访问量v d 满足一定的门限条件时才进行分发。而访问量v d 的定义不同，可对应于不同的 策略。以下详细讨论了两种主要的策略，并给出了实现算法的复杂度： ( 1 ) 策略一：基于内容绝对访问量v ( v d = v ) v 的定义是，访问该内容的次数。如果对于某边缘服务器上的内容c l ，在当前的时间间隔t 中有v 1 个访问次数，那么内容c 1 的绝对访问量v = v i ，此时c l 的访问度v d 为 v d = v = v i 设定绝对访问鼙门限值为m ，为判断是否分发内容的绝对访问量临界值。当绝对访问鼙v 大 于此临界值时，表明内容c l 受欢迎程度高，有必要将其分发到离访问用户最“近”的服务器上， 反之则不然。即只有当v m 的时候，才对c l 进行分发；当v m 的时候，才对c l 进行分发，v =m 时，则不对 c 1 进行分发。 从本算法的复杂性米看，由于内容c 1 需要进行二次计算，即首先求得v ，然后比较访问度 与门限值的大小，所以与策略一相比，每一步都要多进行一次运算，故其算法的复杂度应为策略 一的2 倍，即2 m ( i ) ，i = 1 m 。 本策略在设定门限值m 的大小时，其基本原理和方法与前述的策略一大致上相同，但从根 本上有所不同的是，m 反映的是相对访问量临界值，而且与绝对访问量门限m 相比，m 要远 远小于m 。因为m 是绝对数值，而m 是在相同的时间间隔t 内的相对变化数值。所以在实践中， 当c d n 网络在相邻的时间间隔t 内用户对内容的访问率变化范围很小时，采用策略一较为合理： 反之，当用户访问率变化范围较大时，采用本策略更合理。 策略一是基于内容绝对访问量的大小，它直接体现了内容的受欢迎程度：策略二则是基于内 c d n 技术及其在媒体点播系统中的应用研究 容的相对访问量的大小它反映了内容受欢迎程度的变化程度和趋势。由于网络内容最终是提供 给终端用户访问的，内容的好坏以及受欢迎程度的高低主要取决于内容访问量的大小。所以在研 究决定是否进行内容分发的策略中，基于内容访问量的思想无疑是最合理的也是最贴近实际用户 需求的。 上面只是针对热门内容分发对策略进行了分析研究。这两种策略同样适用于紧缺节目分发。 4 3 本章小结 本章介绍了c d n 内容分发网络的另一项关键技术内容分发与复制技术。分析了内容分 发与复制技术两种方式：“推”和“拉”，并分析了两种方式的应用环境：“推”用于根据预测提 前将内容发送到边缘“拉”是当用户访问最“近”的服务器得不到所需内容时，主动发起的内 容分发复制。本章最后针对“推”的方式给出了具体的分发策略，包括基于内容绝对访问量的分 发策略和基于内容相对访问量的分发策略。对于远程教育的媒体点播系统基于内容绝对访问量的 策略更有实用价值。 东南大学硕士学位论文 第五章c d n 网络管理 网络管理功能可分为网络监视和网络控制两大部分，统称网络监控( n e t w o r km o n i t o r i n g ) 。 网络监控是指收集系统和子网的状态信息，分析被管理设备的行为，以便发现网络运行中存在的 问题。网络控制是指修改设备参数或重新配置网络资源，以便改善网络的运行状态。 c d n 的网络管理的主要功能就是网络监控。它收集边缘服务器的状态信息，存入数据库供 内容分发和负载均衡模块使用。具体地说网络监控要解决的问题是： 管理信息的定义：监视哪些管理信息，从哪些被管理资源获得管理信息； 管理信息的采集：如何从被管理资源得到需要的信息： 管理信息的应用：根据收集到的管理信息实现什么管理功能； 5 1c d n 网络管理结构 网绍管理系统原则上由以下四部分构成：多个被管代理( m a n a g e d a g e n t ) ；至少一个网络管 理者( n e t w o r km a n a g e r ) ；一种通用的网络管理协议( n e t w o r km a n a g e r m e n tp r o t o c 0 1 ) ；一个或 多个管理信息库( m i b ) 。 网络管理者：实施网络管理的处理实体，驻留在管理工作站上。它是整个网络系统的核心， 完成内容请求路由和内容分发等功能，一般位于网络中的一个主机节点上。 被管代理；配合网络管理的处理实体，驻留在被管理对象上。被管理代理监测所在网络部件 的工作状况，收集有关网络信息。被管代理一般有多个，分别位于网络中的边缘服务器上。 被管理对象：c d n 网络中的被管理对象即指边缘服务器。 公共网络管理协议：协议描述了管理器与被管代理之间的数据通信机制。 管理信息库：它存储在被管理对象的存储器中，管理信息库是一个动态刷新的数据库，它包 括设备的配置信息，数据通信的统计信息，安全性信息和设备特有信息。这些信息被动态送往管 理器，形成网络管理系统的数据来源。 网络管理器和被管代理通过交换管理信息来获取网络信息，其中网络管理器定期轮询各被管 代理，被管代理监听和响应来自网络管理器的网络管理和查询命令。这种信息交换通过一种网络 管理协议来实现信息分别驻留在管理工作站和被管理对象的管理信息库m i b 中。 5 2c d n 网络管理信息 5 2 1 c d n 网络管理信息的定义 c d n 网络管理不同丁- 一般意义上的网络管理。传统的网络管理更注重网络状况，网络上的数 据传输率、丢包率等，而c d n 网络由于将内容发布到了用户边缘，内容距用户只有“”跳的 距离，这样，网络状况不再是c d n 网络关注的焦点。c d n 网络更注重边缘服务器本身的状况， 如：边缘服务器的支持的用户数、内存利用率等。 5 2 2c d n 网络管理信息的采集 在t c p i p 网络中有一个简单的管理工具p 1 n g 程序。用p i n g 发送i c m p 报文可以确定 通信目标的连通性及传输延迟。如果网络规模不是很大，互联的设备不是很多，这种方法还是可 c d n 技术及其在媒体点播系统中的应用研究 行的。但是对媒体点播系统网络的互联规模较大，并且所需的点播服务器的信息也较多，这种方 法就不可取了。这是因为一方面p i n g 返回的信息太少，无法获取被管理设备的详细情况；另一 方面用p i n g 程序对很多设备逐个测试检验，工作效率也太低了。随着网络技术的发展很少再采 用此方法进行大规模网络管理。 目前网络管理中探知负载状况的技术大约有三种： ( 1 ) 使用网管协议s n m p ：在需要的服务器上运行设计的代理，定时的监测代理，从而得到 服务器的负载情况。 ( 2 ) 第三方的软件：有一些第三方开发的软件或a p i ，可以完成这种工作，需要有相应的接口， 从而可以得到服务器的负载情况。 ( 3 ) 自己开发的软件去主动获取：最简单的集成方法，就是自己去开发，由代理去探测服务 器的负载状况。 由于s n m p 提供较强的扩展功能，现在大多数网络管理系统都用s n m p 来实现。 5 2 3c d n 网络管理信息的应用 c d n 网络管理模块将采集的数据存放于信息库中，供负载均衡模块和内容分发模块使用。 负载均衡模块需要进行服务器负载状况检查和筛选，它获取各服务器的负载状况，根据预先定义 的策略判断服务器是否可用，并进行性能比较，选取可用性较好的服务器。内容分发模块要执行 分发功能时，首先要判断的也是服务器是否出现故障，若出现故障则不能执行分发命令，则内容 管理模块不再发送分发命令，过一段时间再迸行判断，看其是否可用。 5 3 简单网络管理协议s n v i p 5 3 i s n m p 概述 简单网络管理协议( s n m p ) 是目前t c p i p 网络中应用最为广泛的网络管理协议。1 9 9 0 年5 月，r f c1 1 5 7 定义了s n m p ( s i m p l en e t w o r km a n a g e m e n tp r o t o c 0 1 ) 的第一个版本s n m p v l 。r f c 1 1 5 7 和另一个关于管理信息的文件r f c1 1 5 5 一起，提供了一种监控和管理计算机网络的系统方 法。因此，s n m p 得到了广泛应用，并成为网络管理的事实上的标准。 l a b 已将s n m p 和c m o t 都作为i n t e m e t 的网络管理标准，但是将s n m p 作为首先在i n t e m e t 上实现的一种网络管理标准。为此，s n m p 的结构有三个目标：网络管理功能尽量简单化；网络 管理协议容易扩充；网络管理结构尽可能独立，与网络设备无关。它的名字就此而来，叫简单网 络管理协议。它由三部分组成，管理员( m a n a g e m e t ) 、代理( a g e n t ) 和管理信息库( m i b ) 。管 理员和管理信息库位于管理工作站上，管理员对代理进行轮询得到所需的管理信息入在管理信息 库中。代理位于被管理的计算机和网络设备上，如主机、路由器、交换机、终端服务器和工作站， 它是一个软件，负责收集所驻设备的网络信息等待管理员来轮询。 s n m p 是i n t e r n e t 网络上的一个标准网络管理协议，它是世界上第一个标准的可以实际应用 的网络管理协议。o s i 的网络管理协议还未正式形成产品，目前t c p i p 网络协议应用得相当广 泛。以至于所有计算机厂商推出的计算机和网络产品都支持s n m p 网络管理协议。 s n m p 最重要的思想就是要尽可能简单，以便缩短研制周期。s n m p 的基本功能包括监视网 络性能、检测分析网络善错和配置网络设备等。在网络正常工作时，s n m p 可实现统计、配置和 测试等功能。当网络出故障时，可实现各种差错检测和恢复功能。虽然s n m p 是在t c p i p 基础 上的网络管理协议，但也可扩展到其他类型的网络设备上。 在s n m p 中，一般采用管理者一代理的管理模型。管理者可以是工作站、服务器等，一般位 2 7 东南大学硕士学位论文 于网络系统的主干位置，它负责发出管理操作的指令，并接受来自代理的信息。代理是驻留与网 络被管理设备种的处理实体，把来自管理者的命令或信息请求转换为本设备特有的指令，完成管 理者的指示，或返回它所在设备的信息。另外，代理也可以把在自身系统中发生的事件主动通知 给管理者。事实上，s n m p 协议的管理任务是移交给代理来执行的。代理直接与相应的功能实体 通信并执行信息处理任务，其主要任务是访问相关模块数据，发布控制消息。有2 种消息由代理 提供：g e t - - r e s p o n s e 和t r a p 。代理翻译来自管理者的请求、验证操作的可行性、执行命令并发出 合适的响应。代理最重要的功能之一是将来自管理者的一般化的请求翻译成本地数据结构上的等 效操作，这也就是说，代理将s n m p 命令映射至本地操作，这种映射园不同代理设备而异。t r a p 报告一个关于预先定义事件的异常信息。管理者和代理之间的信息交换可以分为2 种：从管理者 到代理的管理操作和从代理到管理者的事件通知。s n m p 的网络管理由三部分组成，即管理信息 库m i b 、管理信息结构s m i 咀及s n m p 网络管理协议。下面我们首先介绍s n m p 的网络架构然 后对s n m p 的三个重要组成部分分别进行介绍。 s 3 2s n m p 网络结构 幽5 1 是使_ l f js n m p 的网络结构图。整个系统必须有一个管理站( m a n a g e m e n ts t a t i o n ) ，它 实际上是网控中心。在管理站内运行管理进程。在每个被管对象中一定要有代理进程。管理进程 和代理进程利用s n m p 报文进行通信，而s n m p 报文又使用u d p 来传送。图中有两个主机( 作 为被管对象) 利一个管理站。 5 3 3 管理信息库m i b 图5 1s n m p 的网络结构图 管理信息库m i b ( m a n a g e m e n ti n f o r m a t i o nb a s e ) 指明了网络元素所维持的变量( 即能够被 管理进程查询雨1 设置的信息) 。m i b 给出了个网络中所有可能的被管理对象的集合的数据结构。 s n m p 的管理信息库采用和域名系统d n s 相似的树型结构，它的根在最上面，根没有名字。图5 2 给出了管理信息库的一部分信息，它又称为对象命名( o b j e c tn a m i n gt r e e ) 。 c d n 技术及其在媒体点播系统中的应用研究 图5 2 管理信息库的对象命名举例 对象命名树的顶级对象有三个，即i s o 、i t u - t 和这两个组织的联合体。在i s o 的下面有4 个结点，其中的个( 标号3 ) 是被标识的组织。在其下面有一个美国国防部( d e p a r t m e n to f d e f e n s e ) 的子树( 标号是6 ) ，再下面就是i n t e r n e t ( 标号是i ) 。在只讨论i n t e r n e t 中的对象 时可只画出i n t e r n e t 以下的子树( 图中带阴影的虚线方框) ，并在i n t e r n e t 结点旁边标注上 13 6 1 ) 即可。 在i n t e r n e t 结点f 面的第二个结点是m g m t ( 管理) ，标号是2 。再下面是管理信息库，原先 的结点名是m i b 。1 9 9 1 年定义了新的版本m i b i i ，故结点名现改为m i b - 2 ，其标识为 1 3 6 1 2 i ) ，或 i n t e r n e t ( i ) 2 1 。这种标识为对象标识符。 最初的结点m i b 将其所管理的信息分为8 个类别，见表5 1 。现在的m i h 一2 所包含的信息类 别已超过4 0 个。 表5 1 最初的结点m i b 管理的信息类别 类别 标号所包含的信息 s y s t e m ( 1 ) 主机或路由器的操作系统 i n t e lf a c e s ( 2 )各种网络接口及它们的测定通信量 a d d r e s st r a n s l a t i o n 3 )地址转换( 例如a r p 映射) 1 p ( 4 )i n t e r n e t 软件( 1p 分组统计) 1 c m p( 5 )i c m p 软件( 已收到j 删r 消息的统计) t c p( 6 )t c p 软件( 算法、参数和统计) u d p( 7 )u d p 软件( ud 通信量统计) e g p ( 8 ) e g p 软件( 外部嘲关协f ：= 【通信堂统计) 应当指出，m i b 的定义与具体的网络管理协议无关，这对于厂商和用户都有利。厂商可以在 东南大学硕士学位论文 产品( 如路由器) 中包含s n m p 代理软件，并保证在定义新的m i b 项目后该软件仍遵守标准。用 户可以使用同一网络管理客户软件来管理具有不同版本的m i b 的多个路由器。当然，一个没有新 的m i b 项目的路由器不能提供这些项目的信息。 m i b 中的对象f 1 3 6 1 2 ，12 5 ) ，即h o s t ( 主机) ，包含了很多主机本身的一些性能参数，而不 是网络上的参数。这对于我们的c d n 网络管理来说，是很重要的信息源。例如c p u 利用率为 1 3 6 1 2 1 2 5 331 2 ) ，主机总内存为 1 3 6 1 2 1 2 5 2 2 等。m i b 中的另一个对象 f 3 6 1 r 2 1 2 ) ， 即i n t e r f a c e ( 接口) ，包含各种网络接口及它们的测定通信量，我们可以从中获取点播服务器的网 卡的带宽利用率。 5 3 4 管理信息结构s m i 管理信息结构s m i ( s t r u c t u r eo f m a n a g e m e n ti n f o r m a t i o n ) 是一组定义和识别m i b 变量的规 则。它规定所有的m i b 变量必须用a s n 1 ( 即抽象语法表示法i ，它是一种描述数据结构的通 用方法，作为o s i 研究的一部分，由i s s o 推出) 来定义。为使网络管理协议简单，s m i 限制在 m i b 中允许的变蛙类型，指定这些变量命名的规则，并创建定位变量类型的规则。例如，s m i 标准包括一些项的定义，如i p a d d r e s s ( 定义为4 八位组的字符串) 和c o u n t e r ( 定义为0 到2 3 2 一i 的整数，并指明它们是定义m i b 变量的一些项。 5 3 5s n m p 的协议数据单元 s n m p 网络管理协议则是管理进程( 位于网管工作站上) 和代理进程( 位于被管设备上) 之 间的通信协议。s n m p 规定了5 种协议数据单元p d u ( 也就是s n m p 报文) ，用来在管理进程和代理 之间的交换，如图5 3 所示。 g e t r e q u e s t 操作：从代理进程处提取一个或多个参数值 g e c n e x tr e q u e s t 操作：从代理进程处提取紧跟当前参数值的下个参数值 s e t r e q u e s t 操作：设置代理进程的一个或多个参数值 g e t r e s p o n s e 操作：返回的一个或多个参数值。这个操作是由代理进程发出的，它是前面三 种操作的响应操作。 t r a p 操作：代理进程主动发出的报文， s n m p 管理程序 通知管理进程有某些事情发生。 s n m p 代理程序 g e t - r e q u e s t g e t - r f o n s e u d p 端口1 6 l 1 g e t - n 嘲- r c q u e s t u d p 端口1 6 1 g e t r e s p o n s e s e t - r e q n e s l u d p 端口1 6 1 g e t r e s p o n s e trap u d p 端口1 6 2 图5 3s n m p 的5 种报文操作 前面的3 种操作是由管理进程向代理进程发出的，后面的2 个操作是代理进程发给管理进程 的。c d n 网络管理中心，向边缘服务器上的代理进程发送r e q u e s t 操作，并可收到边缘服务器代 理端发送的r e s p o n s e 操作和t r a p 操作。从而实现c d n 网络的信息采集。 3 0 c d n 技术及其在媒体点播系统中的应用研究 目前s n m p 的报文操作都被第三方开发包所封装，进行s n m p 开发通常都采用第三方开发包， 调用开发包中的对象进行s n m p 管理端和代理端的交互。j a v a 动态管理工具集j d m k 是s u n 面 向应用、网络、设备架构和分布领域提供的动态网络管理智能化的基础工具。该技术能够提供独 特的系列功能，改变一般企业进行实时管理的传统方式，重新配置现有的技术标准( 如s n m p 简单网络管理协议) ，以及将新旧技术整合为基于w e b 和j a v a 的技术。根据系统的特点，本系 统的点播服务器负载状况信息采集的实现采用s u n 提供的j d n ( 开发包封装的s n m p 进行开发。 5 4 本章小结 本章分析了c d n 网络管理信息的定义、采集、应用，并结合c d n 网络管理介绍了信息采集 所使用的协议s n m p ( 简单网络管理协议) 。 东南大学硕士学位论文 第六章基于媒体点播系统的c d n 系统的设计与实现 6 1 需求分析 目前，我国的各远程教育网一般由远程教育主办学校、各办学点以及其他一些教学服务支持 点组成。远程教育的服务一般以主办点的服务器群为中心，向主办点、办学点以及教学服务支持 点提供教学和教务管理服务，各办学点和教学支持服务点分散在全国各地，位于远程教育网的“边 缘”，形成了星形拓扑结构，如图6 1 所示。 图6 1 远程教育网络结构图 在远程教育中，非实时教学起着主体作用，它充分体现了学生学习的自主性，可以不受时间、 空问的限制，学习到与教师课堂教学相同的课程，收到相同的教学效果；体现了个性化学习，学 生不一定按照教师的教学过程按部就班地学，可以根据自身的学习情况自己掌握学习的内容和学 习的进度。媒体点播是1 f 实时教学系统中的一个非常重要的技术，媒体点播是将一些教学资源( 教 师上课时实时录制的课件、利用多媒体制作工具的多媒体教学素材等) 放在服务器上，使学生可 以随时随地地通过网络进行异步模式的播放学习。 现有的媒体点播系统由媒体点播服务器、资源管理服务器和点播客户端组成。其结构如图6 2 所示。媒体点播服务器是存放真实的媒体数据，它分布在主办学校、各办学点以及教学服务支持 点；资源管理服务器位于主办点，它统管理各点播服务器中的媒体数据，可向各媒体点播服务 器添加节目、删除节目及进行节目查询，并且为点播学员提供进入系统的登陆界面、点播资源查 询界面以及点播入口，但并不能直接对媒体点播服务器添加或删除节目。 3 2 c d n 技术及其在媒体点播系统中的应用研究 图6 2 媒体点播系统结构 远程教育中教学的特点就是学员使用平台的时间相对集中，会造成大量学员同时访问，然而 媒体点播系统中引入了大量媒体业务，媒体业务数据量很大对带宽要求较高、并且学员对媒体播 放服务的连贯性和低时延要求较高。而目前的网络对端到端带宽和q o s 难以保证。一旦学员量和 业务量加大，对现有网络造成很大的冲击，甚至会使得现有网络难以满足常规业务的开展。因此 现有的媒体点播系统在实际的远程教育教学应用中就会出现如下一些具体问题： ( 1 ) 现行的媒体点播系统在接到学员的点播请求后，将根据学员的请求向学员提供所点播 节目的所有入口，然后由学员自己选择点播服务器。系统不能将最合适的媒体点播服务器直接提 供给学员，需要学员手i j 选择，增加了交互时间，给学员带来了不必要的麻烦。 ( 2 ) 大量学员同时访问时，由于选择哪台媒体点播服务器是学员随机选择的，学员并不了 解各服务器的情况，这容易造成个别媒体点播服务器负载过重； ( 3 ) 学员不知道离他最“近”的媒体点播服务器，而手动选择了较远的媒体点播服务器， 就会增加节目的传输距离，不仅增加了学员延迟，而且加重了网络负担，容易造成拥塞。 ( 4 ) 由于资源管理器只是对已经存放在媒体点播服务器上的节目进行统一管理，不能自动 根据情况动态地在媒体点播服务器之间调整节目的分布，会使访问量过于集中或只能访问“远” 距离的媒体点播服务器，这同样会增加网络的负担。 ( 5 ) 各点播服务器上节目的增删都需要手工完成，然后再由管理员通过资源管理服务器的 管理员界面在资源管理服务器中统一部署。这样管理员工作量较大，并且不能自动实时的根据网 络点播情况调整节目的分布。 远程教育的媒体点播系统在实际应用中遇到的问题在传统的网络模型和业务模型下是难以 解决的，c d n 内容分发网络，为这些问题提供了一个很好的解决方案。 可以在媒体点播系统中引入c d n 技术，在现有的媒体点播系统网络中增加一层新的网络架 构，形成一种传送内容的新型体系结构，将媒体内容发布到最接近学员的网络“边缘”，使学员可 以就近取得所需的内容，提高访问的响应速度。其好处具体如下： 东南大学硕士学位论文 ( 1 ) 通过c d n 的引入，将媒体内容放在靠“近”学员的媒体点播服务服务器上，可以将目 前尚未解决带宽保证和q o $ 保证问题的网络距离缩短，从而可以有效地提高响应速度和服务质量。 ( 2 ) 通过c d n 的引入，将大量媒体内容预先分发到靠“近”学员的地方，大大缓解大量学 院同时进行点播时对骨干网冲击。 ( 3 ) 通过c d n 的引入，将点播业务更合理的在媒体点播服务器间分散，可以有效缓解对单 个媒体点播服务器的压力。 ( 4 ) 通过c d n 的引入，可以自动将学员引向最“近”的媒体点播服务器，减少学员点播时 的步骤和麻烦。 ( 5 ) 通过c d n 的引入，实现了媒体内容分布的自动化，大大减少了管理员的工作量。 因此，我们将c d n 技术应用到媒体点播系统中，设计了基于媒体点播系统的c d n 系统，解决 了媒体点播系统中存在的一些问题。 6 2 系统的总体设计 6 2 1 基于媒