（计算机应用技术专业论文）vod视频服务器上关键技术的研究与实现.pdf

摘要 摘要 v o d 裰频点撵是翻羯褫频鼹务器存麓褫频节鹜秘荬谴多媒傣倍悫，逶过转输 网络和客户端前设备向用户提供交曩式视频服务的系统。其中视频服务器怒v o d 系绞薛孩心，它黪稳定程度程莲麓，关系裂整令系统豹瞧麓。由予褫菝疆务器努 须筒对大量的突发请求，而且要求实u , 7 , f ；j 威以及连续传输，故它的设计与一般的 文麟服务嚣蠢缀大不曩。 本文对视频服务器设计的一些关键问题进行深入的研究，力图使普通的p c 即 可 乍为视频骚务器。本文驰磅究主蒙集中瓣个懿分，蓄先在骚究一些筵擎获准蓑 略的基础上，提出了混合策略，并谶行了数学分析和效果仿真：其次，在综合视 频滚调度繁蝰戆基旗上，提建了分缍融合繁略，然褥诖曩户等德露润更短，露霹 支持更多的用户；第三，改进了一种s t r i p i n g 技术，实现了节目的分块存储和调用； 最聪为了握褒节星鹣婕竣痰霪，在深刻分恚蓐m p e g l 3 8 1 8 1 协议数蒸磷上，缡鹞实 现了从节目流到传输流的转化。 关键词：v o d 巍频服务嚣震户请求嫒频滤节鞋滚铸输滚 一一。，。j ! ! ! 。 _ 1 _ _ _ 。h _ _ _ _ _ _ h 。_ - _ _ _ 。_ _ w _ _ h 。_ _ - _ _ m _ 。- w h _ _ 。_ _ h h m _ 。- 。 。_ - _ _ 。w w _ 1 1 。一 a b s t r a c t v i d e oo n d e m a n d ( v o d ) ，w i t h t h ev i d e os e w e r ( v s ) s t o r i n gt h ev i d e op r o g r a m s a n do t h e rr n u i t i m e d i ai n f o r m a t i o n ，p r o v i d e st h ec l i e n t sw i t hi n t e r a c t i v ev i d e os e r v i c e t h r o u g ht h et r a n s m i s s i o nn e t w o r ka n dc o n s u m e rp r e m i s e se q u i p m e n t ( c p e ) o f a l lt h e p a r t s ，v si st h ec o r eo f t h ev o d ，i t ss t a b i l i t ya n d p e r f o r m a n c e d e c i d e dt h ep e r f o r m a n c e o ft h ew h o l es y s t e m ，b e c a u s et h ev si sr e q u i r e dt od i s p o s et h eo u t b u r s tr e q u e s t s ，t o r e s p o n d t h er e q u e s t si nr e a lt i m ea n dt ot r a n s m i tc o n t i n u a l l y ，t h e ni t sd e s i g n i n gi sv e r y 镬f i e r e n tt ot h ec o m m o nf i l es o e l t h i sp a p e rm a d ead e e pr e s e a m ho ft h ek e yt e c h n o l o g yi nt h ev s d e s i g na n d t r i e s t om a k et h ec o m m o np ct ob et h ev s t h et a s ko f t h i sp a p e ri sf o c u so nf o u rp a r t s f i r s t s o m e s i m p l ea d m i s s i o ns t r a t e g i e sf o rt 如c l i e n tr e q u e s t s i si n t r o d u c e d ，a n db a s e do i lt h i s ， ab e t t e r h y b r i ds t r a t e g y i sd e v e l o p e d t h e n ，t h ea n a l y s i si n m a t h e m a t i c sa n dt h e c o m p u t e rs i m u l a t i o n a r e g i v e n s e c o n d ，b a s e do nt h ea n a l y s i s o fs o m es c h e d u l i n g p o l i c i e so f v i d e os t r e a m s ，b a t c h i n g p i g g y b a c k i n gp o l i c yi sd e v e l o p e d i ts h o r t e rt h ew a i t t i m e ，a n ds u p p o s e dm o r ec l i e n t s t h i r d ，as t r i p i n gt e c h n i q u ei sa m e l i o r a t e d ，s ot h e s t r i p i n g a n dr e t r i e v a lt h ev i d e o si sr e a l i z e d ，a t l a s t ，b a s e d t h e a n a l y s i s o ft h e m p e g l 3 8 1 8 一l ，c o n v e r tt h et r a n s p o r ts t r e a mt ot h ep r o g r a ms t r e a mi t tp r o g r a m m i n g ， a n d 氇i sl n c r e a s e dt h e q u a l i t yo f t h e v i d e ot r a n s m i s s i o n k e y w o r d s ：v i d e o - - o n - t d e m a n d v i d e os e r v e rc l i e n tr e q u e s tv i d e os t r e a m p r o g r a m s t r e a m t r a n s p o r ts t r e a m 声唆 独创性( 或创新性) 声明 零天声翳踬呈交酶谂文是蓑个太在鲁戆簸攒髫下述行豹辑究工倦及赞馥褥 戆舔究戏暴。尽我所翔，除了文中特剜热戳栋注釉熬谢中掰罗捌静痨容以辨，论 文中不怒含装它入已发表绒攮驾过懿骚究成袋；瞧疆；雹含为获褥趱发电子器技大 学或其它教育机构的学位或溉书而使用过的材料。与我一同工作的同志为本研究 艇敲斡任何嚣献均已在论文中徽了踞礁黪滋明并表示了谢意。 申请学位论文与资糕羲鸯不实之处，本久承搀一切耀关责任。 本久签名： j 囊i 一 囊瓤：2 跨主：差 关予论文使用授权的说明 奉久宠垒了簿嚣安恕予辩技大学有关豫熬鞫谴瘸学爱谂文懿娥定，舒：褥究 生在校攻读学位论文辎闽论文工作的知识产投警位属延安电子秘投大学。本人保 证毕业离校厝，发表论文城使用论文工作成聚时署名单位仍然为西蜜电子科技大 学。学校商牧保留送交论文的复印件，允许蠢阅翩借阀论文；学校可以公布论文 的全郝或部分内容，可以兔谬采用影印、缩印、或其它复制手段保存论文。( 保密 戆论文在缀密燕遵专魏蕊寇) 。 本学位涂文疆毛霖鬻，猩一年翳密岳适黼本授权书。 本人签名；怼当日期：婴至：z ： 学繇篾名：釜鍪监离斓：龟跫至：! ：是 第一乖绪论 第一章绪论 随着人们对信息需求的不断深化，多媒体信息服务，特别是对视频和音频信 息的点播服务引起了人们的极大兴趣。而存储技术、通讯技术和视频压缩技术的 高速发展，使得通过宽带网络进行视频点播( v i d e o o n d e m a n d ) 服务成为可能。 v o d 的实质是信息的使用者根据自己的需要主动获取多媒体信息，它与信息发布 和广播的最大不同在于它具有主动性和交互性。这种信息服务方式比较符合人们 对信息资源更深层次的需要，它改变了广播式的信息被动灌输方式。目前，v o d 作为宽带综合业务数字网上的一种交互业务，已演变成泛指对各种视频信息的点 播。 1 1v o d 简介 v o d ( v i d e oo nd e m a n d ) 是视频点播技术的简称，也称为交互式电视点播系统， 意即根据用户的需要播放相应的视频节目，客户端可以在任何时间播放存在服务 器视频储存器中的任何多媒体资料。它是近年来新兴的传媒方式，该技术是计算 机技术、网络通信技术、多媒体技术、电视技术和数字压缩技术等多学科、多领 域融合交叉结合的产物。它使你可以根据自己的兴趣，不用借助录像机、影碟机、 有线电视而在电脑和电视上自由地点播节目库中的视频节目和信息，从而可以对 视频节目内容进行自由选择的交互式系统。 常有人将v o d 业务与录像带出租相比，这是对v o d 的片面理解。实际上， v o d 泛指对各种视频信息的点播，它的交互能力远远超越了控制录像带的快进、 倒带等简单的动作，它所提供的信息也远远超过了录像带的内容。v o d 已经发展成 了一大类交互式业务的总称，在世界各地开展的v o d 实验中包括了各种多媒体业 务。比如：电影点播m o d ( m o v i e so nd e m a n d ) 、远程购物( t e l e s h o p p i n g ) 等等。在 这些领域中，v o d 有着巨大的应用前景和商业价值。目前，它是世界各国软件研 发人员近年来重点研究的应用领域。 1 2v o d 系统的构成 v o d 系统是一个包含硬件和软件的网络化系统，视频点播软件包用于实时和 按需求从视频服务器向客户设备传送多路、并发的视频数据流。作为一个v o d 系 统主要由三部分构成： v o d 视频服务揣上关键技术的研究j 实现 昏因一一 服务端系统 幽1 1y o d 系缆结构幽 1 服务端系统 服务端系统主要由节目提供者、业务提供者组成，即是通常所说的视频服务 器。对于较大规模的v o d 系统，节目提供者和业务提供者之j 旬也由网络连接，对 于较小的v o d 网，节目提供者和业务提供者也可以合并在一起。节目提供者完成 的主要功能是节目存储和制作。在v o d 系统中业务提供者是一个沟通用户和节目 的桥梁，节目提供者是不直接与用户打交道的，用户通过分配网络与业务提供者 建立连接。用户的申请首先送到业务提供者，由业务提供者的业务网关分析用户 所要的是哪一种应用，哪一个节目，并与用户建立会话连接，然后再从节目提供 者上调取相应的节目内容，将它通过网络送给用户。因此，业务提供者应具有与 网络的接口连接控制的功能和会话控制功能及分析和处理各种业务的能力( 业务 网关) ，还应有在节目提供者和用户之间传送节目的能力。服务端系统主要由存储 设备、高速缓存和控制管理单元组成，其目标是实现对媒体数据的压缩和存储， 处理用户请求以及按请求进行媒体信息的检索和传输。视频服务器与传统的数据 服务器有许多显著的不同，需要增加许多专用的软硬件功能设备，以支持该业务 的特殊需求。例如：媒体数据检索、信息流的实时传输以及信息的加密和解密等。 对于交互式的v o d 系统来说，服务端系统还需要实现对用户实时请求的处理、访 问许可控制、v c r ( v i d e oc a s s e t t er e c o r d e r ) 功能( 如，快进、暂停、重绕等) 的模拟。 2 网络系统 网络系统包括主干网络和本地网络两部分。因为它负责视频信息流的实时传 输，所以是影响连续媒体网络服务系统性能极为关键的部分。同时，媒体服务系 统的网络部分投资巨大，故而在设计时不仅要考虑当前的媒体应用对高带宽的需 求，而且还要考虑将来发展的需要和向后的兼容性。 3 客户端系统 目前用户设备主要有两类结构。第一类结构将网络终端( n t ) 从机顶盒分离 丌来，两者问多采用e 1 v 2 4 接口，可提供2 m b s 下行连接和双向控制连接。 第二种结构将n t 集成进机项盒，机顶盒的基本功能是对m p e g 信号解码并与普 通电视机接口。还有人机接口、条件接入( 编码) 、口令控制、智能卡和信用卡阅 读器等其他功能。机顶盒也有低档、高档两类产品。前者由目前的付费电视解码 第一帝绪论 用的机顶盒演变而成，较便宜，但只有有限的用户接口和处理能力。后者由目i 狗 的工作站p c 机演变而成，具有高性能处理平台，包含至少4 m b 的存储能力， 可提供图形用户接口、语音识别、动画制作和游戏等。 1 3v o d 系统工作过程 v o d 的工作过程可通过下图，由如下几个步骤给以描述。 用户 用户 用户 幽1 2视频服务器：r 作过程幽 用户通过自己的v o d 终端，向就近的v o d 业务接入点发起点播请求。 点播请求被送到视频服务器的请求队列排队。 服务器按照排队规则，对请求队列中的点播请求依序分析，根据系统现有 的资源状况，对该请求是否可以得到服务进行获准。( 用户请求的优先获准) 被获准的请求加入服务队列，同时与用户建立连接。不被获准的继续排队， 或者直接拒绝，依照系统采用的策略而定。 对服务队列中的客户进行视频数据的传送。( 视频流调度) 1 4v o d 视频服务器及其关键技术 作为点播系统的核心，v o d 视频服务器的性能直接决定系统的总体性能。 v o d 视频服务器通过与用户之间直接的、实时双向交互来控制节目的播放，包括 节目的选择、播放过程的开始与终止、播放速度的控制以及不同节目之间的动态 切换等，v o d 视频服务器必须运行相应的软件协调各项动作，同时提供友好的用 户界面。它应具有如下特征： v o d 视频h 娃务 | 上关键技术的研究j 实现 ( 1 ) 能够存储至少几百小时的图像节目。 ( 2 ) 如果一个用户对v o d 服务器随机的动态访问被称为会话过程的话，那么v o d 服务器须能支持上千个同时进行而又相互独立的”会话”过程。 ( 3 ) 具有一套加密及用户访问控制机制来防止非法用户访问。 v o d 视频服务器的设计与一般的文档服务器有很大不同，由于它的实时性要 求很高，而且要求能够连续的传输，因此就要最大限度的发掘资源的利用率，使 系统达到最好的性能。v o d 技术和工程系统中的复杂技术问题，就是要解决两个 “瓶颈”问题，一个是视频服务器的“存储调用”，另一个是网络的传输“带宽”瓶颈。 目前由于光纤传输、h f c 、a t m ，特剧i p 以太网技术以及分布式v o d 系统等的研 究发展，后者己基本不难解决，而前者则是一个重大的难题。不是随意配用了高 价的商品磁盘阵列就能很好解决。同时为了保证网络传输的质量，需要进行媒体 的形式转换。我们的研究主要包括了以下几个方面： 响应用户请求的优先获准策略 视频流调度策略 数据的分块存储与调用 节目流到传输流的转化 1 5 应用领域 视频点播由于其信息发布交互式的特点，在很多方面有广泛的应用。电影点 播m o d ( m o v i e so nd e m a n d ) ，远程购物( t e l e s h o p p i n g ) ，卡拉o k 点播( k a r a o k eo n d e m a n d ) ，新闻点播( n e w so nd e m a n d ) ，远程教学( d i s t a n c el e a r n i n g ) 等都是v o d 技 术的应用。其他的具体应用还包括以下几个方面： 1 校园多媒体网络教室：课堂上的老师可以根据需要，随时随地在教学中点 播与课程有关的视频课件以增强教学直观感，丰富教学内容。在课余时间学生可 以自由选取视频课程节目进行预复习，以增强学习兴趣，提高教学效率。 2 多媒体图书馆：将视频资料分类，提供视频资料自由选取预览、索引查询、 分类管理等功能。 3 企业内部培训：提供教材管理、线上随选阅览、完成自我训练目的，提高 员工技能，增强公司的员工素质优势，在激烈的市场竞争中使企业立于不败之地。 4 多功能网吧：在原有网络结构上增加电影、广告、mtv 等影片视频节目 服务，可拓宽营业项目。 5 kt v 点歌：实现无人dj 室，降低人工管理成本。统一存储，没有重复 歌曲。点歌迅速，热f 歌曲不用等候。 6 互动式导览展示系统：适用于百货公司、机场、火车站、剧院和博物馆等 第一章绪论 公共场所，作为产品讲解说明、服务内容介绍、环境导览、操作演示等目的。 7 宾馆饭店：可以将一些经典影片、卡拉ok 、菜单等节目加入到视频节目 库中，使入住客人在自己客房中根据兴趣和时间，任意点播喜欢的内容。甚至可 以将客人关心的当天时事新闻、财经报道等电视节目加入到视频库，使客人在错 过节目播放时间的情况下仍可收看到想看的节目。提升了服务内涵，提高房客入 住率。 8 住宅小区：为小区提供新的服务内容，住户在家中可以点播电视节目、精 选影片或卡拉ok 伴唱等。可以丰富家庭文化娱乐生活，完善小区的服务，吸引 更多的购房客户近悦远来。 1 6 课题背景及意义 v o d 出现的最初动力是人们不满足于没有任何主动权地位的电视，于是想到 像点播广播节目那样点播电视节目。有专家认为：“如果网络的普及是一场革命， 那么v o d 则是跟随网络发展的一场后革命”。尽管目前由于资金、技术等多方 面的原因，v o d 还处在试验阶段，真正实用的、商品化的产品还没有出现，但是 基于其广泛的应用和诱人的市场前景，无论在计算机还是电视媒体产业界，v o d 系统的研究和发展非常迅速。 v o d 是目前热门的高科技产业，特别是v o d 方面由于技术壁垒较高，很多 高科技公司只能”望洋兴叹”。尤其是视频服务器作为v o d 工程系统的核心，是一 种技术复杂、价格昂贵的系统，在我国对可用于v o d 工程的实际系统，还基本上 是一项空白。国内的研发工作，大致有两种情况：一种是属于基础原理性的研究， 大多是一些沿海高校和研究机构，最好的研究结果提出，其系统可实现具有几百 个视频流的视频服务器，但目前工程实际中，往往具有七、八十个以上视频流的 视频服务器，都还需要进口解决。另一种是属于进行v o d 工程系统的研究，这些 研究，有的也有很好的技术和社会效果，但v o d 系统使用的视频服务器却都是进 口解决的，耗资巨大，大部分钱都花费在视频服务器的购置上。 本文的任务是对视频服务器的关键技术进行研究和探讨，最大限度的发挥硬 件系统固有性能，用普通p c 即可用作视频服务器，同时为尽可能多的用户提供视 频服务。v o d 的出现是电视领域的一场革命，它的出现将改变人们的生活方式， 形成新的市场热点，带动通信及网络技术的发展。我们相信，视频点播的概念将 会在信息获耿的领域快速扩展，并且有广阔的发展前景。 1 7 论文内容介绍 针对视频服务器的特点，本文对视频服务器上一些关键技术进行了研究，讨 v o d 视频服务器l ：关键投术的研究实现 论了其实现的方法。论文的主要工作包括以下内容： 1 研究了视频服务器上用户请求的优先获准策略，在分析了一些简单的获准 策略的基础上，提出了一种混合策略，能有效的减少获准延迟，增加获准 率。 2 研究了视频服务器上视频流的调度策略，在综合一些现存的简单策略的基 础上，提出了一种分组融合策略，能有效的支持更多的用户访问。 3 根掂视频文件的特点，研究了视频文件在视频服务器上的分块存储，介绍 了其实现过程。 4 ，根据网络传输的特点，在深刻分析了m p e g 节目流和传输流的结构的基础 上，实现了从节目流到传输流的转化。 论文章节是这样安排的： 第一章简单介绍了v o d 的基本概念，国内外的发展现状，并介绍了作者的 主要工作。 第二章研究了视频服务器上用户请求的优先获准策略。 第三章研究了视频服务器上的视频流调度策略。 第四章研究了视频节目的分块存储及其实现方法。 第五章介绍了节目流和传输流的语法并实现了节目流到传输流的转化。 结束语是本文的工作总结，并对v o d 的发展进行了展望。 第二帝用户请求的抉准策略 第二章用户请求的获准策略 2 1 采用获准策略的必要性 在v o d 服务中，用户可以根据自己的需求向视频服务器发出请求，然后视 频服务器对不同的用户请求进行响应，发出视频流，用户就可以看到自己点播的 节目。然而在视频服务器上，由于磁盘带宽的限制，服务器能支持的视频流是有 限的，所以并不是每个用户发出的请求都能被获准。但是在包含了短节目的视频 服务器里，服务的完成相当频繁。在一限定时阳j 段内，服务器将从离丌的视频流 中取回重要的资源。所以，在完全负荷的情况下一个v o d 服务器可在请求队列罩 存储请求，以使未决的请求可在先前请求完成后被获准，而不是立即拒绝到达的 清求。请求获准的策略不同，将直接影响系统的性能。在交互式v o d 应用中，除 吞吐量外，最大化允许请求的比率和减少排队延迟成为系统中重要的用户可接受 性能。由于新的视频请求是在线用户向v o d 服务器发出的，用户可接受性能主要 是指从请求产生到播放开始之间的时间差。这种停滞由网络来回传输延迟、排队 时问、丌始延迟( 从获准到开始播放之间的时f j ) 组成。如图2 1 所示： 服务开始服务结柬 i 排队阶段 l 并始延迟l 播放阶段 i 离开阶段i 到达获准开始播放 播放结束 i 服务响应时间 i 时间 图2 1流请求的生命周期图 当服务器全负荷运行时，到达的请求要在一个请求队列中等待，而且只能 靠先前请求是否完成来判断新请求是否被获准。因此，用户可接受的响应时间将 主要由在队列中耗费的时间决定。由于所请求的视频的播放速度和长度可能有很 大不同，以这些参数为基础的获准方案，可用来给未决的请求排序，以达到最好 的效果，提高用户可接受性能。 2 2 相关工作 一个v o d 服务器的容量通常以数据吞吐量或每一时间单位耿回的实时视频数 据量测量。请求被服务获准的百分比称为获准比率，在被服务获准f j i 的等待时间 称为获准延迟。在视频流的交互式应用中，获准比率和获准延迟是用户能直接感 受的，它们也被看作重要的性能尺度。 v o d 视频服务器上关键技术的研究与实现 一个v o d 服务器从一个流到另一个流的转换服务，可导致磁盘寻找和转动延 迟。在这些阶段中，磁盘将空闲并且磁盘带宽会被浪费。我们将上述磁盘带宽浪 费称为服务常用丌支。服务常用开支通常随着被服务的流的数量递增。采用减少 寻找的磁盘调度算法可减少服务常用开支中的寻找成分，但转动成分仍会存在。 由于服务常用开支不独立于流的数据率，我们可以预期服务器的数据吞吐量将以 被获准的流的较高平均数据速度增长。因此，一个支持高数据率请求的获准策略 将会获准较少的请求但能提交一个较高的数据吞吐量，因为在每一服务周期内频 繁的流转换较少。另一方面，如果低速流被优先考虑，会有更多的请求接受到服 务，但数据吞吐量将会减少。因此，在获准比率和数据吞吐量间存在一个折衷。 一个最新被获准的流的服务只能在一个或多个离开的流将缓存返回之后开 始。因此，在新的流被服务之前，应先服务已存在的流，以便服务阶段可安全的 扩展。所以，当服务从一个结束的流转移到一个新的流时，有一个小的时间间隔。 在这一短暂的过程中，空闲的磁盘带宽未被利用。我们将上述带宽浪费称为瞬间 常用丌支。由于视频的长度不同而且在交互应用中通常较短，流的获准和离开将 非常频繁。增加的瞬间常用开支可影响服务器的吞吐量。如果获准策略支持长的 流，瞬间丌支可以减少。上述情况减少了瞬间常用开支而且可以提高数据吞吐量。 另一方面，如果获准策略帮助较短的流，未决的请求的平均获准延迟将会减少， 但数据吞吐量将会恶化。因此，在获准延迟和数据吞吐量之间存在一个折衷。 在设计一个v o d 调度程序的过程中所考虑的主要因素包括c p u 和磁盘调度策 略，缓存模型和管理，以及磁盘读取大小控制。这些因素在设计服务次序、每一 次服务的数据大小和获准控制策略中扮演主要角色。为了提高吞吐量，服务常用 丌支的寻找部分通过寻找减少方案来减少。通过s c a n 或电梯寻找方案可得到最小 值。然而，由于服务次序在相邻周期中是颠倒的，对相同数据流的连续服务的最 坏时间可跨越两个服务段，而且缓存需要双倍。为了减轻这个问题，g s s 1 3 提出 了高级寻找减少方案。这个方案把流分成若干组，在每个组里边用s c a n 命令服务。 在以前的的一些研究中，相对较少有工作集中在v o d 服务器用于提高用户可接受 性能的获准策略。这些技术对吞吐量的影响与对用户可按受性能因素的影响之间 的差距未被充分揭示。我们将在下面分析和评估可提高v o d 服务器交互性能的潜 在获准策略。 2 3 优先获准策略 系统传送的数据输出量只是在理论上感兴趣，用户并不关心。然而并不是说 不需要保持吞吐量。重大的吞吐量损失会减少服务器在清理队列中未决的请求时 的速度，并会明显增加获准延迟。要提高一个v o d 服务器的用户可接受性能，我 第二章用户请求的获准策略 们要研究不同的优先获准策略以同时满足以下方面：最大的请求获准率，最小的 获准延迟，最大数掘吞吐量。 2 3 1 简单的获准策略 一些简单的优先获准策略包括先来先服务( f c f s ) ，最先适合优先( f f ) ，最 高速率优先( h r f ) ，最长长度优先( l l f ) ，最短长度优先( s l f ) 等获准策略。 a ) 先来先服务( f c f s ) 这一策略是从操作系统里的相应部分中得到的，在这里作为一个基本算法。 请求到达或数据流完成时服务将只考虑获准请求队列中第一个请求。也就是说， 队列中的请求严格的按照他们的到达次序被获准。除了第一个请求，服务不会考 虑获准队列中的其他请求。根据这一策略，当请求队列满时，所有刚刚到达的请 求都将被拒绝。因此，这一方案的拒绝延迟当服务超载是比较短的。然而，这种 立即的拒绝在其他性能尺度并不是_ 二个优点。这一策略的主要缺点是可获准的低 速率请求经常被早于它出现的不被获准的高速请求所阻塞，导致了很长的等待延 迟。因此，从离开的数据流中取回的带宽也会被在队列中等待低速请求不被获准 而浪费，从而导致效率的降低。 b ) 最先适合优先( f f ) 运用这一策略，服务器获准队列中第一个可获准的请求。队列中最老的具有 一个不高于保留的可利用的带宽的带宽需求的请求将被挑选并获准。不幸的是一 个完成的数据流返回的带宽经常不足以满足获准有较高带宽需求的请求。因此， 完成的数据流返回的带宽必须分配给一个低数据速度的请求。结果，当服务器超 载时，将很少响应高速请求。由于服务器无意识的帮助低速请求，更多的数据流 被获准并且获准比率可预期高于f c f s 。然而，这将产生更高的服务常用开支，而 且使数据吞吐量退化。这种现象称为带宽分裂。由于较多的服务常用开支，这一 策略的效率低于f c f s 。由于高速请求被歧视，它也是不公平的。 c ) 最高速率优先( h r f ) 正如名字所暗示的，这一策略先于低速请求考虑高速请求的获准，不管它们 的长度。也就是说，队列中的高速请求在接受服务时有较高的优先极。这一策略 在请求中的应用如图2 2 所示，v 2 优先于v 1 ，v 4 优先于v 3 。使用一个h r f 获 准策略，磁盘分裂问题将减轻。总的服务常用丌支将减少。数据吞吐量将提高。 然而，这些性能的进步的代价是更少的数据流被获准。大部分数据流将被拒绝而 且将产生较低的获准比率。 d ) 最长长度优先( l l f ) 在这种策略下，不管他们的速度，较长的请求将先于短的请求被获准。也就 是说，长数据流有较高的获准优先权。这一策略对请求的应用如图5 所示。v 3 优 先于v l ，v 4 优先于v 2 。如果服务器优先获准长请求，瞬时开支的总的出现将减 v o d 视频服务器上关键技术的研究与实现 少，这将提高吞吐量。然而，短请求要在长请求之后等待。在相同的时l l 自j 段里， 被服务的数据流数量将减少而且有更多的请求被拒绝。所以，这一策略也将导致 低获准比率和长的获准延迟。 e ) 最短长度优先( s l f ) 这一策略给请求队列中的短视频请求分配高的优先权。也就是说，不管它的 速度，短请求将在长请求之前获得获准。这一策略和经典的操作系统中的最短工 作优先工作调度策略很类似，它可减少平均获准延迟。应用这一策略，队列中未 决的请求可很快的清除。结果，可提高获准比率并减少获准延迟。不幸的是，获 准短数据流会引起更多的瞬时常用开支，并减少服务器的吞吐量。因此，带宽分 裂问题不能由简单策略解决。 在这些简单的获准策略中，它们以某一方面的参数为基础赋予请求相应的优 先级，对其进行排队。但是由于其只是考虑了一方面，不能兼顾整体性能，所以 效果很不理想。比如说：一个支持高数据率请求的获准策略将会获准较少的请求 ( 受带宽所限) 但能提交一个较高的数据吞吐量，因为在每一服务周期内频繁的 流转换较少。另一方面，如果低速流被优先考虑，会有更多的请求接受到服务， 但数据吞吐量将会减少。因此，在获准比率和数据吞吐量间存在一个折衷。如果 获准策略支持长的流，数据吞吐量将会增加，然而平均获准延迟也同时增加。另 一方面，如果获准策略帮助较短的流，末决的请求的平均获准延迟将会减少，但 数掘吞吐量将会恶化。因此，在获准延迟和数掘吞吐量之间存在一个折衷。简单 策略的执行顺序示意图如图2 2 所示。 2 3 2 混合获准策略( h a r f ) 先f j 的简单获准策略无法在冲突的性能目标间找到一个平衡，下一步综合 了简单策略，提出了一个折衷的混合获准策略。 在混合策略中，将速率v 和长度l i 结合成一个独立的复合参数，为请求区分 优先次序。定义请求的期望率a r 为它的速度与长度的比，也就是说，m i = r i 儿。 混合策略按照a r 值的减少次序，先挑选未决的请求然后再连续地判断它们是否被 获准。a r 参数在相等长度的请求中将帮助速度较高的请求，在相等速度的请求中 帮助较短的请求被优先获准。对于速度和长度都不同的请求，它们的a r 值也可能 会相同，这时的排序可根据设计者的侧重点不同，再根据v 或者l 进行排序。按 a r 值排列优先级的策略对长度和速度参数都是公平的，所以这两者都不能支配另 外一个。 为了进一步扩大混合策略的灵活性，引入了速度r i 和长度l i 为参数单调比例 函数f ( r ) 和g ( 1 ) ，通过他们来计算a r 值。即a r = f ( r ) g ( 1 ) 。它的灵活性 主要表现在：可用单调递增函数给一个参数更多的比重，而且用到的比例函数并不 一定是静态的。一旦混合策略被执行，服务器可在一批比例函数对中转换和选择 第二= 帝用户请求赞簸罐策略 以完藏萁缝策路瓣谲震。毫裁怒浇，一个辍务嚣霹基有效豹改变共获溅蓑瞧。魄 如晓：若f ( r ) ：l 。g ( 1 ) = l ，则混合策略变成f f 策略，若f ( r ) = r ，g ( 1 ) = 1 ，则变 成e r f 繁醣，等等。 2 3 _ 3获准策略示意图 在示意图中，以一个骞序数对r f ，1 ) 表示一个请求，其中r 表示蹶谴隶的视 频的播放率，单位是m s ，l 表示所请求的视频的长度，单位是分钟。水平轴表示 谤求款到达时闽。缓设此时系统掰剩繁宠为4 ，5 m ，则潺求弱到达次序以及调度j l | ；i 序如下图所示。 r s ( 0 9 ，3 0 ) r 4 ( 1 5 ，6 0 ) r 3 ( 0 9 ，3 0 ) r 2 ( 1 2 ，3 0 )r l ( 1 2 ，6 0 ) t f c f s r ir 2r 3 一- * f f r ir 2r 3r 5 h r f r ir 2 l l f r i & r 2 s l f r 3r 2r 5r i - - - h a r f r 。魁r 4 一 豳2 2获准策略示意酗 在图2 2 中，假设了在短时间内带宽没发生变化，即没有颓的视频流结束。根 据f c f s 策略，按到达顺序调度，到时，所剩带宽不满足请求，故等待。丽猩 f f 策略中，根据最先满足原则，跳过飘，先获准r 5 。在h a r f 策略中，根据各个 请求的a r 值，按从大翔小的顺净进行调度。 2 4 系统模型 本章讨论静获准繁略是在v o d 褫频黻务器瓣嚣境巾，在模缀的过稷孛，蔽设 客户请求以普阿松流到达，到达间隔时间服从负指数分布，各个视频流的处理独 立工作，视频流的处理时间也服从负指数分布，翔达间隔时间与服务时闻彼此独 立。 是用户请求的到警均达率，l u 为每个视频漉的平均服努时间。假设服务 器带宽为b ，每个视频的平均位率为b ，则服务器w 支持m ：l 导j 个视频流，因此可视 l 扫 服务器有m 个逻辑信道，也就是说可以将服务器视为m 个独立的服务台。处理请 求豹系绞模垄魏羯2 3 掰示。 v o d 视频服务器i ：关键技术的研究_ 实现 砸互 弋 譬一二 幽23请求处理的系统模型 从图2 3 可以看出，新的请求到达之后，直接进入请求队列。若系统有足够 的带宽，则分配一个逻辑信道，即发出一个视频流，请求完成后离开系统，带宽 被回收。若没有足够的带宽，则请求在请求队列里等待，直到系统有足够的带宽。 当新的请求到达时，按不同的获准策略，赋以相应的优先级。等待系统有足 够的带宽时，按照优先级从高到低进行获准。 2 5 数学分析 在这一部分，我们将用排队论的知识对v o d 系统中的常用参数进行分析。在 模拟的过程中，假设客户请求以普阿松流到达，参数为 ，各个视频流的处理独 立工作，视频流的处理时间同负指数分布，参数为“。将服务器视为i t l 个独立的 服务台，n ( t ) 表示t 时刻的排队长度，则 n ( t ) ) 是一齐次马尔可夫链，也是生死 过程，其参数为 t 1 其状态的瞬时强度转移图如下所示： 九入入 入入入入 u2 “3u( m 一1 ) u i n um um l a 剀24m i m m 状态瞬时强度转移图 因此可运用m m m 排队模型，对它的一些常用参数进行分析。 设n ( t ) 表示系统中具有的顾客数( 包括正在接受服务的顾客) ，再设p k ( t ) = p ( n ( t ) 。k ) ( k o ) ，则凡2 绝n ( r ) 就是该系统的平稳解，并不是每个系统的平稳解 一定存在，它需要满足一定的条件根据生死过程，有生死过程求平稳解公式，得 m2l旷 0 u n n r l 第二爨用户请求的获准策略 热= 去( 寺“( 去) ”热= ；五丢) ”热州! 鲇牌口m ! m群 r - - 7 国- - 。p 。讯 |。：乳瓞“ 蜡1 掣岛。 揣l ” ，令矿：三 ，藏怒到 m l a 其中羝= 医警+ 薹华卜尹= 杀尚c t 瓣，平渊髋否烈等 待队列将无5 鼹长。其平均等待雌舸2 尚。 2 6 计算机仿真 这部分，我翻将搂攘v o d 暇务器土获准繁略瓣缝戆，主要建撬台繁珞，颓镬 模拟tf c f s 策略，以进行比较。通过泊松分布来囱动产生实时的用户请求，每次 实验模拟2 0 0 0 个时间擎位莳运行周期。请求的到达率为0 5 - 1 0 。我们衡量获准 延迟为渣衷在获准之嚣芯费凌敬列串夔簿特懿耀，获准率戈获准的谤求魄上产望三 的请求的总数。 2 6 1 随机数的模拟 r a n d o m 哥骏j 拜l 来攒l 薹 用户熹攒静节嚣，其毽魏0 - i 乏溪，蒗是该麓嚣较热门， 可以让其占的范围广一点，如：让o r a n d o m o 5 ，说明其有5 0 的点播率。其余的 可以占0 0 5 ，褫葜流行饿而定。 褥嗣户| 毒霹乏豹弱达，霹淤震滚松努毒来摸掇。横羧溶松逡程熬矮体方法翔下： 1 先生成 o ，1 3 区间的均匀随机数 初始值x = 5 ，y = 1l ，z = 1 7 x i + l 】= 1 7 1 * x 【i 】( m o d3 0 2 6 9 ) ； y i 十1 = 1 7 2 ye i ( m o d3 0 3 0 7 ) ： z i + i = 1 7 0 * z 【i ( m o d3 0 3 2 3 ) ： t e i = ( x 【i 】3 0 2 6 9 + y 【i 3 0 3 0 7 + z i 3 0 3 2 3 ) ： 则r i = t i - i n t ( t i ) ： 其周期为? * l o e x p l 2 ： + 您 鼻一f ，一m 繇 赤一 罐渤 v o d 视频服务器上关键技术的研究，实现 这种方法易于在计算机上实现，避免了超过字长。 还可以用乘同余法 x n + 1 = m x n ( m o dp ) ： r n = x n p ： 可以用以下初值 x i = 1 ，m = 7 ，p = 1 0 e x p l 0 ( 1 = 5 * 1 0 e x p 7 ) x = 1 m = 5 e x p l 3 ，p ：2 e x p 3 6 ( 1 = 2 e x p 3 4 2 * l o e x p l 0 ) x 【= 1 ，m = 5 e x p l 7 ，p = 2 e x p 4 2 ( 1 = 2 e x p 4 0 - l o e x p l 2 ) 但这种方法字长过长，不易实现。 2 转化为指数分布 一般来况，任意分布的随机熟可由在 0 ，1 上均匀分布的随机数通过某种变换 的到。若随机变量x 有连续分布函数f ，而u 是 0 ，1 上均匀分稚的随机变量，则 变量y = f “( u ) 有分布函数f ，这里一是f 的反函数。故若进一步设f 有密度f ，而u 是 o ，1 上的均匀分布的随机数，则分布f 的随机数x 可由方程虬= r 厂( x ) 出解 出。掘此，参数为x 的指数分布的随机数x 。由x i = 一l o g ( 卜u ，) 给出。而若u 是 o ，1 上均匀分布的随机数，则1 一u ，也是。故上式可改写为：x i = 一l o g ( u ) 。 3 泊松过程模拟 我们知道，强度为x 的齐次泊松过程的点间间距t ( n = l ，2 ，) 是相互独立同分 布的随机变量，它们由参数为 的指数分布，几对于任意的t o ， p ( t 。，t ) = l e “1 ，基于此，可通过以下步骤的到这样的泊松过程的实现。 ( 1 )令s 。，= o ，t 。，= o ( 2 )对于n = l ，2 ，作变换t l = 一l o g ( u ) ，则t 是参数为 的指数分布的随机变量 的一个实现。 ( 3 )令s i = s 一。+ t ，则 s i 就是我们所要模拟的泊松过程的一个实现，这早s 是过程 的第i 个发生点的发生时间。我们若是求单位时间内到达的数目，则让到达时阳j 间隔t 累加，超过1 时，记下累加的个数，则为单位时问内到达的数目。 2 6 2 模拟结果 在我们的系统模拟过程中，采用磁盘带宽为6 0 m s ，有1 0 个视频文件，平均 位率为1 2 2 m s ，其平均长度为5 5 5 个时阳j 单位，模拟效果如图2 5 和图2 6 所示： 序号长度( 分钟)带宽( m s )点播率 1 03 01 0o 2 i 13 01 5o 1 5 第二龌用产猪求扰获准策略 25 01 20 i 37 01 5o i 4( 5 0i s0 0 5 56 01 oo 1 69 01 5o 1 79 01 o0 1 86 0i 。2o 0 5 96 00 80 0 5 表2 1 模拟 ：跫额参数袭 0 50 60 70 8o 91 b 虱逸数，每黠潮革霞 翻2 , 5 获准延迟 0 50 6o 7o 80 ，91 。0 辩选数，每鞫霉辈经 酗2 6 获准率 应用上面的性能分析，我们知邋在本系统中，h = i 5 5 5 ，m = 6 0 1 2 2 ，则 v o d 戳频服务器：关键投术的 i j 究与实现 p = 竺 1 ，系统就会存在乎糠解，磷则排队将会无鞭长。故此x 搿旦 nm k 若我们选择等号( 郡邵使说，我么选择了。的鼗大可能僮，能磺好的秘用带宽) ， 靼g 尝，那么这个调度蓑酶瓣访润辩超载是逛影的燕段熬访阉时越。联以， 张、 为了减少接入时间，第一个片断必须小于后面的片断，例如，我们必须让a 1 ， 也就是说，k n m 那么访闷时间为 崖= 黜 等 v o d 视频服务 | 上关键技术的研究与实现 如果我们使口= 1 彘，那么访问时间减少为a2 芝老菩等 对上例，如果k = 4 ，a = 3 ，那么计算出的访问时间为1 分钟，远低于普通广播 方案的1 0 分钟的访问时间，为计算用户终端的存储需求，我们指出在金字塔广播 中，在先前片断正在消耗之时，应可以下载电影中特定的片断，这意味着在最坏 情况下所需的最大存储量应能存储d 。和d k ，因为它们是最大的片断。例如，最后 这两个片断占有电影总持续时间的9 0 。因此用户终端所需存储量几乎为4 g b ，这 一巨大的存储量需求是由较大的a 值导致的。 如果我们选择较低的值，a = 2 ，k = 6 ，那么接入时间低子1 分钟而且所需存储 量为3 4 g b 。我们能减少多少存储量需求呢? 让我们选择最小可能值a = l ，k = 1 2 相对的存储量需求将近0 7 5 g b 。但访问时间为1 0