（电路与系统专业论文）嵌入式流媒体服务器的设计与实现[电路与系统专业优秀论文].pdf

太原理1 ：火学硕十研究生学位论文 嵌入式流媒体服务器的设计与实现 摘要 计算机网络技术和多媒体技术的不断进步成为网络多媒体应用日益普 及和发展的强大动力。人们在生产和生活中，也早己不满足单一的媒体形 式，使得基于流媒体技术的相关开发与应用成为当前热点之一。视频会议， 视频点播，远程教育，无人监控等分布式多媒体应用正迅速走入人们的生 活，使用者根据自己的需求主动获得多媒体信，它们和传统信息发布的最 大不同在于其主动性和选择性，这给人们的工作和生活带来了极大的便利 和无穷的乐趣。 与基于p c 的流媒体服务器相比，嵌入式流媒体服务器具有体积小，携 带方便，功能专业化高，成本较低，稳定性高，实时性好等优点，因此越 来越受到开发厂商和消费者的青睐。本文正是在这种背景下，开始研究流 媒体技术的实现原理，并在此基础上设计了和实现了一个基于a r m 嵌入式 处理器h 1 3 5 1 0 的流媒体服务器。 本文首先对流媒体传输系统进行了需求分析，在此基础上选择了要使 用的相关技术。本文选用实时流协议( r t s p ) 来进行多用户并发连接管理， 和多流控制的功能，从而实现视频点播的功能。由于r t s p 所控制和传输的 流是多媒体流，因此系统同时实现实时传输协议( r t p ) ，以为多媒体数据流 添加实时特性，方便客户端进行实时播放。r t s p 服务器端和客户端在进行 连接请求和应答时需对会话信息和媒体信息进行描述，本文采用会话描述 协议( s d p ) 来实现对这些信息的描述。同时，本文自行设计了一个命令控制 t 太原理，j ：大学硕十研究生学位论文 协议m t c p 来实现用户与嵌入式设备的交互，实现诸如i p ，端口，媒体数据 编码格式，图像采样率等硬件参数的设置。 本文使用c 语言编写流服务器应用程序，所有代码的编写遵循模块化 设计的原则，以便于进行调试，维护和更新。在进行底层网络接口设计时， 同时封装了w i n d o w s 和l i n u x 的接口函数，以满足不同嵌入式操作系统的 需求。但是，本应用仅在l i n u x 操作系统下进行过调试。为了进行流服务 器的调试，本文的最后设计了一个基于通用p c 的流播放器与之通信。实现 实时流播放器，选择了微软的d i r e c t s h o w 作为开发平台。 通过测试与实际应用，嵌入式流服务器最终达到了我们设计的目标。 关键词：视频点播，流媒体，协议，视频服务器，嵌入式系统，视频传输 u 太原理i ：大学硕士研究生学位论文 e m b e d d e ds t r e a m i n gs e r v e r d e s i g na n di m p l e m e n t a b s t r a c t t h es t e a d ya d v a n c e m e n to ft e c h n o l o g yi nt h ef i e l do fc o m p u t e rn e t w o r k s a n dm u l t i m e d i ah a sb e c o m ea s t r o n gi m p e t u s t ot h e d e v e l o p m e n t a n d p o p u l a r i z a t i o no ft h en e t w o r k e dm u l t i m e d i aa p p l i c a t i o n s b e s i d e s ，p e o p l ea r e d i s s a t i s f i e dw i t hu n i t a r yt y p eo fm e d i ai nt h ew o r ka n dd a i l yl i f e a l lt h a tm a k e s t h ed e v e l o p m e n ta n da p p l i c a t i o nb a s e do nt h es t r e a m i n gt e c h n o l o g yb e c o m i n g o n eh o t s p o t d i s t r i b u t e dm u l t i m e d i aa p p l i c a t i o n ss u c ha sv i d e oc o n f e r e n c e ， v i d e oo nd e m a n d ，l o n g d i s t a n c ee d u c a t i o n ，a u t o m a t i cm o n i t o rs y s t e m ，e t c a r e q u i k l yc o m i n gi n t op e o p l e sl i f e t h r o u g ht h e s es y s t e m s ，u s e r s c a n a c t i v e l y g e t t h em u l t i m e d i ai n f o r m a t i o na c c o r d i n gt ot h en e e d so ft h e m s e l v e s a n dt h a t j u s ti s t h eb i g g e s td i f f e r e n c et ot h et r a d i t i o n a li n f o r m a t i o np r o m u l g a t i o n t h i s k i n do ft r a n s p o r t a t i o nw a yb r i n g sm u c hf a c i l i t i e sa n df u nt op e o p l e sw o r ka n d l i r e c o m p a r e dw i t ht h es t r e a m i n gs e r v e rb a s e do np c ，t h ee m b e d d e ds t r e a m i n g s e r v e rh a st h ea d v a n t a g eo fv o l u m l e s s ，p o r t a b l e ，f u n c t i o n u n d e v i d e d ，l o w c o s t ， s t e a d y - g o i n ga n dr e a l t i m e s o ，i t sb e c o m i n gt h eh o t s p o ti nc o m m e r c e i ns u c h b a c k g r o u n d ，t h i sp a p e r r e s e a r c h e so nt h e p r i n c i p l e o fs t r e a m i n gm i d i a t e c h n o l o g y , u p o nw h i c has t r e a m i n gs e r v e rb a s e do na r m e m b e d d e dc p u i l i 太原理i ：大学硕十研究生学位论文 h 1 3 51 0i sd e s i g n e d a tt h eb e g i n n i n go ft h i sp a p e r , t h en e e do fm u l t i m e d i at r a n s p o r t a t i o n s y s t e mi sf i r s ts t u d i e d f u r t h e r , t h et e c h n o l o g ya d o p t e di nt h i ss y s t e mi sf i x e d r t s pp r o t o c o li si m p l e m e n t e dt od e a lw i t ht h er e q u e s to fm u l t i - u s e ra n dc o n t r o l m u l t i - s t r e a m b e c a u s et h es t r e a mw h i c ht h er t s pc o n t r o l si st h em u l t i m e d i a s t r e a m ，r 1 1 pp r o t o c o li sa l s oa d o p t e dt ok e e pt h es t r e a mr e a l - t i m e a n dt h a ti s b e t t e rf o rt h es t r e a mc l i e n t 、sr e c e i v i n g a l s o ，s d pi su s e dt od e s c r i b et h es e s s i o n i n f o r m a t i o na n dm e d i at y p e ，w h i c hi sn e e d e di nr t s pm e t h o da n dr e p l y f u r t h e r ， ak i n do fc o m m a n d - b a s e dc o n t r lp r o t o c o li sd e s i g n e da n di m p l e m e n t e di nt h i s p a p e r ，i no r d e rt oc o m p l e t et h ei n t e r a c t i o nb e t w e e ne m b e d d e dd e v i c ea n du s e r s f o re x a m p l e ，t h es e to ft h ei v , p o r t ，m e d i at y p e ，m e d i as a m p l er a t e ，e t c t h e s t r e a m i n gs e r v e ra p p l i c a t i o ni s c o d d e di ncl a n g u a g e ，a n da l l p r o g r a m ei sc o d d e dm o d u l a ri no r d e rt om a k ei te a s yt od e b u ga n du p d a t e w h e n t h ep a r to fn e t w o r ki n t e r f a c ei sd e s i g n e d ，b o t hl i n u xa n dw i n d o w sf u n c t i o n sa r e e n c a p s u l a t e d ，i no r d e r t os a t i s f yt h en e e do fd i f f e r e n te m b e d d e do p e r a t i n g s y s t e m s h o w e v e r ，w h a tw eh a v ei m p l e m e n t e di sj u s td e b u g g e di nl i n u x e n v i r o n m e n t ，h a v e n 、ti nw i n d o w sy e t w h e nd e b u g g e d ，as t r e a m i n gc l i e n tb a s e d o np ci s d e s i g n e d a n di m p l e m e n t e dt oc o m m u n i c a t ew i t ho u rs e r v e r t h e s t r e a m i n gc l i e n ti sd e v e l o p e do nt h em i c r o s o f td i r e c t s h o wp l a t f o r m t h r o u g hd e b u g et e s ta n da p p l i c a t i o nt h es t r e a m i n gm e d i as e r v e rh a sb e e n i m p l e m e n t e d a sw h a tw ew a n t i v 太原理r 大学硕十研究生学位论文 k e yw o r d s ：v i d e oo nd e m a n d ，s t r e a m i n gm e d i a ，p r o t o c o l ，v i d e os e r v e r ， e m b e d d e ds y s t e m ，v i d e ot r a n s m i t v 声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名： 乏塑堕日期： 舻 歹、可 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) o 签名：i 茎鱼坐日期：型丑：互 导师签名：日期：翊：! ：! 太原理i ：人学硕十研究生学位论文 第一章绪论 1 1 论文提出的背景 随着i n t e m e t 的普及和宽带化趋势，多媒体通信技术及数据压缩技术的成熟，网络 多媒体通信业务将成为2 1 世纪通信的必然趋势。视频点播( v o o ) 、远程教学、网上娱 乐、视频通信等流式媒体应用成为网络多媒体通信的应用热点【1 】，多媒体信息包括文本、 图像、声音、视频和其它的各种新的媒体形式在网络环境中进行传输是未来发展的必然 趋势，在这种背景之下，出现了流媒体技术( 或者称为流式媒体技术) ， 相对于下载后观看的网络播放形式而言，流媒体技术的典型特征是把连续的音频和 视频信息压缩后放到网络服务器上【2 l ，用户下载的同时观看，而不必等待整个文件下载 完毕。由于流媒体技术的优越性，该技术广泛应用于视频点播、视频会议、远程教育、 远程医疗和在线直播系统中。 作为新一代互联网应用的标志，流媒体技术在近几年得到了飞速的发展。而流媒体 服务器又是流媒体应用的核心系统，是运营商向用户提供视频服务的关键平台。其主要 功能是对媒体内容进行采集、缓存、调度和传输播放，流媒体应用系统的主要性能体现 都取决于媒体服务器的性能和服务质量。 因此，流媒体服务器是流媒体应用系统的基础，也是最主要的组成部分。 1 2 流媒体服务器发展的现状 从流媒体服务器的实现技术来看，近年来出现了从p c 级的小型服务器到基于并行 处理结构的大型服务器发展的趋势。很多专业级的流媒体服务器都采用了专门的体系结 构，这类厂商提供全面的流媒体服务解决方案，其产品为流媒体服务量身定做，n c u b e 公司就是典型的代表，其n c u b e 4 产品专门面向商业化流媒体应用，这种流媒体服务器 其存储、网络i o 等完全针对视频应用而设计，针对不同的接入网络和系统需求，提供 以太网服务模块，a t m 接口服务模块，d v b a s l 接1 3 服务模块，q a m 接1 ：3 服务模块等， 并提供操作系统和流媒体应用软件。 以上所述针对的是大型流媒体服务器。对于一般流媒体服务器系统如校园视频教 室，网络会议，网络监控等小型服务器，如果其视频数据的压缩与解压完全采用基于 太原理j 人学硕十研究生学位论文 p c 的视频卡来完成，这样视频前端( c c d 等视频信号的采集、压缩、传输) 比较复杂， 可靠性和稳定性不高，而且价格较为昂贵，所占空间也较大。现在出现了一种新型的网 络化远程视频系统以嵌入式视频服务器为核心的实时流媒体服务器1 3 】视频经服务器编 码后，通过i n t e m e t 传送到远程的客户端，客户通过相应软件或者目前使用最多的流媒 体播放器：r e a l p l a y e r , w i n d o w sm e d i ap l a y e r q u i c kt i m e 等便可以观看。 1 3 研究嵌入式音视频服务器的必要性 基于嵌入式视频服务器技术的远程网络视频服务系统除了拥有与基于p c 机的网络 音视频服务系统所拥有的诸多优点之外，与之相比，更具有其他好处【4 】： 第一，节省费用。到目前为止，普通网络音视频服务系统解决方案通常都需要复杂 的系统，涉及p c 机，附加软件和硬件，工作站，有时还有视频音频电缆系统，而嵌入 式视频服务器系统整体是个模块化结构，体积小，易于安装、使用和维护、无需上述设 备和安装的接入； 第二，性能稳定，可靠性高。作为嵌入式视频服务器的终端一般都内置有高性能的 c p u 芯片，确保了实时性： 第三，即插即用的解决方案。只要接入网络，分配一个地址，可以用专用或通用软 件观察远程传输过来的图像声音： 第四，真正实现无人职守。基于p c 机的音视频服务系统需要人员对p c 进行操控， 而该视频服务系统可长期稳定运行，无需人员操作。 嵌入式视频服务器集视音频压缩技术和网络传输技术于一体，代表了音视频服务技 术的发展趋势，可广泛应用于远程图像传输系统，动态视频传输系统，数字视频广播、 电视会议系统、远程医疗服务系统以及可视电话等领域，其应用前景十分可观，这些技 术的成熟和发展必将对2 1 世纪的社会产生重大影响。 1 4 本文所做的工作 整体上看，流媒体服务器的关键技术分为两方面，一方面是服务器自身包含的硬件 技术，另一方面是运行流媒体服务的软件技术。其中流媒体服务软件是关键因素，流媒 体服务软件中的网络传输部分，又是重中之重。本文在硬件h 1 3 5 1 0 已经确定的情况下 把工作的重心放在了流媒体网络协议的设计与实现。 本文的研究目标是：研究一种基于r t p r t s p 协议音视频流传输控制方法。该方法 2 太原理i ：大学硕十研究生学位论文 可以控制多个数据流的发送，多个客户的并发连接，为选择发送通道( 如u d p 、组播 u d p 与t c p ) 提供途径，最终使实时数据，如音频与视频的受控、点播成为可能。本 论文的工作有： ( 1 ) 简要介绍目前的网络流媒体技术。 ( 2 ) 研究了用于多媒体信息传输的实时传输协议r t p r t s p 。 ( 3 ) 研究了h 2 6 4 网络编码格式，在应用中加入h 2 6 4 一o v e r r t p 数据包。 ( 4 ) 研究在嵌入式l i n u x 系统下如何开发网络程序，开发用于嵌入式系统的 r t p r t s p 协议。 ( 5 ) 设计并实现了基于r t p r t s p 的流媒体协议。包括协议功能模块的设计，各种 帧的设计。以及协议的代码具体实现。最终使该协议能够实时传输数据，能控制多个数 据发送，实现对远程数据的控制。 ( 6 ) 为了方便客户服务器硬件参数的获得与设置，本文设计并实现了一种命令控制协 议m t c p ( m a n a g e rt r a n s p o r tc o n t r o lp r o t o c 0 1 ) 。 实现一个运行于l i n u x 上的基于r t p r t s p 协议的r t s p 服务器。 ( 8 ) 为了验证嵌入式计流媒体服务器的可行性，又研究了基于w i n d o w s 平台的视频处 理技术d i r e c t s h o w 的体系结构，基本原理，过滤器的开发，开发了网络接收过滤器。 ( 9 ) 实现一个基于w i n d w o s 的网络播放器。 1 5 本文的组织 嵌入式流媒体服务器最基本的组成大体分成 ( 1 ) 嵌入式硬件平台 ( 2 ) 服务器软件 服务器软件又分为： 一 网络传输模块( r t p ) 一流媒体管理模块( r t s p ) ， 媒体描述模块( s d p ) 一 客户端设定服务器参数的命令控制协议，为了保证命令控制协议的安全性，它的传 输采用t c p 方式来传输，故为了以后描述方便我们把命令控制协议的简称 m t c p ( m a n a g e rt r a n s p o r tc o n t r o lp r o t o c 0 1 ) 协议。 以上所述是实现一个嵌入式流媒体服务器的关键环节，按照此思路本文组织如下： 太原理 ：大学硕十研究生学位论文 本文首先介绍论文的研究的背景，流媒体的发展现状及嵌入式流媒体服务器研究的 必要性。 第二章介绍了嵌入式服务器的构架。其中包括硬件平台，服务器软件整体结构，相 关的流媒体网络传输协议及视频编码方法，并对相关技术进行了选择。 第三章较为详细地介绍了在本系统中，r t p r t s p s d p ( 实时传输协议实时传输流协 议会话描述协议1 的设计设计。说明了嵌入式流媒体服务器对r t p r t s p s d p 协议的性 能要求，并对各协议的报文格式和工作流程进行了简化设计。 第四章详细地介绍了r t p r t s p s d p 的实现过程。包括实现过程应该注意的几个关 键点和几个代码文件中包含的主要功能模块。 第五章详细介绍了m t c p ( 命令控制协议) 的制定原因，参考的协议，所作的改善， 具体命令的设计及代码的实现。 第六章详细介绍了在嵌入式平台h 1 3 5 1 0 实现流媒体服务器的过程。包括软硬件的 措建，调试工具的介绍，流媒体服务器的代码实现。 第七章介绍了嵌入式流媒体服务器的调试。包括服务器本身的网络传输模块，数据 包的创建，发送，排序等功能的实现，以及为了测试服务器的可行性而编写的 d i i 也c t s h 0 w 网络播放器的实现。 论文的最后总结了整个开发过程并提出改进的设想。 4 太原理i ：人学硕十研究生学位论文 第二章嵌入式服务器及相关技术分析 2 1 系统需求分析 图2 - 1 多媒体传输系统 f i g2 - 1 m u l t i m e d i at r a n s m i t i n gs y s t e m 远程多媒体传输系统如图2 1 所示。实时音视频源采集到的数据需要及时发往客户 端。而为满足多个客户端都能够同时观看同一视频图像的要求，系统应能够处理多个客 户并发连接的要求。同时，传输系统应该能将一个音视频源同时发送到多个客户端，同 一个客户端也应该可以接收多个音视频源的数据。以上系统对传输部分性能的要求主要 有： ( 1 ) 实时性 音视频源向客户端发送的多媒体数据要求较高的实时性。 ( 2 ) 连续性 客户端在接收到视频数据并播放时，要求定的连续性。 ( 3 ) 对并发控制连接与多播的处理 从图2 - 1 可以看出，对传输系统的要求并不仅限于一对一的方式，而是要求网络传 输协议具有一对多的能力。 ( 4 ) 嵌入式硬件参数的设置 嵌入式服务器硬件环境的设定需要一种用户与服务器之间的通信协议比如图像压 缩格式的变化，图像编码的变化，像采样率的设定，云台控制等等。 太原理1 人学硕十研究生学位论文 2 2 系统设计 2 2 1 嵌入式视频服务器软件设计 嵌入式视频服务器最基本的组成为：嵌入式硬件平台与操作系统和服务器软件p 1 。 嵌入式硬件我们选择了h 1 3 5 1 0 ，它提供了完善的l i n u x 操作系统和采集和压缩音视 频的a p i ( 应用程序接口) 。这样本文就把重点放在了流媒体的服务器的软件的设计与实 现。流媒体的服务器的软件整体构架如图2 2 。 信号采集编码其它外设 介仃 音视频 外部设备 编码a p i a p l j n i 音视频服务器ll 服务器环境参 r罢模块r l i 数设置 ，、 网络实时传输 嵌入式音视频服务器构架 介 uu b t e h l e t 公共网络 o00 i 客户端ii 客户端il 客户端i 图2 - 2 嵌入式服务器软件构架 f i g2 - 2s o f t w a r ea r c h i t e c t u r eo fe m b e d d e ds t r e a m i n gs e r v e r 图中视频采集和音视频的编码模块，硬件已经提供，我们的重点是视频服务器的管 理模块，网络实时传输模块，服务器环境参数设置模块( 涉及到命令控制m t c p 协议) 。 需要依次解决需求分析中提出的问题： ( 1 ) 实时性 为满足这一要求，本文选择r t p r t s p 协议，传输层协议应选择u d p 协议。u d p 协议是无连接的传输层协议，不进行数据的重传与确认。而t c p 是面向连接的传输层 协议，在传输过程中不仅要对收到的分组进行确认，当有分组丢失时还必须进行重传， 导致被丢失分组之后的分组均被阻塞。所以，如果r t p r t s p 协议基于t c p 的话，丢失 太原理【：人学硕十研究生学位论文 分组将会造成播放延时的增大。而在另一方面，视频数据的特点在于相较于其它数据有 较高的容错能力，当一般视频数据当中丢失少量的的片断时，并不会严重影响观看效果。 因此，在实际应用中，用u d p 协议来传输音频视频媒体应该是一个不错的选择。而对 于一些控制信息，对实时性要求不高，更要求可靠性的，则可以用t c p 协议来传输。 ( 2 ) 连续性 为此本协议特别提供了一个缓存方法，很好的管理了缓存的读写。r t p r t s p 协议 和缓存联合工作向上层应用程序提供数据，解决画面的连续性问题。 解决连续性问题包括三个方面： 第一方面网络速度要能够保障，第二方面每秒播放的帧数应达到一定的标准，第三 方面，画面应较为流畅，不应有时断时续的现象产生。 对第一方面的要求，一要求网络环境好，二要求数据源地数据压缩比应该尽可能大。 我们选择h 2 6 4 编码方式，后面会详细介绍。 对第二个方面的要求，首先应保证图像采集端有足够快的采集速度，采集好之后， 传输部分也能够及时发出，而在接收端也应有足够的接收和处理能力。在盯p i 玎s p 协 议中则体现为能够及时地将应用程序交来的r t p 包发送出去，以及在接受端及时地把接 收到的包处理后提供给上层应用程序使用。 对第三个方面的要求，则通过在r t p r t s p 协议的接收方维持一个抖动缓存来实现。 r 耶瓜t s p 协议应该根据具体运行环境下的传输时延创建一个抖动缓存。 ( 3 ) 对并发控制连接与多播的处理 对于并发的多连接控制r t s p 协议能很好地完成，但是由于他只提供应用的框架具 体的实现需要自己来实现。对于多播具体的实现要依赖于底层网络的特性。在总线式局 域网的情况下，底层网络支持多播，r t p r t s p 协议可以直接利用这一功能。这样既可 以节省带宽，又使接收方接收数掘时没有时间上的差别。而对于不具有多播功能的下层 网络，本论文中r t p ，r t s p 协议采取保存各个点播客户的信息，然后选择依次向每一个 客户接收点发送数据来达到一对多的目的。 ( 4 ) 嵌入式硬件参数的设置 客户服务器进行参数设置的消息格式，网络上没有这种特定的协议，我们必须自己 设定，本文设计了一种适合我们软硬件环境需求的命令控制协议，为了以后描述方便我 们把命令控制协议简称m t c p ( m a n a g e rt r a n s p o r tc o n t r o lp r o t o c 0 1 ) 协议。用来解决客户对 服务器参数的设置。 7 太原理r 人学硕十研究生学位论文 2 2 2 嵌入式视频服务器的重点 从图2 1 及流媒体服务器的构建上，下列几方面是设计与实现过程的重要方面 ( 1 ) 网络传输 流媒体协议的定位与实现决定着嵌入式服务器的性能的高低，决定它能否广泛的应 用，它是嵌入式服务器的基础。目前普遍都选择r t p r t s p 协议，并且有很多丌源项目， 比如o p e n r t s p ：一个基于命令行的，可以用于打开、发起、接收或记录媒体流的r t s p 实现。o p e n r t s p 没有独立的源代码，它们包含于工程“l i v e 5 5 5s t r e a m i n gm e d i a ”内， 没有把网络单元独立出来，和其它部分的藕荷性比较大。本文开发的网络模块要保证藕 荷性小，能应用于多个平台。开发网络流媒体协议要求我们深入流媒体协议。本章2 4 将详细的介绍。 网络的传输最终要定位到网络传输的数据包构造，在选定r t p r t s p 协议的条件下， r t p 帧的设计，r t p 数据的排序，r t p 打包，r t p 协议的工作流程成为我们设计与实现 的重点。 考虑到在校园网，局域网中流媒体的控制的必要性不是很大，所以本文r t c p ( 流媒 体控制协议) 暂不考虑，如果以后在广域网中应用那么就要考虑r t c p 的实现，这也是本 文以后要扩展的地方。 ( 2 ) 音视频服务器管理模块 如果是简单的一对一的情况，服务器的管理很简单，伴随着客户数目的增多，信息 源数目的增加，如何管理多个客户与服务器的会话，如何处理服务器与客户的命令对话， 是必须解决的问题，它也是关系服务器成败的关键因素，第三章，第四章我们详细介绍 了服务器流与会话管理模块r t s p 的详细设计与实现。 ( 3 ) 服务器环境参数设置 如何让m t c p 命令控制协议，保持规范性，易用性，可扩展性是我们的目标，第五 章详细介绍了m t c p 的设计与实现。 本文的后面内容将上述三个重点展开行文。 2 3 嵌入式硬件平台介绍 h i 3 5 1 0 是一款基于a r m 9 ，d s p 双处理器内核以及硬件加速引擎组成的高集成、可 编程、支持m p e g 一4 ，a v c h 2 6 4 等多协议的高性能通信媒体处理器，可广泛应用于实 时视频通信、数字图像监控等领域。开发板的外观如图2 0 所示。 8 太原理l ：人学硕十研究生学位论文 图2 - 3h i3 5 10 开发板图 f i 9 2 - 3h i 3 5 1 0d e v e l o pb o a r d 视频处理单元能够支持m p e g 4 a v c h 2 6 4b a s e l i n e 、h 2 6 3 + 、h 2 6 1 、j p e g 等多 种协议的实时编解码。m p e g - 4 a v c h 2 6 4 先进的运动估计、运动补偿、d e - b l o c k i n g 技 术极大提高了压缩效率及视频质量。加密、d r m 和数字水印技术为数据和通信的安全 提供了强有力的保障。 图形处理单元能够提供视频去噪、图像增强，以及运动检测功能：支持视频、图形 缩放，以及d e i n t e r l a c e 处理；支持o s d ，2 d 图形加速，为应用图形界面开发提供丰富 的特性。 内部集成的3 端1 ：3 以太网交换提供了强大的网络通信功能。 视频处理单元包括视频协处理器和视频编解码器，实现对视频编解码过程的硬件加 速。视频编码器编码能力： 一 支持h 2 6 4b a s e l i n ep r o f i l e ； ，h 2 6 4 标准模式下支持1 4 象素精度运动估计； 一 同时编解码可以达到3 0 f p s c i f 一最大支持d 1 分辨率 ，运动检测 硬件已经实现音视频的采集和编码，并且对外部提供了相应的a p i 接口，故此我们 不把数据源的获得当作重点。我们把重点放在视频服务器的软件上。 9 太原理1 i 人学硕十研究生学何论文 最终要实现在此硬件平台上实现基于r t p r t s p 协议的流媒体服务器。 2 4 流媒体 2 4 1 流媒体概述 随着计算机硬件技术和宽带网络的快速发展，人们希望互联网不再只有简单的网页 浏览、文件下载等功能，更能承载实时的视、音频信息。因此，能满足“边下载边播放” 的流媒体技术应运而生并且得到快速发展，流媒体业务也被认为是未来高速宽带网的主 流业务。 流媒体( s t r e a m i n gm e d i a ) 是指视频、声音和数据通过实时传输协议以连续流方式 顺序从源端向目的地传输，目的地只需接收到一定数据缓存后就可以立即播放的多媒体 应用【l s l 。 流媒体又根据流式传输的不同实现方式分为顺序传输流p r o 乒e s s j v e s t r e 砌i n g ) 和实时 传输流( r e “t i m es t r e a m i n g ) 两种。实时传输流指保证媒体信号带宽与网络连结匹配，使 媒体内容可被实时观看到。实时流需要专用的流媒体服务器与传输协议，特别适合现场 事件，也支持随机访问。用户可以控制浏览的内容。一般来说，如视频为实时广播，或 使用流式传输服务器，或应用如r i s p 的实时协议，即为实时传输流。而顺序流是使用 1 甲服务器顺序下载文件。在下载文件的同时，用户可观看己下载的那部分，而不能 跳到还未下载的剩余部分，顺序流不可根据用户的连接速度作调整，严格来讲，它不是 真正意义上的流式传输技术。 2 4 2 流媒体特点 流媒体把连续的影像和声音信息经过特殊的压缩方式分成一个个压缩包，由视音频 服务器向用户计算机连续、实时地传送。让用户一边下载一边观看、收听，而不需要等 整个压缩文件下载到自己的机器后才可以观看。该技术先在用户端的电脑上创造一个缓 冲区，于播放前预先下载文件的一小段数据作为缓冲，播放程序取用这一小段缓冲区内 的数据进行播放。在播放的同时，多媒体文件的剩余部分在后台继续下载填充到缓冲区。 这样，当网络实际连线速度小于播放所耗用数据的速度时，可以避免播放的中断，也使 得播放品质得以维持。所以流媒体最显著的特征是“边下载、边播放”。 本文主要涉及实时多媒体流的处理。实时多媒体数据具有以下特点： ( 1 ) 数据量大。以分辨率传输速率为6 4 0 x 4 8 0 1 5 f p s 的运动图像来说，每秒钟产 1 0 太原理i ：大学硕十研究生学位论文 生的数据量就高达1 4 m b 左右。因此，为了便于传输和存储，实时多媒体数据需要进行 压缩编码处理。 ( 2 ) 数据传输的要求较高。在几个点同时进行多发多收的场合，对系统网络的传输 要求很高。 ( 3 ) 对于数据处理的时间要求严格。无论是发送方的数据采集、压缩编码和数据发 送，还是接收方的数据接收、解压和播放，都要求按一定的时间次序进行。收、发双方 要同步地工作。 2 4 3 实时多媒体数据对传输网络性能的要求 多媒体数据对传输网络性能的要求主要有： ( 1 ) 带宽 未压缩的实时数字视频要求以数十兆的速率传送。h 2 6 1 标准的压缩数字视频流需 要6 4 k b p s 一2 m b p s 的传输带宽。2 0 0 3 年3 月，r r u t i s o 正式公布了h 2 6 4 视频压缩 标准，h 2 6 4 具有比以往标准更出色的性能，所以被称为新一代视频编码标准。具体讲， h 2 6 4 与h 2 6 3 或m p e g 一4 相比，在相同质量下，h 2 6 4 数据码率能降低一半；在相同 码率下，h 2 6 4 信噪比明显提高。 ( 2 ) 传输延迟 对于交互视频应用来说，i t u 标准建议最大的端到端总延迟不要超过1 5 0 m s 。其中 信源的压缩打包需要3 0 m s 左右，实际网络传输延迟只能在6 0 m $ 左右。 ( 3 ) 时严性 多媒体数据的通信是面向连续比特流的，要求数据之间有严格的时间关系。所以要 求通信网络能满足多媒体数据流的传输实时性，特别是在多发多收的应用环境下也能保 证传输的实时性。 ( 4 ) 可靠性 多媒体数据不象常规的数据传送不允许出错，而是可以有一定的差错，只要不影响 信息的理解即可。由于降低了可靠性，延迟可以相对减小。 ( 5 ) 同步 包含有流内同步和流问同步两种同步：流内同步是保持单个流内部的关系，即按照 一定的延迟和抖动来传送流：流间同步是不同媒体之间同步( 主要是音频和视频) ，通过 时间戳和播放缓冲相结合的方式来实现。 太原理1 人学硕十研究生学位论文 2 5 多媒体实时流传输协议 与多媒体的高带宽、实时性和突发流量相比，在现实生活中的网络有着带宽有限、 不可预测的延迟等局限，如何解决这些矛盾是多媒体网络必须面对的问题。因此多媒体 网络实时协议的设计成为至关重要的问题为此，互联网工程任务组i e t f ( i n t e r n e t e n g i n e e r i n gt a s kf o r c e ) 陆续提出了一些高效的实时传输协议：如r t p ( r e a l t i m e t r a n s p o r t p r o t o c 0 1 ) ，r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) ，r s v p ( r e s o u r c e r e s e r v a t i o n p r o t o c 0 1 ) ，r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 等，期望它们协同工 作，形成一个强大的协议组，以解决目前互联网多媒体信息传输所面临的问题。我们通 过对多种传输协议的分析与比较最后把要实现的协议选定为实时流传输协议r t p r t s p 。 2 5 1 实时流传输协议r t p r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 协议1 7 - 8 1 最初是在7 0 年代为了尝试传输声音文 件，把包分成几部分用来传输语音，时间标志和队列号。经过一系列发展，r t p 第一版 本在1 9 9 1 年8 月由美国的一个实验室发布了。到本世纪1 9 9 6 年形成了标准的的版本。 很多著名的公司宣称它们的产品是基于r t p 协议的。如n e t s c a p e 公司的“n e t s c a p e l i v e m e d i a ”及m i c r o s o f t 公司的“n e t m e e t i n g ”。 r t p 被定义为传输音频、视频、模拟数据等实时数据的传输协议。最初设计是为了 数据传输的多播，但是它也用于单播的。与传统的注重的高可靠的数据传输的运输层协 议相比，它更加侧重的数据传输的实时性。此协议提供的服务包括时间载量标识、数据 序列、时戳、传输控制等。 威胁多媒体数据传输的一个尖锐的问题就是不可预料数据到达时问。但是流媒体的 传输是需要数据的适时的到达用以播放和回放。r t p 协议就是提供了时间标签，序列号以 及其它的结构用于控制适时数据的流放。 在流的概念中”时间标签”是最重要的信息。发送端依照即时的采样在数据包旱隐 蔽的设置了时间标签。在接受端收到数据包后，就依照时间标签按照j 下确的速率恢复成原 始的适时的数据。不同的媒体格式调时属性是不一样的。但是r t p 本身并不负责同步， r t p 只是传输层协议，为了简化了运输层处理，提高该层的效率。将部分运输层协议功 能( 比如流量控制) 上移到应用层完成。同步就是属于应用层协议完成的。它没有运输 层协议的完整功能，不提供任何机制来保证实时地传输数据，不支持资源预留，也不保 证服务质量。r t p 协议只提供了基本的协议框架，使用者可以针对具体的应用对它进行 太原理1 i 大学硕十研究生学位论文 扩展。r t p 协议一般运行于u d p 9 j 层之上，这样可以直接利用u d p 提供的多点投递和 数据校验等功能。r t p 报文甚至不包括长度和报文边界的描述。同时r t p 协议的数据报 文和控制报文的使用相邻的不同端口，这样大大提高了协议的灵活性和处理的简单性。 r t p 协议虽然是传输层协议但是它没有作为o s i 体系结构中单独的一层来实现。 r t p 协议通常根据一个具体的应用来提供服务，r t p 只提供协议框架，开发者可以根据 应用的具体要求对协议进行充分的扩展。目前，r t p 的设计和研究主要是用来满足多用 户的多媒体会议的需要，另外它也适用于连续数据的存储，交互式分布仿真和一些控制、 测量的应用中。 2 5 2 流传输控制协议r t s p ( 1 ) r t s p 协议简介1 1 0 1 r t s p 是由r e a l n e t w o r k s 和n e t s c a p e 以及哥伦比亚大学共同提出的。它是从 r e a l n e t w o r k s 的“r e a l a u d i o ”和n e t s c a p e 的“l i v e m e d i a ”的实践和经验发展来的。第 一份r t s p 协议是由i e t f 在1 9 9 6 年8 月9 日正式提交后作为i n t e r n e t 的标准，在 此后此协议经过了很多明显的变化。它的应用现在是广泛的，a p p l e ，i b m n e t s c a p e ， a p p l e ，i b m ，s i l i c o ng r a p t c c s ，v x t r e m e ，s u n 还有其它公司都宣称它们的在线播放器支 持r t s p 协议。 r t s p ( r e a l t i m e s t r e a m i n g p r o t o c 0 1 ) 协议定义了如何有效地通过i p 网络传送多媒 体数据，是一种客户端到服务器端的多媒体描述协议。 r t s p 是一个非常类似于h 1 1 甲的应用层协议。每个发布和媒体文件也被定义为 r t s pu r l 。 r t s p 是应用