（信号与信息处理专业论文）视频会议图像获取和处理技术研究.pdf

中北大学学位论文 视频会议图像获取和处理技术研究 摘要 视频会议就是利用多媒体通信网络和多媒体终端，使身处异地的与会者就同一议题 参与讨论，与会者不仅可以听到发言者的声音，而且还能看到发言者的图像及背景，同 时还可以交流有关议题的数据、文字、图表等信息。这中间必然牵涉到许多相关的视频 图像获取和处理问题，如视频图像的捕捉、压缩编码、加密、水印嵌入以及视频图像格 式相互转换等等。因此本文以视频会议系统为应用背景，深入研究和详细论述了视频会 议图像获取和处理技术，这在科学技术研究和工程应用上都有着积极的意义。 首先，本文详细论述了视频图像获取的主要方法、实现方案以及视频图像获取的硬 件设备，确定了本文所采取的视频图像获取方案。 其次，本文深入研究了视频图像格式转换和视频图像压缩编码这两种视频图像处理 技术，并以v i s u a lc + + 6 o 平台和p c 机为工具，分别做了视频图像格式转换和视频图像 压缩编码的仿真实验。在视频图像格式转换部分，实现了r g b ( 2 4 位色) 与u ( 4 ：2 ：0 ) 视频格式之间的转换；在视频图像压缩编码部分，实现了无损压缩编码中的哈夫曼 ( h u f f m a n ) 编码和有损压缩编码中的离散余弦变换( d c t ) 。 最后，本文以p c 机为硬件环境、以v i s u a lc + + 6 0 为开发工具，结合h 2 6 4 标准的 参考效验模型( j m l 0 1 ) 设计并实现了h 2 6 4 标准的编码器，在v i s u a lc + + 6 0 环境下编 译运行，对不同的视频序列进行了压缩编码处理，并对压缩编码后的结果进行了分析， 充分证明了本文所实现的编码器的优越性能。 关键词：视频图像获取，视频图像处理，视频图像格式转换，压缩编码，h 2 6 4 中北大学学位论文 r e s e a r c ho nt e c h n i q u ef o ra c q u i s i t i o na n d p r o c e s s i n go f v i d e o c o n f e r e n c i n gi m a g e a b s t r a c t t h ev i d e o c o n f e r e n c i n gm a k e su s eo fm u l t i m e d i ac o m m u n i c a t i o nn e t w o r k s a n d m u l t i m e d i at e r m i n a l s ，a n dl e t sp a r t i c i p a n t sw h oa r ea td i f f e r e n tp l a c ed i s c u s st h ei d e n t i c a l s u b j e c t t h ep a r t i c i p a n t sn o to n l yc a nh e a rs p e a k e r sv o i c e s ，b u ta l s oc a ns e es p e a k e r si m a g e a n db a c k g r o u n d ，m e a n w h i l ec a ne x c h a n g er e l a t e di n f o r m a t i o ns u c ha sd a t a , t e x ta n dd i a g r a m e t c i ti n v o l v e si n e v i t a b l ym a n yr e l a t e dq u e s t i o n so fa c q u i s i t i o na n dp r o c e s s i n go fv i d e o i m a g e ，l i k ev i d e oi m a g ec a p t u r e ，c o m p r e s s i o na n de n c o d i n g ，e n c r y p t i o n ，w a t e r m a r k i n s e r t i n g a sw e l la si n t e r c o n v e r s i o no fv i d e oi m a g ef o r m a te t c s ot h et h e s i sr e s e a r c h e sa n di n t r o d u c e s t h et e c h n i q u ef o ra c q u i s i t i o na n dp r o c e s s i n go fv i d e o c o n f e r e n c i n g i m a g eb a s e do nt h e a p p l i c a t i o nb a c k g r o u n do fv i d e o c o n f e r e n c i n gs y s t e md e e p l y , i th a sp o s i t i v es i g n i f i c a n c ei nt h e s c i e n c ea n dt e c h n o l o g yr e s e a r c ha n dt h ep r o j e c ta p p l i c a t i o n f i r s t l y , t h em a i nm e t h o d ，t h ef e a s i b l ep l a na sw e l la st h eh a r d w a r ee q u i p m e n tf o r a c q u i s i t i o no fv i d e o c o n f e r e n c i n gi m a g ea r ei n t r o d u c e di nd e t a i l ，a n dt h e nt h et h e s i s d e t e r m i n e st h ep l a nf o ra c q u i s i t i o no f v i d e o c o n f e r e n c i n gi m a g e s e c o n d l y , t w ok i n do fv i d e oi m a g ep r o c e s s i n gt e c h n i q u e sa r er e s e a r c h e dd e e p l y ：t h e i n t e r c o n v e r s i o no fv i d e oi m a g ef o r m a ta n dt h ec o m p r e s s i o na n de n c o d i n go fv i d e oi m a g e ，a n d t h e nt h et h e s i sd o e ss i m u l a t i o ne x p e r i m e n tf o r t h ei n t e r c o n v e r s i o no fv i d e oi m a g ef o r m a ta n d t h ec o m p r e s s i o na n de n c o d i n go fv i d e oi m a g eb yt a k i n gt h ev i s u a lc + + 6 0p l a t f o r ma n dt h e p ca st 0 0 1 i nt h ep a r to ft h ei n t e r c o n v e r s i o no fv i d e oi m a g ef o r m a t ，t h ei n t e r c o n v e r s i o n b e t w e e nr g b ( 2 4 一b i tc o l o r ) a n dy u v ( 4 ：2 ：0 ) i sr e a l i z e d ；i nt h ep a r to ft h ec o m p r e s s i o na n d e n c o d i n go fv i d e oi m a g e ，t h eh u f f m a ne n c o d i n go fl o s s l e s sc o m p r e s s i o na n dt h ed c to f l o s s yc o m p r e s s i o na r er e a l i z e d l a s t l y , t h eh 2 6 4e n c o d e ri sd e s i g n e da n di m p l e m e n t e db a s e do nt h eh 2 6 4r e f e r e n c e 中北大学学位论文 v e r i f i c a t i o nm o d e l ( j mlo 1 ) b yt a k i n gt h ep ca sh 莉、w 鹏e n v i r o n m e n ta n d t a k i n gt h ev i s u a l c + + 6 0a s d e v e l o p m e n tt 0 0 1 u n d e rt h ei d eo fv i s u a lc + + 6 0 ，w em a k ep r o c e s s i n go f c o m p r e s s i o na n de n c o d i n gt od i f f e r e n tv i d e os e q u e n c e s ，a n dt h e nm a k ea n a l y s i st or e s u l t so f c o m p r e s s i o na n de n c o d i n g ，i tp r o v e sf u l l yt h eh i g hp e r f o r m a n c eo fe n c o d e r k e y w o r d s ：a c q u i s i t i o no fv i d e oi m a g e ，p r o c e s s i n go fv i d e oi m a g e ，i n t e r c o n v e r s i o no fv i d e o i m a g ef o r m a t ，c o m p r e s s i o na n de n c o d i n g ，h 2 6 4 原创性声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含 其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人 承担。 论文作者躲因! 堑盹 如3 、岁、2 男 关于学位论文使用权的说明 本人完全了解中北大学有关保管、使用学位论文的规定，其中包括： 学校有权保管、并向有关部门送交学位论文的原件与复印件；学校可 以采用影印、缩印或其它复制手段复制并保存学位论文；学校可允许学 位论文被查阅或借阅；学校可以学术交流为目的，复制赠送和交换学位 论文；学校可以公布学位论文的全部或部分内容( 保密学位论文在解密 后遵守此规定) 。 签名：日期：如d 刚 导师签名： 鲨主鱼 日期： 中北大学学位论文 1 1 视频技术的应用领域 1 绪论 从视频会议、可视电话到d v d 、数字电视，数字化视频技术的应用越来越广泛【1 1 。 目前视频技术的应用主要包括以下几个方面： 一、视频会议 利用多媒体通信网络和多媒体终端，使身处异地的与会者就同一议题参与讨论，与 会者不仅可以听到发音者的声音，而且还能看到发言者的图像及背景，同时还可以交流 有关议题的数据、文字、图表等信息。 二、网上直播 网上直播使观众摆脱了对电视的依赖，使信息尤其是视频信息传递的时效性大大加 快。宽带网用户可以通过网络看到高质量的音频和视频信号。由于采用了流媒体技术中 的智能流技术，网络可以根据带宽的动态变化而自动地调整播放质量，避免了在播放过 程中的信息流中断。 三、网上视频点播 网上视频点播融合了多媒体计算机技术、网络通信技术和视听技术，彻底改变了用 户被动收看节目的状态，实现了节目的按需收看和任意播放，能为用户提供实时、交互 和按需点播服务。 四、网络教育 网络教育可以实现实时“面对面 远程授课、视频课件点播、同步课业辅导、远程 交流讨论、交互式答疑等丰富的教学功能，突破了课堂教学和课本教学信息单一化的局 限，能充分开发、组合和利用各种教育信息资源，将多学科、多层次的丰富信息通过多 种途径传播。 五、远程诊疗 医生通过多媒体通信网传输的视频信息为远在千里的病人提供诊断服务，如“面对 病人进行观察和询问，通过远端的医疗传感器或仪表对病人进行多项病理检查，检查的 中北大学学位论文 结果可立即传送到中心，为医生诊断提供依据。如果需要，通过远程医疗网络还可组织 各地的医疗专家为患者进行会诊，讨论医疗方案。 六、多媒体邮件系统 多媒体邮件系统除可传送文件外，还可传送图像、视频和音频数据。特别是在接收 者不在现场，或者信息可以被延迟发送而不要求交互通信的情况下，发送者可以编辑某 邮件后，通过多媒体邮件系统将其传送到对方的邮箱中，而接收者可在任何方便的时候 取出邮件。该邮件除文字外，还包括视频和音频等信息。 1 2 课题研究的目的和意义 众所周知，视频会议就是利用多媒体通信网络和多媒体终端，使身处异地的与会者 就同一议题参与讨论，与会者不仅可以听到发言者的声音，而且还能看到发言者的图像 及背景，同时还可以交流有关议题的数据、文字、图表等信息【2 】。 在人类接收的信息中，听觉信息占2 0 ，视觉信息占6 0 ，其他如味觉、触觉、嗅 觉总的加起来不过占2 0 ，所以作为传递信息的重要媒体和手段图像信息是十分重 要的【3 1 。 图像与视频是两个既有联系又有区别的概念：静止的图片称为图像( i m a g e ) ，运动 的图像称为视频( v i d e o ) 。 视频图像是活动图像或运动图像，实际上是由许多单一的画面组成的，每幅画面称 为一帧，由于人眼的视觉特性，每秒2 4 帧的画面就形成了具有活动影像感觉的视频图 像。计算机网络和视频编码技术的发展也使得人们对基于网络的视频应用越来越重视。 目前，视频传输的应用系统如视频会议系统、远程网络监控系统和远程医疗诊断系统等 方兴未艾，并己经对社会产生了巨大的影响。随着互联网的蓬勃发展，使人们对网络视 频传输也提出了越来越高的要求【4 】。 随着信息和通信技术的发展，视频技术己成为当今多媒体研究中的重要课题。视频 这种常见的媒体形式，己经在视频会议、计算机通信和视频点播等众多领域得到了广泛 的应用，这中间必然牵涉到许多相关的视频图像获取和处理问题，如视频图像的捕捉、 保存、压缩编码、加密以及视频图像格式的相互转换等等【5 , 6 , 7 】。由此可见本文所做的视 2 中北大学学位论文 频会议图像获取和处理技术研究在科学技术研究和工程应用上都有着积极的意义。 1 3 国内外研究现状、发展动态 目前，实现视频图像获取主要有两种方法，一种是利用视频捕获卡所附带的s d k 开发工具。开发者只需利用采集卡所提供的控件就能方便的进行二次开发。开发简便、 采集性能好是其最大的优点。同时，缺点也是显而易见的：这种捕获方法的实现是与设 备有关的，依赖于视频捕获卡与摄像头的类型，不利于灵活的应用，而且其封装好的 s d k 函数不利于用户作更底层一点的操作，扩展性不好【8 】。 另一种方法是利用数字视频处理软件开发包直接对数字化的视频捕获设备捕获到 的视频数据进行处理。用它开发应用程序的特点是捕获视频时不依赖专用的硬件设备， 而且应用灵活。随着计算机总体性能的不断提升，用软件来实现视频采集过程也能获得 较好的图像效果。w i n d o w s 平台为多媒体信息技术的处理和集成提供了强有力的支持， 也为数字视频信息的实时捕获提供了多种实现技术。主要有早期的m i c r o s o f t 多媒体控 制接口m c i ( m u l t i m e d i ac o n t r o li n t e r f a c e ) ，这里主要指v i d e of o rw i n d o w $ ( v f w ) ；以及 现在的d i r e c t s h o w 技术【9 1 。 v f w 技术和d i r e c t s h o w 技术均提供了实现w i n d o w s 环境下视频实时捕获的标准接 口，尤其d i r e c t s h o w 更是在v f w 基础上发展起来的新一代基于c o m 的开放式多媒体 开发平台，现已在视频捕获等多种领域的应用和开发中占据着非常重要的地位。例如， a d o b e 公司在人们熟知的视音频编辑软件p r e m i e r e 中实现了视频捕获的功能。在 p r e m i e r e 5 1 之前版本实现视频捕获采用的是v f w 技术，随着d i r e c t s h o w 技术的推广， p r e m i e r e 6 0 的视频捕获开始采用d i r e c t s h o w 技术【1 0 1 。 数字图像就是离散化后的图像数据，它是一个灰度值的二维数组，在计算机内通常 用一个数字矩阵的形式表示，便于计算机进行存储、显示或处理。数字图像具有信息量 大、相关性大、分辨率高和识别困难等特剧1 1 】。 数字图像处理的发展是随着计算机技术的发展而发展壮大的。图像处理系统的发展 十分迅速，其最主要的原因在于计算机的高速发展，从1 9 8 1 年第一台美国i b m 公司的 p c 微机发展到现在的奔腾微机，其惊人的发展速度，极大的推动了图像处理系统的发 3 中北大学学位论文 展。另一方面，半导体器件和大规模集成电路技术的迅猛发展也促进了图像处理系统的 发展。这主要表现在处理器的处理速度的提高和存储器存储容量的增大，而二者恰恰是 图像处理系统的关键所在。 图像处理系统分通用图像处理系统和专用图像处理系统 1 2 , 1 3 】。在通用图像处理系统 方面，就图像处理系统的种类和综合特点来说，从时间上，大致可以划分为三个阶段： 第一阶段大体上是2 0 世纪6 0 年代末到8 0 年代中期。这段时期的图像处理系统采 用机箱式结构，体积大、价格昂贵。 第二阶段大体上是2 0 世纪8 0 年代中期到9 0 年代初期。其主要特点是采用插卡式， 借助于微机的插槽来进行图像的采集和处理。如美国i m a g i n gt e c h n o l o g y 公司推出的 p c v i s i o n 图像卡，d t 公司推出的d t 2 8 5 1 图像卡以及中国的中国科学院自动化研究所 研究的c a 系列图像卡，清华大学研究成功的t h 系列图像卡等都具有这个特点。 第三阶段大体是从2 0 世纪9 0 年代初期开始的。这一阶段的主流方式是以微机p c i 总线和以图像压缩传输为特点的图像通讯方式。另一方面，图像处理硬件系统和微机之 间的数据传输主要在i s a 总线上进行。 就数字图像而言，图像信息的获取就是要把图像转换成适合输入计算机或数字设备 的数字信号。这一过程主要包括摄取图像、光电转换及数字化等几个步骤。目前摄取图 像可以使用c c d 、c m o s 、c i s 等图像传感器或摄像设备，其中c c d 使用最广f 1 4 】。数 字图像具有两个突出的特点，一是数据量大，二是对处理速度要求高。随着半导体技术 的飞速发展，v l s i ( 超大规模集成电路) 技术的不断提高，电子元器件的性能不断被推向 新的高峰，从而使嵌入式实时视频图像处理技术的成本不断下降，嵌入式视频图像处理 技术也成为目前研究的热点领域。 1 4 论文各章节内容安排 第一章，绪论。本章首先简要说明了视频技术的应用领域；其次论述了本课题即视 频会议图像获取和处理技术研究的目的和意义，介绍了本课题的国内外研究现状及发展 动态；最后给出了论文各章节的内容安排。 第二章，基于典型网络的视频会议系统的研究。本章首先简要叙述了网络视频的特 4 中北大学学位论文 点以及视频会议系统中应用的关键技术；然后介绍了两类基于典型网络的视频会议系 统：局域网中点对点模式的视频会议系统和i n t e r n e t 网络中客户机一服务器模式的视频 会议系统，详细论述了两类网络中的视频会议系统所采用的视频图像获取和处理技术。 基于典型网络的视频会议系统的研究为第三章和第四章对视频会议图像获取和处理技 术的深入研究打下了基础。 第三章，视频会议图像获取技术研究。本章首先论述了视频图像获取的主要方法、 实现方案以及视频图像获取的硬件设备，简要介绍了图像的采样和量化；然后详细说明 了视频采集卡和数字摄像头这两类常用视频图像获取设备的工作原理和工作过程；最后 确定了本课题所采取的视频图像获取方案。 第四章，视频会议图像处理技术研究。本章首先简单介绍了图像处理发展概况，使 读者对图像处理技术有一个大致了解；其次说明了图像处理系统，一般的数字图像处理 硬件系统是以计算机为中心，配有图像输入、输出设备等，再加上主机的通用外部设备 等组成。而数字图像处理软件系统则包括在d o s 平台、w i n d o w s9 5 w i n d o w s9 8 w i n d o w s x p 等操作系统下的编程软件和已有的商业软件。在此基础之上确定了视频会议图像处 理技术研究的硬件环境( p c 机) 和软件环境( v i s u a lc + + 6 0 ) ；然后详细论述了视频图像 处理中的关键技术压缩编码。简单介绍了视频图像压缩编码的研究综述，说明了视频图 像压缩编码的必要性、可能性以及效率评价标准，深入研究了视频图像压缩编码的基本 方法，包括统计编码中的哈夫曼( h u f f m a n ) 编码和变换编码中的离散余弦变换( d c t ) 。 本章为第五章对视频图像压缩标准 2 6 4 的深入研究做了充分的准备。 第五章，视频图像压缩标准叫2 6 4 。本章首先简单介绍了视频图像压缩标准的 发展历史；其次对h 2 6 4 标准作了详细的概述，包括h 2 6 4 标准的提出、应用领域以及 h 2 6 4 标准的特点和技术性能；然后深入研究了h 2 6 4 的编码原理，包括h 2 6 4 所支持 的框架、语法结构和h 2 6 4 的编码器结构；最后通过j m l 0 1 参考模型设计并实现了h 2 6 4 编码器，并且对h 2 6 4 编码器的性能进行了测试，测试证明该编码器有着良好的压缩编 码效率。 第六章，全文总结与展望。对全文的研究工作进行了总结并给出了本课题进一步研 究的方向。 5 中北大学学位论文 2 基于典型网络的视频会议系统研究 视频会议系统是计算机技术、网络技术和数据信号处理技术相互融合的产物，它是 会议系统发展历史上的一个新的阶段，同时它的发展直接或间接地继承了电视会议系统 的研究成果，并在此基础上研究和解决一些新的更复杂的问题。如：视频会议系统的体 系结构设计问题，视音频编解码算法的设计与快速实现问题，音频流视频流的复分方案 的设计与实现问题和多点通信模型的设计与实现问题等等【1 5 】。 计算机视频会议系统可将不同会场的与会人员活动情况、会议内容以及各种数据和 信息及时传递给每个与会者，实现实时多媒体信息交互，进行实时讨论和共同设计。多 媒体计算机会议需处理图像、语音、数据等大量信息，利用计算机强大的信息处理能力， 可有效地进行协同工作。作为一种通信手段，视频会议以其快速、高效、经济、方便等 优点，在一定程度上可取代传统会议，广泛应用于多种领域。 2 1 网络视频的特点 网络视频具有交互性、实时性、集成性与码率可变、突发性强等特点： 一、交互性 用户在收看电视时，只能被动地观看电视台播放的电视节目，不能自由地控制和处 理，只有频道选择权，没有视频播放控制权，更不能对视频进行交互式操作。网络视频 则具有强大的交互性，它允许用户向发送方要求发送指定的视频信息，并能控制播放过 程，如开始、暂停、后退和快进等。 二、实时性 网络视频与时间密切相关，并与音频有很大的意义相关性，要求接收到的视、音频 信息必须严格同步。这就决定了网络视频必须具有实时性，即不允许出现停顿的现象。 网上视频会议、网上直播的声音和图像都必须严格同步，否则会影响观众的观看效果。 三、集成性 网络视频的集成性表现为技术的集成性和媒体信息的集成性两个方面： 1 技术的集成性是指将原来的电话、广播、电视、音像、多媒体等技术与计算机 6 中北大学学位论文 网络技术融为一体。 2 媒体信息的集成性是指网络视频可以与音频、文字、动画等在内的数据信息集 成，还能与一些附加的控制信息如超级链接信息、脚本信息、特定应用信息等集成。 四、码率可变、突发性强 代表网络视频信息的数据流码率是随着不同的信息内容、所处的不同时间而不断变 化的，如人们讲话时的停顿、所传输场景图像中物体的运动等都会形成码流速率的波动， 而且这种波动往往呈现出极强的突发性，再加上采用各种信息压缩编码的方法，更加剧 了这种变化。 2 2 视频会议系统中应用的关键技术 一、视频压缩 原始视频数据会占用大量的带宽，为了提高视频传输的实时性和效率，有必要对视 频进行压缩编码。目前i t u t 和i s o 已推出h 2 6 3 x 系列和m p e g x 系列视频压缩编码 标准，并且这些标准已得到广泛的应用。 m p e g 1 主要是针对1 5 m b s 以下数据传输率的数字存储介质( c d r o m ) ，如运动 图像及其伴音压缩编码的国际标准，m p e g 2 则针对标准数字电视和高清晰度电视在各 种应用下的压缩方案和系统层的规范标准，编码传输率从3 m b s - - 10 0 m b s 可变，它们 的制定为v c d 、d v d 、数字电视和岛清晰度电视等产业的匕速发展打下了牢固的基础。 m p e g 4 主要基于第二代视音频编码技术，以视听媒体对象为基本单元，实现了数字视 音频和图形合成应用、交互式多媒体的集成，已经广泛应用于流媒体服务领域。 h 2 6 1 、h 2 6 3 、h 2 6 3 + 等属于低比特率的视频编码标准，图像质量较低，用m p e g - x 系列标准压缩的视频图像质量比较好，但比特率高。对于实时网络视频传输来说，实时 性是第一位的，因此，h 2 6 3 是较为理想的视频编码标准。h 2 6 3 标准可以提供时间、 空间和信噪比三种分层编码模式，得到包括基本层和多个增强层的多速率的视频序列， 能适应不同终端的需求。 二、系统管理和控制 对于最简单的点对点模式的网络视频传输系统，只有两个参与者。在整个过程中， 7 中北大学学位论文 一方只需要听到或看到另一方的声音、图像，根据自然习惯，由谁发言双方心领神会， 不需要专门的控制机制。这种模式可以扩充到在系统中建立多个点对点的连接，即每个 参与者都与其他参与者建立一个点对点的连接。 对于客户机服务器模式的网络视频传输系统，则相对来说要复杂一点，一般要增 加一个专用设备，我们称之为多点控制单元( m c u ) 来对系统中的资源进行有效的管理和 控制。服务器和客户机之间进行视频传输时，首先将信息发往控制单元，控制单元则对 信息进行统一有效的处理、控制并且控制单元具有选择发送媒体的能力，从而使得与会 终端共享工作对象、工作结果、数据资料，有效协调了各种媒体的同步。 三、视频传输 网络视频传输系统可以采用单播或多播方式传输多媒体数据。单播即发送端和接收 端之间建立点对点连接。多播是指单个发送端和多个接收端之间建立点对多点的连接， 所有接收端都能同时收到多播发送方每次发送的数据包，高效地使用网络的带宽资源。 同时可以利用数据包的优先级策略，对不同重要程度的数据包定义不同的优先级，路由 器根据输出链路的状况和建立连接时的约定进行视频流处理，使不同终端接收到不同质 量的视频。 四、拥塞控制机制 拥塞控制机制包括速率控制、自适应速率视频编码和速率整形等。速率控制是根据 传输方式来摔制发送端的发送速率有基于窗口和基于速率两种方式。如t c p 采用窗 口式流量控制，u d p 中没有包含拥塞控制机制。为了解决网络拥塞及实现对t c p 业务 流的公平性，u d p 可以采用基于速率的控制方式，根据网络上的一些反馈信息，实现“加 性增加乘性减少的拥塞控制。自适应速率视频编码是通过调整编码器输出的视频速率 来适应信道的拥塞程度，即在一定的信道负荷下尽可能好地恢复视频质量。速率整形只 是通过平滑视频数据的突发性来减少拥塞。 五、差错控制机制 常用的差错控制方法有：前向纠错、重发、抗误码、误码掩盖和防误码扩散。前向 纠错通过信道编码器增加冗余包的方法来减少包丢失，由于带宽的限制，冗余包的增加 会导致视频质量的下降，但可以大大地降低由于丢包引起的视频质量下降的影响，而且 包丢失引起的视频质量下降往往是人的视觉无法接受的。由于视频的实时性强，通常接 8 中北大学学位论文 收端发现包丢失后不是要求发送方重发丢失的数据，而是采用误码掩盖技术。 编码器可采用一些具有抗误码能力的编码方式，如增加重同步信息、独立分割预测、 反向变字长编码来减少丢包引起的视频质量的急剧下降：误码掩盖只是用在接收端，当 丢失的数据包无法恢复时，利用视频流的时间、空间的相关性，使用插值方法来恢复丢 失的数据。当解码端发现一些无法纠正的错误时，必须要采用防误码扩散技术，防止误 码在空间域和时间域引起的扩散。 2 3 局域网中点对点模式的视频会议系统 对于最简单的点对点模式的网络视频会议系统，只有两个参与者。在整个过程中， 一方只需要听到或看到另一方的声音、图像，根据自然习惯，由谁发言双方心领神会， 不需要专门的控制机制。这种模式可以扩充到在系统中建立多个点对点的连接，即每个 参与者都与其他参与者建立一个点对点的连接。下面结合具体的实现形式来对点对点模 式的视频会议系统作深入研究。 2 3 1 点对点模式的视频会议系统总体结构 图2 1 给出了点对点模式的网络视频会议系统总体结构框图。该系统基于v i s u a l c + + 6 0 平台，适用于在局域网中点对点模式的网络视频会议数据传输【1 6 , 1 7 】。首先在一端 用摄像头实时捕捉运动视频图像，进行视频格式的转换( 完成从r g b 空间向y u v 空间 的转换) ，而后输入另一点i p ，然后使用相关的视频编码标准( h 2 6 3 ) 对数据进行压缩编 码，将压缩编码后的数据传输到信道，传输数据的同时进行同步信息的交流，在另一端 进行视频数据解码和视频格式的逆转换( 完成从y u v 空间向r g b 空间的转换) ，同时进 行视频帧图像的重建和输出显示。 9 中北大学学位论文 l 发送端接收端 l 压 - 1r 缩 v l 视频图 视视频格 l 像获取 频式逆转 i 视 解换 频视码 1 r 数频与 1r l 视频格 据数帧 输出视 l 式转换 编 据图 频图像 码传像 控输重 制建 用户交 互与反 馈 图2 1 点对点模式的网络视频会议系统总体结构框图 2 3 2 点对点模式的视频会议系统各部分模块的功能 一、视频图像获取 视频图像的获取就是要把模拟视频信号转换为适合计算机或数字设备处理的数字 视频信号，这一过程包括摄取图像、光电转换及数字化等几个步骤。 目前摄取图像可以使用c c d 、c m o s 、c i s 等图像传感器或摄像设备，但在专业级 的数字视频应用中仍以c c d 为主。c c d 输出的是模拟视频信号，模拟视频信号的制式 早已标准化，所有c c d 摄像机都遵循这些标准制式【1 4 】。 模拟视频信号的数字化是由视频解码器( v i d e od e c o d e r ) 完成的，高性能的视频解码 器可以接收不同制式的模拟视频信号，并将它们转换为各种格式的数字视频信号，数字 视频格式也已经标准化。 二、视频格式转换 将视频图像从r g b 颜色空间( 2 4 色) 转换至y u v 颜色空间( 4 ：2 ：0 格式) 。r g b ( 红、 绿、蓝) 只是众多颜色空间的一种。采用这种编码方法，每种颜色都可用三个变量来表 1o 中北大学学位论文 示红色、绿色以及蓝色的强度。记录及显示彩色图像时，r g b 是最常见的一种方 案。但是，它缺乏与早期黑白显示系统的良好兼容性。因此，许多电子电器厂商普遍采 用的做法是，将r g b 转换成y u v 颜色空间，以维持兼容，再根据需要转换回r g b 格 式，以便在电脑显示器上显示彩色图形。与r g b 视频信号传输相比，y u v 最大的优点 在于只需占用极少的带宽( r g b 要求三个独立的视频信号同时传输) 。 三、视频数据压缩编码 原始视频数据会占用大量的带宽，为了提高视频传输的实时性和效率，有必要对视 频进行压缩编码。目前i t u t 和i s o 已推出h 2 6 x 系列和m p e g x 系列等视频编码标 准，并且这些标准己得到广泛的应用【1 8 1 。 h 2 6 1 、h 2 6 3 、h 2 6 3 + 等属于低比特率的视频编码标准，图像质量较低，用m p e g x 系列标准压缩的视频图像质量比较好，但比特率高，实时性不强。对于实时网络视频传 输来说，实时性是第一位的，h 2 6 3 很好的满足了这一要求，因此，h 2 6 3 是较为理想 的视频压缩编码标准。 四、视频数据传输 网络视频传输系统可以采用单播或多播方式传输多媒体数据。单播即发送端和接收 端之间建立点对点连接，多播是指单个发送端和多个接收端之间建立点对多点的连接， 所有接收端都能同时收到多播发送方每次发送的数据包，高效地使用网络的带宽资源。 由于是点对点模式的视频会议系统，因此选择单播方式传输多媒体数据。 五、压缩视频解码与帧图像重建 在视频解码端，解码器接收从网络上传输而来的视频流，将压缩后的视频流进行解 压缩，同时对解码后的宏块重新排序，最后进行帧图像的重建，从而恢复信源的视频图 像内容，但是这种恢复是有损失的，重建帧图像的质量要低于信源图像的质量，因为编 码器端采用的是有损压缩。 六、视频格式逆转换 将视频图像从y u v 颜色空间( 4 ：2 ：0 格式) 转换至r g b 颜色空间( 2 4 色) 。 七、输出视频图像 在解码端，解码器进行了压缩视频解码与帧图像重建，将重建后的帧图像重新排序 以便于恢复其本来的顺序，最后将视频图像输入显示器，显示器显示视频图像。最终两 中北大学学位论文 点之间建立通信。 2 4 in t e r n e t 网络中客户机一服务器模式的视频会议系统 为了在i n t e m e t 上有效的、高质量的传输视频流，需要多种技术的支持，其中数字 视频的压缩编码技术是i n t e m e t 视频传输中的关键技术之一。通过高效的视频压缩技术 将视频进行大幅度的压缩，可以有效的降低对网络传输带宽的需求【1 9 1 。 为此，国际上制定了许多视频压缩的标准，如h 2 6 1 、h 2 6 3 以及m p e g 1 、m p e g 2 、 m p e g 4 等等，在众多标准中，h 2 6 3 主要是面向低码率视频传输的标准，而更新的 h 2 6 4 ( h 2 6 l ) 是最新的，也是非常有效的一个关于视频压缩的标准。 2 4 1in t e r n e t 实时视频传输性能要求 i n t e m e t 最初的目的是为传输非实时的数据通信而设计的，要很好的利用它传输视 频流，并保证一定的服务质量( q o s ) ，我们必须了解影响视频流传输效果的性能参数， 主要有三个：吞吐量、延迟和抖动、差错率【2 0 】。 一、吞吐量 视频通信的吞吐量要求与网络传输速率和接收端缓冲容量有关。对视频通信来说， 网络必须能够提供充足的带宽才能保证视频流的连续性，当传输带宽不足时将会产生网 络拥塞现象，导致端到端延迟的增加和分组丢失。 对h 2 6 1 来说吞吐量定在6 4 k b i t s 到2 m b i t s 之间，而m p e g 2 则要求1 2 m b i t s 到 8 0 m b i t s 之间，m p e g 4 要求5 k b i t s 到1 0 m b i t s 的比特率，一般而言，基于i n t e m e t 视 频通信的吞吐量要求在0 4 k b i t s 到2 m b i t s 2 1 , 2 2 】。 大的缓冲容量是指在接收端必须有充足的缓冲区来接收源源不断的视频数据，否则 就必须降低发送端的传输速率从而影响吞吐量，不然就会在接收端发生缓冲区溢出，出 现分组丢失的现象，因此需要在程序设计时留出足够的缓冲内存和设计出高效的缓冲数 据结构。 二、延迟和抖动 延迟和抖动是影响视频传输质量的重要因素。延迟是指数据包从发送端到达接收端 1 2 中北大学学位论文 所耗费的时间，而不同数据包延迟的时间的变化，叫做延迟抖动。 对于实时视频，大的延迟和抖动必然使解压后的视频图像出现断续和杂乱，从而让 人在主观上无法接受，但对i p 网络来说，延迟和抖动总是不可避免的，这就要求将延 迟抖动控制在一定的范围内。对于压缩后的视频数据，允许的最大网络延迟是2 5 0 m s ， i t u 建议的交互视频通信为不超过1 5 0 m s ，最大延迟抖动时间l m s l 2 3 1 。 i n t e m e t 的网络延迟和抖动较大，视频传输系统必须通过相应的应用层协议和缓冲 区的设计来加以避免。 三、差错率 受到人类感知能力的限制，视觉很难分辨出图像本身微小的差距，因此视频通信允 许网络传输中存在一定的错误，在冗长的视频流中，个别数据出错是很难被人察觉出来 的。 通常情况下，降低差错率和减少延迟是相冲突的，因为要保证传输的可靠性就必须 采取端到端的差错控制措施，对于出错的分组通常是采用重新传输的方法来纠正，而这 样势必大大增加延迟，对于实时视频流来说，延迟比差错率的影响显得更人，一般将所 接收的视频数据按现状播放，而将错误忽略不计。对于压缩视频流，可接受的误比特率 是小于1 0 6 1 2 4 1 。 2 4 2 客户机一服务器模式的视频会议系统总体结构 客户机服务器模式的网络视频会议系统，则相对来说要复杂一点，一般要增加一 个专用设备，我们称之为多点控制单元( m c u ) 来对系统中的资源进行有效的管理和控 制。服务器和客户机之间进行视频传输时，首先将信息发往控制单元，控制单元则对信 息进行统一有效的处理、控制并且控制单元具有选择发送媒体的能力，从而使得与会终 端共享工作对象、工作结果、数据资料，有效协调各种媒体的同步。图2 2 给出了客户 机胡艮务器模式的网络视频会议系统总体结构框图。 1 3 中北大学学位论文 图2 2 客户机服务器模式的网络视频会议系统总体结构框图 客户机一服务器模式的网络视频会议系统的工作原理。该系统基于v i s u a lc + + 6 0 平 台，使用摄像头作为视频图像捕捉工具，输入服务器的i p 地址进行连接2 5 , 2 6 】。该系统 主要适用于i n t e m e t 网络，区分为客户机和服务器两部分，相对来说视频图像传输的可 靠性和稳定性没有上述局域网中点对点模式的视频会议系统好。 2 4 3 客户机一服务器模式的视频会议系统的具体实现 下面分别给出服务器端和客户机端实现的主要功能及工作过程【2 7 】。 一、服务器端 服务器端主要完成侦听和建立连接、视频图像的捕捉、视频格式的设定、完成与客 户机端的连接以及向客户机端传送视频数据等功能，由连接和服务器端插件两个模块组 成。 其中连接模块主要是完成侦听和建立连接，而服务器端插件的主要功能则是设置视 频图像显示框和视频格式，向客户机发送连接要求并确认连接，连接成功以后把视频数 据传送到客户端。 二、客户机端 客户机端插件的主要功能是实现i p 地址的输入，建立服务器和客户机之间的连接， 设置图像显示框并接收服务器端发送的视频图像。 1 4 中北大学学位论文 2 5 两类视频会议系统的比较 两类视频会议系统均实现了使用摄像头实时捕捉视频图像并能进行图像的实时传 输。当捕捉对象频繁移动时，系统传输的图像都会出现不同程度的失真，都未能实现在 视频图像传输的同时进行视频数据的加密和水印的嵌入与检测，因而两类系统都是不安 全的。 点对点模式的网络视频会议系统主要适用于局域网中，而c s 模式的视频会议系统 则适用于i n t e m e t 网络中。i n t e m e t 网络和局域网相比，影响视频图像传输的不确定因素 更多，因此c s 模式的视频会议系统的数据传输延迟更大，图像失真更为严重。为了更 好地提高视频图像的传输速率和质量，需要在c s 模式的视频会议系统中引入较好的传 输策略以及拥塞控制机制和差错控制机制。两类视频会议系统的异同点比较如表2 1 所 示。 表2 1 两类视频会议系统的异同点比较 蔷i 点对点模式的视频会议系统c s 模式的视频会议系统 比较项目 捕捉手段及工具均只使用了摄像头，比较单一 相 捕捉方法 实时捕捉 同 点 图像传输质量当捕捉对象频繁移动，均会出现一定程度的失真 系统安全性 均未实现视频水印的嵌入与检测以及对视频数据的加密，不安全 适用网络 局域网( l a n ) i n t e m e t 网络 不 同 信息交流 可实时进行 实时交流有延迟 点 当捕捉对象频繁移动 有一定程度的失真现象有较为严重的失真现象 时传输图像失真程度 控制机制基本不需要 需要引入拥塞控制机制和差错控 制机制 15 中北大学学位论文 视频会议图像获取技术研究 近年来，随着人类社会信息化程度的不断提高，以及通信技术与多媒体技术的飞速 发展，许多领域，比如视频会议系统、可视电话系统、视频监控系统、远程教育及医疗、 视频点播等以多媒体视频为主的应用如雨后春笋般蓬勃的发展起来。人们的生活也得到 了很大的变化，人们可以实时地在家里就看到远在千里之外的事物，可以通过网络与多 媒体信息的结合，参加远程讨论会、远程诊断以及远程多媒体教学。 在这些