（通信与信息系统专业论文）视频编码标准h264在voip系统中的应用.pdf

摘要 论文中对普罗通信公司的v o l p ( v o i c eo v c i i p l 系统作了深入的分析，对其采用 的v o i p 协议l a x ( i n t e r a s t e r i s ke x c h a n g e ) 进行了研究，在此基础上对协议作了部分 扩展实现了即时消息的传输，为此后的视频连接打下了基础。论文研究了u t 和i s o i e c 共同制定的h 2 6 4 视频压缩标准，研究了h 2 6 4 标准中采用的关键技 术的算法流程。在参照开源工程的基础上，根据网络视频通信的要求实现了符合 h 2 6 4 的基础等级的编解码器，并对该编解码器的性能进行了测试，测试表明h 2 6 4 的压缩能力和效果适合网络传输。在传输方案的设计上，充分考虑了h 2 6 4 的码 流结构特点和l a x 各种帧的特性，并根据它们的特点设计并实现了一套视频高效 传输的p 2 p 传输方案。 论文的主要研究成果已经集成到普罗通信公司v o i p 系统。 关键词：v o i p l a xh 2 6 4 视频传输 a b s t r a c t t h ep a p e rh a sat h o r o u g ha n a l y s i st ot h ev o l p ( v o i c eo v e ri p ) s y s t e mo fb r o w n c o r p o r a t i o n ，e s p e c i a l l yt ot h ei a x ( i n t e ra s t e r i s ke x c h a n g e ) p r o t o c o la d o p t e db yt h e v o l ps y s t e m i a xp r o t o c o li se x p a n d e di nt h ep a p e rt os u p p o r ti m ( i n s t a n tm e s s a g e ) f u n c t i o n ，t h u st og r o u n dv i d e ot r a n s m i s s i o n r e c o m m e n d a t i o nh 2 6 4w h i c h i sp r o v e d b v 兀u t & i s o i e ca n da l g o r i t h m si ni ta r er e s e a r c h e di nt h ep a p e r b a s e do nt h e s e r e s e a r c h e sa n do p e ns o u r c ep r o j e c t s ，t h ep a p e rr e a l i z e dh 2 6 4b a s e l i n ec o d e c s o f t w a r e t oa c c o m m o d a t et h ee x i s t i n gi n t e r n e te n v i r o n m e n t p e r f o r m a n c et e s th a sb e e nd o n eo n t h es o f t w a r e ，a n dt h er e s u l tt u r n s o u tt ob ec o m p a t i b l ef o rt h ei n t e r n e tt r a n s m i s s i o n b e c a u s eo fi t sh i g hc o m p r e s s i o nr a t i oa n de x c e l l e n te f f e c t s c h e m eo fv i d e op 2 p t r a n s m i s s i o ni sp r o v i d e di nt h ep a p e r a n di th a sah i g he f f i c i e n c yd u et ot h ef a c tt h a t c h a r a c t e r i s t i c so fh 2 6 4b i ts t r e a ma n ds p e c i a l t i e so fl a xf r a m e sa r ea l l o w e df o rw h e n d e s i g n i n gt h es c h e m e t h em a i nr e s e a r c hr e s u l ti nt h ep a p e rh a sb e e ni n t e g r a t e di nt h ev o l ps y s t e mo f b r o w nc o r p o r a t i o n k e y w o r d s ：v o l p l a xh 2 6 4v i d e ot r a n s m i s s i o n 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：篮盔日期：! 旦兰亟 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 日期：塑2 釜! 望皇塑 日期：型 玺! 旦! 毋盘 名 名 签 签 人 师 本 导 第章绪论 第一章绪论 1 1 背景分析 v o i p 是一种通过i n t e r a c t 网络来传输语音数据的技术。v o i p 技术通过对语音 信号进行编码数字化、压缩处理成压缩帧，然后转换为i p 数据包在i p 网络上进行 传输，从而达到了在i p 网络上进行语音通信的目的。i p 电话极大的改进了网络带 宽的利用率，大大降低了通信的费用，它的广泛应用也促进了多媒体应用的发剧。 i a x 协议是最近推出的v o l p 协议，虽然尚未成为国际标准，但其易用性和出 色的设计使得它在v o l p 未来的发展中必将占据重要的一席【2 1 。 i a x 协议的目标是最大限度减少信令和媒体所需带宽，为n a t ( n e ta d d r e s s t r a n s l a t i o n ) 提供内部支持，同时保持对未来增强功能的可扩展性。i a x 协议专门针 对音频和视频数据对帧格式进行了优化，包头开销非常小，比如音频数据包头只 需要4 个字节，优化的帧格式使得数据传输的效率更高【2 1 。l a x 协议没有使用 r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) ，而是利用运行在单一端口上的u d p ( u s e r d a t a g r a mp r o t o c 0 1 ) 发送和接收信令和媒体，这样的特性使得l a x 可以轻松穿越防 火墙。l a x 协议的产生对v o l p 的发展是一个激励，使得多媒体传输效率更高， 结合优秀的音视频压缩工具，能给用户提供更好的音视频体验。 近十几年来，图像编码技术得到了迅速发展和广泛应用，其中i t u t 的关于 电视电话会议电视的视频编码标准h 2 6 1 ，h 2 6 3 和i s o f l e c 的m p e g 1 ，m p e g 2 和m p e g 4 是各个发展阶段的代表性成果，这些标准视频编码算法融合了各种性 能优良的图像编码方法代表了一段时间来的视频编解码水平。2 0 0 3 年5 月，i t u t 和i s o 组成的j v t 组织发布了新的视频压缩标准h 2 6 4 即m p e g 4 的第十部分， 该标准融合了h 2 6 3 和m p e g 4 的优点，各方面的性能大幅提高，在所有的速率 上比h 2 6 3 节省5 0 的比特率。压缩比大约是m p e g 2 的2 句倍，h 2 6 4 相较于 m p e g 4 而言，采用的方式更简洁，语法描述更简单。同时在编码语法上，采用分 层结构，提供了网络提取层( n e t w o r k a b s t r a c t i o nl a y e r ，n a l ) ，具有非常好的网络 亲和性1 3 1 1 4 1 1 5 1 。 1 2l p 网络视频传输面临的主要问题 随着计算机网络的发展，基于网络的各种服务和应用开始为人们带来便利， 其中音视频传输是一个热点。音视频传输以计算机网络为依托，其技术特点是网 络技术和音视频编码技术，但由于视频数据传输数据量大，传输时会大大增加网 2 视频编码标准h 2 6 4 在v o l p 系统中的应用 络的负担。现在口网络视频传输面临的主要问题就是与口网络的现状的一些矛盾 【6 】： 视频数据的高码率传输量和i p 网络的不稳定性之间的矛盾。目前的视频数据 对于带宽、网络的容错性和时延都有一定的要求，而当前的网络对于视频数据的 传输特点并没有专门支持。比如对于现在的广播质量的电视要达到人眼能够接受 的程度至少要达到3 m 的码流，目前我国的电视码流一般在4 6 m 之间，这样的 数据量，对于m 网络来说是非常重的负担。 视频传输中的数据丢失与错误。视频数据在传输前要进行压缩编码，以使得 数据传输量降到网络带宽可以承载的水平，从这一角度看，视频压缩比越高就越 符合要求，但视频压缩比增大会导致时间域和空间域上的耦合性增大。一旦码流 中间发生错误，造成的图像质量损伤也就越大。因此如何既保持数据压缩的高效 性，又保持数据传输的容错性是视频压缩和视频传输的难点。 视频数据传输延时问题。和音频数据一样，视频数据对网络延时也是相当敏 感的。而l p 网络中存在数据包选路问题和拥塞，数据可能产生不同的延迟和抖动， 从而影响视频接收端的重建质量。 对于视频数据量大的问题，可供采取的主要方法有：( 1 ) 提高视频压缩标准的 压缩效率。就实时应用的主要标准来说，h 2 6 3 能以低于h 2 6 1 一半的比特率来提 供相同的主观质量。当在每秒2 5 帧的帧速下，低于6 4 k b p s 时h 2 6 1 将不能提供 可接受的视频质量，而新的标准h 2 6 4 能以低于h 2 6 3 一半的比特率来提供相同 的主观质量，在3 2 k b p s 时仍然能够提供可以接受的视频质量f 4 1 。( 2 ) 降低视觉质量 的方法，如降低帧率、模糊背景等。( 3 ) 针对特殊应用的优化措施。 对于传输过程中的数据丢失和延时问题，需要从网络传输机制上削弱这种影 响，针对不同类型的帧进行不同的处理，或选择有延时限制的重传，或是简单的 忽略。 1 3 论文所作的工作 论文项目背景来源于普罗通信有限公司f r e e p p 视频业务的预研项目，f r e e p p 是普罗通信有限公司开发的新一代的v 0 l p 系统，通信协议采用的是l a x 协议，该 协议在流媒体传输上进行了专门的优化，使得传输效率更高。f r e e p p 也针对当前 网络的特点，使得穿越防火墙的能力大大提升，双方建立起p 2 p 连接的成功率更 高。 论文中对现有的f r e e p p 客户端进行了源码分析，研究了详细的通信流程；在 研究h 2 6 4 标准文档的基础上，实现了h 2 6 4 中定义的基础等级，编写了基础等 级的编解码库，并做了进一步的封装使之成为具有独立功能、简单易用的编解码 第一章绪论 3 工具；学习了w i n d o w sv f w ( v i d e of o rw i n d o w s ) 编程，掌握操控摄像设备的技 术；在熟悉f r e e p p 通信流程的基础上设计视频通话链路的建立拆除等控制流程， 针对h 2 6 4 码流特点设计传输方案并实现了该方案。视频功能通过了与v o l p 系统 的兼容性测试，相较于以往的视频传输性能有了较大的提高。 1 4 论文的章节安排 论文主体分为五章，每章的主要内容如下： 第一章介绍论文视频传输的主要问题、论文的研究背景和论文所作的工作。 第二章详述视频编码标准的发展历程，对每一个编码标准采用的技术进行了 分析，对比了h 2 6 4 标准和以往标准的专利许可费用，分析h 2 6 4 标准中的各个 等级。 第三章是v o i p 系统分析，分析f r e e p p 客户端采用的协议l a x ，研究f r e e p p 客户端通信协议，对音频通信流程和建立p 2 p 连接进行详尽的分析和研究。 第四章研究h 2 6 4 基础等级采用的技术，实现基础等级的要求，完成编解码 库的代码编写，详细描述封装处理后的接口，编写图像格式转换的函数。 第五章介绍w i n d o w sv f w 编程技术，在f r e e p p 音频通信的基础上设计视频 通信控制流程，介绍如何设计视频传输方案。 第二章视频编解码标准及h 2 6 4 技术特点 5 第二章视频编解码标准及h 2 6 4 技术特点 2 1 国际视频标准的发展 目前世界上最广泛使用的数字视频编码标准主要源于两大标准体系，其一是 i t u t ，该组织制定的视频标准称为“建议( r e c o m m e n d a t i o n s ) ，即h 2 6 x 系列 ( h 2 6 1 、h 2 6 2 、h 2 6 3 和h 2 6 4 ) ，主要目标是应用于实时视频通信，如可视电话、 视频会议。另一个主要大标准组织为i s o i e c ，其标准主要是m p e g 系列 ( m p e g 1 、m p e g 2 、m p e g 4 、m p e g 7 和m p e g 2 1 ) ，主要侧重于视频存储( v c d 、 d v d ) 、视频广播( 电视广播) 以及视频流的应用。两者的共同目标是在尽可能低 的码率( 或存储容量) 下获得尽可能好的图像质量。两大标准组织在标准的制定 上也有过合作，第一次是在h 2 6 2 m p e g 2 标准的开发过程中。随着市场对图像 传输需求的增加，如何适应不同信道传输特性的问题也日益显现出来。两大组织 再次联手推出的视频编码新标准，纳入u t 体系称为h 2 6 4 标准，在i s o 1 e c 体系中作为m p e g 4 的第1 0 部分。目的在于解决不同特征信道下的视频传输问题。 视频编码标准的开发演进过程图2 1 所示。 h ；, i o r yo fv k l e os t a n d a r d s 仃u - t h 2 6 1h 2 6 l 卜l 2 6 3h 2 6 3 +h 2 6 3 + 枷l i v + , j + o n2 l s t a n d a r d s j o i n t 卜一：l | | h 2 6 4 槲g 4 v c11 i t u - t m p e g s t a n d a r d s m p e g 4 n m p e g m 睢良l 由 i 4 l m p e g o s t a n d a r d s i l 陋翩2 l liiiii 1 9 8 81 9 9 01 9 9 2i 钾1 9 9 61 9 9 1 12 0 0 0枷2 瑚 图2 1 视频标准的发展 1 9 9 0 年u t 公布的h 2 6 1 是最早出现的视频编码建议，目的是规范 l s d n ( i n t e g r a t e ds e r v i c e sd i g i t a ln e m o r k ) 网上的会议电视和可视电话应用中的视 频编码技术。它采用混和编码方法，帧间预测采用1 6 1 6 的宏块和整数象素的运 动搜索，用来消除图像序列的时间冗余；帧内编码采用8 8 的d c t ( d i s c r e t ec o s i n e t r a n s f o r m ) 变换，用以消除空间冗余。h 2 6 1 具有较高的压缩比，和i s d n 信道相 匹配，其输出码率是p x 6 4 k b i t s ，p = 1 3 2 。p 值较小时，只能传输清晰度不太高 的图像，适合于面对面的可视电话；p 值较大时( 如p 6 ) 可以传输清晰度较好的 6 视频编码标准h 2 6 4 在k i p 系统中的应用 会议电视图像。 h 2 6 3 建议于1 9 9 6 年3 月公布，是低码率图像压缩标准，在技术上是h 2 6 1 的改进和扩充，支持码率小于6 4 k b i t s 的应用【5 1 。h 2 6 3 的特点如下： - 在图像格式上，除了h 2 6 1 定义的c i f 和q c i f 外，还支持s u b q c i f ，4 q c i f 和1 6 c i f ： _ h 2 6 3 采用半象素精度进行运动估计，取值范围为( 1 6 0 ，+ 1 5 5 ) ，运动矢 量是以差分预测的方式进行编码传输的，h 2 6 3 采用双线性内插获得预测 值，不具备环路滤波功能； _ 运动矢量采用二维预测与v l c ( v 撕a b l ek n 醇hc o d i n g ) 相结合的方式对 预测值残差进行编码传输；d c t 系数采用三位编码表示； - 4 个可选模式：非限制运动矢量模式、高级预测模式、p b 帧模式和基于语 法的算术编码模式。 在此基础上，1 9 9 8 年i t u t 推出h 2 6 3 + ，即h 2 6 3 版本二，它提供了1 2 个 新的可选模式和其它特征，进一步提高了压缩编码性能。h 2 6 3 + 允许更多的源格 式、图像形状和时钟频率，拓宽了应用范围；它允许多显示率、多速率及多分辨 率，增强了视频信息在易误码、易丢包的异构网络环境下的传输；多个可选模式 不仅提高了编码性能，而且增加了应用的灵活性： 2 0 0 0 年i t u t 又推出了h 2 6 3 + + ，增加了一些新的特征从而适用于各种网络 环境，并增强差错回复能力。新增的可选模式有： 增强参考帧选择模式 _ 数据划分片模式 扩展追加增强信息模式等 m p e g 1 标准的码率为1 2 m b i t s 左右，可提供3 0 帧c i f ( 3 5 2 2 8 8 ) 质量的 图像，是为c d r o m 光盘的视频存储和播放所制定的。m p e g 1 标准视频编码部 分的基本算法和h 2 6 1 h 2 6 3 相似，也采用运动补偿的帧间预测、二维d c t 、v l c 游程编码等措施。此外还引入了帧内帧( 1 ) 、预测帧( p ) 、双向预测帧( b ) 和直 流帧( d ) 等概念，进一步提高了编码效率。 在m p e g 1 的基础上，m p e g 2 标准在提高图像分辨率、兼容数字电视等方 面作了一些改进，例如它的运动矢量的精度为半象素；在编码运算中( 如运动估 计和d c t ) 区分“帧 和“场 引入了编码的可分级性技术，如空间可分级性、 时间可分级性和信噪比可分级性等。 近年推出的m p e g 4 标准引入了基于视听对象( a v o ：a u d i o v j s u a lo b j e a ) 的编码，大大提高了视频通信的交互能力和编码效率，m p e g - 4 中还采用了一些新 的技术，如形状编码、自适应d c t 、任意形状视频对象编码等。但是m p e g 一4 的 基本视频编码器还是属于和h 2 6 3 相似的一类混和编码器。 第二章视频编解码标准及h 2 6 4 技术特点 7 在压缩编码的发展史中，h 2 6 1 建议是视频编码的经典之作，h 2 6 3 是其发展 并在实际中逐步取而代之，主要应用于通信方面，但h 2 6 3 众多的选项往往令使 用者无所适从。m p e g 系列标准从针对存储媒体的应用发展到适应传输媒体的应 用，其核心视频编码的基本框架和h 2 6 1 是一致的，其中引人注目的m p e g 4 的 “基于对象的编码一部分由于尚有技术障碍，目前还没有普遍应用。而在此基础 上发展起来的新的视频编码建议h 2 6 4 克服了两者的弱点，在混和编码的框架下 引入新的编码方式，提高了编码效率，面向实际应用。同时，它是两大国际标准 化组织共同制定的，具有广泛的应用前景。 2 2 1h 2 6 4 的设计目标 2 2 主要技术 h 2 6 4 标准是由i s o i e c 与i t u t 组成的联合视频组( j v t ，j o i n tv i d e ot e a m ) 制定的新一代的视频压缩编码标准。h 2 6 4 标准是由h 2 6 l ( l o n g ，长期计划) 发 展而来的，在i s o i e c 中该标准命名为a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g - 4 标准的第十个选项。 h 2 6 4 标准可以分为3 级：基础等级( b a s ep r o f i l e ) 、主要等级( m a i np r o f i l e ) 和扩展等级( e x t e n d e dp r o f i l e ) 。基础等级包括了h 2 6 4 的技术特征，但没有b 帧， 算术编码，帧场切换的编码以及增强帧编码等，主要面向的应用是低码率的视频 通信和视频会议；主要等级包括上述内容，可用于标清电视( s d t v ) 和高清电视 ( h d t 等；而扩展级可用于各种网络的视频流传输。 h 2 6 4 主要的编码新技术包括：4 x 4 块整数变换、空域内的帧内预测、1 4 象 素精度的运动估计、多参考帧与多种大小块的帧间预测技术、统一的熵编码码表、 基于内容的自适应变长编码与基于内容的自适应算术编码、去块效应滤波器等。 h 2 6 4 设计的主要功能目标如下： _ 在相同的重建图像质量下，h 2 6 4 要比h 2 6 3 + 和m p e g 4 的简单等级 ( s i m p l ep r o f i l e ) 节约5 0 码率。 一采用简洁的设计方式，简单的语法描述，避免过多的选项和配置，尽量利 用现有的编码模块；对信道时延的适应性较好，既可工作于低时延模式以 满足实时业务，如视频通信，又可工作于无时延限制的场合，比如视频存 储。 - 加强对误码和丢包的处理，增强编码器的错误恢复能力。 _ 在编解码器中采用复杂度可分级设计，在图像质量和编码处理之间可分 级，以适应高复杂性和低复杂性的应用。 一提高网络适应性，采用网络友好的结构和语法，以适应口网络、移动网络 8 视频编码标准h 2 6 4 在v o l p 系统中的应用 的应用。 2 2 2h 2 6 4 的关键技术 与早期的视频编码标准( h 2 6 3 ，m p e g 2 等) 类似，h 2 6 4 标准也是基于块的 混合编码。基本算法是通过帧间预测和运动补偿消除时域冗余，经过变换编码消 除频域冗余【3 】【7 l 。 图2 2h 2 6 4 编码系统框图 h 2 6 4 视频编码系统如图2 2 所示，基本的功能模块包括：预测、变换、量化、 熵编码，但在每一个功能模块的细节上都有重要的改变。h 2 6 4 采用了基于4 4 块的整数变换、可变大小块的增强运动补偿、帧内预测、去块效应滤波和增强的 熵编码技术，在差错处理中，采用多帧预测、条块结构编码、数据分割以及帧内 宏块刷新技术。这些变化也就是h 2 6 4 的关键技术，同时，h 2 6 4 还将网络友好纳 入了考虑的范围。 1 ) 帧内预测 在传统的视频编码标准中，i 帧和p 帧、b 帧的编码的原理不同，p 帧经过前 向预测、b 帧经过双向预测进行了运动估计，所以只需对通过运动估计的预测图像 与原始图像进行预测补偿的残差进行编码，而i 帧则是经过整数变换，量化和熵编 码一系列的过程直接进行编码，这就导致i 帧需要编码的信息量远远大于p 帧和b 帧，这样，在编码过程中，l 帧所占的码字位数也远远大于p 帧和b 帧，造成了码 率的增加。而在实际的视频图像中，同一帧视频图像的相邻的象素块之间具有很 强的相关性，但是传统的视频编码技术并没有充分利用这种相关性进行编码。在 传统的视频标准中，m p e g 2 和m p e g - 4 采用了帧内预测方法，其中m p e g 2 的 帧内预测方法是固定值预测，即把所有象素的值都减去一个固定值1 2 8 ，经过预测 第二章视频编解码标准及h 2 6 4 技术特点 9 的值由原来的区间( o ，2 5 5 ) 改为在区间( 1 2 8 ，1 2 7 ) 分布，这样可减少一定的码率。 m p e g 4 提出了d c a c 预测技术。d c 指的是块中左上角的变换系数，也就是块 中的直流分量，而其余的系数称作a c 。通过对临近块中d c 系数来对当前块中的 d c 系数进行预测。a c 预测原理和预测方向与d c 预测相同。虽然m p e g 2 和 m p e g 4 都采用了帧内预测方法，但是可以看出，这些方法都只是粗略的预测方式， 为了进一步降低码率，h 2 6 4 视频编码标准中采用了新的基于多方向的i n t r a 预测 和编码技术。 2 ) 高精度，多模式运动估计 h 2 6 4 在运动估计中，支持1 4 象素精度的运动矢量。在1 4 象素精度时，可 以使用6 抽头滤波器来减少高频噪声。在运动估计时，编码器还可选择“增强刀 内插滤波器来提高预测的效果。 在h 2 6 4 的运动预测中，一个宏块可以被划分为不同的子块，形成多种不同 模式的块尺寸。这种多模式的灵活和细致的划分，更切合图像中时间运动物体的 形状，大大提高了运动估计的精确程度。 3 14 4 块的整数变换 h 2 6 4 与先前的标准类似，对残差采用基于块的变换编码，但变换是整数操作 而不是实数运算，其过程和d c t 基本相似。这种方法的优点在于：在编码器中 和解码器中执行精度相同的变换和反变换，便于使用简单的定点运算方式，也就 是说，这里没有反变换误差。变换的单位是4 x 4 块，而不是以往常用的8 8 块。 由于用于变换块的尺寸缩小，运动物体的划分更精确，这样，不但变换的计算量 比较小，而且在运算物体边缘处的误差也大为减小，为了使小尺寸块的变换方式 对图像中较大面积的平滑区域不产生块之间的灰度差异，可对帧内宏块亮度数据 的1 6 个4 x4 块的d c 系数( 每个小块一个，共有1 6 个) 进行第二次4 x4 块的变 换，对色度数据的4 个4 x4 块的d c 系数( 每个小块一个，共4 个) 进行2 x 2 块的变换。 h 2 6 4 为了提高码率控制的能力，量化步长的变化的幅度控制在1 2 5 左右， 而不是以不变的增幅变化，变换系数幅度的归一化被放在反量化过程中处理以减 少计算的复杂性。为了强调彩色的逼真性，对色度系数采用了较小量化步长。 4 ) 熵编码 h 2 6 4 中熵编码有两种方法，一种是可变长编码v l c ，另一种是采用内容自 适应的二进制算术编码( c a b a c ：c o n t e x t a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ) 。 h 2 6 4 中的语法使用e x p g o l o m b 编码，这是一种固定语法的变长编码。它把 1 0 视频编码标准h 2 6 4 在v o l p 系统中的应用 所有的语法映射到统一的可扩展的码表，而不是为每种语法设计不同的码字表。 这种编码方式使用一个长度无限的码字集，设计结构非常有规则，用相同的码表 可以对不同的对象进行编码。这种方法很容易产生一个码字，而解码器也很容易 的识别码字的前缀，在发生比特错误的时候能快速获得重新同步。 对于量化后的差值变换系数则使用内容自适应变长编码c a v l c 。它根据已传 输的语法元素的出现概率在现有变长编码表中切换选择编码扫描方式，充分挖掘 了数据的统计特性，提高了压缩比。 c a b a c 是可选项，其编码性能比c a v l c 稍好，但计算复杂度也高。 5 1 去块效应滤波器 基于块的视频编码系统在低码率时无法回避的一个问题就是块效应。块效应 的存在极大的降低了编码视频重建后的主观视觉质量，在h 2 6 3 中第一次出现了 去块效应滤波器，有效的降低了重建图像中的块效应，改善了主观视觉质量。h 2 6 4 采用了帧内预测和4 4 块的小块编码，更容易出现块效应。最后在h 2 6 4 a v c 中 帧内、帧间编码都使用了预测，块效应产生的失真容易产生累积，导致图像客观 质量的下降。因此，在h 2 6 4 中引入了环路去块效应滤波器来解决这个问题。去 块效应滤波器应用在反变换后，图像重构前。根据宏块中每一个块的位置和量化 参数不同，对每一条块边界设置不同的滤波强度，自适应的调整滤波效果。 6 ) 多参考帧 h 2 6 4 的多帧参考模式，采用多帧图像作为当前块的运动预测参考，其原理如 图2 3 示。在一些特定的情况下，主要是快速的周期运动、快速的场景切换、物体 存在遮蔽现象等，多参考帧的使用会有非常好的效果，但是同时也增加了编解码 的复杂度，增加了参考帧缓存的容量。 兰兰堡塑塑塑堑塑堡堡垄坚：! 竺垫查堑鏖 兰 。 。 j 捌 r 1 ， 嘲 矽 7 甲 u 口 。 。 图2 3 多参考帧 7 ) 分层设计 h 2 6 4 的算法在概念上分为两层：视频编码层( v c l ) ，负责高效的视频内容 表示，网络提取层( n a l ) 负责以网络所要求的恰当的方式对数据进行打包和传 送。在v c l n a l 之间定义了一个基于分组方式的接口，组包和相应的信令属 于n a l 的一部分。 这样，高编码效率和网络友好性的任务分别由v c l 和n a l 来完成。 v c l 层包括基于块的运动补偿混和编码的一些新特性。与前面的视频编码标 准一样，h 2 6 4 没有把前处理和后处理等功能包括在草案中，这样可以增加标准的 灵活性。 n a l 层负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信 令、定时信息的利用或序列结束信号等。例如，m 地支持视频在电路交换信道上 的传输格式，支持视频在i n t e r n e t 上利用u d p t c p 传输的格式。n a l 包括自己 的头部信息、段结构信息和实际载荷信息( 即上层的v c l 数据) 。 分层结构模型 1 2 视频编码标准h 2 6 4 在v o i p 系统中的应用 v c le n c o d e r v c ld e c 0 d e r jl v c l n a li n t e r f a c e 1 n a ln a l j n a l t r a n s p o r t l a y e r 1 t r a n s p o r tl a y e r h 3 2 0 7 l a xm p e g 2r t ph 3 2 4 i 图2 4 h 2 6 4 分层结构 视频图像首先经由v c l 层编码，编码后的数据经过n a l 层打包，然后交给 传输层通过网络发送出去；接收端通过传输层接收到压缩过的视频数据，首先交 给n a l 层解包，再送给v c l 层解码，恢复重建图像。 2 3h 2 6 4 使用专利费状况 课题是一个基于商业性质的预研项目，也需要考虑到以后应用时的费用问题， 以往的视频编码标准的专利费还是相当可观的，编码标准的专利费也是厂商选择 时考虑的一个方面。 在m p e g 4 之前，数据压缩技术的专利费只从使用这些技术的终端收取。在 2 0 0 2 年1 月，m p e gl a 公司提出的m p e g 4 许可条件中，内容配送公司也要交 付费用，这导致了很强的反对。卫星广播、有线电视网、互联网等配送内容的行 业，每一用户要交0 2 5 美元，且每一分钟要交0 0 3 3 3 美分。产品和服务还被分 成6 种标准：用户记录视频，互联网视频，车载移动视频，特有用户视频，存储 视频和企业视频。即使在简易的移动电视服务，如从现场到电视中心通讯时，若 使用m p e g 4 的话，也需支付移动视频的许可费，这在一定程度上阻碍了m p e g 4 的更广泛的应用。 h 2 6 4 的专利使用费则比较友善，它的许可制度有两点吸引人之处：第一，部 分格式将无偿使用，其中基础等级免费，可无偿使用；第二，许可体系要比m p e g - 4 单纯。 第二章视频编解码标准及h 2 6 4 技术特点 1 3 h 2 6 4 由三个等级构成( 基础等级，主要等级和扩展等级) ，各个等级所包含 的技术不同，分别应用于不同的场合，在清晰度和编码速度上有所区别。基础等 级主要应用在网络视频电话和网络视频会议中，其主要技术为l 、p 帧，环路滤波， 1 4 帧间预测，y u v 4 ：2 ：0 格式输入，基于v l c 的纠错编码，弹性宏块等。 h 2 6 4 的基础等级免费得到了很多公司的支持，也有美国政府的支持，这样为 h 2 6 4 的发展普及奠定了好的基础。 对于课题中的v o l p 视频通话来讲，采用h 2 6 4 的基础等级可以很好的适应当 前国内的网络带宽状况，同时也将成本降到了最低，这也是选择h 2 6 4 作为视频 编码标准的一个原因。 2 4 本章小结 本章主要介绍了视频编码标准的发展历史和h 2 6 4 标准的技术特点。由于 h 2 6 4 的优点，现在很多公司和组织都在研发基于h 2 6 4 的产品，对于公司等利益 团体来讲，方向主要是商业应用，开发的h 2 6 4 产品主要面向媒体存储、高清电 视和嵌入式系统等方面，专门面向网络视频轻量级的应用开发并不多见，目前网 络视频应用还是以h 2 6 3 和m p e g 4 为主，但h 2 6 4 是一种发展趋势。下面一章 分析了普罗通信公司v o i p 系统采用的协议特点，为h 2 6 4 的传输设计方案打基础。 第二章f t e e p p 客户端 第三章f r e e p p 客户端 f r e e p p 客户端是一个l a x 用户代理u a ( u s e r a g e n t ) ，是普岁通信公司v o l p 系统的产品名称，f r e e p p 内部实现了l a x 协议。f r e e p p 通过t a x 通信层和a s t e r i s k 服务器( a s t e r i s k 是个功能强大的n s 服务器) 建立连接，a s t e r i s k 服务器负责 用户的认证、协助f r e e p p 之间建立p 2 p ( p e e r t op e e r ) 连接、信令的中转和网络 管理等功能口i 。f r e e p p2 - 州通信连接过程示意图如图31 所示。 m v - 1 辑户端a ，重 辑广端b i 拨号 2 转艇通话请求 3 阿惫通话请求 4 转发请求成菩 5p 2 口f j 洲 6 服务器端链路拆隙 70 2 p 连接 刚3 1f r e e p p 连经过稗示意蚓 f r e e p p 最初是为音频通信而开发的，l a x 通信协| 义也是为音频通信做了晟多 的考虑，为了添加视频功能而又不改变f r e e p p 的系统架构，有必茧了解f r e e p p 系 统和音频通信的细节，奉章在对f r e e p p 进行源码分析后，描述了f r e e p p 的系统架 构和洋细的音频通信流程，并为后续的视频功能打f 基础。 一岳 1 6 视频编码标准h 2 6 4 在v o i p 系统中的应用 3 1 1 组成模块及职能 3 1f r e e p p 系统结构 数据流 控制流 图3 2 f r e e p p 模块图 图3 2 是f r e e p p 的系统结构图，f r e e p p 由图示的这些模块构成。 图形用户接口给用户提供一个友好的界面，提供便捷的操作方式，将用户的 操作反映给控制模块，将状态信息以易懂友好的方式呈现给用户。 控制模块担负着统筹各个模块协同工作、维护系统内部状态、响应用户具体 操作的责任。 发送模块担负发送前的数据处理、封包等任务，发送模块首先从声码器模块 获取经过编码后的语音数据，为保证q o s 作一些适当的处理，经过封包交给i a x 通信层发送出去。 接收处理模块对接收到的网络语音数据进行前期处理，为了保证q o s ，首先 交由q o s 模块消除声音抖动、网络丢包等造成的影响，然后将处理过的数据交给 声码器解码输出到音频设备上，以完成声音的播放。 q o s 模块是为保证声音在网络上传输质量而设计的，内部采用数据缓冲和一 些防抖动处理算法来消除网络数据包的乱序和延时抖动，为声码器提供一个平缓 的声音流。 音频模块负责与具体的声音设备打交道，包括从音频设备上获取原始声音 p c m 流，将这些声音数据编码成特定的格式，对编码后的声音解码并输出到音频 输出设备上。 第三章f r e e p p 客户端 1 7 l a x 通信层负责数据的发送和接收处理，处理与a s t e r i s k 服务器和其他l a x 客户端通信的p 2 p 链路建立，链路拆除等工作。 3 1 2l a x 通信层 l a x 通信层内部实现了i a x 协议。l a x 是一个p 2 p 媒体信令协议，对m 网络 上的流媒体传输提供控制。l a x 主要提供对l p 语音的控制，但它同样也适用于其 他流媒体的控制。i a x 的设计参考借鉴了现有的v o i p 协议：如s i p ( s e s s i o ni n i t i a t i o n p r o t o c 0 1 ) ，m g c p ( m e d i ag a t e w a yc o n t r o lp r o t o c 0 1 ) 的控制部分和r t p 的流媒体传输 部分。 l a x 协议的设计目标主要有两个：在控制信令和多媒体传输上减少带宽；对 n a t 穿越提供本地支持。i a x 设计的基本思路是在同一个u d p 端口上实现信令和 媒体传输的复用，从这个设计角度来看，l a x 可以看作是两个协议的综合：一个 信令会话协议和一个媒体传输协议。这样从架构上来看，i a x 和其他v o i p 协议有 着很大的区别，其他v 0 口协议把信令控制和媒体传输部分分割开来，比如信令控 制部分采用s i p 和m g c p ，而在媒体传输方面采用r t p r t c p ( r e a l t i m et r a n s p o r t c o n t r o lp r o t o c 0 1 ) 。也正是因为这种复用策略，l a x 在n a t 穿越方面不像s i p 那样 遭遇很大的麻烦，对n a t 穿越提供了本地支持。i a x 是一个二进制协议，这样的 选择是考虑到带宽效率上。i a x 还为音频传输做了优化，音频帧只有4 个字节的 帧头开销。 l a x 的原子通信单元称为f r a m e 。根据信息种类的不同，i a x 主要有三种帧格 式：f u l lf r a m e 、m i n if r a m e 和m e t af r a m e 。f u l lf r a m e 用来传输信号和控制信息，帧 的传输是可靠的( 有重发机制) ，也用来传输一些需要保证可靠性的内容，比如文 本，静态图像等；m i n if r a m e 是为传输音频视频数据设计的，帧的传输是不可靠 的，优先保证信息的时延要求；m e t af r a m e 是设计用来传输中继帧的，可以对其进 行扩展用来传输视频帧。图3 3 是一个音频通话中简单的单方向l a x 媒体流： 圜e 曰曰田曰曰田口围 传输帧 图3 3i a x 媒体流 m 代表m i n i 帧，f 代表f u l l 帧。可以看出媒体流中m i n i 帧占绝大多数，用于 音频的高效传输，f u l lf r a m e 则包含一些控制信息和同步信息，用于链路状态的控 制和同步m i n i 帧。 f u l lf r a m e 的帧格式如表3 1 所示。 表3 1f u l lf r a m e 帧格式 1 8 视频编码标准h 2 6 4 在v o l p 系统中的应用 fs o u r c ec a l ln u m b e r ( 1 5 b ) rd e s t i n a t i o nc a l ln u m b e r ( 1 5 b ) t i m e s t a m p ( 3 2 b ) o s e q n o ( 8 b )i s e q n o ( 8 b ) f r a m et y p