（电路与系统专业论文）视频编码中的视觉心理冗余去除方法研究.pdf

摘要 摘要 随着多媒体技术的发展，数字视频日益成为了一个极具潜力的重要产业。当 代的电子技术，计算机技术和通信技术的发展水平为视频编解码技术的发展提供 了一个广阔的平台，也制约了其发展。突出的矛盾是海量的数据信息和有限的存 储空间及网络传输带宽之间的矛盾。针对这个问题，本文结合视觉特性理论对进 一步发掘视频中的视觉心理冗余的去除方法进行了研究。 本文的主要工作特色币d c , j 新为： 1提出了一种利用相对灵敏度函数原理，指导视频中残差帧宏块量化的方法。 基于相对灵敏度函数原理，通过利用视频预测编码过程中计算所得到的宏块 的运动信息，来判断和识别宏块中的那些由于运动而引起的人眼相对不感兴 趣的频率成分，然后根据计算得到的相对灵敏度函数值来指导残差帧宏块的 量化，丢弃人眼非常不感兴趣的部分频率。通过在x 2 6 4 编码器上测试，该 方法能够使原始视频压缩后减少2 5 的存储空间。 2提出了一种利用视觉亮度掩蔽原理，指导视频中残差帧宏块量化的方法。根 据视频帧中宏块的亮度和视频帧的背景亮度的比值，来调整视频中残差帧宏 块的量阶，对那些人眼相对感兴趣的宏块进行精细压缩，对人眼相对不感兴 趣的宏块进行粗糙压缩。进而改善视频的主观观看质量。通过在x 2 6 4 编码 器上测试，该方法并没有显著增加原始视频压缩后的存储空间。 3对上述两项研究进行d s c q si | 主观评测，测试显示，实施了相对灵敏度函数 和视觉亮度掩蔽效应指导的残差宏块量化方法后的视频具有不低于原始视 频的主观观看质量。 4提出了一种在层次化预测编码结构下，近似的计算当前帧和相邻帧之间运动 矢量的方法。通过t e m p o r a l ，v i e w 轴上的运动信息，利用p o c 差值大于1 的当前帧和参考帧之间的运动矢量，近似的计算当前帧和相邻帧之间运动矢 量。通过在j m v c l 0 编码器上测试，在该方法基础上实施了第1 点中的利用 相对灵敏度函数原理指导视频中残差帧宏块量化的方法后，能够在不降低视 频质量的情况下，使原始视频压缩后的存储空间有一定量的减少。 关键词：视觉特性，相对灵敏度函数，亮度掩蔽效应，多视点视频编解码 a b s t r a c t a b s t r a c t f 0 1 1 0 w i n gt h ed e v e l o p i n gp a t ho fm u l t i m e d i at e c h n o l o g y , d i g i t a l v i d e o1 5 b e c o m i n gm o r ea n dm o r ei m p o r t a n ti n h u m a nl i f e t h ee l e c t r o n i ct e c h n o l o g y , c o m p u t e rs y s t e ma n dt e l e c o m m u n i c a t i o ne n g i n e e r i n go fm o d e ms o c i e t yp r o v i d e s a g o o dp l a t f o r mf o rt h ea p p l i c a t i o n so fd i g i t a lv i d e o ，a n da l s os o m er e s t r i c t i n gf a c t o r s t h em o s t0 1 1 ci st h a tt h e r ew i l lb en oe n o u g hs t o r a g es p a c ea n db a n d w i d t h t os t o r ea n d t r a n s m i tt h et r e m e n d o u sv i d e od a t a t or e s e a r c ht h i sp r o b l e m ，t h i sp a p e rp r e s e n t s s o m em e m o d st or e d u c et h er e d u n d a n ti n f o r m a t i o nb a s e d o nt h eh u m a nv i s i o ns y s t e m t h e o r y t h em a i nw o r ka n di n n o v a t i o ni sa sf o l l o w s ： 1am e t h o d 。b a s e do nt h ec o n t r a s ts e n s i t i v i t yf u n c t i o n , i sp r e s e n t e dt og u i d et h e q u a n t i z a t i o np r o c e s so fr e s i d u a lf r a m e s f i r s t ，w ei d e n t i f yt h ei n f o r m a t i o n w h i c h i sr e l a t i v em o r ei n t e r e s t i n gt oh u m a ne y e sb yc o m p u t et h ec o n t r a s ts e n s i t i v i t y f u n c t i o nu s i n gt h em o t i o nv e c t o r si nt h ev i d e oc o d i n g t h a ns o m ei n f o r m a t i o no f r e s i d u a lf r a m e si sd i s c a r d e db yj u d g et h ef u n c t i o nv a l u e s t h i sm e t h o d i sa p p l i e d i nt h ee n c o d e ro fx 2 6 4 ，i ts a v e sa b o u t2 - 5 b i t st h a nt h er e s u l to ft h eo r i g i n a l e n c o d e r 2am e t h o d ，b a s e do nt h el u m i n a n c em a s k i n gt h e o r y , i sp r e s e n t e dt o g u i d et h e q u a n t i z a t i o np r o c e s so fr e s i d u a lf r a m e s a c c o r d i n g t ot h el u m i n a n c ev a l u eo ft h e 丘a m e sa n dm a c r o - b l o c k s ，t h eq u a n t i z a t i o np a r a m e t e r s i sw e l la d j u s t e dt o , m p r o v e t h eq u a l i t yo ft h ev i d e o t h i sm e t h o di sa p p l i e di nt h ee n c o d e ro fx 2 6 4 ，i td o e s n o ti n c r e a s i n gm u c hb i t st h a nt h er e s u l to f t h eo r i g i n a le n c o d e r 3 ad o u b l es t i m u l u sc o n t i n u o u sq u a l i t ys c a l ei i t e s ti sd o n et ot e s tt h eq u a l i t yo f t h ev i d e o i ts h o w st h a tt h ev i d e o sr e f o r m e db yo u rm e t h o d s s a v ea b o u t2 5 b i t st h a j lt h er e s u l to ft h eo r i g i n a le n c o d e rw h i l et h eq u a l i t yi sn o td e g r a d e d 4am e t h o dt oc o m p u t et h em o t i o nv e c t o r s b e t w e e nt h ec u r r e n tf l a m e sa n d n e i g h b o rf l a m e sb yu s i n gt h em o t i o nv e c t o r s b e t w e e nt h ec u r r e n tf r a m e sa n d r e f e r e n c e 行锄e sa n dt h ei n f o r m a t i o ni nt e m p o r a la n dv i e w a x i si sp r e s e n t e d - t h e m e t h o di nli st r a n s p l a n t e db a s e do nt h e s em o t i o nv e c t o r ( b e t w e e nt h ec u l t e n t 矗a m e sa n dn e i g h b o rf r a m e s ) i td o e sn o ti n c r e a s eb i t s t h a nt h er e s u l to ft h e o r i g i n a le n c o d e rw h i l et h eq u a l i t yi sn o td e g r a d e d k e vw o r d s ：h u m a nv i s i o ns y s t e m ，c o n t r a s ts e n s i t i v i t yf u n c t i o n ，l u m i n a n c em a s k i n g ， m u l t i - v i e wv i d e oc o d i n g 图目录 图目录 图表1 各标准在不同码率下图像质量的比较6 图表2d s c q s 测试系统l o 图表3h 2 6 4 的主要编码流程图1 3 图表4 时空灵敏度函数曲线图1 9 图表5j m 2 1 的编码流程图2 6 图表6 算法的流程表2 9 图表7 人眼转动带来的补偿效应示意图3 0 图表8j m v c l 0 的编码结构4 2 图表9 常用于视频测试的c o a s t g u a r d c i f y u v 视频素材4 7 图表1 0 常用于测试的b u s c i f y u v 视频素材4 7 图表1 l 本实验中测试c o a s t g u a r d 部分实验4 9 图表1 2 本实验中测试b u s 部分实验。4 9 图表1 3 本实验中测试c o a s t g u a r d 部分实验。5 2 图表1 4 本实验中测试b u s 部分实验。5 2 图表1 5 本实验中测试c o a s t g u a r d 部分实验。5 4 图表1 6 本实验中测试b u s 部分实验。5 4 图表1 7b a l i r o o m 的8 个视角的第九帧图像。6 0 图表1 8b a l i r o o m 的8 个视角的第九帧图像。6 2 图表1 9b a l i r o o m 的8 个视角的第九帧图像。6 4 图表2 0b a l i r o o m 的8 个视角的第九帧图像。6 8 表目录 表目录 表格1h 2 6 4 相比较其他标准节省的码流6 表格2m p e g 一4 和h 2 6 4 的费用比较6 表格3c c i r 五级评分等级1 0 表格4c s f 一速度查找表的一个例子3 l 表格5t h r e s h o l d 一速度表3 2 表格6 各个速度档次的映射操作3 4 表格7 根据不同t h r e s h o l d 设定不同档次的方式3 4 表格8h 2 6 4 中的q s t e p 和q p 的关系表3 7 表格9qt = o 6 4 9 情况下的操作表3 8 表格l o 本部分实验使用的x 2 6 4 编码器的一些主要的编码参数4 8 表格l lc o a s t g u a r dc i f 的压缩比测试4 8 表格1 2b u s的压缩比测试49_cif 表格1 3c o a s t g u a r d _ c i f 的压缩速度测试5 0 表格1 4b u s c i f 的压缩速度测试5 0 表格1 5c o a s t g u a r d _ c i f 的压缩比测试5 l 表格1 6b u s s i f 的压缩比测试5 l 表格1 7c o a s t g u a r d _ c i f 的压缩速度测试5 2 表格1 8b u s s i f 的压缩速度测试5 3 表格1 9c o a s t g u a r d _ c i f 的压缩比测试5 3 表格2 0b u s c i f 的压缩比测试5 4 表格2 1c o a s t g u a r d c i f 的压缩速度测试5 5 表格2 2b u s _ c i f 的压缩速度测试5 5 表格2 3c o a s t g u a r d _ _ c i f 的测试得分情况5 6 表格2 4c o a s t g u a r d _ c i f 的测试得分情况5 6 表格2 5p s n r 测试。5 8 表格2 6b a l i r o o m 的相关参数5 8 表格2 7 测试用的3 m v c 编码器的几个主要的编码参数6 0 表格2 8b a l i r o o m 的相关压缩情况6 l 表格2 9b a l l r o o m 的相关压缩情况6 3 表格3 0c o a s t g u a r d 视频中采用加入相对灵敏度函数指导的残差宏块量化后的整体 p s n r 值6 5 表格3 1 相对灵敏度函数原理在3 m v c 中的应用所引起的p s n r 的变化6 5 表格3 2b a l l r o o m 的相关压缩情况6 6 x l 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名：签字日期： 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 口公开口保密( 年) 作者签名：! 整鱼玺 导师签名： 签字日期： 签字日飙丝毕丛 第1 章绪论 第1 章绪论 1 1 研究意义 视频交互是人与人之间交换信息的一种重要的形式，通过视觉所传递的信息， 人们可以获得许多无法由声觉和触觉获取的信息。人类通过视觉获取的信息量约 占总信息量的7 0 1 。 在人类社会发展过程中，为了进行视距外的同步或者异步的视频信息表达和 传递，人们开发了一系列的视频技术，用以携带和重现一定的视觉场景，传递视 觉信息。这其中包括了视频的显示技术，视频的编码，传输，解码等技术。 视频技术已经成为现在社会信息产业的一个很重要的方面。这其中视频的编 码，传输，解码技术是目前国际国内研究的重点。 1 1 1 当前视频编码技术存在的问题 从视频技术的发展过程中可以看到，视频技术和当代的计算机技术，微电子 技术和通信网络技术的发展情况息息相关。这些技术的发展情况制约了视频技术 的应用，但是也为视频技术的高速发展带来了机遇，并提出了相应的要求。 首先，当代计算机技术的发展，使得视频的编码，解码，显示等算法日益复 杂化，一系列技术，如，多参考帧技术，c a b a c 技术等元素的加入，使得视频的 编解码技术形成了各种相互独立的模块，而由这些模块组成了当代主要的几种视 频技术协议，如h 2 6 4 协议 2 ，m p e g 4 协议等。视频技术的协议化，大大减少 了视频技术在产业化应用中所面对的阻力，为视频技术的大发展奠定的经济基础。 从此，产生了一系列基于视频技术的高科技产业，比如，网络视频点播，数字电 视等产业。 其次，目前的视频编解码协议的发展也同时受到当代电子技术发展水平的制 约，视频协议的使用价值始终由主流的硬件配置来决定，协议的计算复杂度始终 不能超出电子系统的运行能力。这一点在一定程度上，制约了视频技术的发展。 同时，也为视频技术的发展提出了新的问题。 最后，通信技术的发展也催生了一系列新的视频技术的应用方式。互联网上 的多媒体应用需求已经形成了一个极有前景的产业，而为了适应网络应用的需求， 视频编解码协议中加入了传输的特性，以适应不同网络，不同目标的应用需求。 随着互联网的发展，视频技术的应用已经突破了传统的电视电影等应用方式。新 的应用方式也将催生新的技术发展。 在现有的计算机技术，电子技术，通信技术基础上，已经成功构建了可行的 1 第1 章绪论 单视点视频的编码，传输，解码，显示系统，并形成了一系列产业，产生了极大 的经济效益。 1 1 2 视频技术的发展趋势和问题 在未来，潜在的需求是在人与人之间建立一个高效的信息交互机制。现有的 视频系统为观众提供了固定的单视点景象，但不能根据观众的需求而进行多视点 的切换，以便形成高效的信息交互机制。近年来，集中涌现的计算机图形学、计 算机视觉和多媒体处理、超宽带网络等新技术为扩展传统的单视点视频提供了基 础。 未来的视频交流将具有两个特点，一是提供交互式的角度切换功能，二是提 供立体感成像的3 d 视觉功能。由于前一个特点，多视视频被定为下一点视频及 电视协议。由于后一个特点，大量的数据使得对多视视频进行压缩成为必须。一 个多视点视频处理系统可定义为对从多个不同角度的摄像机收集到的不同角度 视频进行处理，并为用户提供及时角度切换的系统。 多视视频的主要应用范围有： 自由视点视频 3 这种应用方向，观众可以任意更换观看视频的视角和方向。 其中，这些观众选择的视角可以不是原始的拍摄视角。 三维电视 4 在这种应用中，采用多个摄像机同时从不同角度对同一场景进 行摄像，并通过图像理解和分析，展现场景中事物的3 d 信息。 沉浸感视频会议：上面的两个应用范围旨在构建人与视频内容之间的交互。 沉浸感视频会议旨在为人们提供交互式的交流环境。 多视视频是一个具有广泛应用背景的领域，世界上有很多组织正从事这方面 的应用。如m i t s u b i s h ie l e c t r i c 研究中心( m e r l ) ，c a r n e g i em e l l o n 大学( c m u ) 的 计算机视觉实验室，日本的k y o t ou n i v e r s i t y ( k y o t ou ) ，瑞典的 e i d g e n 6 s s i s c h et e c h n i s c h eh o c h s c h u l ez u r i c h ( e t h ) ，微软的亚洲研究院， 尤其是由m p e g 和i t u t 专家组成的j o i n tv i d e ot e a m 正在从事关于多视点视 频的标准协议研究。 进行多视点视频编码关键技术的研究，掌握具有自主知识产权的多视点视频 编码核心技术，有利于我国的多视点视频编码技术和产业健康持续的发展。 鉴于目前的计算机技术，电子技术，通信技术的发展现状，视频传输系统存 在以下问题： 首先，海量数据的存储和传输对视频压缩协议所能提供的压缩比性能的挑战 视频信号所包含的信息量大，其内容包含了现实世界所具有的切场景，色 彩，纹理，亮度等信息。在存储时，需要占用极大的存储空间，而在进行网络传 输时，需要极大的网络带宽。视频信息虽然具有直观性、确定性、高效性等优越 2 第1 章绪论 性能，但要传送包含视频信息的信号却需要较高的网络带宽。这就是为获得视频 信息所需付出的代价。 以下数据摘自 6 ：一路可视电话或会议电视信号，由于其活动内容较少， 所需带宽较窄，但要达到良好质量，不压缩约需若干m b p s ，压缩后需要3 8 4 k b p s ； 又如，一路高清晰度电视信号( h d t v ) ，由于其信息量相当巨大，不压缩需1 g b p s ， 利用m p e g - 2 压缩后，尚需2 0 m b p s 。 而当在多视点视频编解码的情况下，由于多个视角，带来了额外的信息量， 自然需要更多的码流来表达额外的信息。海量数据对视频压缩协议所能提供的压 缩比性能之间的矛盾将更为突出。 因此，如何在不降低视频质量的前提下，提高视频的压缩率，用较小码流来 传输同样的视频，将是贯穿视频技术发展史的问题。 其次，日益复杂的协议，与目前电子系统的处理速度之间的矛盾 这其中，尤以解码端的处理速度为主要矛盾。为了保证在异步传输解码中， 解码处理器能够在使用者可以忍受的时间内完成解码，或者为了保证在同步传输 解码中，解码端能够适应即时的解码播放，需要一个相对简单的解码器。与此相 对，编码端由于不具有以上两点的需求，因而，编码器的复杂度可以大大的超过 解码端的复杂度。 1 1 3 本文解决问题所采用的思路 对于海量数据的挑战，我们开展在现有的视频编解码协议( 包括单视点视频 编码协议和多视点视频编码协议) 中应用视觉冗余去除方法的研究，研究的目的 是在不影响视频的主观观看质量的前提下，尽可能的提高视频的压缩率。使用相 对较少的码流表达相对更多的信息，减少海量的数据对存储和通信传输的压力。 传统的冗余去除方法主要是集中在发掘图像中的相关性上。但是，无论是视 频还是图像，其最终的受众只能是人，而研究证明，人的视觉系统对所接受的信 息种类和关注程度有着显著的偏好。视觉系统处理信息的过程可以被认为是选择 性注意或者焦点性注意。人类视觉系统中不注意的盲点是视觉系统只注意场景中 的一些部分，其他部分的细节会被忽略。另一种视觉特性称为变换盲点发生在如 果视觉注意力不能跟上场景的变化，尤其是变换很大和重复性的变换。发生这种 情况的原因是观察者在某一时刻只能接收有限的信息。 这里不妨将这种现象称为图像的视觉心理冗余，显然，如何发掘这种视觉心 理冗余，对图像中人眼感兴趣的区域进行精细压缩，而对图像中人眼相对不感兴 趣的区域进行相对的粗糙压缩，也是一个降低比特率。提高视频质量的方法。 鉴于算法在算法复杂度和解码器效率之间的矛盾，本文进行如下处理，为了 便于不增加解码端的负担，同时为了保持和母体协议的通用性，本文所作出的研 3 第1 章绪论 究和改良主要集中在编码器端，同时将不会改变相关的语法语义，使得通用的解 码器能够解制改良过的码流。 毫无疑问，高的压缩比往往意味着视频质量的降低，而若想在不降低视频质 量的情况下提高压缩比，往往只能采用复杂的压缩算法。 就视频编解码系统而言，如何在三者之间取舍需要考虑未来计算法处理器和 i n t e r n e t 的发展而定。 首先，未来的视频将普及高清数字影视。对于视频的质量要求将有升无减。 而就可遇见的未来，摩尔定律依然为有效。芯片中晶体管的数量依然会在近似 1 8 个月翻番，再加上多核c p u 和并行计算的发展，在近期，计算机的处理器的 计算速度的增长足够支持更加复杂的算法。 而与之相反的是，由于i n t e r n e t 用户的增加，在可预见的未来i n t e r n e t 带 宽的增长将被大量的新用户稀释。即使目前的第三代i n t e r n e t 已经产生，但是 其成熟及普及仍然将是一个漫长的过程。 所以就未来的视频编解码而言，压缩比将是一个重要的问题。如何在不严重 影响视频质量的情况下，多高清数字视频进行高压缩比的处理，将是视频编解码 技术应用的一大障碍，而因此付出的算法复杂度的提升，完全可以由处理器速度 的增长消化。 本文试图达到的目的：即：在不降低视频主观质量，不明显提高协议复杂度 的前提下，提高视频的压缩比。 1 2 研究方法 针对上节中阐述的研究现状和研究意义，针对目前市场上的应用需求，本文 旨在开展以下研究： 1 2 1 开展视觉心理冗余去除方法在单视点视频中的应用的研究 本部分的研究将采用h 2 6 4 的x 2 6 4 版本编码器作为母体，目的是研究在目 前流行的视频协议中采用视觉特性原理，进一步发掘心理视觉冗余，提高视频压 缩率的方法。 1 2 1 1 为什么要采用h 2 6 4 第一个原因是性能问题。 h 2 6 4 和h 2 6 3 及h 2 6 1 ，m p e g 4 一样也是基于d c t 变换编码的一种视频编 码协议。同时h 2 6 4 在混合编码的框架下引入了新的编码方式，提高了编码效率， 更贴近实际应用。 4 第1 章绪论 h 2 6 4 没有繁琐的选项，而是力求简洁“回归基本”，他具有比h 2 6 3 更好 的压缩性能，同时又具有适应更多中信道的能力。 h 2 6 4 的应用目标广泛，可以满足各种不同速率，不同场合的视频应用，具 有较少的抗误码和抗丢包的处理能力。 相较于h 2 6 3 ，它在以下主要环节做了改进。 多种更好的运动估计：在h 2 6 3 中采用了半像素估计，在h 2 6 4 中则进一步 采用1 4 像素甚至1 8 像素的运动估计。即真正的运动矢量的位移可能是1 4 像 素甚至i 8 像素为基本单位。运动矢量唯一的精度越高，残差帧上的预测补偿误 差就会越小。 多宏块划分模式估计：在h 2 6 4 中，一个宏块可以被划分成7 种不用模式的 尺寸，这种多模式的灵活，细微的宏块划分，更符合图像中自然物体的形状，纹 理。对于减少运动估计和补偿的误差有着很好的帮助。 多参考帧估计：在h 2 6 4 中，可采用多个参考帧来进行运动估计，这样可以 获得更好的预测效果和真实度。 统一的v l c h 2 6 4 中关于熵编码有两种方法。 统一v l c ( u v l c ) ：即使用一个相同的码表进行编码，而解码器很容易识别 码字的前缀，u v l c 在发生比特错误是能快速的获得重新同步。 内容自适应二进制算术编码( c a b a c ) ：编码性能较好，复杂度较高。 从性能上说，h 2 6 4 着重于解决压缩的高效率和传输的可靠性，扩充了现有 的应用领域，它的低码率传输占有绝对的优势，是其它压缩编码所不能比拟的， 采用h 2 6 4 压缩技术可以为上网用户节省下载时间和数据流量收费并且图像质 量高，能提供连续、流畅的高质量图像。在不稳定的网络环境下，容易发生丢包 等错误，h 2 6 4 提供了必要工具来解决了这一问题。由于h 2 6 4 提供了网络适应 层，使得h 2 6 4 的文件能容易地在不同网络上进行传输 6 。 文献 7 提供了具体的性能比较，现摘录如下： s 第1 章绪论 t o m p o t o cif i5 f r a m o s - 争! 。= 多 - i 。- ， i l _ j - _ ， i o2 0 0 4 0 06 0 0 8 ( ) ol0 0 0l2 0 0l4 0 0l6 0 0i8 0 0 b i t r a t o ( k b i t o s ) 图表l 各标准在不同码率下图像质量的比较 表格1h 2 6 4 相比较其他标准节省的码流 从上述试验结果可以看到h 2 6 4 在压缩性能上的优势是显著的。 第二个原因是版权费用问题 从h 2 6 4 在2 0 0 3 年7 月正式颁布后，电视广播、家电和通信三大行业都已 进入h 2 6 4 的实际运用研发中。比如象d v d 联盟、日本广播电视公司、欧洲d v b s t e e r i n gb o a r d 、美国数字电视的卫星传送等机构都已决定采纳h 2 6 4 标准。对 于h 2 6 4 这一新的技术标准，那么多行业能在其颁布不久，就马上进入产品化、 市场化的行列，除了关心其相对于其他编解码技术的无可比拟的性能优势外，与 其本身国际标准的特性、许可费用等等也息息相关。众所周知，目前中国d v d 产 业的尴尬境地正是与m p e g 一2 高昂的许可费用有着千丝万缕的关系。相对而言， m p e g 一4 虽然相对于m p e g 一2 已低了很多，但由于先前出台的许可费用过高，依 然遭到了业界的极大不满，不得不修改了其许可费用标准。也许，从以下m p e g 一2 ，m p e g 一4 和h 2 6 4 许可费用对照表中我们可以对他们有更深一步的了解。 表格2m p e g - 4 和h 2 6 4 的费用比较 6 1 - _ - 一 - 一 - - - 一 - i 。1i。o，j 一 - 一- - 苫 - 。-连：- ：车彳-；-：-。 一堑r 一 一 一 一 揖簿薄忖 5 万2 5 美元 费 个每企业每年销售 1 0 5 0 0 万 上限1 0 0 美元每年每企业年0 2 美元个 每企业每年销售 5 0 0 万年，0 1 美元个 每年每企业上限为： 3 5 0 一 5 0 0 万美元( 与具体时间相关) 内容使按标题( t i t l eb yt i t l e ) 0 - - - 1 2 分钟按标题( t i t l eb yt i t l e ) 0 1 2 分 用片长免费钟片长免费 2 的销售收入或o 0 2 美元每一部2 的销售收入或u s $ o 0 2 每一部 影片( 两值中取低标准)影片( 两值中取低标准) 订阅( 非t i t l eb y t i t l e ) 0 1 0 万用订阅( 非t i t l eb yt i t l e ) 0 1 0 0 户年= 免费万用户收费与m p e g - - 4 相同 订阅( 非t i t l eb y t i t l e ) 1 0 万”2 5订阅( 非t i t l eb y t i t l e ) 1 0 0 万 万用户年= 2 5 万美元用户年= 1 0 万美元 订阅( 非t i t l eb y t i t l e ) 2 5 5 0 万 用户年= 5 万美元 订阅( 非t i t l eb yt i t l e ) 5 0 “1 0 0 万用户年= 7 5 万美元 订阅( 非t i t l eb yt i t l e 1 0 0 ”5 0 0 万 用户年1 0 万美元 订阅( t i t l eb yt i t l e 5 0 0 “2 5 0 0 万用 户年= 2 0 万美元万 订阅( 非t i t l eb y t i t l e ) 2 5 0 0 万 用户年= 3 0 万美元 从上表可以看出： 首先，h 2 6 4 每台解码设备比m p e g 4p a r t 2 便宜0 0 5 美元，这意味着当一个 运营商拥有1 0 0 万用户时，使用h 2 6 4 可以为其节省5 万美元的投资： 对于收费点播节目的专利费h 2 6 4 至少比m p e g 4 节省o 0 2 美元内容。按照 每个用户每周点播1 部影片计算，h 2 6 4 每年至少比m p e g 4p a r t 2 节省1 0 4 万美 元。 另外，使用m p e g 4p a r t 2 同时还要需要按时间交费( 2 美分小时) ，这意味 着每个用户如果每天看两个小时的节目，每年需要缴纳约1 5 美元。而h 2 6 4 则无 此方面的专利费。 7 第l 章绪论 最后，h 2 6 4 还降低了各项专利费的入门难度。h 2 6 4 编解码器1 0 万以下无 费用：而m p e g 4 为5 万以下无费用。1 0 万个包月用户以内无费用：而m p e g 4 为每 个用户0 0 4 美元。每年最高许可费用也大大降低 h 2 6 4 不仅在技术上更加先进，有效节约了带宽：而且更加优惠的专利许可政 策也为运营商节省了支出，成为被业界众多组织和专家看好的视频编解码标准。 目前，包括d v d 联盟、日本广播电视公司、欧洲d v bs t e e r i n gb o a r d 、美国 数字电视在内的众多机构都已经采用或决定采纳h 2 6 4 标准。在这些行业巨擘的 推动下。h 2 6 4 技术的应用将迅速进入到视频服务、媒体制作发行、固定及移动 运营网络、平台开发、设备终端制造、芯片开发等多个领域。因此，我们有理由 相信h 2 6 4 将会在中国i p t v 事业的发展中起到举足轻重的作用。 第三个原因是，为了便于开展后续研究。 本文出了要开展单视点中的心理冗余去除方法研究外，还要研究相关方法在 多视点视频编解码中的应用研究。 目前，j v t 组织已经制定了关于多视点视频编解码协议的j m v c 7 0 版协议草 稿。并在h 2 6 4 s v c 编码器的基础上推出了基于2 v c 7 0 版协议草稿的j m v c l o 编码器。初步实现了多视点视频编码的功能。 鉴于此，本文采用h 2 6 4 作为研究的母体协议。方面是顺应视频编解码的 应用及趋势。另一方面，也是为了能在j m v c 基础上进行关于多视点视频编码的 后续研究工作。 1 2 1 2 为什么选择x 2 6 4 x 2 6 4 8 是由法国巴黎中心学校的中心研究所于2 0 0 4 年发起，由许多视频 编码爱好者共同完成的项目。其目标是实现实用的h 2 6 4 编码器。x 2 6 4 摈弃了 h 2 6 4 中一些对编码性能贡献微小但计算复杂度极高的新特性，如多参考帧、 c a b a c 等。 我们选择x 2 6 4 作为我们研究实验的母本代码主要有以下几个原因： 第一个原因是x 2 6 4 的开源性 x 2 6 4 是一种免费的、具有更优秀算法的h 2 6 4 m p e g - 4a v c 视频压缩编码格 式。它同x v i d 一样都是开源项目，但x 2 6 4 是采用h 2 6 4 标准的，而x v i d 是采 用的是m p e g - 4 早期标准。由于h 2 6 4 是2 0 0 3 年正式发布的最新的视频编码标准， 因此，在通常情况下，x 2 6 4 压缩出的视频文件在相同质量下要比x v i d 压缩出的 文件要小，或者也可以说，在相同体积下比x v i d 压缩出的文件质量要好。它符 合g p l 许可证。 第二个原因是x 2 6 4 的性能优良 根据李世平老师的评测报告，x 2 6 4 是目前应用最多，效费比最好的一个 8 第1 章绪论 h 2 6 4 编码器 9 。以下数据和结论摘自 9 ： ) 2 6 4 和j m 8 6 相比，在编码性能和j m 8 6 相当甚至更好的情况下，其编码速 度可以提高2 0 0 - - 5 0 0 倍。这说明x 2 6 4 真的是非常的有效。而且，在客观质量 p s n r x 2 6 4 不如j m 8 6 的情况下，x 2 6 4 的主观图像质量却比j m 8 6 来得好，这说明 x 2 6 4 非常注重实效。 t 2 6 4 和j m 8 6 相比，虽然编码速度有更大的提高，但其编码性能下降太大， 除了一些特殊应用场合( 传输带宽比较大但延时要求极其苛刻的场合) ，t 2 6 4 ( f a s t m o d e ) 的意义不大。 t 2 6 4 h i g h 在编码性能不如x 2 6 4 的同时，编码速度也不如x 2 6 4 。 总而言之，从综合性能来看，x 2 6 4 是目前最好的一个h ，2 6 4 编码器。 1 2 2 开展视觉心理冗余去除方法在多视点视频中的应用研究 本部分的研究，旨在j v t 的j m v c l 0 版本编码器的基础上开展前文相关方法 在多视点视频编解码协议上的应用研究。 1 2 2 1 为什么选择j m v c ? j v t i o 是j o i n tv i d e ot e a m 的简称，中文名称联合视频编码组。j v t 的组 成成员主要来自i s o i e c 组织的m p e g 小组以及来自i t u 组织的v c e g 小组。j v t 编码组的形成是在视频压缩标准的研讨过程形成的。在2 0 0 1 年6 月，经过评估 发现，h 2 6 l 编码技术基本能够满足m p e g 的标准需求，因此m p e g 中的成员和v c e g 中的成员组成了一个新的小组，叫做j o i n tv i d e ot e a m ，来推动和管理h 2 6 l 的最后标准化开发。在实际运作中，j v t 的会议经常和v c e g 以及m p e g 的会议同 时同地召开，j v t 产生的结果直接向上汇报给两个母小组。 j v t 组织目前正在着手于制定基于h 2 6 4 协议的多视点视频编解码协议m v c 。 并且提供了相关的基于h 2 6 4 s v c 的编码器j m v c l 0 。在该协议中，相关的语义 和语法正在被制定中。相关的保留字也被预留以待更进一步的研究或者添加新的 元素。在该代码中，协议的大部分内容都已实现。可以作为研究多视点视频编解 码的一个有力工具。 目前j m v c 的协议草案已经达到了7 0 1 1 2 版，相关的代码为1 0 1 3 版。 这个协议基本上被定为j v t 组织的未来的多视点协议，所以在这个代码基础 上开展研究具有很大的应用价值。 1 2 3 对最终的结果进行主观评测 近年来，国际标准化研究机构非常重视视频质量评估的研究，目前参与视频 质量评估研究的标准化小组有：i t u - t 的s g 9 和s g l 2 ，i t u - r 的w p 6 q ，a n s i 的 9 第1 章绪论 t i a i ，i e e e 的广播技术协会 1 4 。另外，i t u - t 和i t u - t 的研究小组联合在一 起，在1 9 9 7 年成立了视频质量专家组v q e g 1 1 ，专门进行视频质量评估方法的 研究。 由于个人的视觉系统( h v s ) 不尽相同，对视频内容的熟悉程度也不一样。 为了减少主观随意性，在对视频图像主观评定前，选若干名专家和“非专家”作为 评分委员，共同利用五项或七项评分法对同一种视频图像进行压缩编码构图像评 定。最后按加权平均法则对该压缩后的图像质量进行主观评定，如表2 2 所示。 表格3c c i r 五级评分等级 数值判分视频质量级别视频失真级别 5 优( p e r f e c t )没有察觉 4 良好( g o o d )有察觉但不可厌 3 还可以( f a i r )察觉且稍微可厌 2 差( p o o r ) 可厌但不令人反感 1坏( u n u s a b l e ) 极可厌且令人反感 测试方法可用随机次序请评委观察比较原始图像和压缩编码的图像。国际上 称为d s c o s 的测试系统如下图所示。其中a 为原始图像，b 为编码解码后的图像， 以任意的a 、b 次序让评委打分评定。 图表2d s c q s 测试系统 各种图像、视频系统的最终目的是为各类用户提供娱乐、教育等服务，所以 他们对视频质量直接的评价，即主观评估，是最为准确和重要的方法。顾名思义， 主观质量评估就是选择一批非专家类型的受测者，让他们在一个受控的环境中， 连续观看一系列的测试序列，然后采用各种统计方法让他们对视频序列的质量进 行评分，最后求得平均判分，并对所得数据进行分析。具体定义见表常用的主观 评估方法有： 1 0 第1 章绪论 d s i s ( d o u b l es t i m u l u si m p a i r m e n ts c a l e ) ：受测者观看多个原始参考图 像、失真图像对应组成的“图像对 ，且每次总是先显示原始参考图像，然后显 示失真图像，对失真图像的总体失真程度进行打分。 d s c q s ( d o u b l es t i m u l u sc o n t i n u o u sq u a l i t ys c a l e ) 受测者观看多个原 始参考图像、失真图像对应组成的“图像对”，与d s i s 不