（通信与信息系统专业论文）视频实时处理算法研究.pdf

浙江大学博士学位论文摘要 摘要 随着多媒体技术的发展，数字视频系统在许多领域得到了广泛的应用， 包括数字媒体存储、数字电视、远程监控等。本文以数字视频作为研究对象， 在视频编解码、视频后处理以及视频错误掩盖等方面进行了深入研究。 本文首先重点研究了视频编解码算法。为了满足用户对网络带宽和图像 质量的要求，最近几年，不同的标准组织制定了以h 2 6 4 、a v s 、v c 1 为代 表的新一代视频压缩标准。这些标准在提高压缩率的同时，也给编解码器的 硬件电路实现带来了很大的困难。本文从硬件资源消耗、总线带宽需求、算 法复杂度等多个角度分析了这些新标准的特点，并且针对解码器总线压力大 的情况，提出了利用重叠参考数据的方法。 针对现有自适应变长码算法压缩率低、规则性差以及计算量大的缺点， 本文还提出了分类自适应变长码算法。该算法利用规则码表编码对l e v e l 和 r u n 独立编码；所有的码字可以通过简单的计算获得，避免了查表过程；新 算法根据已有编码信息对f u n 进行分类编码，从而提高了编码效率。 本文接着重点研究了视频后处理算法。许多应用需要实时转换视频格式， 例如缩放、去隔行。视频后处理主要负责这些转换过程，它充当了视频源和 显示设备之间的接口。为了减少后处理过程需要的计算量，本文提出了视频 解码后处理的联合结构。在该结构中，视频解码器向后处理模块提供编码信 息，这些信息用来指导和优化视频后处理过程。在该结构基础上，本文提出 了基于编码信息的图像缩放算法，该算法利用d c t 系数和运动向量，获取图 像的局部纹理信息，然后选择不同的方法处理图像的每个区域。本文还提出 了基于编码信息的去隔行算法。该算法能够实现低运算量的、具有运动补偿 特性的去隔行过程。为了防止在后处理过程中使用不恰当的编码信息，本文 提出了一系列用于检测编码信息的方法。 本文最后重点研究了视频错误掩盖算法。在传输或存储视频压缩数据时， 各种外界因素影响可能会破坏数据，因此视频错误掩盖是一个高性能解码器 必须具备的功能。本文首先概述了当前国内外的一些研究成果，然后着重研 究了空域错误掩盖，并提出了基于边缘延伸的空域掩盖算法。该算法在恢复 部分图像细节的同时，保护了穿过错误宏块的强边界。本文还着重研究了时 域掩盖算法，并提出了新的基于编码信息的时域掩盖算法。该算法利用编码 信息修正已有的相邻块运动矢量，提高了运动矢量的准确性。为了消除时域 掩盖引起的块效应，本文给出了一种去块滤波算法，该算法能够平滑块边界， 改善图像质量。 关键词视频编解码视频后处理视频错误掩盖 浙江大学博士学位论文a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to ft h em u l t i m e d i at e c h n o l o g y , d i g i t a lv i d e os y s t e m s a r ew i d e l yu s e di nm a n ya p p l i c a t i o n s ，s u c ha sd i g i t a ls t o r a g em e d i a ，d i g i t a lt v , a n dr e m o t em o n i t o r & c o n t r o ls y s t e m t h em a i no b j e c to ft h i sd i s s e r t a t i o n f o c u s e so nd i g i t a lv i d e o v i d e oc o d e c ，v i d e op o s t p r o c e s s i n ga n dv i d e oc r i e r c o n c e a l m e n ta r es t u d i e d f i r s t l y , v i d e oc o d e ci ss t u d i e d i no r d e r t om e e tc u s t o m e r s i n c r e a s i n g d e m a n d so ft h eb a n d w i d t ho fn e t w o r ka n dt h e q u a l i t y o fv i d e o d i f f e r e n t o r g a n i z a t i o n sh a v ee n a c t e dn e x tg e n e r a t i o nv i d e os t a n d a r d ss u c ha sh 2 6 4 ，a v s a n dv c 1 。t h ev i d e oc o m p r e s s i o nr a t i oi si n c r e a s e dh i g h l yb yt h e s es t a n d a r d s ， b u th a r d w a r ei m p l e m e n t a t i o no fv i d e oc o d e cb e c o m e sm u c hm o r ed i f f i c u l t i nt h e d i s s e r t a t i o n ，t h e s en e wv i d e os t a n d a r d sa r ea n a l y z e da tt h ea s p e c t so fh a r d w a r e c o s t ，b u sb a n d w i d t h ，a n dt h ee x t e n to ft h ea l g o d t h m s c o m p l i c a t i o n t h em e t h o d o fr e u s i n go v e r l a p p e dr e f e r e n c ed a t ai sg i v e nt or e d u c et h el o a d i n go fb u s e x i s t i n gc o n t e x t a d a p t i v ev a r i a b l el e n g t hc o d i n ga l g o r i t h m sa r ei n e f f i c i e n t ， i r r e g u l a r a n dh a s h i g hc o m p u t a t i o nc o s t i no r d e rt o o v e r c o m et h e s e d i s a d v a n t a g e s , c l a s s i f i e dc o n t e x t - a d a p t i v ev a r i a b l el e n g t hc o d i n ga l g o r i t h mi s i n t r o d u c e di nt h ed i s s e r t a t i o n t h i sa l g o r i t h mc o d e sl e v e la n dr u ns e p a r a t e l yu s i n g i n e r r a t i cc o d et a b l e s a l lc o d ew o r d sc o u l db eo b t a i n e dt h r o u g haf e ws i m p l e c a l c u l a t i o n sa v o i d i n gt h el o o k u pt a b l e t h em e t h o d st oc o d er u na r ec l a s s i f i e d a c c o r d i n gt ot h ek n o w nc o d i n gi n f o r m a t i o n ，w h i c hi m p r o v e st h ec o m p r e s s i o n e f f i c i e n c y s e c o n d l y , v i d e op o s t p r o c e s s i n gi ss t u d i e d i nm a n ya p p l i c a t i o n s ，t h ef o r m a t s o fv i d e os h o u l db ec o n v e r t e di nr e a l t i m e ，e g s c a l i n ga n dd e i n t e r l a c i n ge t c t h e v i d e op o s t p r o c e s s o r , p l a y i n gar o l ea sa l li n t e r f a c eb e t w e e nv i d e os o u r c ea n d d i s p l a yd e v i c e ，i sr e s p o n s i b l ef o rt h e s ep r o c e s s e s i no r d e rt o r e d u c et h e c o m p u t a t i o nc o s to fp o s t p r o c e s s i n g ，d e c o d e r p o s t - p r o c e s s o rc o a r c h i t e c t u r ei s p r o p o s e d ，i nw h i c ht h e d e c o d e rs h o u l df e e d c o d i n g i n f o r m a t i o nt ot h e p o s t p r o c e s s o r t h ec o d i n gi n f o r m a t i o nd i r e c t sa n do p t i m i z e sp o s t p r o c e s s i n g b a s e do nt h i sc o a r c h i t e c t u r e ，s c a l i n ga l g o r i t h m sb a s e do nc o d i n gi n f o r m a t i o na r e p r e s e n t e d t h e s ea l g o r i t h m sa n a l y z ed c tc o e f f i c i e n t sa n dm o t i o nv e c t o y s ， s u b s e q u e n t l yo b t a i nt e x t u r ec h a r a c t e r i s t i co ft h ep i c t u r e t h e nt h ea l g o r i t h m s s e l e c tc o r r e s p o n d i n gm e t h o d st op r o c e s se a c ha r e ao ft h ep i c t u r e m e a n w h i l e ，a d e - i n t e r l a c i n ga l g o r i t h mb a s e do nc o d i n gi n f o r m a t i o ni sa l s oi n t r o d u e e d t h i s a l g o r i t h mc a n r e a l i z e d e i n t e r l a c i n gb y m o t i o n c o m p e n s a t i o n w i t hl o w c o m p u t a t i o nc o s t i no r d e rt oa v o i du s i n gi 1 1 一s u i t e dc o d i n gi n f o r m a t i o nw h e n 浙江大学博士学位论文a b s t r a c t p o s t p r o c e s s i n g ，as e r i e so fm e t h o d sa r ep u tf o r w a r dt oc h e c kc o d i n gi n f o r m a t i o n f i n a l l y ，v i d e oe r r o rc o n c e a l m e n ti ss t u d i e d c o m p r e s s e dv i d e od a t am a yb e d e s t r o y e db yv a r i o u sf a c t o r sw h e nt h e ya r es t o r e do rt r a n s f e r r e d s oe r r o r c o n c e a l m e n ti si n d i s p e n s a b l ef o rf i l le x c e l l e n tv i d e od e c o d e r t h er e c e n td o m e s t i c a n di m e m a t i o n a la c h i e v e m e n ti ss u m m a r i z e sa t f i r s t t h e n ，s p a t i a l e r r o r c o n c e a l m e n ti ss t u d i e da n dan e wa l g o r i t h mb a s e do ne d g ee x t e n d i n gi sg i v e n s t r o n ge d g e sa c r o s se r r o rm a c r o b l o c ka r ep r o t e c t e db yt h ea l g o r i t h ma n dp i c t u r e d e t a i l sa r er e c o v e r e dp a r t l y t e m p o r a le r r o rc o n c e a l m e n ti sa l s os t u d i e d ，a n dn e w a l g o r i t h m sb a s e do nc o d i n gi n f o r m a t i o na r ep u tf o r w a r d lt h e s ea l g o r i t h m s m o d i f ym o t i o nv e c t o r sa c c o r d i n gt oc o d i n gi n f o r m a t i o n ，w h i c hi n c r e a s e st h e p r e c i s i o no fm o t i o nv e c t o r s m o r e o v e r , i no r d e rt or e d u c eb l o c k i n gd i s t o r t i o n c a u s e db yt e m p o r a le r r o rc o n c e a l m e n t ，ad e - b l o c k i n gm e t h o di sp r e s e n tt os m o o t h b l o c ke d g e sa n di m p r o v et h ea p p e a r a n c eo f t h ei m a g e k e y w o r d sv i d e oc o d e c ，v i d e op o s t - p r o c e s s i n g ，v i d e oe r r o rc o n c e a l m e n t 浙江大学博士学位论文 圈表目录 图表目录 图1 1h 2 6 4 编码示意图4 图1 2 码流的分层结构4 图1 3 视频处理系统一6 图2 1 专用编解码器设计流程1 0 图2 - 2h 2 6 4 亚块的参考数据互相重叠1 2 图2 3 解码器软硬件框架1 3 图2 - 4c a b a c 解码b i n 流程1 6 图2 5t o t a l l e v e l 与低频0 系数出现概率p 的关系1 8 图3 1 视频信号重采样2 4 图3 2 视频后处理模型：( a ) 传统模型( b ) 基于编码信息的模型2 5 图3 3 线性内插2 8 图3 - 4 缩放过程的边缘判断2 9 图3 5d c t 系数的基函数图像3 2 图3 - 6 a v s 的帧内水平预测3 4 图3 78 x 8 d c t 系数分区3 5 图3 8 参考数据在参考帧中的位置 图3 - 9 当前块和相邻块数据3 8 图3 1 0g o p 中各帧滤波所占的百分比：( a ) 水平滤波( b ) 垂直滤波4 0 图3 1 1 放大前原始图像一4 1 图3 1 2 线性内插放大4 1 图3 1 3 直接在压缩域放大4 2 图3 1 4 基于边缘缩放一4 2 图3 1 5 基于编码信息的放大4 3 图3 1 6 缩小前原始图一4 3 图3 1 7 基于线性内插缩小一4 4 图3 18 直接在压缩域缩小4 4 图3 1 9 基于编码信息的缩小4 4 图3 2 0 具有匀速运动的视频频谱一4 6 图3 2 1 视频频谱在平面( e ，只) 的投影4 7 图3 2 2 视频时域滤波4 8 图3 2 3 去隔行的递归和非递归搜索一5 0 图3 2 4 编码时场图的运动矢量5 l 图3 2 5 隔行帧图的帧运动矢量5 2 图3 2 6 多帧距离到单帧距离的转换一5 3 图3 2 7 块分割一5 4 l l i 浙江大学博士学位论文圈表目录 图3 2 8 基于编码信息的去隔行算法步骤5 5 图3 2 9 原始隔行图像5 6 图3 3 0 基于边缘去隔行：( a ) 第一场去隔行第二场去隔行5 7 图3 3 1 基于运动补偿去隔行：( a ) 第一场去隔行( b ) 第二场去隔行5 8 图3 3 2 基于编码信息的去隔行：( a ) 第一场去隔行( b ) 第二场去隔行5 9 图4 1 前向纠错6 2 图4 2 改进的s l i c e 分割“ 图4 3 多参考帧模式6 5 图4 4 宏块亮度坐标6 7 图4 5 边缘匹配的8 象素段7 0 图4 6 穿越宏块的边缘7 l 图4 7k = l 方向上的相异性。7 1 图4 8 边缘失真7 3 图4 - 99 个方向相异性p 0 的分布7 4 图4 1 0 原始图像。7 5 图4 1 1 原始出错图像。7 5 图4 1 2 基于线性插值的掩盖( p s n r = 4 3 2 4 ) 7 6 图4 1 3 基于边缘匹配的掩盖( p s n r = 4 3 3 8 ) 7 6 图4 1 4 基于边缘延伸的错误掩盖( p s n r = 4 3 5 3 ) 7 7 图4 1 5 基于块匹配的掩盖算法7 8 图4 1 6 相邻宏块7 9 图4 1 78 x 8 块运动矢量推算8 0 图4 1 8i 帧运动向量估计。8 l 图4 1 9 ) ( 0 所在区域8 2 图4 - 2 0 修i er a v l ( 如乃) 图4 2 1p 或b 帧时域掩盖8 4 图4 2 2 边界象素8 5 图4 2 3 基于邻域运动均值的错误掩盖但s n r = 5 0 1 0 ) 8 6 图4 2 4 改进的i 帧时域错误掩盖( p s n r = 4 9 5 1 ) 一8 6 图4 2 5 改进的p 帧错误掩盖( p s n r = 5 0 3 3 ) 8 7 图4 - 2 6 简单去块滤波的p 帧错误掩盖( p s n r = 4 8 5 2 ) 8 7 浙江大学博士学位论文图表目录 表格l l 视频标准应用3 表格2 1h 2 6 4 中b 帧读参考统计1 l 表格2 2c a b a c 的i p b 码率1 5 表格2 - 3 使用的码表1 7 表格2 4 编码c o e f u m ：2 k 7 的码表2 0 表格2 - 5 编码c o e f n u m 2 k 4 - u 的码表2 1 表格2 - 6m o b i l e ( i 帧) 不包含直流系数2 2 表格2 7 n e w s ( i 帧) 不包含直流系数 表格2 - 8m o b i l e ( p 帧) 2 2 表格2 9n e w s ( p 帧) 2 2 表格3 1 i 帧避免边缘搜索的百分比一3 4 表格3 2w l h = w h i ，= w h h = 1 8 时滤波百分比3 9 表格3 3w l h = w h l = w 明= 1 1 6 时滤波百分比3 9 表格4 1r v l c 和v l c 6 3 v 绪论 1 1 视频压缩 1 1 1 视频压缩原理 第1 章绪论 视觉是人类获取信息的重要形式，视频信号具有直观、生动以及信息量 大的特点。利用人类的视觉惰性，视频信号在时间轴上通常情况被离散化， 从而产生帧率的概念。根据图像的帧率和图像大小，我们可以得到视频信号 的传输带宽。假设图像采用4 ：2 ：0 格式，图像分辨率为7 2 0 x 5 7 6 ，帧率为3 0 f s ， 每个y u v 分量用8 b i t 表示，则比特率为 b i t _ r a t e = 1 2 w i d t h + h e i g h t + f l a m e _ r a t e = 1 4 2 m b 豇s 这样的比特率对大部分应用来说是无法承受的。为了保证视频信号的有效传 输或存储，视频编码技术得到迅速发展。如果从1 9 9 1 年m p e g - 1 的诞生开始 算起，视频编码的应用已经发展了十多年。在这期问，编码效率得到不断提 高的同时，编码算法的复杂度也大幅度增加。 根据编码数据能否完全可逆，可以分为有损压缩和无损压缩。无损压缩 的编码效率比较低，压缩率通常在1 0 倍以下，主要适用于对数据精度要求比 较高的应用，例如医学图像处理，数据文件压缩等。 有损压缩利用量化方法，删除了大量不相： ：( i r r e l e v a n c y ) 信息，能实现几 十倍乃至上百倍的压缩率。有损压缩后的数据只能近似的重构原始图像，因 此压缩率和图像质量之间构成了一种互相制约的关系。通常情况下，量化会 降低图像客观质量，然而根据人眼对高频信息的不敏感特性，只要选择合适 的量化因子，图像的主观质量不会受到很大的影响。 传统的视频编码技术有熵编码、变换编码、预测编码等，这些技术仍然 在不断改进中，并且至今它们还处于视频压缩领域中的主流地位。 熵编码 熵编码是根据符号的出现概率给每个符号分配不同的码字，即概率大的 符号对应短码字，而概率小的符号对应长码字，从而实现平均码长最短。在 视频压缩领域中，哈夫曼编码( h u f f m a nc o d i n g ) 和算术编码( a r i t h m e t i cc o d i n g ) 是应用最广泛的两种熵编码技术。在实际编码时，它们通常和游程编码相结 合，以进一步提高压缩率。 哈夫曼编码是一种不等长最佳编码方法。当各符号概率等于2 的负整数次 幂时获得最佳编码效率，不过在实际应用中很难满足这个条件。简单哈夫曼 编码采用静态码表，对每个符号采用固定的码字，和编码内容无关。在编码 过程中，如果符号集的概率是一个动态参数，则可以采用自适应的哈夫曼编 浙江大学博士学位论文：视频实时处理算法研究 码来提高编码效率，然而这种编码方式需要计算或者存储大量的不规则码表。 为了降低自适应编码的复杂度，可以用简单的前缀码来代替不规则码表，这 些前缀码的特点是可以通过简单的计算获得码字，例如哥氏码，一元码，多 元码等【1 1 。 算术编码把一个码字分配给整个输入流，而不是给每个符号分配码字。 它在编码时需要两个基本的参数：符号概率和编码间隔。信源符号的概率决 定了编码效率，也决定了编码过程中信源符号的间隔。这些间隔通常位于在0 和1 之间，它们决定了符号压缩后的输出。由于哈夫曼编码存在一些固有缺陷， 算术编码通常能获得更好的编码效率。然而与静态哈夫曼编码相比，算术编 码计算量和复杂度都要大的多。 变换编码 变换编码是通过某种正交变换，把图像转换到变换域上再进行编码。当 所选正交空间的基向量与图像的特征向量接近时，经过变换后的能量就集中 在少数几个系数上；若再对这些变换系数进行量化，则大部分的系数都将变 成零，然后结合游程编码和熵编码，图像的空间冗余性就被大幅度的降低。 用于图像编码的正交变换有很多类型，例如哈尔变换，沃尔什哈达码变 换，k - l 变换，离散余弦变换( d c n 。对于自然图像，d c t 具有很好的变换性 能，另外它还有各种快速变换算法，因此被许多压缩标准所采纳。 d c t 是一种浮点运算。在实际应用时，通常采用高位宽的定点运算替代 浮点运算，以减少硬件开销，但是计算量仍然较大；另外定点运算还会引起 失配问题( m i s m a t c h ) 【2 】。为了解决这些缺点，a v s l 3 、h 2 6 4 川以及v c 1 嘲 提出了整数变换( i n t e r g e rt r a n s f o r m ) ，整数变换的性质和d c t 基本类似，它的 特点是变换系数都为整数，这样运算精度不会有任何损失。 预测编码 预测编码是利用图像空间和时间的相关性，用相邻象素进行预测。帧间 编码利用时间相关性进行象素预测。为了提高帧间预测的正确性，通常需要 根据运动矢量进行补偿。运动矢量的搜索是一个计算量很大的过程，为了实 现实时编码，很多文献提出了各种快速搜索算法，例如三步搜索嘲，四步搜 索【7 1 ，菱形搜索【8 j 等。帧内编码利用空间相关性进行预测，最简单的是d c 系 数预测。 最近几十年，一些新的编码技术得到了发展，包括小波编码【9 】，分形编码 o l ，基于对象编码i 1 1 等。由于这些方法的压缩性能或者可实现性仍然不够理 想，等待新的突破，因此目前应用最广泛的仍然是基于分块的传统压缩算法。 1 1 2 视频压缩标准 视频压缩的标准化是编码技术产业化的前提。编码器把视频压缩成统一 视频格式，解码器才能唯一的识别比特流，并重构图像，从而实现信息正确 无误的交互。 2 绪论 1 9 9 0 发布的h 2 6 1 是i t u 组织提出的第一个h 系列视频压缩标准，该标准 采用的压缩算法事实上成为以后其他各种压缩标准的核心。，在接下来的1 0 几年中，i t u 在h 2 6 1 基础上，相继提出了h 2 6 3 、h 2 6 3 + 以及h 2 6 4 ；同时另 一个标准组织i s o 提出了m p e g 1 、m p e g 2 和m p e g 4 等标准。其中h 2 6 4 也 属于m p e g 4 的一部分，是i t u 和i s o 共同提出的压缩标准。另外还有由微软 提出、美国电影与电视工程师协会( s m p t e ) 发布的v c 1 。这些视频标准被广 泛应用在监控、数字电视、多媒体存储、移动通信等领域中，表1 - l 是部分标 准的典型应用。 表格1 - 1 视频标准应用 标准典型应用 m p e g 1v c d h 2 6 3视频会议，可视电话，监控设备 m p e g 2d v b 系列数字电视，d v d 影像制品 m p e g 4流媒体，网络音视频通信，监控设备 h 2 6 4 ，a v si p t v ，高清数字电视( h d t v ) ，监控设备 由于各种标准都存在专利问题，这些专利基本上都掌握在国外企业的手 中，这严重制约了我国相关产业的发展。2 0 0 5 年4 月由a v s 组织提出a v s 音视 频标准解决了这个问题，它是我国第一个具备自主知识产权的信源编码标准， 具有和h 2 6 4 ，v c 1 相同的压缩性能。 一般认为，h 2 6 4 、v c 1 、a v s 是下一代压缩标准。与现在应用最广泛的 m p e g - 2 相比，这些标准能提高3 0 , - - 5 0 的压缩性能，从而满足用户日益增长 的带宽需求。另外，h 2 6 4 存在大量可选项，其复杂度远高于v c 1 和a v s 。 尽管不同标准的复杂度存在较大的差别，然而它们的编码原理基本类似， 图1 1 是h 2 6 4 的编码器示意图。一般情况下，各个视频标准都是由下列部分 或全部模块组成：熵编码、量化、变换、帧问帧内预测以及去块滤波等。另 外，m p e g 4 的部分框架提出了基于对象( o b j e c t b a d ) 的编码方法，然而由于 实现上存在很大的困难，极少有广泛应用的例子。 视频压缩码流一般采用从上到下的分层结构【2 ，1 1 , 5 ，4 3 1 , 各个标准同时规 定识别各层的方法，最典型的是利用唯一可识别的起始码来标志每个层的开 始和结束。通常下层语法的正确解析依赖于上层语法，因此从数据重要性的 角度看，上层语法显得更为重要，在必要时可以通过重复传输或者其他方法 保护上层语法。 3 浙江大学博士学位论文：视频实时处理算法研究 差 图1 - ih 2 6 4 编码示意图 典型的语法层次如图1 - 2 所示。处于顶层是序列层( s e q u e n c e ) ，接着是图 像层( p i c t u r e ) ，条层( s l i c e ) ，宏块层( m a c r o b l o o k ) ，最下面是8 x 8 的块层( b l o c k ) 或者更小的亚块层( s u b b l o c k ) 。通常情况下，解码器无法在码流中直接定位 到s l i c e 以下的语法层，因此可以认为s l i c e 是可同步的语法层中最小的语法 单元。一旦码流受到外界因素干扰而出错，当前s l i c e 剩余的编码数据将不得 不全部丢弃，丢失的图像必须通过各种错误掩盖的方法恢复。然而部分标准 为了提高编码效率，允许同一图像内的不同s l i c e 之间互相预测，这样从出错 的s l i c e 开始，当前图像剩下的s l i c e 数据都将无法正确解码，从而造成错误 严重蔓延。 图1 - 2 码流的分层结构 1 2 视频编解码器的实现 根据视频编解码实现方式的不同，编解码器分为可编程编解码器和专用 编解码器。这两种方式在结构、复杂度、灵活性等方面都存在较大的差异， 4 绪论 因此各自的应用领域也有所不同。 1 2 1 可编程视频编解码嚣 可编程编解码器指各种采用基于c p u 或d s p 实现的编解码器，典型的 有各种p c 机的播放软件、基于r i s c 和d s p 的嵌入式系统。 这类视频处理器的优点是开发周期短，同时具有良好的灵活性、可扩展 性。为了提高产品的竞争力，开发者总是希望尽可能快的推出新产品，有时 甚至在标准正式公布前就开始研发，这时产品的灵活性显得非常重要。产品 推出后，一旦在将来发现新的问题，简单的系统升级就能完善功能，因而不 存在任何风险。 可编程编解码器依赖于相对昂贵的通用处理器，当图像的分辨率较高时， 整个硬件系统的成本将大幅度上升，因此这一类编解码器应用最广泛的领域 是p c 以及采用低分辨率的嵌入式系统。 1 2 2 专用祝频编解码器 专用视频编解码器指根据视频算法的特点，用专用电路的方式，实现编 解码过程中的各种任务的视频处理器，通常指由a s i c ( a p p l i e a t i o ns p e c i f i c i n t e r g r a t e dc i r c u i t s ) 实现的处理器【1 2 d 5 1 。所谓a s i c 是指应特定用户要求和特 定电子系统的需要而设计、制造的集成电路。专用芯片相对于通用处理器， 具有面积上的优势，制造成本相对较低，特别是当量产到达一定规模时，制 造成本嚣补了前期设计的高投入，使得芯片的平均成本远低于通用处理器。 专用集成电路把系统功能集中在一个小的芯片上，进一步提高了电子设备的 性能，另外它还具有可靠性高，功耗小，体积小，以及有利于保密关键技术 的优点。 专用编解码器一旦成为产品后，内部电路通常无法访问和再改动，灵活 性和可扩展性比可编程编解码器差，这给设计带来了一定的风险，为此提出 了软硬件协同设计的方法b 6 - 2 2 。这种方法需要根据系统需求，进行软硬件划 分，确定部分功能模块采用硬件实现，而另外部分采用软件实现，同时需要 协调硬件模块和软件模块之间的通信，从而实现系统性能和系统灵活性之问 的平衡。 专用编解码器和可编程编解码器的设计方法截然不同。通常情况下，前 者把整个视频编解码过程分割成几个不同的任务，然后根据每个任务的特点， 把它们分别映射到不同的硬件处理单元中，因此硬件单元能在最大程度上和 算法匹配，从而提高运算速度、降低硬件资源的消耗。 设计专用电路需要借助各种集成电路设计技术和工艺技术。自从1 9 5 9 年设计出第一个4 晶体管的集成电路以来，集成电路技术得到了惊人的发展。 在7 0 年代开始出现的计算机辅助设计使得集成电路设计自动化( e d a ) 成为可 能。各种e d a 技术让设计人员摆脱复杂的底层物理过程，利用高级的硬件 浙江大学博士学位论文：视频实时处理算法研究 描述语言( i - - i d l ) 进行功能描述，完成集成电路的设计、分析和验证，从而大 幅度缩短了整个开发时间。 随着半导体技术的发展，单块芯片能集成的晶体管数量越来越大，完全 有可能把一个复杂系统集成在一个芯片，即片上系统( s o c ) 1 6 - 2 2 。通常，s o c 包括可编程处理器、片上存储器以及由硬件实现的加速功能单元。 1 3 视频处理系统模型介绍 一个完整的视频处理系统不仅仅包含视频编解码器，还可能包括前端数 据采集、图像预处理，图像后处理以及播放驱动等，如图1 3 所示。 图1 - 3 视频处理系统 图像数据采集 图像数据采集是利用图像数字化器把现实模拟信号转换到数字图像的过 程【2 3 】。一个图像数字化器必须把模拟图像信号划分为若干象素，并给出它们 的地址，度量每个象素的灰度，然后把连续的度量结果量化成整数，最后把 这些整数写入到一定的存储设备。通常数字化器包括采样孔，图像扫描机构， 光传感器，量化器，输出存储器等。图像数字化器的典型性能指标有象素大 小，图像分辨率，线性度，噪声等，这些性能直接影响了数字化图像的质量。 视频预处理 视频预处理把采集得到的视频数据转换成编码器所能接受的格式，这些 格式包括视频分辨率、帧率、颜色空间等。对于一个特定的编码器，通常它 的编码能力有一定的限制，当编码数据源格式超过它允许的范围时，就可能 发生帧存空间溢出、无法实时编码等异常现象，这时必须采用预处理的办法， 把图像数据转换到最佳格式，保证编码器的正常工作，从而减少数据采集部 件和编码器之间的耦合性。 另外，数据采集部件在信号数字化过程中，可能因为部件本身的一些缺 陷，造成图像数据发生畸变，或者引入噪声，这时视频预处理系统可以通过 各种数字图像处理的方法，重建正确的图像数据。 视频后处理 视频后处理( v i d e op o s t p r o c e s s i n g ) 把解码器后的图像数据转换到显示 设备能够正确显示的格式，同时提高图像的显示质量。它的常见功能有帧率 6 绪论 转换、图像缩放、去隔行、颜色空间转换、图像叠加、降噪、电视夕校正等， 其中降噪和电视口校正等属于图像增强的内容，目的是为了改善图像质量。 有时接受端( 如机顶盒) 可能需要接受不同的发送端传送的信号，因此接受 端必须具备很好的兼容性，然而一个特定显示设备所能支持的帧率、分辨率 等参数的动态范围很小，部分设备( 如l c d ) 还存在一个最佳显示参数。为了 解决数据和显示设备之间这种矛盾，数字视频后处理就显得很重要，它不但 保证了视频信号与显示器的无缝连接，而且还能实现不同应用之间的资源共 享，例如实现隔行电视信号在p c 显示器逐行显示，p a l 制和n t s c 制电视信 号的转换。 视频预处理和视频后处理涉及较多数字图像处理算法。算法的性能直接 影响了图像质量和系统资源消耗。以图像放大为例，可以采用直接相邻象素 填充、双线性插值或者基于边缘信息插值【2 4 2 5 等方法实现，这些算法的复 杂度依次提高，同时放大效果也依次增加，因此在选择算法时，必须在复杂 度和性能之间做一个比较合适的折中。 播放 这里所指的播放包括电视信号编码、数模转换以及显示设各等。当终端 显示设备为电视机时，数字信号必须先编码成规定的电视信号格式，然后再 经过数模转换，电视机才能正确显示。电视信号有许多性能指标1 2 6 2 7 1 , 例如 微分相位，微分增益，信噪比等，数模转换后的信号必须严格符合这些指标。 1 4 本文研究成果以及内容安捧 本文以视频编解码理论为基础，对视频编解码算法、视频后处理，视频 错误掩盖等做了深入的研究。全文的内容安排以及主要研究成果如下： 第一章回顾了视频编解码原理，介绍了相关的视频压缩标准；根据实现 方式不同，对视频编解码器做了分类；最后还描述了完整的视频处理系统模 型。 第二章主要研究视频编解码算法。 ( 1 ) 本章首先介绍了专用电路设计流程，然后从硬件资源消耗、总线带宽 需求、算法不规则度等多个角度分析了新一代视频编解码器设计的特点和难 点，并提出了一系列优化设计的方法。 ( 2 ) 本章重点分析了现有自适应变长码编码的缺点，并提出了分类自适应 变长码算法，该算法能很好的解决编码效率和编码复杂度之间的矛盾。 第三章主要研究视频后处理算法。 ( 1 ) 本章首先概述了视频后处理的背景和特点，并提出了解码后处理的 联合视频处理模型。在该模型中，解码器要为后处理模块提供编码信息，并优 7 浙江大学博士学位论文：视频实时处理算法研究 化后处理过程，这对降低整个系统的资源开销，提高系统性能很有意义。 ( 2 ) 本章重点研究了图像缩放算法，并提出了基于编码信息的图像缩放算 法，该算法能有效降低传统缩放过程的计算量。 ( 3 ) 本章还重点研究了去隔行算法，并提出了基于编码信息的去隔行算 法。为了防止编码信息不符合去隔行的要求，本章提出了一系列检测编码信 息的方法，从而保证了后处理后的图像质量。 第四章主要研究视频错误掩盖算法。 ( 1 ) 本章首先描述了编码图像出错原因以及各种主动防错、被动抗错的基 本方法，并提出了一种改进的错误定位方法。 ( 2 ) 本章重点研究了空域掩盖，并在传统算法的基础上提出了基于边缘延 伸的空