错误掩盖技术发展综述

错误掩盖技术发展综述

0基于错误掩盖的数字视频通信随着数字视频和图像绘制水平的提高以及人们对视频和图像视觉质量的要求的提高，图像的高分辨率图像已进入人们的日常生活。与此同时，图像和图像的数据量急剧增加。为了存储和通信运输方便,对数据进行高效压缩是必须的,压缩后的数据之间冗余度大大降低,在经不可靠信道传输时极易受损而发生错误,进而在接收端造成错误解码,使解压后的视频质量严重受损。因此,在数字视频通信中必须应用差错控制机制。在诸多的差错控制技术中,错误掩盖技术是一种重要的错误处理手段。技术出发点是:在错误发生且错误区域被检测后,利用数据间的时间冗余性和空间冗余性,在接收端通过正确接收的数据和算法实现错误区域重建,而无需数据重发。由于人眼无法感知较小幅度的图像失真,因此该技术是可行的错误掩盖领域研究技术主要分为以下两类:只在解码端进行的错误掩盖;编码端和解码端共同进行的错误掩盖。本文分析研究了相应分类下的技术进展,并对各类掩盖算法进行了研究比较,展望了错误掩盖技术发展前景。1解码端点盖1.1解码技术的应用只在解码端进行的错误掩盖技术针对解码端进行,有以下优势:⑴无需修改编码端,不改变码流结构,不会增加额外的码率;⑵不需要反向信道,不会造成额外传输开销;⑶在一些特殊场合,只能采用解码端的错误掩盖技术,比如实时视频通信和视频广播。实时通信不能忍受视频重传造成的时间延迟,视频广播则不具备反向信道。1.2错误掩盖和时空结合的错误掩盖根据掩盖时所选择的冗余信息类型,在解码端进行的错误掩盖技术主要分为3类:空间域错误掩盖、时间域错误掩盖和时空结合的错误掩盖。由于空间域错误掩盖(SpatialErrorConcealment,SEC)适用范围广(视频切换帧、帧内编码帧等均依赖于空域掩盖),其在错误掩盖中有重要地位,是解码端进行错误掩盖的研究重点,同时也有相当多的改进算法,本节主要介绍SEC传统算法和新算法。1.2.1传统的邻域插值方法SEC算法核心在于重建错误图像块时所选择的插值像素和插值算法,最简单的是利用错误块周边像素进行双线性插值,掩盖错误块。双线性插值方法对于平滑区域的修复效果较好,但对图像的边缘(高频信息)会造成平滑模糊。为了提高修复准确度和视觉清晰度,引入方向插值(DirectionalInterpolation,DI)以替代简单的邻域插值法,已经成为传统SEC中重要的手段。但是DI的准确度依赖于插值方向的选择。边缘判决1.2.2基于元分析方法的模型评价与传统SEC方法集中于方向插值不同,新的SEC算法倾向与其他研究领域应用技术结合,比如模糊聚类、高斯过程回归、序列对比技术、无迹卡尔曼滤波器模糊聚类是聚类分析的实现方法之一。聚类分析是数理统计中的一种多元分析方法,它用数学方法定量地分析样本的亲疏关系,从而客观地划分类型。将模糊聚类用于错误块的相似块寻找高斯过程回归(GaussianProcessRegression,GPR)在统计学和机器学习中有大量理论基础,而高斯过程是广义高斯分布函数,性质完全由其均值函数和协方差函数确定,将其均值设为0,可使问题简化为求协方差函数。若将GPR定义在损失块周围区域像素,选定GPR的协方差函数(比如γ指数函数),则可通过极大似然法自适应估计损失像素值,实现错误掩盖研究者利用生物信息学中的序列对比分析技术,可以捕捉到图片序列中错误块及周围正确接收块的纹理变化和整体趋势,从而建立最合适的纹理模型2组件解码和共阻塞2.1解码端结合的错误掩盖技术的对比由于在编码端嵌入了有价值的冗余信息,使得在解码端进行EC时可利用的信息更多,更准确,所以编解码端结合的错误掩盖技术的掩盖的主客观效果要优于单纯在解码端进行的错误掩盖。2.2技术分类编解码端结合的错误掩盖技术发展趋势大致可分为两类,一类是基于数据隐藏的错误掩盖技术;另一类是基于分场描述编码的错误掩盖算法。2.2.1基于不等差错保护的视频信息流此类技术利用数据隐藏手段在编码端嵌入了关键冗余信息,在解码端通过数据隐藏的逆操作,提取出冗余信息,配合传统错误掩盖算法,重建错误区域。其关键在于编码端嵌入的冗余信息和信息嵌入信源时选择的数据隐藏技术。利用基于最低有效位的数据隐藏技术的具体操作是,图像分块后,利用离散小波变换(DiscreteWaveletTransform,DWT)后的量化操作,可以得到块的描述信息(BlockDescriptionInformation,BDI)。每个BDI代表该图像块的一个低质量复制。通过基于最低有效位的数据隐藏技术,将单个块的BDI隐藏到另一个块的信息中,当其中某个块发生错误时,可从其他块中获取到BDI信息,从而重建错误块。当某个块及隐藏其BDI信息的块都发生错误时,利用邻近像素插值法重建同样是利用图像DWT系数,将其划分为一群完全树,利用改进的多集树集合分裂算法对每个完全树独立编码,形成完全树的参考码,每个树的参考码被嵌入到不同位置的另一棵完全树中,完成编码端冗余信息的隐藏,解码端利用参考码加强错误掩盖效果。对基于不等差错保护(UnequalErrorProtection,UEP)策略的视频信息流可采用与上述算法不同的掩盖方案。UEP策略对感兴趣区(Region-of-Interest,ROI)信息采用了较强的差错保护,而对低突出性(LowSaliency,LS)的图像区域采用较低的差错保护,导致信息流在经不可靠信道传输时,LS区域更易发生错误,故可将LS区域的预测图嵌入视频信息中此外,还有许多利用数据隐藏技术进行编解码端结合的错误掩盖技术,例如利用基于量化索引调制的水印技术,将视频中每帧图像的抖动色版本隐藏到视频中2.2.2奇场描述编码技术分场描述编码属于多描述编码技术,而多描述编码技术是在视频重传不能实现的情况下最重要的抗误码技术之一。分场描述编码技术对单帧图像按奇偶行或列扫描,记为奇场描述和偶场描述,两者分别独立编码传输,在接收端合并。对于图像序列,可按时间分为奇偶两个序列,对每个序列中的每帧图进行奇偶分场,即对视频信号分为四个描述编码发送,在接收端根据丢失场的位置信息或者运动矢量分析自适应选取时域掩盖或者空域掩盖。2.2.3解码和解码前后对比基于数据隐藏的掩盖算法由于在信源中加入了更多的冗余信息,所以掩盖效果普遍优于解码端的插值算法。主要缺点:一是信源端信号轻微降级;二是编解码要同步,增加了计算复杂度。分场描述编码可在信道丢包率较高的情况下恢复出较好的图像3编解码端结合的错误掩盖技术解码端错误掩盖技术通过修复一定错误模式的单帧图像来展示其修复效果,而编解码端结合的错误掩盖技术则假设信道有一定误码率,在接收端再进行掩盖。故分为两节展现两大分类中主要技术的对比。3.1foreman图像的插值对比针对解码端错误掩盖的技术实验中的棋盘式经典图像错误模式(如图1所示,块大小为16×16),比较foreman图像经双线性插值、空间域的多方向插值和基于GPR的掩盖后主客观效果。图2为实验用foreman原图,图3展示了三种算法对棋盘式错误模式下的foreman掩盖后的主观效果和客观的峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)。3.2nr对比图4显示了在不同丢包率下,编解码端结合的算法与H.264的掩盖算法的PSNR对比。选取的编解码端结合掩盖算法有:基于数字水印技术算法从图4可以看出,不同算法之间掩盖效果差别较大,其中基于数字水印的掩盖算法的掩盖效果随着丢包率的增大,掩盖效果急剧下降,而基于分场描述的错误掩盖有较好的