一种用于MPEG编码的视频序列的实时视觉后处理程序

1、一种用于MPEG编码的视频序列的实时视觉后处理程序摘要：一种新颖的内容自适应的增强滤波器被描叙，其目标是减少MPEG编码视频流的压缩人工制品。滤波器部分地在前定义的掩码集合中选择最合适的核心，基于被处理像素的分类。用在分类像素的特点考虑了轮廓像素周围的出现和分布传送系数，之前通过一个边缘提取器检测。对于已提出的方法的一个重要方面是其计算的低复杂性，一个低成本的消费者的应用软件程序的场景非常有吸引力（网上的视频通信，DVB机顶盒接收器，等等）。实验结果显示提出的方法的结果优于其相同复杂程度的已存在的方法。1. 介绍视觉数据是一种最好的普及通信媒体在一个广泛的应用，从家庭娱乐到工业系统。基于DCT

2、的视频编码技术（例如文献7中的MPEG-1，2和文献3中的H.26X）获得一个号的结果依据数据压缩,在几个架构应用的数字视频的可行性的应用,例如DTV,电信会议,等等.可以支付的价格是可以感知的曲解的介绍,在解码视频中,主要包括在烦人可视人工制品中,尤其是在显而易见的媒质和低码率中.后部工艺是一个实用的解决方案对于完成一个压缩图像的可视增幅,因为它不意味在压缩流中的码位增加，也不存在编码标准的改变。然而，它并不容易找到一个确定的解决方法对于所有可能失真的信号源，也由于它们之间的严格的相互关系和在特殊滤波器的应用的副作用。失真的主要来源是每个模块的DCT的相关系数的独立的数字化。这个问题能够在工

3、作在空间范围内遇到，在视频信号重建后，或者在转换范围内，之间操作在编码流数据里。在那些工作在空间范围里的方法中，一个传统的方法是以合适的设计的回旋核心的视频帧。3*3的高斯滤波器对于像素的后处理的使用是一个简单的方法对于减少边沿效应，但是介绍边沿和质地模糊接近于模块边沿的弊端。基于以上所提到的，在FIR滤波器中在文献5中以低的活动性是被处理的，和滤波强度是通过模块大小来驱动的，它在频率范围内直接估计。相反，空间滤波器的使用在文献2中被提到，其核心被应用在正交方向上为了街区边沿移走。一个不同方法的类别是基于凸状集合的突出部分（POCS），一般实现通过复杂的迭代算子。分程序中的不连续性实事上能够被

4、识别以高标准或者垂直频率，是它可能用贬低的图像的突出部分，在一个频段限制信号的集合，从而，介绍的一个规则化得限制在转变系数的数字标准上13。在文献12，凸集阻断了所有的还原图像，其中在像素中通过程序段的边界的积累序列是比一个给定阀值更小的值。在文献6中，直角分界线的半空间功能的创新概念被介绍。目标是为了计算边界直角2-D功能的一个集合的相关系数以减少阻塞，集合像素为了损坏的图像。而且，其显示它可能达到最好的视觉图像人工制品的减少量用常用三的DCT基线功能。涉及到蚊子噪声，古典的后处理技术通过使用非线性滤波器。作为一个例子，排序滤波器（尤其，中等滤波器）能够移除孤立的尖峰噪声而没有毁坏附近的区域

5、。其他的方法已经被提出，那需要一些处理在编码器中9.在下一节中，一个新的方法被提出，其目的是为了减少一个确定的操作在视觉冲击的窗口配置，边沿模糊化和蚊子失真，基于一个适应性的各向异性的滤波器，通过一个像素分类驱动。这种方法的一个重要特点是较低的计算复杂性，它使它合适的，在低花费的视觉通信系统中，例如IP上的视频或者是机顶盒的卫星接收器。2. 已提出的后处理程序编码模型的正确特点是必须的对于一个有效的后处理程序的设计。模块化失真对于处理是非常简单的，因为它总是出现在邻近的模块之间的边缘。不同的是，区域作用通过边沿模糊，蚊子噪声将被专门定位和分析，通过考虑图片的空间活动性和压缩程序的结果。在这一背

6、景下，下面的内容将被考虑：蚊子噪声影响模块以重要的边沿，它被定为在附近边沿；实事上，高频DCT系数的粗糙的程序（联系其边沿像素）由于数字化引起虚假的震动在轮廓周围；系数数字化得处理引起图像清晰度的损失在有织纹块中，除了边沿锐度减小；蚊子工件和模块是更加关键的在平滑区域；这样的考虑是非常重要的对于提出的后处理程序的设计和提出，自从上面已提到的失真与一个一定量的对照图像的变化在相比较在压缩样式代表原始的一个。因此，后处理程序的目的将被修改压缩图像的差别通过一个合适的自适应滤波器。尤其是，基于以上的内容，它可能恰当的调节系统参数为了完成与原始图像相似的差别值，因此在边沿增大清晰度（增大图像的对比度）

7、和减少工件在平滑区域（减少图像的对比度）。图1 后处理程序算子的方框图更近一步的限制考虑方法的清晰度关于整体的后处理程序的可能性在一个HW解码器结构中以低成本。这包含算子的使用，要求光线计算和解码器结构的低变化率。迭代的方法因此被丢弃，同样要求大量接入的比特流喝解码数据。尤其，它支持唯一的一部分用于一次，可能性包括相关的运动向量。最新的约束条件典型的引起通过限制为了接入缓冲流和解码参数帧通过数据公交的使用。通过上面提到的，后处理程序的结构基于一个各相异性FIR滤波器，它自适应的选择当地卷积核心基于两级分类（看图1），正如下面章节所描叙的。2.1 FIR 核心选择滤波器选择器是基于被处理的区域的

8、分类，像素和像素。它基于两个步骤：块分类和像素分类。因为第一水平的三个模块分类通过使用边界的平滑的和结构。选择的处理程序工作在DCT范围中，以低计算复杂性的双重优势和满意的参数。基于在文献10中提出的方法，它将传输系数矩阵分割为四组：DC系数，低频率组（L），边界组（E）和高频组（E），其中L，E和H的值在附带的描叙中，系数的和管理在相关组中。它在实验上建立(L+E)/H和L/E的 比值得最大值指出一个边界的存在，当(E+H)的和提供好的模块结构能量的相似值。其内部编码的模块然后能被直接的分类通过使用其转换矩阵。结果，每个模块作被标记为边的，平滑的或有织纹的。因为当前的预测模块，分类通过利用运

9、动信息执行。在这种情况下，在预测帧的每个模块的类别中占优势的种类被选择，在被引用的一个。在模块分类中，Sobel操作者被用来检测内部边界模块的边界位置。Sobel二次滤波器在位置和边界方向的估计值上给出了足够的精确度，以最低的计算复杂度。两个门限值被用到，低门限值TL用来检测轮廓，高的门限值TH用来检测边沿，为了避免因为模块化产生的错误边缘的检测。在边界检测之后，每个像素通过模块的种类和边界的距离来划分。属于'边界'模块的像素被标记为：如果它们在模块的边界（大部分的外部周长和连接的内部周长）而且相关的对比值低于TL则被称为模块化像素。如果其值高于TL（内部像素）或高于TH（边界

10、像素），称为边界像素；其他的称为蚊子像素（仅内部像素）；因为织纹模块，内部像素被标记为：非处理像素在模块边界；图2.FIR核心用于边界增量（a），蚊子平滑（b）和织纹清晰。核心（a）和（b）被应用于属于像素或接近于水平边界；否则，一个循环通过边界定位来被应用。织纹像素在内部区域。最后，平滑模块的内部像素被标记为在模块边界的边界像素；内部的非处理像素。2.2 FIR滤波像素分类的结果被用来选择合适的滤波器对于人工制品的减少量。像素被标记为为非处理的是一个例外，其中是未改变的。在其他例子中，像素的分类使其以一个合适核心的选择。结果，下面的滤波器被定义如下：边沿像素：一个直接的边沿增量滤波器被应用于

11、反差的增加独立于倾斜的方向和在垂直方向的平滑（图.2（a）的核心）。蚊子像素：一个3*3直接平滑滤波器被应用（图。2（b）。就像我们观察到得，那些滤波器强烈的影响像素在直接方向的直角的边沿，其中涉及到更多的涟波效应。织纹像素：一个单一的3*3轻度对比增量滤波器被应用（如图。2（c）。在这种情况下，没有指向性需要。网格像素：一个1-D低通滤波器被应用于修饰不好的在相邻模块间的亮度转变的视觉效果。滤波器被应用于这个模块方向正交边界：在垂直模块的边界，水平方向的掩码被应用，反之亦然。滤波器首先被应用于最外块边界周长，同样对于其最直接的内部的一个。作为边界的像素被标记在这个过程中士不被考虑的。一个滤波

12、器参数的合适设置（S,C和K）是一个关键的任务，因为一个滤波器相关系数的错误选择将会产生消极影响。最佳参数的集合能被计算通过一个目标强加，在滤波后的和原始的图像间差异比较的减少量。这能被开发，仅在测试相位，其中原始的图像可利用于计算图像的对比差异。因此，一个经验上的关系在压缩曲线和核心参数曲线间获得。而且，它发现它是不可能完全消除其压缩效应按照本地的图片变换，实事上，它一般不可能从扭曲的图片中完全恢复变化，尤其在一个比较严重的边沿和纹理平滑后。3. 计算复杂性的评估算子的复杂性的评估能够通过检查关于后处理程序的四个主要步骤。模块分类：对于I-帧，每个模块在离散余弦变换域中直接被分类，要求NZ求

13、和和每个模块的7个比较（nz是每个模块的DCT传输系数的平均值）。因为P-和B-帧，分类是通过每个模块的两次求和和两次比较的固定计算复杂度来执行的。轮廓提取：Sobel掩码的应用要求灭个像素执行3次乘积，15次求和和4次比较（只是边界模块）。像素分类：它被执行通过处理每个边界链和标记像素的正交方向以同样的模块，涉及每个边界像素的8次检查的最大值。滤波：滤波通过一个3*3的掩码或5*1掩码的卷积，要求每个像素的9次乘积和8次求和最高限制。作为一个例子，对于一个视频序列在CIF板式在25帧/秒和边界模块的10%总计计算需求是大约0.2M乘积，1M求和和0.3M检查每秒，那标志的可能的过程也在软件解

14、码中。4. 实验结果过渡的测试和比较在几个视频序列中被管理，以0.75Mbps的一个MPEG-I标准解码器，以不同的特征和运动活动。测试序列中的两个是被考虑的在这节中：Salesman，以好定义的和好的物体以一个复杂的背景，Claire，以一个平滑的背景和短暂的运动。参数是通过视觉判断来大致估计，因为这里没有一个可利用的标准在片刻来有效的估计一个视频序列的主观质量。然而，一定数量的方法被提供来更好的比较，定义如下：最大信噪比（PSNR），它是一个广泛用于质量测量基于当比较原始的编码数据的平均序列错误的估计。但是，它被指出，它没有考虑以任何方式的专门种类的距离，也没有人类视觉系统（HVS）的特点

15、，因此，它并不常用，对于更好的寻找图像对于更低的PSNR。模块方法，它们开发DCT转变的已知的特性1。尤其，它是基于8*8模块的转变的应用中心在水平（EH）和垂直的（EV）模块的人工制品的边沿。扭曲刻度被通过计算频率的能量关联的压缩的人工的不连续性：AC相关系数定位于排系数对于在EH模块和AC相关系数定位在第一行在EV模块即使在专栏索引。尤其是，公式使用如下：其中ER是模块集在编码时用到的。指示接近一个如果当前没有模块变形，意味着在模块边界的关键系数显示一个平均行为接近于正常的图像模块，而且增加了比较的因数，由于增加的盖瓦。这个参数是非常有趣的，因为它不需要原始图像的可利用率。然而，专门的图像

16、特点的偏置的指标（对于未压缩数据的非联合值），它可能获得更多的强健的非线性模块失真（NBD，在这节中用到）通过DB值比较比较在原始图像上被分割为实际的ED值。边界模糊和蚊子噪声测量方法被获得基于一个规范化反差变化方法计算通过下面表达式4：其中和各自代表在*中心像素在原始和压缩图像变化。在这个区域的遮阳一个方法的平均值影响通过边沿模糊（）和蚊子噪声（），我们得出了蚊子人工制品和边沿模糊化得方法。它们各自定义如下：图.在编码和后处理帧代表（在左边）和在不同的后处理算子代表分线性模块失真（在右边）在首先的的帧的比较。图.在不同的后处理程序算子序列的帧的比较，在左边的代表边沿模糊化，右边的带便蚊子噪声

17、。除了相应的零值的失真。像素集由所有的图像边界组成，其中包括了属于边界模块的所有像素，除了边界本身。两种方法的值接近于零如果没有失真出现和通过失真增加。图。和图。显示其结果完成通过提出的方法代表以上失真的方法为了测试序列的前帧。图左面的表格显示一个的低变化率在编码和后处理帧之间。作为已提出的，这个结果被认为是理由充分的，因为一个后处理方法的目标不是为了监视平均错误量（这已经通过压缩技术执行），但是为了减少视觉冲击的失真。已提出的方法的有效性通过结果现场检测，为了减少模块和蚊子效应的减少和边沿增量，就像在以提出的表格中显示的一样。图。（右图）已提出后处理程序的结果按照前面提出的标准化得模块失真（

18、）方法。它也比较了在文献提出的后处理算子的变化。锐化边沿和蚊子噪声减少在图。中显示，其中已提出的方法的参数被估计，通过蚊子区域的差异减少和边沿像素的差异增加。这能看到Zakhor提出的方法能够完成一个好的结果通过蚊子减少量（零值通过平均蚊子噪声的减少），但是介绍的另外的模糊在相应的边沿和模块边沿（图像差异减少）。这是由于低通滤波器和为了采用的数字化限制，它没有考虑边沿锐化。表1.通过平均PSNR的不同后处理算子的比较，边沿模糊化，蚊子噪声和模块失真对于两个测试序列（10帧）相似的结果被完成在其他的测试序列中用到。表1概述对于两个测试序列的失真方法的平均值。尽管这些方法给这些方法性能的客观评估，最可靠的判断来自于对处理的图像的直接观察。因此，从这些测试的视频序列的两个夹子在图5.和图6中提出，为了达到结果的一个视觉观察。注意力将被集中