导向滤波翻译(共16页)

1、导向(do xin)滤波摘要(zhiyo)：这篇论文中，我们提出一个新的明确的图像滤波器叫导向滤波器。来自于一个局部线性模型，导向滤波器计算滤波结果通过考虑导向图像的内容，导向图像可以是输入图像自身或者是另外一个不同的图像。导向滤波器能够向双边滤波器【1】一样保持边缘平滑，但是它在边缘附近有更好的表现。导向滤波器也是更一般地超越平滑的概念：它可以转化导向图的结构为滤波输出，用于很多新的滤波应用像去雾及导向抠图。更多的，导向滤波器自然的有个快速并且不近似线性时间算法，与核的尺寸和像素亮度范围。现在，它是最快的边缘保持滤波器之一。实验显示导向滤波器在很多种计算机视觉及图形学的应用中有很好的作用及效

2、率，包括(boku)边缘保持平滑，细节增强，HDR压缩，图像抠图，去雾，级联采样等等。1 介绍大部分的计算机视觉以及计算机图形学图像滤波涉及到抑制或者提取图像的内容。简单的有核的线性平移不变滤波器（LTI），例如平均，高斯，拉普拉斯和Sobel滤波器【2】，都被广泛应用于图像恢复，模糊/锐化，边缘检测，特征提取等等。可选择的，LTI滤波器能明确地通过解决一个在高动态范围（HDR）压缩【3】的泊松方程来执行图像拼接【4】，图像抠图【5】，以及梯度域操作【6】。滤波核是通过一个齐次的拉普拉斯矩阵的转置明确地被定义。LTI滤波核是空间不变并且与图像内容独立的。但是通常有时候需要考虑导向图像的附加信息

3、。各向异性扩散【7】的先驱工作用需要滤波的图像本身的梯度去指导扩散过程，避免平滑到边缘。平方和最小加权滤波器【8】利用输入需要滤波的图像（而不是像【7】的中间结果）去指导，并且选择一个二次函数，这个二次函数等价于一个非一般稳定状态的各向异性扩散。在其他的应用中，导向图像也能是另外的图像而不是本来的输入图像。例如，灰度图着色【9】色度通道不应该在亮度边缘溢出；在图像抠图【10】,应该抓住一个复合图像的细薄结构；在图像去雾【11】景深层应该与原场景一致。在这些例子中我们将色度/景深层作为需要被滤波的图像，亮度/复合/场景看做相应的导向图。滤波过程【9】、【10】、【11】 是通过优化导向图像的权重

4、二次成本函数获得的。解决方法是解一个仅依赖导向的大的系数矩阵。这个非齐次的矩阵明确的是定义于一个平移变化的滤波核。同时，这些依赖于最优化的方法【8】、【9】、【10】、【11】常常牺牲精确度来达到快的计算速度。另外的一个利用导向图像的方法是明确的建立它的滤波核。双边滤波器，在【12】、【13】中分别提出，【1】以及也许是这种滤波器中最受欢迎之一的后来提出的【14】。它们在一个像素的输出是附近像素的加权平均，这个加权是依赖于同导向图亮度/颜色的相似度。这个导向图能够是滤波器自己本身【1】或者是另一幅图像【14】。双边滤波器能够平滑小的波动并且保持边缘。尽管这个滤波器在很多情况下都有效，它可能会有

5、一些不希望的在边缘附近的梯度逆转伪影【15】，【16】，【8】（将在3.4部分讨论）。快速的执行双边滤波器也是一个挑战性的问题。近期的技术【17】、【18】、【19】、【20】、【21】依赖于量子化方法加速，但是牺牲了精确度。在这篇论文中，我们提出了一个新的明确的图像滤波叫做导向滤波。这个滤波器输出结果是导向图像的局部线性转换。在一方面，导向滤波器有一个号的边缘保持平滑效果像双边滤波器一样，但是它没有梯度逆转伪影的影响。在另一方面，导向滤波能够远远不只是平滑：在导向图的辅助下，它能让滤波输出更结构化并且不比输入平滑。我们论证了导向滤波在很多方面的应用中都有很好的结果，包括图像平滑/增强，HDR

6、压缩，flash/非flash成像，抠图，去雾，和级联采样。更多的，导向滤波器自然地有一个O（N）（N个像素）时间复杂度算法在灰度图和高维图像中，与核的尺寸和亮度范围无关。特别的，我们的CPU执行达到40ms每兆像素在灰度滤波器：就我们所知，这是最快的边缘保持滤波器。本文(bnwn)的初步版本已经被ECCV10【22】出版。值得一提的是，从那时候开始起，导向滤波器见证了一些列新的应用。这个导向滤波器能有一个高质量的实时O（N）立体匹配算法【23】。一个相似的立体方法被独立地提出来【24】。导向滤波也被应用于光流估计【23】，交互式的图像分割【23】，显著性检测【25】，照明渲染【26】。我们相

7、信导向滤波有很大的潜能在计算机视觉(shju)及图形学，贡献出他的简单，高效及高质量。我们提供一个公开的代码来促进未来的学习【27】。2 相关(xinggun)工作我们回顾一下边缘保持滤波技术，我们对他们进行分类为显式及隐式平均权重滤波器和没有平均的一种。2.1 显式的平均权重滤波器双边滤波器【1】也许是最简单并且最直观的一个显式平均权重滤波器。它计算滤波输出为每个像素邻近像素的平均值，由高斯权重空间及亮度距离。双边滤波器平滑图像并且保持边缘。他已经被广泛应用于减少噪声【28】，HDR压缩【15】，多尺度细节分解【29】，图像提取【30】，它推广成了级联滤波器【14】，权重是通过另一个导向图计

8、算来的而不是输入的滤波图像。级联滤波器是很适合当需要滤波的图像不能提供可靠的边缘信息的时候，当它噪声非常多或者是一个中间结果的时候，例如Flash/非flash去噪【14】，图像采样【31】，图像去卷积【32】，立体匹配【33】。双边滤波器也有限制尽管他很普遍。他已经被提到【15】，【16】，【8】，双边滤波器可能会产生“梯度逆转”伪影。原因是当（通常是边缘附近）一个像素周围有很多相似的像素时，高斯平均权重不稳定。在这样的情况下，结果在边缘处会产生不希望的轮廓，通常被发现在细节增强和HDR压缩的情况中。双边滤波器的另外一个问题是效率问题。最有效的执行是O（Nr2）时间复杂度。核的半径是r。Du

9、rand and Dorsey【15】提出一个线性分段函数模型并且能够给于FFT（快速傅里叶变换）滤波。Paris和Durand17计算双边滤波器作为一个3D滤波器在一个空间变化的领域，并且向下采样这个领域去加速如果奈奎斯特条件大致上如此。在这种空间盒子核的情况，Weiss【34】提出一个O（Nlogr）时间复杂度的方法基于分布直方图，并且Porikli18提出第一个O（N）的时间复杂度算法应用积分直方图。我们指出那些建立直方图本质上是执行2D的空间滤波器在空间变化领域用下面的1D变化滤波器。在这个观点下，【34】和【18】沿着范围域取样但是不重构它。Yang【19】提出另一种O（N）方法，在

10、范围域内插入值以至于可以进行更激进的再次抽样。这上面的所有方法都是线性复杂W,r,t取样亮度值的数目（eg线性分段数目或者直方图条的数目）。他们需要粗采样去或者满意的数度，但是如果奈奎斯特条件被严重破坏，就会导致质量退化。空间变化域被推广到更高维的情况，颜色权重双边滤波器【35】。这个大的代价归因于高维能通过高斯线段树【20】，the Permutohedral Lattices 21, or the Adaptive Manifolds 36降低。但是这些方法的表现不能同灰度双边滤波器竞争，因为它们花费了很多额外的时间准备数据结构。在双边滤波器的限制下，人们开始调查新的设计边缘保持滤波器。O

11、（N）时间复杂度的边缘避免小波（EAW）【37】是用显式图像自适应的小波变换。但是核的小波是在图像平面的稀疏分布的。限制核的尺寸，这可能会限制它的应用。最近Gastal and Oliveira【38】提出了另一个O（N）滤波器，就是大家都知道的域转换滤波器。关键思想是反复地和分开地应用1D边缘保持滤波器。O（N）时间复杂度是通过积分图像或者递归滤波获得的。我们会在本论文中比较这些滤波器。2.2 隐式的平均(pngjn)权重滤波器一系列优化二次成本(chngbn)函数并求解线性方程组的方法，等效于隐式滤波图像的逆矩阵。在图像分割【39】和色彩化【9】，这个矩阵的关系是高斯函数的颜色相近。在图像

12、抠图，一个抠图拉普拉斯矩阵【10】是被设计来强制matte作为一个图像(t xin)颜色的局部线性转换。这个矩阵也被用来去雾处理【11】。平方和最小权重滤波器【8】根据图像梯度调整矩阵的相关性产生无光晕边缘保持平滑结果。尽管这些基于最优化的方法常常产生高质量结果，解决线性方程组很耗时。直接解决像高斯消元法由于内存要求“填充”问题【40】、【41】而不实际。迭代解决例如Jacobi方法，SOR和共轭梯度法【40】都汇集太慢。尽管仔细设计预处理器【41】很大的减少了迭代次数，但是计算成本还是太高。多网格的方法【42】是被证明O(N)时间复杂度用作齐次的泊松方程，但是它的质量退化了当矩阵变得越来越不

13、齐次的时候。以经验为主的，隐式的加权平口滤波器至少花上好些秒去处理一个只有一个像素的图像或者用预处理器【41】或者用网格的方法【8】。已经发现就是这些隐式的滤波器与显式的是密切相关的。在【43】，Elad展示双边滤波器是一个Jacobi迭代法在解决高斯相关矩阵的时候。【41】局部自适应预处理器和【37】的小波边缘避免是用类似的方法构建的。早在这篇论文中，我们展示一个导向滤波与抠图拉普拉斯矩阵密切相关。【10】。2.3 无平均滤波器边缘保持滤波能后同样通过无平均滤波器得到。中值滤波器【2】是一个很有名的边缘保持操作，和一个特别的例子局部直方图滤波器【44】。直方图滤波器有O（N）时间复杂度在某种

14、程度是双边网格的一种。TV滤波器【45】优化一个正规化L1代价函数，并且相当于迭代中值滤波【46】。L1代价函数能被优化通过半二次分割【47】，在一个二次模型机软阈值法中选择。最近，Paris【48】提出操纵每个像素的拉普拉斯金字塔系数去保持边缘滤波。Xu【49】提出优化一个正规化L0代价函数帮助分段常量解决方法。这些无平均滤波器通常都很耗时。3 导向滤波我们先定义一个普通的线性平移变换滤波器程序，与导向图像I，一个滤波输入图像P以及一个输出图像q相关。I和p是根据应用预先给定的，他们可以完全相同。在一个像素点i处的滤波结果是被表达成一个加权平均：i和j都是像素下标。滤波器核Wij是指导图像I

15、的函数并且与p独立。这个滤波器是与p线性相关的。一个这样的滤波器的例子是级联滤波器【14】双边滤波核Wbf是被下面的式子给定的：X是像素坐标，Ki是一个(y )归一化参数保证jWijbf=1.参数(cnsh)和分别调整空间相似(xin s)度和颜色亮度范围相似度的灵敏性。当P和I相等时，级联滤波器降解成初始的双边滤波器【1】。显式的加权平均滤波器优化一个二次函数并且解决一个下面形式的线性方程组： Aq=P, (3)q和p是列向量N-1，相应的qi和pi.A 是一个N-N的只跟I相关的矩阵。（3）的解q=A-1p,与（1）有相同的形式，Wij=(A-1)ij3.1 定义现在我们定义导向滤波器，关

16、键的假设是这个导向滤波器在导向图像I和滤波输出q之间是一个局部线性模型。我们假设q是I中中心在像素k的窗口Wk的线性转换：（ak,bk）是假定同Wk相同的线性系数。用一个半径为r的方形窗口。这个局部线性模型确定只要I有一个边缘那么q就有一个边缘，因为这个模型被证明在图像超分辨率【50】，图像抠图【10】，和去雾【11】中是有效的。为了决定线性系数（ak,bk）,我们需要约束输入的滤波图像P。我们定义输出q为输入p减去一些不希望的内容n例如噪声/纹理： qi=pi-ni (5)我们寻求一个解决办法能够最小化q和p之间的差异，同时保持线性模型（4）。特别的，我们最小化下面的窗口Wk的代价函数：这里

17、，是一个惩罚大的ak的正则化参数。我们将在3.2部分研究它的直观意义。方程式（6）是线性山脊回归模型【51】，【52】并且它通过以下给定的解决：这里，和是导向图像I的窗口Wk平均值跟方差，|W|是Wk中像素个数，是P在Wk的平均值。获得(hud)了线性系数（ak,bk），我们能计算滤波(lb)输出qi根据方程（4）。图1（右）显示了一个导向(do xin)图过程的解释。然而，一个像素i与所有覆盖i的重叠窗口Wk相关，所以方程（4）中qi的值不是相同的当用不同的窗口中计算。一个简单的策略是平均所有的qi的可能值。所以，计算了所有图像中Wk窗口的（ak,bk）值，我们计算通过下面滤波输出结果：注意

18、，由于盒子窗口是对称的，我们重写方程（9）为：是在i处的所有重叠窗口平均系数。这个重叠窗口的平均策略在图像去噪【53】很流行并且是非常成功的BM3D算法【54】的一个构件块。用这个（10）中的修改， 不再是的缩放了，因为线性系数空间可变。但是因为是一个均值滤波器的输出，他们的梯度会比I明显边缘附近要小得多。在这种情况下，我们能将，意味着I中的突然强度变化可以大部分被q保存。方程（7）、（8）、（10）是导向滤波器的定义。一个伪代码在算法1中。这个算法中，fmean是用一个半径为r的均值滤波器。相关性的缩写（corr）,方差的缩写（var），协方差的缩写（cov）表明了这些变量的直观意义。我们将

19、讨论最快的执行并且在第4部分计算细节。3.2 边缘(binyun)保持滤波器考虑到给定的导向滤波器，我们(w men)第一次学习边缘保持特性。图2显示一个用一系列导向滤波参数的例子。这里我们研究特别的例子，当导向图I是同输入滤波图P相同(xin tn)的情况。我们能看到导向滤波变现出的边缘保持平滑特性（图2）。导向滤波的边缘保持滤波特性能够被解释为下面的直观反映。考虑到I=P时，并且。很明显当，ak=1并且bk=0.如果，我们考虑两种情况。第一种：”高方差”。如果图像I在Wk中很多变化，我们有第二种：”平坦的块”。如果图像I几乎与窗口Wk相同的话，我们会有当ak与bk被平均得到，结合（10）得

20、到输出结果。我们有，当一个像素在一个高方差区域的中间，它的值是不变的。然而，如果是在平坦区域的中间，它的值就会变成周围区域像素的平均值更具体的说，平坦与高方差的标准是被参数给定的。如果块状的方差比该参数小得多则被平滑，然而那些方差大得多则被保留。在导向滤波中的影响就像是双边滤波器中的方差。都决定什么是应该被保留一个边缘/高方差块。更多的，在一个(y )平坦区，导向滤波器变成一个级联的两箱平均值滤波器半径为r.级联的箱均值滤波器是高斯滤波器一个(y )很好的近似。因此，我们经验性地建立在导向滤波器和双边滤波器的一致：图2显示了两个滤波器的结果应用相应的参数，图2中的表格PSNR显示了导向滤波器和

21、双边(shungbin)滤波器用各自参数得到定量差异。当PSNR=40【18】时，它被认为视觉不敏感。3.3 滤波器核通过（7）（8)(10)中可以很容易的显示I，P和q的关系如（1）中的平均加权形式。实际上，ak在（7）中能够被重写成一个权重总和P：Aij是仅仅只依赖于I的权重。同样的原因，我们也有来自（8）的bk=跟来自（10）的.我们能够证明核权重是明确被下面的式子表示的。由于p跟q的线性关系，滤波核被Wij=给定。把（8）代入（10）并且消掉b,我们得到：求偏导得到：在这个等式中，我们有：当j是窗口Wk中的时候，为1，否则为0.另一方面，偏微分在（13）中能够被式（7）计算：将（14）

22、（15）代入（13），我们(w men)得到这是滤波(lb)核Wij的表达式。一些更多的计算机代数(dish)操作显示不需要做额外的工作区归一化权重。边缘保持平滑特性能够被理解通过研究滤波核（11）。以一个理想的一维的边缘阶跃信号为例子（图3）有同样的符号（+、-）当Ii和Ij在边缘的同一边，而当在边缘的不同两边他们就会有相反的符号。所以在（11），两个像素点再不同的边时比在相同边时要小得多（接近于0）。这意味着像素穿过一个边缘几乎不会被平均到一起。我们也能理解式（11）中对平滑的影响。当（平坦区域）时，这个核变成这是一个LTI的低通滤波器（这是两个均值滤波器的级联）。图4解释了一些真实图像的

23、核形状的例子。在最上排是在一个阶跃边缘的核。像双边的核，导向滤波器的核分配到边缘另一边的像素的权重几乎为0.在中间的一行是在小比例的纹理局部快的核。所有的滤波器都是将邻近的像素全部平均并且表现为低通滤波器。这在一个常量区更加明显（图4，低下的一行）导向滤波器分解成一个两个均值滤波器的级联。在图4（b）中看到导向滤波器是选择的非均匀的并且对x/y轴有轻微地偏差。这是因为我们在设计滤波器的时候用的盒子窗口。这个问题可以用高斯权重(qun zhn)窗口替代而得到解决。形式上的，我们能引入这个（6）中的权重：它直接显示(xinsh)了结果，高斯滤波器能够用于计算将算法1中的所有的均值滤波器用高斯滤波器

24、计算(j sun)。结果核是图4d中的旋转均匀的。在第4部分，我们会显示始终是O(N)时间复杂度的高斯滤波器想初始的导向滤波器那样。但是因为在实际中我们发现初始的导向滤波器总是足够好，我们所有剩下的实验中都用使用它。3.4 梯度保留滤波器尽管导向滤波是一个像双边滤波器一样的边缘保持平滑操作，在细节增强和HDR压缩它避免了梯度逆转伪影。一个简单细节增强算法的介绍如下（图5）。给定的输入信号P（图5中的黑色部分），它的边缘保持平滑输出被用作一个基层q(红色)。输入信号和基层的差是细节层（蓝色）：d=p-q.它是用来放大去增强细节的。增强信号（绿色）是增强层和基层的结合。这个方法的仔细说明在【15】

25、中能看到。双边滤波器（图5顶部），基层(jcng)与输入信号在边缘像素（看放大的）不一致。图（6）解释了双边滤波核的边缘像素。因为这个像素与邻近不相似，高斯权重范围核不可靠的平均了一些像素。更糟的是，这个范围核是因为突变的边缘而产生偏差。例如图6中的边缘像素，它的边缘值比初始值小，让被滤波的信号q比输入图像更加锐化了。这个锐化影响已经被发现在【15】，【16】，【8】。现在提出输入图像p的梯度是正的：（如图5跟图6）。当q是尖锐(jinru)的，它给出了：细节(xji)层d因此有一个负的梯度意味着它有个翻转的梯度方向w,r,t输入新哈（图5顶部）。当细节层被夸大并且重组了输入信号，边缘处出现梯

26、度逆转伪影。这个伪影是固有的并且不能通过调节参数被安全的避免因为图像通常有各种规模和量级的边缘。在另一方面，导向滤波器在避免逆转梯度上有很好的表现。实际上，如果我们用分片连续模型（4），当导向图是自身的时候能证明没有这种逆转伪影。在这种情况下，（7）给出了并且bk是常量。所以我们有，并且细节层梯度，意味着总是有相同的梯度方向。当我们用重叠模型（9）代替（4），我们有。因为-a与-b是两个低通滤波图，我们得到并且上面的结论任然是接近现实。在实际中，我们在所有试验中不观察梯度逆转伪影。图5（底下）给出了一个例子。不像双边滤波核，导向滤波设计许多小的但是必要的权重去减弱核的边缘。这让导向滤波核偏差更

27、少，避免减少图（5）中例子边缘像素的值。我们注意到，梯度逆转问题也在最近的边缘保持域装换滤波器【38】中出现（图7）。这个非常有效的滤波器是来源于1维的双边(shungbin)滤波核，所以他不能安全的避免梯度逆转。3.5 扩展到颜色(yns)滤波这个导向滤波能容易得扩展到颜色图像中。这种情况下，输入滤波图像p是多通道的。这非常明显的是需要将滤波器应用(yngyng)到各个独立的通道上。在这种情况下，导向图像I也是多通道的，我们重写这个局部的线性模型（4）这里(zhl)Ii是一个3*1的颜色向量，ak是一个3*1的系数向量，qi和bk是标量。导向滤波器用于图像颜色的导向图变成这里，k是导向图像I

28、的窗口Wk的一个3*3的协方差矩阵，U是一个3*3的单位矩阵。一个颜色导向图能够更好的保持那些在灰度图像中不明显的边缘（图8）一个颜色导向图在抠图和去雾应用中也非常重要，如同(rtng)我们后来知道的，因为局部线性模型是更可能对RGB颜色空间比对灰度图像(t xin)有效【10】3.6 结构(jigu)转换过滤有趣的是，导向滤波器不是简单地平滑滤波器。考虑到局部线性模型q=aI+b,输出结果q是一个局部导向图I的缩放（加上一个补偿量）。这让从导向图I结构转化成输出q成为可能，甚至滤波输出p是平滑的（图9）显示一个结构转化的滤波例子，我们提出一种导向滤波的应用：一个的二进制掩膜精炼去产生一个物体

29、边界附近的影像（图10）。二进制的掩膜能通过割图或者其他分割方法得到，并且用于输入p的滤波器。导向图I是颜色图像。图10显示了三个滤波器的行为：导向滤波器，（级联）双边滤波器，和最近的一个域转换滤波器【38】。我们观察到导向滤波器完全地恢复了头发，即使滤波输入是二进制的并且很粗糙。双边滤波器也许会失去一些细薄的结构（放大看）。这是因为双边滤波器是用像素的颜色差异来导向的，然而导向滤波器是有分片连续模型。我们也可以观察到域转换滤波器没有一个好的结构转换能力并且只是简单平滑了结果。这是因为这个滤波器基于像素的测量距离，并且它的输出是一系列一维的自适应跨度的盒子滤波器【38】。结构滤波是一个很重要的导向滤波器的特性。它能用于新的基于滤波的应用，包括抠图和去雾。它也能用到高质量的基于滤波的立体匹配。【23】【24】。3.7 与隐式方法(fngf)的关系导向滤波器与抠图的拉普拉斯矩阵【10】有密切联系.这个(zh ge)引入例如新的视角去理解这个滤波器。在一个封闭情况下去抠图【10】，抠图拉普拉斯矩阵是源于一个局部线性模型。不像导向滤波器，计算每个窗口(chungku)的局部最佳值，这个密闭的情况裙子一个全局最优值。为了解决这个未知的,这个方法最小化下面的代价函数：这，q 是一个N*1的向量表示未知的matte，p是约束条件，L