基于各向异性扩散的深度图像增强

摘要................................................1引言..................................................................2..2相关工作..............................................................3..2.1指导深度上采样..............................2.2引导深度图像修复.......2.3各向异性扩散...............3方法论...........................................................3.1问题制定...................3.2数值方案...................4实验...............................................................4.1实验在Middlebury数据集上..............4.3实验在雷达数据上.....................结论......................................1摘要:在本文中，当对准的彩色图像被给出时我们对有缺陷的深度图像进行修复，并进行采样。这些任务被称为引导深度增强。我们基于热扩散模型拟订该问题。已知深度值的像素被视为热源并且深度增强是指通过将深度值从这些热源扩散到深度缺失的区域这个过程。进一步将此扩散的稳态问题放到著名的随机游走模型中考虑，在这个模型中深度增强可以通过求解稀疏线性系统来有效地实现。该算法在米德尔伯里立体数据集上被定量的评估，并应用于修复Kinect的数据同时也可以应用于对由雷达获得的距离数据进行采样。与常用的双边滤波器和马尔可夫基于随机场的方法的比较也被提出，通过比较表明我们的算法是可以成功的。2虽然最新的距离传感技术的革命发展在许多计算机视觉应用领域获得了快速发展，但是通过最新的距离传感器捕获的数据仍然有缺陷。例如，微软的kinect[16]，一种室内测距传感器，产生的深度图中含有大量由于遮挡和其他方面因素导致的深度信息缺失区域。激光雷达[25]适用于室内和室外环境中，提供的距离信息比普通图像的分辨率低得多。这些缺陷现在导致各种对深度图像修复和采样研究方面的问题。本文目的是当对准彩色图被给出的情况下解决对深度图像的修复和采样问题。在这项工作中这些任务被称为引导深度增强，该彩色图像被当作引导[9]。以前在引导深度增强方面的工作主要采用的是滤波器的方法[7][26][12][10]或依靠马尔可夫随机场(MRFs)[18][28][31][6]。像提供的颜色信息的引导，深度可以从源扩散到深度缺失的区域。平滑和修补[20][4][2][3]中被广泛使用但是据我们所知，他们没有为引导集成其他的图像。此外，我们将引导向异性扩散的稳态问题放到著名的随机游走模型[8][30][11]中考虑而通过这个模型，引导深度增强问题能够通过求解一个稀疏线性系统来解决。3它的目的是通过融合高分辨率视觉图像和低分辨率深度数据来生成高清晰度深度图。为此，马尔可夫随机域（回收设施）被首先使用[6]。它通过优化一个能量函数来推断深度，这个能量函数是由对已知测量结果的长期合理的评估和对深度平滑的长期正交化组成。之后，提出了几个MRF的基础方法，这个方法通过进一步考虑新的正交化来拓展这份先进的工作，例如，非局部平滑约束[28][18]和时间相干性[31]。另一组有关这个问题的方法是基于滤波技术。他们大多使用联合双边滤波器或它们的变化[1][29][7]来整合深度采样的颜色信息。引导深度图像修复这个问题对于Kinect-like传感器的发展很感兴趣。在过去的两年中，我们统的修补算法[2][5][23]拓展到引导案例中。具体地讲，新的修补模式[14][21]和扩展命令[14][15]被设计用以归纳引导信息。这些方法仅限于其中无效区域被有效区域包围的情况下，不适用于引导采样。与他们相反，另一组研究中采用滤波器为引导深度进行修补。以至于他们[19][10]，这为采样工作的同时，也各向异性扩散各向异性扩散此处主要指的是热扩散框架，该框架通过偏微分方程（PDEs）来表示。基于偏微分方程的各向异性扩散被广泛用于在图像或表面平滑[20][4]，图像修复[2][3]，分割[24][11]，以及其他图像处理应用[27]。最相关的工作是滤波和图像修复技术。就我们所知，这些技术没有集成高分辨率参考图像来引导这个扩散过程。在这项工作中，我们将引导深度增强，包括修补和采样，表述为一个线性各向异性扩散问题。我们的扩散是通过一个大的从稳态中衍生出来的稀疏线性系统来进行的，而不是像传统技术一样反复的解决问题。4假设我们事先已经给出了一个对准的深度图和彩色图对。深度图要么是包含无效的区域要么是分辨率比配对彩色图像低。彩色图像假定为无缺陷的。我们将一个像素p=(X，Y)中的深度果我们将种子像素作为热源，些图上是从热源开始的。扩散过程由以下偏微分方程表示：那么深度增强就可以像热源扩散一样，在这『其中W(P;t)是点P在时间t的扩散系数并且DO(p)为初始状态的深度值。扩散系数的空间变化取决于所给的彩色引导图，从而使式(1)变成各向异性扩散。上述偏微分方程是一个初值问题[13]。在该方程所代表的扩散系统中，我们感兴趣的只是深度值趋于稳定的状态[8][30][11]。因此，毫不犹豫，我们在式中舍弃t符号，并获得下面的等式：00二方程(2)的解对应于我们期待实现的深度图增强。当初始深度图给出，大幅度的增强质量依赖于W(P)的选择。因此，我们探讨的扩散系数的设计将表现在如下求解稳态问题的方法中。我们已经将深度图像的增强问题制定成各向异性扩散的过程。扩散传导系数是一个条件，它依赖于彩色引导图像，但独立于深度值。因此，我们引导的深度增强是一个线性各向异性扩散问题[11]。线性意味着现在，让我们把线性各向异性扩散的稳定状态看成式(2)所描述的那样。我们首先将离散的深度图以图形G=(V,E)来表示，其中V是一组顶点，即象素，并且E包含四邻域。两个顶点之间的扩散系数由高斯设计在颜色上相似。得到22这个传导性意味着，当两点的颜色相似时，深度扩散就快。当我们构建完图形后，离散的扩散过程就会退化为随机游走模型[8][30][11]二如果我们把深度图作为一列向量，方程(4)可以变为以下公式:的始深度图D0,D的非0解可以通过求解线性系l(P,q)ifS丄L-W)(p,q)otherwise这里，列向量D中的第p个和第q个元素对应于像素p和q。请注意,阵。因此，引导深度增强可以转变为是一个能够有效求解的稀疏线性系统。A是一个稀疏正定矩为了验证所提出的方法，我们进行了一系列的实验。定量评价并且与使用双边过滤器以及MRF方法进行比较首先在米德尔伯里数据集[22]上进行。然后，我们将算法运用在一个传感器的修补应用上，以及用于Velodyne64E雷达的上采样应用上。实验的详细情况如下。564.1实验在Middlebury数据集上据集中的深度图被用作实际值。这些图使用不同的采样因子，5X,10X,15X,20X，分别的去创造低分辨率深度图。该彩色图像被作为深度上采样的引导。在所有的实验中，我们将扩散电导率b设定为10。在不牺牲速度性能的情况下我们靠自己执行原始双边滤波器。在双边滤波器中，邻域的大小是41X41,bD=2，且强度bs=10。MRF方法也被用于实现比较，其中，所述加权系数为1,规范数据和平滑之间的权重。每个算法在每个采样系数下所获得的结果进行评价取决于根均方误差（RMSE）,这个根均的时候，我们所提出的方法和双边滤波器是相当的。当系数上升，我们的方法效果最好。并且在所有情况下，MRF由于其过平滑影响，具有最大的错误。图1也呈现了在间隔为10的采样结果。从图像中可以看出，双边滤波器得到的是尖锐边界。我们提出的方法和模糊的边界。但大多数情况下MRF会模糊。此外，我们提出的方法和域都比双边滤波器执行地更好。MRF方法都会得到MRF方法在薄结构的区MethodArtLaundryMoebiusReindeer551)12.7943.1672.4273.6674.78353723.638SU775.8576.8734.8056.3306.3748.9676.057S.0816.6362.8113.8752.9124,43743776.00745556.2605.4988.2445.7267.88220x6.2519.8986.6219.3715.7862.4593.4322.35H3.7235.3463.6815.4254.8357.3384.7566.7325.2048.8657.9A3表1在Middlebury数据集上的定量评价结果。将偏差值定义为RMSE4.2实验在Kinect数据集上7在这个实验中，我们应用算法以修复速率产生对准的深度和图像对。Kinect的传感器以高帧图1为在Middlebury数据集上进行引导深度上采样，其中(为间隔进行上采样得出的结果MRF,和我们提出的方法以些区域中测量的距离会丢失。同时，从这些深度图到发生移位的彩色图的对准导致了大量无效区域，这些无效区域沿在图二中我们给出了一些修补结果。数据要么自己采取要么选择从已建立好的Kinect数据集［10］中选择。从结果中，我们看到我们设置的固定窗口大小导致了双边滤波器不能填满所有的未知区域，。它表明一个自适应方案应设计成在所有情况下都能有效的使用。另一种看法与我们从以前的实验中看到的不太一样，双边滤波器得到清晰的边缘并且其他两个方法得到模糊边界。MRF和我们提出的方法在视觉上获得的结果几乎是相同的。MRF，和我们提出的方法得出的结果4.3实验在雷达数据上在最后的实验中，我们应用算法来上采样由达用于与相机结合。摄像机拍摄的图像作为引导。们此处得到的是具有不均匀的分辨率的距离数据。Velodyne64E激光雷达得到的距离数据,与在米德尔伯里数据集上的采样实验不同,这个雷89图3为在Velodyne64E数据上进行引导深度上采样的结果。的图中包含距离数据，最下三行分别为使用双边滤波器，MRF，和我们提出的方法得到的上采EquationChapter(Next)Section1在本文中，我们提出了一种新的方法引导深度增强。该方法是基于热扩散结构，并通过使用随机游走模型来有效地解决。因此，它可以被应用于修补由Kinect传感器产生的有缺陷的深度图，也可以用于上采样由激光雷达获得的一系列距离数据。上述两个应用都是时下流行的。另一方面，为了研究从我们的算法到双边滤波器和