双向动态规划的立体图像匹配

双向动态规划的立体图像匹配

《电视技术杂志》2023年第十一期

1新型视差图猎取算法的讨论

DP算法的实质是将对应点的匹配问题转化为查找某一能量函数的全局最优解，而构造出适宜的像素间匹配的代价函数是构建全局能量函数的重要前提，所构建的代价函数优劣与否直接影响着立体匹配算法的运行速率和准确度，其中代价函数主要包含有差值肯定值和函数(SumofAbsoluteDifferences，SAD)、差值肯定值(AbsoluteDifference，AD)、差值平方(SquaredDifferences，SD)等，此类代价函数在算法构造上相对简洁、易于操作，但由于无视了不同区域间跃变的影响，会产生较高的误匹配率。为了克制在穿插深度不连续区域的匹配问题，学者们在不连续区域为每一个像素选择自适应匹配窗口，其中Yoon等人［16］将几何数学的邻近性和像素色度空间融入到权值计算当中，此举有效地抑制了立体匹配中的不确定性，但在构建ASCF的过程中，导致视差非连续区域的误匹配率有所增加。针对这一问题，提出了一种新型视差图猎取算法即改良动态规划双向约束算法，即采纳修正后的ASCF，进一步增加原始代价值在视差非连续区域的比重，以确保这一区域的误匹配率有所降低，从而转变构建ASCF的传统方法所导致总体误匹配率高的状况，并参照经典Potts模型［17］构建全局能量函数，考虑到相邻像素视差值保持的全都性准则，增加了视差平滑约束项的比重，提高所构建的全局能量函数的准确度。由于传统的DP算法在求取全局能量函数最优解时存在一个很大的局限性，即易消失“条纹”瑕疵的现象。为了克制这一问题，此算法提出采纳扫描线行列双向动态规划来查找最小匹配代价路径，并对初始视差图的数据项和平滑约束项分别制定了相应的嘉奖策略。最终，针对消失的错误孤立视差点，通过简洁的滤波方法和遵循相关的3个准则予以消退。此算法流程如图1所示。

1．1修正后的ASCFYoon等人［16］基于空间几何距离的相关性和像素间颜色相像性对ASCF进展了具体分析，马上几何数学的邻近性和像素色度空间融入到权值计算当中，其计算公式中像素q之间空间坐标的欧几里德距离。很多学者提出了不同的Δcpq构造方法，其中Salmen等人［18］依据像素点ＲGB值的内在联系，将Δcpq设定为窗口中心像素p与匹配窗口像素q的ＲGB值的加权欧几里德距离。由于获得该参数需要通过试验反复测试，以致代价函数的准确度相对较差，图像对的误匹配率也不低。Yang等人［19］对两像素点彩色差值求平均，尽管该构造方法在肯定程度上减轻了算法的运算量，但由于忽视了像素点间彩色像素值的相关性，导致代价函数的自适应约束力量减弱，视差保持特性有所降低。式中:Ti为截断门限值;Td为视差非连续区域的推断门限，当对应像素的彩色像素值差值的肯定值之和大于或等于在非连续区域的截断门限值时，原始代价值取为截断门限值，反之，取值为差值的肯定值与截断门限值之和中的最小值。

1．2构建新的全局能量函数本文构建的全局能量函数仍旧只包含平滑项和数据项，其计算表达式如。

1．3改良双向动态规划寻径由式(5)构建的新的全局能量函数可知，立体匹配问题转化为求解一个视差安排d*，即使能量函数E(d)的取值最小求解式(9)所述的能量最小化问题，传统的DP算法忽视了核线间的影响，致使核线与核线间的约束不够，即只是进展单一的行方向上的DP运算，如图1所示为在行方向上进展DP求解示意图，其中图2a是以x，y分别为横、纵坐标，视差搜寻范围为d的视差空间图像(DSI)，图2b为只在行方向DP求解的示意图，其目的是为了搜寻得到一条从左至右的最小代价路径。明显，这种缺少行、列方向上连续视差结果融合的DP算法不能保证全局最优，为了增加纵向像素间视差的约束项，以确保视差图横向条纹“瑕疵”的削减，故提出基于行、列双向的动态规划算法，详细过程如图3所示。本算法提出了一种由行匹配初试结果来确定相应的嘉奖策略，即通过减小d*所对应代价函数的比重，以提高其在列匹配中被选中的可能性，初始匹配结果依靠第一次行DP求解得到，同时需在确定的窗口区间内，对数据项制定了合理的嘉奖策略:状况1，若列方向初始视差梯度变化消失明显错误的视差值点时，其用原来的代价值来赋值;状况2，若在列方向初始视差梯度未消失特别的状况下，而在行动态规划中能够得到匹配的视差值点，那么其值应当给予较大的嘉奖值;状况3，其他视差值点则使用较小的嘉奖值。其表达式为式中:Ti为截断门限值，如式(4)所述;r一般取相对较小的正数，当r取值过小时，嘉奖值过小，会造成行方向上的DP效果不明显;当r取值过大时，会使得列方向上的视差值点被选中的概率过大，导致列方向上的DP失去了意义。经过屡次试验测试得知，r取值为7时，所得匹配结果较为抱负。另外，能量函数的数据项的计算方法与上述平滑项全都，这里就不再累述。

1．4去除孤立的错误视差点针对所猎取视差图中消失的一些较为明显的噪声点，该算法采纳易于操作的滤波方法来去掉孤立点。一般遵循以下3个牢靠性准则:1)若该像素点上下邻域像素的视差值相等，则给予该点视差值与上下邻域点全都;2)若该像素点左右邻域像素的视差值相等，则给予该点视差值与左右邻域点全都;3)若该像素点四周邻域点的视差值都不相等，则给予该点视差值为其邻域全部点的视差值均值。

2试验结果

本算法的试验平台和参考图像来自于Middlebury大学数据库，对其中的Cones，Venus，Tsukuba，Teddy这4幅图像进展了测试，试验中的各个参数k，γc，γp，Ti，Td，T，p，r，s分别取值1，5，19，25，30，5，3，10，3。试验结果如图4所示。此算法以修正后的ASCF为代价函数，并构建新的全局能量函数，通过改良双向动态规划寻径来得到最终的稠密视差图，分别与以ASCF作为代价函数、基于行列双向动态规划(DoubleDP)算法和以SAD作为代价函数的DP算法所猎取视差图进展比拟。试验视差图在全部区域(All)、非遮挡区域(Non_occ)、视差非连续区域(disc)的错误率做了记录，试验结果如表1所示。从表中分析可知，在优化策略全都的状况下，相较于SAD，采纳ASCF来猎取视差图误匹配率要低许多，而此算法相对于其他3种算法，误匹配率最低，“条纹”瑕疵方面最少，所获得的视差图效果最好。

3小结

提出一种基于改良双向动态规划的视差图猎取算法，以修正后的ASCF为代价函数，并构建新的全局能量函数，通过改良双向动态规划寻径来得到最终的稠密视差图。试验结果说明，该算法能够取得较为抱负的效果，与其他3种DP算法相比