基于小波金字塔的多分辨率光流跟踪算法

基于小波金字塔的多分辨率光流跟踪算法

运动目标跟踪技术是计算机视觉领域最常用的研究方法之一，在交通监控、军事武器监测等领域得到广泛应用。lk方法一直是研究视觉跟踪的重要方法，受到科学家的广泛关注。例如，kiristirataalert研究了基于lk方法的光流场在运动目标区域中计算稀疏光流场，并跟踪运动车辆。李红等人使用基于金字塔算法的光流场对特征区域进行了光流调整，并跟踪了飞机的飞行速度。在计算光流场的经典算法方面，honn和schunken提出的微分法、feet提出的相位法和hegger提出的能量法尤为重要。相位法和能量法的鲁棒性和跟踪效果较好，但计算成本高，难以满足实时要求。honn和schunken的微分法计算的复杂性较低，并且易于操作。然而，由于lk方法的总平滑限制往往是很大的不均匀。使用lk方法的稀疏光流算法对复杂和跟踪效果令人满意，但目标每次传输之间的大位移降低了跟踪的稳定性，导致跟踪失败。因此，在详细分析lk方法的基础上，提出了基于小波金字塔方法的多分辨率跟踪算法。本文在复杂交通场景中的运动车辆特征方面提出并实施了基于小波变换的多尺度哈斯特特征角检测方法。1光流跟踪算法1.1面波同质中[1.2]的位移量算法假设一个包含了特征纹理信息的邻域W,并在其中定义光流残差函数:ε=∬W[Ιt+1(x-dx,y-dy)-Ιt(x,y)]2dxdy[JX*4]⋅[JX-*4](1)ε=∬W[It+1(x−dx,y−dy)−It(x,y)]2dxdy[JX*4]⋅[JX−*4](1)式中,ε为残差;It(x,y)为时刻邻域内像素(x,y)的灰度值;D=[dxdy]T为单位时间内邻域内像素(x,y)的位移量·LK算法的实质是求像素点在相邻两帧图像之间的位移向量D·当光流残差函数取得最小值时,求得最终位移向量Dopt·因此,使用泰勒级数将It+1(x-dx,y-dy)展开:Ιt+1(x-dx,y-dy)≈Ιt+1(x,y)-[ΙxΙy]D,(2)It+1(x−dx,y−dy)≈It+1(x,y)−[IxIy]D,(2)并令光流残差函数导数为零,最终得到:Dopt=G-1b[JX*4]⋅[JX-*4](3)Dopt=G−1b[JX*4]⋅[JX−*4](3)其中,空间梯度矩阵G=∬W[Ι2xΙxΙyΙxΙyΙ2y]dxdy,(4)误匹配向量b=∬W[δΙΙxδΙΙy]dxdy[JX*4]⋅[JX-*4](5)Ix,Iy分别为It+1(x,y)在x,y方向上的偏导数,而δI为2帧图像在(x,y)位置上的差分·式(3)即为LK算法的核心计算公式·由式(2)可知,只有当D足够小时,才能满足泰勒级数展开的条件·因此,当像素点在单位时间内的位移量较大时,将不满足假设条件,导致跟踪失败,这就是LK方法的局限性·为此,本文采用多分辨率跟踪思想,将D在小波金字塔内分解,得到多个较小的位移量,使其满足LK方法的要求·1.2小波用户光流跟踪算法计算步骤描述基于小波金字塔的光流跟踪算法就是将目标的位移D在小波金字塔内分解,并通过一系列层内光流迭代运算和金字塔层间位移传递计算求得最终位移结果Dopt·小波金字塔的构造如图1所示·金字塔的每层图像由小波变换的近似系数构成,并且从顶层到底层,小波变换的尺度依次减小·本文采用sym4小波,使用Mallat算法对每帧图像做三个尺度的分解,用每个尺度的近似系数构造小波金字塔如图1所示·由于Mallat算法采用二尺度的下采样,所以相邻层之间的面积比为4∶1·引入小波金字塔算法后光流残差公式(1)变为εL=∬W[ΙLt+1(x+gLx+dLx,y+gLy+dLy)-ΙLt(x,y)]2dxdy[JX*4]⋅[JX-*4](6)其中,层间位移传递向量gL=[gLx?gLy]Τ用来计算层和层之间的位移差,其初始值为gLtop=[00]T,且在层内计算时为常量;层内累计位移向量DL=[dLx?dLy]Τ通过迭代运算计算·基于小波金字塔算法的多分辨率光流跟踪算法计算步骤描述如下:首先,在金字塔最顶层Ltop,多次迭代计算光流,直至计算结果Di小于给定阈值,并将每次计算结果累加求得DLtop=ΣDi;然后,DLtop和gLtop被带入到下一层Ltop-1,并重新计算光流求得DLtop-1,由于层与层之间是二尺度的下采样,所以gLtop-1=2(gLtop+DLtop);最后,光流计算在每一层中进行,直到最低层Lbottom,最后求得Dopt=gLbottom+DLbottom·假设每次光流计算能处理的最大位移量为Dmax,那么引入小波金字塔算法后光流计算能处理的总体位移量为Dmax-overall=(2Ltop+1-1)Dmax[JX*4]⋅[JX-*4](7)因此,构造三层的小波金字塔Ltop=3后,光流LK方法在2帧图像间能够处理的最大位移量为15像素·2基于小波变换的多尺度hasn角点检测算法LK方法的本质是求解运动目标图像梯度方向上的运动矢量,因此,当运动目标的梯度方向与运动目标速度方向相同时跟踪是最稳定的·这一特点决定了特征提取的原则,即在任意方向都具有梯度的特征区域或特征点·因此,角点成为LK方法较好的跟踪特征·Harris角点具有计算简单、可定量提取,并且具有平移不变性和旋转不变性等特点·但是,传统Harris角点检测算法只能在单一尺度下进行检测,角点提取的效果依赖于阈值的设定,阈值大会丢失角点,阈值小又会提取出伪角点·因而,尺度功能的缺乏降低了Harris角点检测算法的性能·同时,Harris角点检测算法在梯度平缓变化时可能漏掉一些实际的角点,而且对噪声比较敏感·Harris角点检测矩阵为Μ=∑Ω[Ι2xΙxΙyΙxΙyΙ2y]w(x,y),(8)式中,w(x,y)为高斯窗函数,Ω为3×3的邻域·当M的特征值λ1,λ2都大于给定阈值时,该点为Harris角点·本文的跟踪目标是城市道路上的车辆,在初始跟踪时目标区域很小,纹理信息不丰富·因此,检测到的Harris角点数量较少且分布不均匀·如果在跟踪过程中发生部分遮挡而使大量角点丢失或者“漂移”,将导致跟踪失败·对此,本文提出基于小波变换的多尺度Harris角点检测算法,在保证角点质量的前提下,提高了角点的检测数量并使其尽量分布均匀,从而保证跟踪过程的顺利进行·基于小波变换的多尺度Harris角点检测算法的计算步骤描述如下·首先,由于sym4小波函数具有较好的对称性,有利于减小图像重构时发生的失真,因此,采用sym4小波函数,使用Mallat算法对每帧图像进行3个尺度的小波分解·其次,建立2个角点检测金字塔·第1个金字塔由三尺度的近似系数构成;第2个金字塔由三尺度的垂直、水平和对角细节系数重构图像构成·然后,在2个金字塔的6幅图像中,检测Harris角点·将其分别添加到2个金字塔的候选角点集中·由于小波变换有平滑效果,因此,窗函数w(x,y)=1·最后,在2个金字塔中搜索确定最终的角点·搜索的原则是:从金字塔顶部角点集Ctop开始,在下一层中Ctop的对应邻域内搜索,如果搜索到了则保留此角点,否则丢弃·重复以上过程·直至搜索到最低层·最终将2个金字塔下的角点集合并,排除重复角点后作为最终的跟踪特征·基于小波变换的多尺度Harris角点检测算法流程图如图2所示·3角点信息检测为验证算法,在沈阳交通路口拍摄了一段视频,对其中一辆转弯车辆进行跟踪·在视频第一帧中采用基于小波变换的多尺度Harris角点检测算法检测角点,然后使用基于小波金字塔算法的多分辨率光流,对所有特征点进行跟踪·图3,图4为三尺度下近似系数和细节系数重建图像上检测的Harris角点坐标·从图中可以看出,在近似系数中检测到了6个角点,分别位于车辆的轮廓四周;而细节系数重建图像上检测到5个角点,分别位于高位刹车灯、后车窗右上角和车顶左上角,其余两个与近似系数中检测到的角点重复·由于小波变换的近似系数主要为图像的低频信息,目标的轮廓被增强,因此,在轮廓上找到的角点信息增多·而垂直、水平和对角细节系数主要为梯度信息,因此,有利于在目标图像梯度细节上找到角点信息·以高位刹车灯上的角点为例,其梯度信息在近似系数上被平滑了,因此没有被检测到;而在细节系数中,其水平梯度和垂直梯度被增强了,所以在细节系数重构图像中检测到了这个遗漏角点·可以看出两种角点检测金字塔互为补充,降低了遗漏角点的数量·而且由于检测到的角点具有尺度不变性,使其位置更精确·以从表1的对比可看出其特点·从图5a～5d中可以看出,当车辆旋转、平移、摄像机变焦以及背景变化时,跟踪的特征角点都很稳定,位置没有出现“滑动”·并且由于车速较快使得帧间角点平均位移达到9像素,而传统LK光流算法能够处理的最大位移量为3像素左右,由此可以看出改进算法的跟踪能力被有效提升·在图5e中,由于行人和车辆的遮挡,导致车顶部三个角点和尾部一个角点被“拽跑”,主要原因是当遮挡发生时特征角点的梯度信息发生变化,从而导致光流匹配出现偏差·当遮挡发生时,角点的位移变化以及特征角点之间的几何形变是非常明显的,由此,本文使用这两种数据来对角点遮挡进行判断·首先,建立角点链(每个角点与临近的两个角点链接),然后,求角点链上每个节点之间的距离·当某个节点与其临近2个节点的距离都超过阈值,且角点的位移超过25个像素就可以判断为该角点发生遮挡·处理方法是直接将其删除·从图5f中可以看出,被遮挡的角点已经被删除,跟踪正确的角点依然在正确位置·在图5f中,高位刹车灯上的角点也被删除,原因是当刹车灯熄灭时,原有梯度信息消失,因此在光流匹配时位置发生异常,所以系统将其判断为遮挡角点并删除·本文算法与相位光流和能量光流相比,具有计算量小,运算速度快的特点·在P43.0GHz计算机上,对分辨率为320×240的交通录像进行处理,可以达到每秒钟35帧·与基于模板匹配的跟踪算法相比,本文算法不需要解决复杂的模板更新问题,就可以在目标旋转、摄像机变焦时进行准确跟踪·4实验结果分析针对LK稀疏光流场方