基于掩膜机制的相关滤波跟踪方法

基于掩膜机制的相关滤波跟踪方法

1相关滤波类方法目标跟踪技术已广泛应用于许多计算机视觉系统，如视频监控、无人机导航、智能交通系统等。其任务要求在仅给定目标初始的状态信息条件下能够持续地识别出后续帧图像中目标的位置大小等状态信息在过去几年的跟踪算法发展中，基于相关滤波（CorrelationFilter,CF）的跟踪方法已然取代核结构化输出方法（Struck)本文是在后者SAMF方法（ScaleAdaptivewithMultipleFeaturestracker）的基础上做出了改进。由于相关滤波类方法中的循环采样方式引入了样本的强周期性假设，使得带有非真实边界的训练样本会影响到滤波器的决策平面。除去该因素以外，服从高斯函数分布的样本标签设定也会导致训练样本中存在有过多的负样本，考虑到正样本是否训练充分，相关滤波类方法中的正负样本比例不均衡问题也不容忽视。为了解决上述两点问题，本文先采用了一种掩膜机制2结合衬底机制的最大间隔相关滤波器2.1模型尺寸相关滤波多尺度相关滤波器SAMF先通过最小化相关滤波损失学习到目标特征对应的相关滤波器，再对多尺度检测区域提取出金字塔特征并进行尺度缩放，根据每个尺寸对应特征图的相关滤波响应，找出目标当前所处的置信度最大的位置以及尺寸变化情况设由目标模板x循环移位得到的样本集为X=[x其中，λ为模型的结构化损失惩罚系数。2.2quentitymaloptimization,smo求解判别式模型训练过程中，常用到间隔最大化的约束条件来提升模型的难例判别能力以及泛化能力然而该方法需要先进行候选框提取再通过序贯最小化方法（SequentialMinimalOptimization,SMO）来迭代地进行求解，无法达到很好的实时性与准确性。Ning等人为了进一步加快计算速度并提高定位精度，Zuo等人结合间隔最大化的约束条件，更改式（1）表示的目标函数得：其中，ψ(x其中G为期望的高斯阈值函数。结合循环矩阵的性质，将式（3）内所有样本的约束条件整合至一个表达式中可得：其中，Ψ(X,y)表示循环移位得到的样本矩阵与真实状态信息的联合表示，Ψ(X,y2.3引入矛盾机制的机制闭式求解得到的相关滤波器由于易受边界效应的影响而往往导致判别性能大打折扣，因此加入间隔最大化约束条件后甚至会出现性能倒退的现象。本文采用了一种掩膜机制被掩模处理过后的样本矩阵可表示为(P⊗I训练的同时考虑抑制过多的负移位样本的权重，向式（6）中加入最大化间隔约束条件。结合式（6）表示的目标函数以及公式（5）内的约束条件可得：其中，Ψ=Ψ(X,y)。2.4交叉迭代算法为了便于求解该优化问题，本文通过设置一个对偶变量z先将目标函数转换成较易求解的形式：此时目标函数将被替换为：由于引入掩模矩阵P后滤波器的闭式解形式将会遭到破坏，本文采用了交叉迭代的思想对滤波器进行求解。首先定义加入掩模矩阵过后训得的相关滤波器频域表示为在逼近过程中利用约束项ue02e其中，式中定义的各个变量交替求解的步骤如下：(1)z的求解z作为间隔损失ξ的对偶变量，假定相关滤波器(2)ĝ通过对偶变量转换为目标损失最小化问题之后，期望的相关滤波响应为其中，(3)f的求解令式（15）对f的偏导为0，可得滤波器f的解为：(4）拉格朗日乘子本文中拉格朗日乘子从收敛性的角度来看，μ代表3跟踪优化方法综合上述算法分析，本文在SAMF跟踪算法的基础上，得到的改进相关滤波跟踪流程图可参考图4。其中训练过程中对样本的密集采样是通过相关运算来隐式实现的，而对于样本的掩膜处理P也只是作为求取滤波器ĝ前定义的中间变量，对实际优化过程不产生影响，改进后具体的跟踪流程可如下所示：(1）初始化参数，开始处理第一帧图像。(2）若当前帧不是第一帧图像：(1)计算多尺度搜索区域的金字塔响应图；(2)利用插值方法推算出当前帧中响应最大值所处的位置以及目标尺寸大小。(3）根据预测信息提取当前帧中搜索区域的特征。(4）初始化相关滤波器f,(1)由式（13）求出z的闭式解以及滤波器的实际期望响应û；(2)由式（14）计算频域内的改进相关滤波器(3)根据公式（16）求出空域中的相关滤波器f;(4)更新拉格朗日乘子ζ,μ；(5)当迭代次数到达上限时退出迭代过程，否则返回到(1)步。(5）输出当前帧中目标预测的大小、位置等状态信息，取下一帧图像，并返回第（2）步，否则结束退出。4实验链接4.1实验结果及分析本文实验框架是基于MatlabR2016b以及C语言混编实现的，实验运行环境为主频4.2GHz的IntelCoreI77700K处理器，运行内存8GB。为了评估本文的算法性能，实验采用OTB2015标准数据集本文算法在对图像块进行特征提取时采用的是HOG特征、颜色属性以及灰度值的融合特征。考虑到不同目标尺寸大小不一致对同一跟踪算法的运行速率影响差异过大，本文将所有提取到的特征图统一缩放到2500～10000个像素点以内。由于增大ADMM迭代次数后相关滤波器可能会有潜在的过拟合风险，经多次实验对比发现2次迭代过后相关滤波器的跟踪性能最好。本文还对比了几个常用的参数在选取不同值时的跟踪效果，最终结合实时性以及定位精确度准则选取的参数如表1所示。4.2配合物的性能比较为了验证掩膜矩阵以及最大化间隔约束对相关滤波器跟踪性能的提升作用，本文设计了四组不同的跟踪器来进行对比。其中RR为标准的多尺度相关滤波器SAMF、SSVM中仅加入最大化间隔约束，RR+Mask中加入了掩膜机制，SSVM+Mask同时加入了掩膜机制与最大化间隔约束。在均取如表1所示参数条件下，四组跟踪器在一次通过OTB2015数据集上所有视频序列后得出的性能比较如表2所示。结果表明，加入掩膜机制的跟踪器RR+Mask可以达到0.802的MeanOP和0.585的AUC，比跟踪器RR分别高出了31.3%和20.6%。然而值得注意的是，只加入了最大化间隔约束的跟踪器SSVM在效果上反不如RR，这是由于对非真实样本直接进行最大化间隔约束反而会加重非真实样本对训练过程带来的负面影响。而结合掩膜矩阵净化过的样本以及最大化间隔约束后，由表2可知，相比较RR+Mask，跟踪器SSVM+Mask能够进一步提升2.6%的定位精确度和3.5%的AUC值。4.3对比实验结果为了验证本文算法的实际跟踪效果，本文还设计了SSVM+Mask跟踪器与10种最先进跟踪算法之间的对比实验，包括Struck为了便于直观地与其他算法作对比，图6还列出了部分帧的跟踪结果。可看到在trellis中出现光照变化，coke以及dragonbaby、freeman1中出现平面外翻转、遮挡情况，dog1与human9中出现尺寸变化情况时，本文算法仍能精确地检测出目标。5交叉乘子方向法的优势本文提出了一种结合掩膜矩阵以及最大化间隔约束的策略来解决相关滤波方法中的边界效应问题。经由交叉乘子方向法对模型进行求解，该算法可以在保证实时性的同时进一步提升相关滤波器的