计算机视觉与应用 课件 6.2 目标跟踪方法

6.2目标跟踪方法CONTENTS目录相关滤波跟踪01深度学习跟踪02跨境追踪应用03CONTENTS目录相关滤波跟踪01深度学习跟踪02跨境追踪应用03目前主流的目标跟踪算法主要有相关滤波跟踪和深度学习跟踪两类，因此，在相关滤波跟踪方面，本节重点介绍核相关滤波跟踪；在深度学习跟踪方面，本节介绍YOLOv3+Deepsort跟踪方法。相关滤波方法：根据当前帧与先前帧的信息训练得到相关滤波器，然后将其与输入帧进行相关性计算，输出的置信图即为预测的跟踪结果，得分最高的区域认为是跟踪的目标。其解决思路如下：设计一个滤波模板，利用该模板与目标候选区域做相关运算，最大输出响应的位置即为当前帧的目标位置。其中

为输出响应，为输入图像，为滤波模板。利用相关定理将相关变换转化为频域中的点积：其中

分别为的傅里叶变换，相关滤波的主要任务是寻找最优的。相关滤波跟踪相关滤波跟踪的基本流程相关滤波跟踪MOSSE(MinimumOutputSumofSquaredErrorfilter)开拓了相关滤波跟踪的先河，为提高滤波器模板的鲁棒性，MOSSE利用目标的多个样本作为训练样本，以生成更优的滤波器。MOSSE以最小化平方和误差为目标函数，用m个样本求最小二乘解：得到为：的获取方法是对跟踪框进行随机仿射变换，获取一系列的训练样本，而则是由高斯函数产生，并且其峰值位置是在的中心位置。原始图像中心仿射变换后对应高斯图位置的值为样本的。此外，MOSSE给出了在线更新机制：相关滤波跟踪另外，MOSSE提出使用峰值旁瓣比(PeaktoSidelobeRatio,PSR)评估跟踪置信度。PSR通过相关滤波相应峰值

、11*11峰值窗口以外旁瓣的均值

和标准差

计算得到，CSK针对MOSSE算法中采用稀疏采样造成样本冗余问题，扩展了岭回归、基于循环移位的近似密集采样方法、及核方法。1）首先CSK为求解滤波模板的目标函数增加了正则项相关滤波跟踪其中

是训练样本，

是

构成的样本矩阵，

是样本的响应值，

是待求的滤波模板，

为正则化系数。增加正则项的目的是为了防止过拟合，使滤波器的泛化能力更强。2）循环移位，CSK的训练样本是通过循环移位产生的。密集采样得到的样本与循环移位产生的样本很像，可以用循环移位来近似。循环矩阵第一行是实际采集的目标特征，其他行把最后的矢量周期性依次往前移产生虚拟目标特征。相关滤波跟踪图6-2-1循矩阵以图像形式展示结合循环矩阵的特性将样本集进行化简，得到最终的闭合解：3）引入核方法，CSK利用核方法，引入核函数，则目标函数转化为：进而得到其中相关滤波跟踪CONTENTS目录相关滤波跟踪01深度学习跟踪02跨境追踪应用03基于深度学习方法的跟踪是利用深度学习模型提取目标特征，然后计算目标图像特征与候选特征的相关性，将高响应的目标确定为跟踪的目标图像。本节主要介绍YOLOv3+Deepsort深度学习跟踪方法。YOLOv3目标检测深度学习跟踪1）首先利用YOLOv3实现图像中的目标检测，该模型借鉴了残差网络结构，形成更深的网络层次，以及多尺度检测，提升了mAP及小物体检测效果。深度学习跟踪YOLOv3较先前网络的改进之处：在基本的图像特征提取方面，YOLO3采用了Darknet-53的网络结构，借鉴了残差网络residualnetwork的做法，在一些层之间设置了快捷链路；YOLO3更进一步采用了3个不同尺度的特征图来进行对象检测，检测到不同尺度的目标细粒度特征；将SoftMax函数用逻辑回归（Logistic）替代，实现多目标的检测。深度学习跟踪SORT(SimpleOnlineRealtimeTracking)，是一种快速精确的目标跟踪方法，其最快跟踪速度达200帧以上，假定跟踪之前对所有目标已经完成检测，实现了特征建模过程。第一帧以检测到的目标初始化并创建新的跟踪器；后续帧输入时，从卡尔曼滤波器中得到由前帧框的状态和协方差预测，计算跟踪器所有目标状态预测与本帧检测的框的IOU，通过匈牙利指派算法得到IOU最大的唯一匹配；再用当前帧中匹配到的目标检测框更新卡尔曼跟踪器，计算卡尔曼增益、状态更新和协方差更新，并将状态更新值输出，作为本帧的跟踪框。深度学习跟踪DeepSORT的计算思路：首先使用马氏距离度量目标与跟踪候选目标之间的相似性：

表示第个检测框的位置，表示第

个追踪器对目标的预测位置，表示检测位置与平均追踪位置之间的协方差矩阵。马氏距离通过计算检测位置和平均追踪位置之间的标准差度量了状态测量的不确定性。如果某次关联的马氏距离小于指定的阈值，则表示关联成功：特别是相机存在运动时会使得马氏距离的关联方法失效，造成出现IDswitch的现象，因此，引入第二种度量：计算第

个追踪器的最近100个成功关联的特征集与当前帧第

个检测结果的特征向量间的最小余弦距离：深度学习跟踪此外，级联匹配的核心思想就是由小到大对消失时间相同的轨迹进行匹配，保证了对最近出现的目标赋予最大的优先权，也解决了长时间部分遮挡的问题。深度学习跟踪CONTENTS目录相关滤波跟踪01深度学习跟踪02跨境追踪应用03跨境追踪：同一场景，不同摄像头获取的视频数据进行目标持续的跟踪与定位。不同场景不同摄像头获取的视频数据中进行目标跟踪与定位。跨境追踪技术实现流程跨境追踪应用跨境追踪：同一场景，不同摄像头获取的视频数据进行目标持续的跟踪与定位。不同