目标跟踪综述ppt课件

1、目的跟踪综述东北大学-方式识别与智能系统-田维tw415087321163目录1.课题背景与研讨意义2.国内外研讨现状3.存在的问题4.总结，开展与展望5.参考文献1课题背景与研讨意义运动目的的跟踪就是在视频图像的每一幅图像中确定出我们感兴趣的运动目的的位置，并把不同帧中同一目的对应起来。智能视频监控(IVS: Intelligent Video Surveillance)是计算机视觉领域近几年来开展较快，研讨较多的一个运用方向。它可以利用计算机视觉技术对采集到的视频信号进展处置、分析和了解，并以此为根底对视频监控系统进展控制，从而使视频监控系统具备更好的智能性和鲁棒性。智能视频监控系统主要涉

2、及到图像处置、计算机视觉、方式识别、人工智能等方面的科学知识，它的用途非常广泛，在民用和军事领域中都有着极大的运用前景。2.国内外研讨现状视频目的跟踪算法基于对比度分析基于匹配核方法运动检测其它方法特征匹配贝叶斯跟踪Mean shift方法光流法基于对比度分析的方法算法思想：基于对比度分析的目的跟踪算法利用目的与背景在对比度上的差别来提取、识别和跟踪目的。分类：边缘跟踪，型心跟踪，质心跟踪。优缺陷：不适宜复杂背景中的目的跟踪，但在空中背景下的目的跟踪中非常有效。基于特征匹配的目的跟踪算法算法思想：基于匹配的目的跟踪算法需求提取目的的特征，并在每一帧中寻觅该特征。 寻觅的过程就是特征匹配过程。目

3、的跟踪中用到的特征主要有几何外形、子空间特征、外形轮廓和特征点等。其中，特征点是匹配算法中常用的特征。特征点的提取算法很多， 如Kanade Lucas TomasiKLT算法、Harris 算法、SIFT 算法以及SURF 算法等。优缺陷：特征点普通是稀疏的，携带的信息较少，可以经过集成前几帧的信息进展补偿。目的在运动过程中，其特征如姿态、几何外形、灰度或颜色分布等也随之变化。目的特征的变化具有随机性，这种随机变化可以采用统计数学的方法来描画。直方图是图像处置中天然的统计量，因此彩色和边缘方向直方图在跟踪算法中被广泛采用。贝叶斯跟踪卡尔曼滤波粒子滤波隐马尔科夫模型动态贝叶斯模型卡尔曼滤波根本

4、思想：从本质上讲，卡尔曼滤波器就是一个有噪声线性动态系统形状预估的递归算法，它是一个不断地预测与校正的过程。当假设系统形状模型和观测模型都是线性且符合高斯分布，同时假设噪声也是高斯分布时，线性卡尔曼滤波器是最优的滤波器。局限性：但是，常规的卡尔曼滤波算法要求系统是线性高斯型的，对于非线性、非高斯环境而言，不能直接用来处理目的的估计问题。为此，人们开发出各种非线性滤波算法，一种是扩展卡尔曼算法(EKF)，它对非线性系统进展部分线性化，从而间接利用卡尔曼算法进展滤波与估算。但是只适用于滤波误差和预测误差很小的情况，否那么，滤波初期估计协方差下降太快会导致滤波不稳定甚至发散。修正增益的推行卡尔曼滤波

5、算法(UKF)虽然经过改善增益矩阵，相应改善了形状协方差的估计性能，但该方法对丈量误差有一定限制。假设丈量误差较大，那么算法在收敛精度、收敛时间及稳定性等方面表现得很不理想。粒子滤波两种变形扩展了KF 的运用范围，但是不能处置非高斯非线性模型，这个时候就需求用粒子滤波PF。由于运动变化，目的的形变、非刚体、缩放等问题，定义一个可靠的分布函数是非常困难的，所以在PF 中存在例子退化问题，于是引进了重采样技术。除了KF 和PF 之外，隐马尔科夫模型HMMs和动态贝叶斯模型DBNs也是贝叶斯框架下重要的视觉跟踪方法。HMMs 和DBNs 将运动目的的内部形状和观丈量用形状变量向量表示，DBNs 运用

6、形状随机变量向量集，并在它们之间建立概率关联。HMMs 将系统建模为马尔科夫过程。基于运动检测的目的跟踪算法根本思想：经过检测序列图像中目的和背景的不同运动来发现目的存在的区域， 实现跟踪。光流法：光流算法是基于运动检测的目的跟踪的代表性算法。光流是空间运动物体在成像面上的像素运动的瞬时速度，光流矢量是图像平面坐标点上的灰度瞬时变化率。光流的计算利用图像序列中的像素灰度分布的时域变化和相关性来确定各自像素位置的运动， 研讨图像灰度在时间上的变化与景象中物体构造及其运动的关系。将二维速度场与灰度相联络，引入光流约束方程，得到光流计算的根本算法。优缺陷：光流场的方法可以很好的用于二维运动估计，它也

7、可以同时给出全局点的运动估计，但其本身还存在着一些问题：需求多次迭代，运算速度慢，不利于实时运用。核方法算法思想：对类似度概率密度函数或者后验概率密度函数采用直接的延续估计。Mean shift ：均值偏移方法。采用彩色直方图作为匹配特征。Mean Shift 跟踪算法反复不断地把数据点朝向MeanShift 矢量方向进展挪动，最终收敛到某个概率密度函数的极值点。在Mean Shift 跟踪算法中，类似度函数用于描写目的模板和候选区域所对应的两个核函数直方图的类似性，采用的是Bhattacharyya 系数。因此，这种方法将跟踪问题转化为Mean Shift 方式匹配问题。核函数是Mean S

8、hift 算法的中心， 可以经过尺度空间差的部分最大化来选择核尺度，假设采用高斯差分计算尺度空间差，那么得到高斯差分Mean Shift 算法。优缺陷：Mean Shift 算法假设特征直方图足够确定目的的位置，并且足够稳健，对其他运动不敏感。该方法可以防止目的外形、外观或运动的复杂建模，建立类似度的统计丈量和延续优化之间的联络。但是，Mean Shift 算法不能用于旋转和尺度运动的估计。为抑制以上问题，人们提出了许多改良算法，如多核跟踪算法、多核协作跟踪算法和有效的最优核平移算法等。多特征交融跟踪根本思想：利用多特征描写目的是一种非常有效的实现稳健跟踪的方法。不同的特征可以从一样的或者不同

9、的传感器获得，如彩色和轮廓，彩色和梯度，Haar-Like 特征和边缘，角点、彩色和轮廓，彩色和边缘，彩色和Wi-Fi三角化等。在贝叶斯框架下，有两种方法可以集成多个特征：1 假设特征之间是统计独立的，可以将多个特征以加权和的方式组合起来；2 假设多个特征之间的条件关联服从线性约束， 可以将类似度概率密度分布表示为各个特征类似度概率密度分布的线性组合；Towards robust multi-cue integration for visual tracking基于强大的多线索交融技术的目的跟踪Perceptual Computing and Computer Vision Group, ET

10、H Zurich, SwitzerlandMachine Vision and Applications (2003) 14普通的系统框架目的：用多维的时间序列表示，本文中，用90*72的M维时间序列表示目的。单一线索察看模型：在时间上排序，估计目的在单一线索下n维形状向量产生的视觉线索的概率图序列，每个空间矢量是到n维概率分布P(j)的预测。 例如：假设要估计目的在二维空间的运动。 M(j)表示映射，r(j)表示映射参数多线索交融模型模型建立模型估计引入反响 调整参数rc(t)和rj(t) Democratic integration算法思想：对五个线索建立一个共同估计，这个估计用来评定每个

11、线索，并确定下一时辰该线索的权值。同时每个线索都有自顺应性，提高其性能，从而提高整个系统的性能。但是必需满足两个假设：首先，各个线索的共同估计必需占主导位置。其次，环境的变化对视觉线索的影响很小。将输入量S(t)分成五个线索：强度特征，颜色特征，运动特征，形变特征，对比度特征，每个特征都有其自顺应性。根据前面各特征的影响度，调整各自的权值Wi，使他们可以对不断变化的环境产生反响，集成为一个多形状显示的预估方案估计目的位置定义为合并后的概率分布的最大呼应feed back自顺应的权值调整在两个层面上1.自组织的多线索交融其中qi(t)指观丈量与平均呼应的概率密度差，用来调理权值，权值Wi为自顺应

12、。2.自顺应单线索察看 f函数：抽取一个适宜的特征向量Democratic integration 方法局限性的分析颜色突变的情况Soccer sequenceTwo person sequenceIntegration with CONDENSATION单纯利用感兴趣特征进展目的跟踪，当所选特征突变时，权值的调整会产生误操作，因此有着很大的局限性可以利用当前帧以及当前帧前一帧做观测模型，充分利用视频信息，并结合多线索特征交融两个方法，建立新的算法。基于上下文跟踪的方法除了结合运用目的的多特征之外， 还可以充分采用上下文、背景和辅助目的等信息来实现稳健的目的跟踪如文献12设计了一种思索上下文的

13、跟踪算法。该算法采用数据发掘技术在视频中获取辅助目的， 并将辅助目的用在跟踪中。对目的和这些辅助目的的协作跟踪可以获得有效的跟踪性能。这里的辅助目的是至少在一小段时间内和目的同时出现， 和目的具有一样的相关性运动并且比目的更容易跟踪的视频内容。文献13在跟踪算法中，同时采用目的和目的周围背景的特征点，将目的特征点用于跟踪，将背景特征点用于鉴别目的能否被遮挡。3.存在的问题1.运动目的的准确分割动态环境下，光照，阴影等要素对帧图像影响2.运动目的的相互遮挡目的丧失后如何重新获取目的的引导方法。3.运动目的的稳定特征提取提取目的的哪些特征，可以获得更好的跟踪效果4.三维坐标下运动模型的建立鉴于2维

14、模型对角度和遮挡处置的薄弱性。5.实时性问题提高目的的准确性和实时性4 总结，开展与展望由于目的跟踪义务的复杂性，应该根据不同的运用场所选用不同的跟踪方法。在系统设计中，应该跟据详细的精度要求、稳健性要求、计算复杂度要求和实性要求等采用不同的算法。多种技术的结合运用可以有效抑制单一技术的局限性。因此，目的跟踪算法的方向开展为多模跟踪、多特征交融跟踪、基于目的所在的上下文跟踪。参考文献1.邵文坤,黄爱民,韦庆，动态场景下的运动目的跟踪方法研讨，20062.杨静宇，一种基于直方图方式的运动目的实时跟踪算法,胡明昊，任明武，2004.33.蔡荣太. 非线性自顺应滤波器在电视跟踪中的运用D.北京：中国

15、科学院，2021.4.SOTO D A，REGAZZONI M C S. Bayesian tracking for video analyticsJ.IEEE Signal Processing Magazine，2021，2755.王宇. 基于Mean Shift 的序列图像手势跟踪算法J.电视技术，2021，3466.WU Ying，FAN Jialue. Contextual flow C/Proc. 2021 IEEE International Conference on Computer Vision，Miami，FL，USA：IEEE Press，2021参考文献7.蔡荣太，吴

16、元昊，王明佳，吴庆祥,视频目的跟踪算法综述,2021年第34 卷第12 期8.周娜，基于视觉的运动目的跟踪算法的研讨与实现，东北大学硕士论文，20219.薛建儒, 郑南宁, 钟小品, 平林江，视感知鼓励多视觉线索集成的贝叶斯方法与运用,202110.M. Spengler and B. Schiele, “Towards Robust Multi-Cue Integration for Visual Tracking, Machine Vision and Applications,200311.NOGUER M F，SANFELIU A，SAMARAS D. Dependent multiple cue integration for robust tracking J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2021参考文献12.YANG M，HUA G，WU Y. Context-awar