运动目标跟踪算法指导书

#/学生所在学院：信息科学与工程学院学生专业:学生姓名:指导教师:研究生院2015年3月目的视频运动目标跟踪是计算机视觉领域的一个研究热点， 它融合了人工智能、图像处理、模式识别以及计算机领域的其他先进知识和技术。同时，随着视频摄像机的普及化，视频跟踪有着广泛的应用前景，并且和我们的生活也息息相关。目前，在城市各个角落都安装了街头监控摄像机，对城市安全起到了防范作用，但目前的技术还没有识别危险、自动报警等预防犯罪和危险发生的功能。如果需要在该系统中加入危险情况识别、目标跟踪、态势估计与威胁估计等部分，准确的运动目标跟踪是关键和支撑技术。从目前国内外研究的成果来看，对于运动目标的跟踪算法和技术主要是针对于特定环境提出的特定方案，大多数的跟踪系统不能适应于场景比较复杂且运动目标多变的场景。并且在视频图像中目标的遮挡、光照对颜色的影响、柔性刚体的轮廓变化等将严重影响目标的检测与跟踪。 经过科研学者们不断研究，提出许多优秀的运动目标跟踪算法。目前运动目标跟踪算法大致上可以分为两类：确定性跟踪方法和随机性跟踪方法。MeanShift跟踪算法是具有较强的代表性的确定性跟踪方法，而粒子滤波是典型的随机性跟踪方法。MeanShift算法的主要优点体现在能够进行快速的目标跟踪， 计算量小,完全能够达到运动目标跟踪的实时性的要求，因此目前的许多的科研项目都是采用此类算法解决运动目标跟踪问题。但是代价函数只能得到局部最优解，无法得到全局最优解。因此，当目标受到相似背景干扰时， MeanShift跟踪算法性能下降。粒子滤波器可以用于视频跟踪，如果跟踪目标质点需要加入目标检测与识别的图像处理部分，粒子滤波器可以直接跟踪像素，但实时性很差，目前，研究者还研究了多种目标图像特征的融合跟踪、多模型跟踪等方法。因为跟踪机动目标需要对目标的运动特性有一定了解，因此，目标跟踪的难点之一在于目标模型的建立及其与跟踪方法的匹配上，这是提高跟踪性能的关键。二、意义数字图像处理就是用数字计算机和其它有关数字技术， 对图像进行处理以达到预期的目的。随着计算机的发展，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程。其目的是使学生进一步巩固数字图像的基本概念、理论、分析方法和实现方法。通过本次课程设计增强学生应用 matlab编写熟悉图像处理的应用程序及分析问题解决实际问题的能力，同时对学生的综合运用专业基础知识及软件设计能力也会有较大提高。三、设计内容运动目标跟踪领域的两个热点算法是MeanShift算法和粒子滤波算法，本次课程设计是对这两种算法进行探讨。针对基于单一颜色模型的 MeanShift跟踪算法易受复杂环境以及相似背景干扰的影响，采用一种基于颜色和纹理特征的MeanShift跟踪算法，提高跟踪效率。将改进的MeanShift算法与粒子滤波算法进行比较。本次设计的主要内容是用MeanShift算法和粒子滤波算法实现运动目标跟踪。原理如下所示：开始建立目标颜色和纹理融合模型建立候选目标颜色和

纹理融合模型利用M導法求出候选区域新位置更新值取新位置相似性函数递增？N更新至新旧位置中点Y新旧位置差小于阈值？输出跟踪结果结束图1MeanShift跟踪算法系统框图

舗ilk图2粒子滤波跟踪算法系统框图三、设计要求使用图像获取工具箱，从摄像机获取的视频图像到 matlab中，这些图像可以用来跟踪摄像机视频图像中的运动目标。建立一个图像跟踪的演示程序，实现运动目标的检测与跟踪，就是在视频中实时的发现运动目标，不断跟踪它们，并标注出这些目标的运动轨迹。要求完成功能：（1） 对连接在计算机上的视频设备进行控制；（2） 显示动态视频画面；（3） 对画面中的内容进行运动目标检测；（4） 对画面中的内容进行运动目标跟踪；（5） 记录目标的跟踪轨迹；设计软件界面。五、 设计步骤1、 查找与运动目标跟踪算法相关的学位论文、期刊、外文等文献，了解当下最主流的跟踪算法以及研究进度。根据课题的要求，准备相关的专业基础知识，熟悉课程设计内容，理清设计思路。2、 绘出程序流程图。3、 熟悉图像处理的基本原理，并且熟悉Matlab程序设计方法。程序设计与调试。4、 验证算法的实验效果，提出改进的措施，优化算法，实现更精确的跟踪目的。5、 实验结果整理及总结。六、 程序流程1• 根据颜色直方图原理设计出计算一帧图像颜色直方图的代码，计算出目标模板颜色直方图以及候选模板颜色直方图。计算出目标模板与候选模板颜色直方图之间的相似度，采用巴氏系数作为相似性度量。利用MeanShift迭代算法求出候选模板的新位置。根据LBP纹理特征原理设计出求图像帧的纹理特征。设计出纹理特征与颜色特征的融合模型， 并设计出相应程序，利用MeanShift迭代算法求出候选模板的新位置。设计出粒子滤波相关程序并验证。七、 思考题目标特征除了采用颜色和纹理特征还可以采用那些特征？对于目标相似背景干扰严重，应采取什么措施？粒子数不同对实验结果有什么影响。目标外观变化或遮挡较严重时考虑采用多种算法结合的目标跟踪。八、 课程设计论文撰写规范1封面(统一规范)：设计名称作者班级时间2目录3课程设计的目的和意义4系统简介以及说明5设计内容和理论依据包括（颜色直方图、纹理特征、MeanShift算法设计过程、粒子滤波算法设计过程、鲁棒性、程序优化）6流程图7实验结果（流程图）以及分析讨论8课程设计总结9参考文献（5篇）参考书目：马加庆•视频运动目标的跟踪方法•北京：电子工业出版社，2013:21-73.熊德辉.基于粒子滤波的目标跟踪算法研究.华南理工大学，2013:22-30.高秀斌.基于MeanShift和粒子滤波算法的动态目标跟踪的研究.扬州大学,2013:7-47.杨杰，张翔.视频目标检测和跟踪及其应用.上海:上海交通大学出版社，2012:159-368.王洋.基于粒子滤波的运动目标跟踪研究.哈尔滨理工大学，2011:1-12.课程设计成绩评定表课程设计上机验收成绩表姓名学号课题名称视频运动目标检测与跟踪算法序号验收项目分值得分1设计内容合理，目的明确102实现了课程设计的基本要求，演示正确503对课程设计中设计的知识理解正确104方案正确，在基本要求上有改进，有创新205界面设计合理，美观10总分100课程设计总评分成绩表评定项目分值评分成绩1设计上机验收成绩，答辩60%2设计报告的规范化，参考文献充分30%3平时成绩10%总分附录1.运动目标跟踪算法参考原理及实验结果一、MeanShift跟踪算法原理1基于颜色特征的MeanShift跟踪算法原理MeanShift跟踪算法是典型的数据驱动的自底向上的处理方法。 基于颜色特征的MeanShift跟踪算法的基本思想是选择目标模板与候选区域之间的颜色直方图的相似度作为代价函数，通过梯度下降法迭代搜索代价函数的最大值。 从而可以近似认为代价函数极大值对应的位置就是运动目标当前位置。■均值漂移向最图1-1迭代过程1.1RGB颜色直方图RGB颜色直方图：在运动目标跟踪领域里，颜色直方图是一种典型的描述目标特征的手段，它应用计算和统计学规律，能够反映视频序列帧中颜色的组合结构和比例分布情况，任何一副图像都有与之唯一对应的颜色直方图。 RGB彩色模型三维坐标系的每个坐标轴分别由R、G、B三基色组成，其中坐标轴最小值为0,最大值为255。任何一种颜色都能够在这个三维坐标系中找到自己的位置，坐标的原点（0,0，0）表示黑色，而坐标（255,255，255）表示白色。计算图像颜色直方图的目的是为了获取颜色概率分布图像，因此需要颜色量化过程即将颜色空间划分为若干个小的颜色区间，每个区间称为直方图的一个直方格bin，然后计算图片颜色落在每个颜色区间内的像素数量就可以得到颜色直方图。计算直方图的方法可以简单的描述为：给定一个图像的m区间的直方图，定义图像的像素位置为｛xj｝j斗n和直方图｛（?u4m，同时给定一个表示像素Xi的直方图索引为cx*的函数C：R2ml，因此直方图可以用下式计算：nqu-：下x*-u （i-i）i£ _其中将直方图区间的值量化到二维概率分布图像的离散像素范围内可以用计算：f (255严-讪品心严255/— (1-2)即直方图区间的值从0,maxq量化到新的范围［0,255］内1.2基于颜色特征的MeanShift跟踪算法原理基于颜色特征的MeanShift算法主要思想是对图像序列中所要跟踪的目标首先计算鼠标选中目标所在区域的参考颜色直方图模型，然后将上一帧目标所在的位置作为初始位置，计算目标跟踪窗口所在区域的颜色直方图，并与参考颜色直方图模型做比较，在本文算法中，比较的方法是采用计算两颜色直方图的巴氏系数的大小，最后判断巴氏系数最大值的跟踪窗口作为目标在当前帧的位置，重复上述的过程就能完成目标的跟踪。当分别表示出目标图像和候选图像的颜色直方图后，需要选择合适的相似性度量函数，因此运动目标的跟踪问题可以归结为在当前帧中寻找位置 y使得?y和？最为相似。在此我们采用两颜色直方图的Bhattacharyya系数来量测两颜色分布的相似度，即目标颜色参考直方图和目标候选直方图？y的相似度可以表示为：

mTOC\o"1-5"\h\z，y厂订Py61'二丿？uy况 (1-3)- 一 u£Bhattacharyya系数的实际几何意义是代表两向量的余弦，其值大小介于 0和1之间，数值越大代表两颜色直方图越相似。基于Bhattacharyya系数，两直方图的Bhattacharyya距离可以表示为：dy]=J「讣？y,(? (1-4)目标跟踪就是在当前帧中寻找目标中心位置 y，使得Bhattacharyya系数最大：m :讣py,(? ?uy(?u (1-5)- -u4将]y,(?在?yo处进行泰勒展开得：m1 1m/q(1-6)(1-7)P[?(y)d卜加J?u(yo朮+肿?u(y)J万1(1-6)(1-7)U斗 2um Yl?u(yo)将上式展开可得：|yhT其中Wi为候选区域的每个像素的权重，即mwimwi二\U=1(1-8)可以看出，在式(1-8)中，第一项为常数值，要使■?yd值最大，只需要使第二项最大即可。要求得式(1-8)的极大值，可以采用MS迭代算法，具体的步骤如下所示：给定目标的参考颜色直方图模型和目标在上一帧的估计中心位置 ?0，以?为目标的初始中心位置，提取候选目标的直方图向量{pu(?0)[土，m，计算与目标模型的相似度 「？(？0),电；

根据公式(1-8)计算权值{wj}』.,n(1-9)根据MS迭代公式，计算出目标的新位置:(1-9)n?o-x2、瓦JiWig-1h丿2、I?o_xn、id⑷计算候选目标在新位置上的{pu(比4m与目标模板的相似度P[p(?i} ；⑸若P[0(?)，G]v{?u(?O)}u土..,m，则赋值？仔2(%+?)，并计算新的P[?(?用丨，继续下一帧跟踪；⑹如果名，则停止当前帧跟踪，否则令 yi返回步骤⑴2基于颜色和纹理特征的MeanShift跟踪算法原理颜色是一种有效的视觉特征，它对目标的旋转、物体的遮挡及非刚体变换都比较鲁棒，但是它容易受到光照变化及相似背景颜色的干扰。因此基于单一特征的跟踪算法很难适应环境的变化，而多特征联合起来可以有效的互补克服单一线索的缺陷。本文采用基于颜色和纹理特征的 MeanShift跟踪算法，在对运动目标进行颜色特征匹配之后，进一步进行 LBP纹理统计特征匹配，有效的提高了匹配效率，避免基于单一颜色特征的MeanShift跟踪算法易受到光照变化及相似背景颜色干扰的缺点。1.1RGB颜色直方图在运动目标的跟踪算法中，纹理是最常用的目标特征之一，它是物体表面固有的特征，自然界中任何事物都有自己的纹理特征。局部二值模式的基本思想是将中心像素点的灰度值设为阈值，比较其邻域内所有像素点的灰度值与中心像素点的灰度值的大小，进而得到二进制码来表示局部纹理特征。LBP的纹理特征的计算过程可以由下图表示，将图 1-1左边模板阈值化，接着比较中心像素点与相邻像素点的灰度值大小，大于中心像素点的灰度值置1,反之为0,将得到的结果按照逆时针构造一个0/1序列，最后计算这个序列的十进制数，即为该像素点的 LBP纹理特征值。对图像中的每个像素求 LBP纹理特征值即可得到图像的LBP纹理特征图。10021033010二进制模式112125135亠0110100101■十进制数16514551234101图1-2局部二值模式计算过程（P=8,R=2）2.2基于颜色和纹理特征的MeanShift跟踪算法原理基于颜色和纹理特征的MeanShift跟踪算法相似性度量的选择与基于颜色特征的MeanShift跟踪算法相似性度量的选择一样，以下是基于颜色和纹理特征的MeanShift跟踪算法步骤如图1-3所示。3基于不同特征的MeanShift跟踪算法实验结果比较为便于比较，本节分别给出基于颜色特征的 MeanShift跟踪算法以及基于颜色和纹理特征的MeanShift跟踪算法的实验结果。通过自拍室外视频对不同算法在相似背景干扰的情况下进行测试，视频的大小为 1280720视频长度为223帧，帧速率为25fps,以频中运动的人为跟踪目标，实验结果如图 1-3、图1-4所示。为便于比较，本节分别给出基于颜色特征的 MeanShift跟踪算法以及基于颜色和纹理特征的MeanShift跟踪算法的实验结果。通过自拍室外视频对不同算法在相似背景干扰的情况下进行测试，视频的大小为 1280720视频长度为223帧，帧速率为25fps，以频中运动的人为跟踪目标，实验结果如图 1-3、图1-4所示。由实验结果可以看出，在背景颜色与人物颜色相似的情况下，基于颜色特

征的MeanShift跟踪算法发生了较大偏差，无法准确地跟踪目标；而基于颜色和纹理特征的MeanShift跟踪算法，由于加入了纹理特征，跟踪性能较为稳定,出现的偏差较小，能准确的跟踪目标。开始建立目标颜色和~

纹理融合模型建立候选目标颜色和

纹理融合模型利用MS算法求出候选区域新位置更新值取新位置 相似性函数递增？兴更新至新旧位置中点T Y<N 新旧位置差小于阈值？y]输出跟踪结果T结束图1-3基于颜色和纹理特征的MeanShift跟踪算法步骤二、粒子滤波跟踪算法原理1基于颜色特征的粒子滤波跟踪算法粒子滤波算法是人们为解决非线性滤波问题而提出的一种滤波方法。它是基于蒙特卡罗方法的一种技术。其主要思想是通过从后验概率中抽取的随机状态粒子来表达其分布，是一种顺序重要性采样法。粒子滤波跟踪可以简单的理解为初始化、放狗、预测、重采样四个步骤。1）初始化阶段-提取跟踪目标特征开始时需要人工用鼠标拖动出一个跟踪区域，然后程序自动计算该区域色

调空间的直方图，即为目标的特征。直方图可以用一个向量来表示，所以目标特征就是一个N*1的向量V。图1-4基于颜色特征的MeanShift跟踪算法的实验结果图1-5基于颜色和纹理特征的MeanShift跟踪算法的实验结果2） 搜索阶段-放狗掌握目标特征之后，我们开始放狗搜索目标，这里的狗就是粒子。狗有很多种放法。比如，a）均匀的放：即在整个图像平面均匀的撒粒子；b）在上一帧得到的目标附近按照高斯分布来放，可以理解成，靠近目标