毕业设计（论文）：Mean Shift目标追踪算法实验研究

本科毕业设计（论文）课题名称：MeanShift目标追踪算法实验研究专业：信息与计算科学姓名：学号：指导教师：数理学院年月本科毕业设计（论文）图4.SEQ图\*ARABIC\s11基于MeanShift算法的实验步骤流程图开始计算目标模板概率密度函数手动选取目标，确定中心位置计算候选模板以及权值计算MeanShift向量，得到新位置更新搜索位置下一帧YN确定候选模板的中心位置在本次仿真实验中，均使用RGB颜色空间作为目标的特征空间；人工手动方式获得被跟踪目标的候选模板；核函数选取Epanechnikov核，带宽固定。实验仿真平台为Windows系统下的Matlab2011。（1）实验一：最佳情况下的目标跟踪在实验一中，选取一段行人转向行走的视频。此段视频序列共有720帧，分辨率为436*344，帧速率为15帧/秒。目标人物向右走动一圈，在走动过程中速度均匀。此段视频具有以下特点：1）静态背景，单一场景；2）在目标移动过程中，没有干扰因素进入场景中；3）目标速度均匀、适中；4）目标特征清晰。A第1帧B目标模板C第221帧D第400帧E第552帧F第643帧图4.SEQ图\*ARABIC\s12白衣行人跟踪实验结果图将行人的白色上衣作为跟踪的目标，利用MeanShift目标跟踪算法进行跟踪实验，结果如图4.2所示。A是序列的首帧图像；B中的红色矩形框内的图像是人工选取的目标模板。C到F分别是对测试序列中的第221帧、第400帧、第552帧与第643帧的跟踪结果。从图4.2看出在整个跟踪过程中，跟踪顺利完成，跟踪框始终紧紧锁定目标，没有出现误跟和跟丢现象。由此得出，MeanShift目标跟踪算法在背景简单、没有遮挡等复杂环境影响的情况下可以较好的跟踪目标。A第1帧B目标模板C第100帧D第239帧E第785帧F第800帧图4.SEQ图\*ARABIC\s13红衣行人跟踪实验结果图（2）实验二：具有干扰的目标跟踪第一段视频为身着红色上衣的行人由远及近向镜头走来，该视频序列共有800帧，分辨率为560*420，帧率为15帧/秒。此段视频有以下特点：1）单一场景、目标特征清晰；2）在目标移动过程中，存在背景干扰；3）在目标朝着摄像头方向移动过程中，目标尺寸不断变大；4）目标移动速度均匀、适中。将行人的红色上衣作为跟踪目标，利用MeanShift目标跟踪算法进行跟踪实验结果，如图4.3所示。A是序列的首帧图像；B中的红色矩形框内的图像是人工选取的目标模板。C到F分别是对测试序列中的第100帧、第239帧、第785帧与第800帧的跟踪结果。由图4.3知场景的变近，使得目标在场景中越来越大，前239帧跟踪效果较好，目标区域始终在跟踪框中，没有出现误跟和跟丢的现象。但在239帧之后，由于，目标区域渐渐增大，甚至超出了跟踪框跟踪的区域。这时被跟踪的区域仅是当初目标的部分区域，实际上已经脱离了最初设定的目标。第785帧和第800帧都可以看出跟踪失败了。第二段视频为身着蓝色上衣的行人由近向远远离镜头走去，该视频序列共有900帧，分辨率为432*308，帧率为15帧/秒。此段视频具有以下特点：1）单一场景、目标特征清晰；2）在目标移动过程中，存在背景干扰；3）在目标朝着摄像头方向移动过程中，目标尺寸不断变小；4）目标移动速度均匀、适中。将行人的蓝色上衣作为跟踪的目标，利用CamShift目标跟踪算法进行跟踪实验，结果如图4.4所示。A是序列的首帧图像；B中的红色矩形框内的图像是人工选取的目标模板。C到F分别是对测试序列中的第100帧、第222帧、第400帧与第544帧的跟踪结果。由图4.4可以看出用了CamShift算法以后虽然场景变远，目标在场景中越来越小。但跟踪的窗口的也随之改变，始终牢牢锁定目标没有出现误跟和跟丢的现象。该实验证明MeanShift算法在整个跟踪过程中，核窗宽固定不变，不能随着目标大小而做相应的改变。目标尺度大小的变化会导致核窗框定位不准确，从而造成目标的丢失。A第1帧B目标模板C第100帧D第222帧E第400帧F第544帧图4.SEQ图\*ARABIC\s14蓝衣行人跟踪实验结果图（3）实验三：跟踪目标被遮挡情形在实验三中，选取一段汽车缓慢向左行驶的视频。此段视频序列共有216帧，分辨率为432*304，帧速率为15帧/秒。此段视频具有以下特点：1）静态背景，单一场景；2）目标在行驶中被树遮挡一部分；3）目标速度适中；A第1帧B目标模板C第92帧D第125帧E第166帧F第216帧图4.SEQ图\*ARABIC\s15白色车辆跟踪实验结果图用MeanShift算法对白色的车辆进行跟踪实验结果如图4.5所示。A是序列的首帧图像；B中的红色矩形框内的图像是人工选取的目标模板。C到F分别是对测试序列中的第92帧、第125帧、第166帧与第216帧的跟踪结果。由图4.5的跟踪结果可看出当目标未被遮挡时，该算法能还是能很好的跟踪目标的。但是当所选目标车辆的部分被树遮挡时，跟踪的窗口就停止在树上了，即使再次出现时，跟踪框也不能很好的再次定位在目标上并继续跟踪了。该实验在目标被遮挡后跟踪失败的原因是由于当目标被遮挡时，MeanShift算法失去了该目标的信息特征，相邻帧间的相关性系数减小，迭代停止，使得核窗框停止不前，导致跟踪失败。该实验证明了MeanShift算法在跟踪被遮挡的目标时效果不是很好。（4）实验四：快速运动目标跟踪在实验四中，选取一段汽车快速背离镜头行驶的视频。此段视频序列共有162帧，分辨率为432*340，帧速率为15帧/秒。此段视频具有以下特点：A第1帧B目标模板C第77帧D第97帧E第98帧F第156帧图4.SEQ图\*ARABIC\s16汽车在高速公路上行驶跟踪实验结果图1）目标运动速度较快；2）目标为汽车车牌，与背景对比鲜明；3）在目标运动过程中，没有遮挡；4）动态背景；场景简单。用MeanShift算法对白色的车辆进行跟踪实验结果如图4.6所示。A是序列的首帧图像；B中的红色矩形框内的图像是人工选取的目标模板。C到F分别是对测试序列中的第77帧、第97帧、第98帧与第156帧的跟踪结果。由图4.6得知在第97帧之前核窗框可以牢牢锁定车牌进行很好的跟踪，然从第98帧以后跟踪框就脱离了目标区域直到最后一帧都没有再次锁定目标，显然跟踪失败了。在上述跟踪视频中，目标区域没有外界因素干扰，并且车牌与汽车颜色相差较大，是比较符合MeanShift算法跟踪的最佳状态的。但汽车行驶的速度比较快，使得在跟踪过程中，跟踪框渐渐偏移直至脱离目标。结果表明，MeanShift算法在跟踪快速运动的目标时效果不好。4.2实验总结通过对MeanShift算法在目标跟踪中应用的介绍以及实验结果，可以得出MeanShift算法用于目标跟踪有以下几个优势：（1）算法对参数要求不高，在初始帧中手动或自动选定要跟踪的目标的区域以后，核窗宽也随之确定了，此后在整个目标跟踪过程均无需再输入其他的参数；（2）算法计算复杂度不大，一定条件下可以保证跟踪的准确性、鲁棒性；MeanShift目标跟踪算法在以下几个方面还需要改进：当目标和背景的颜色相似时，使用颜色直方图来描述目标的特征已经不太合适。此时可以考虑选取其他的特征，例如目标的纹理来建立特征空间。（2）当核窗框大小固定，目标的尺寸却发生变化时，而MeanShift没有模板更新能力，在整个跟踪过程中，跟踪框大小始终不变，也会丢失目标信息，使得跟踪失败；文献REF_Ref31858\w\h[20]采用正负10%的增量对核窗宽进行了修正；文献REF_Ref25524\w\h[5]提出了一种基于Canny边缘检测的核窗宽自动选取方法，该算法计算量小、易实行，但是缺点是只适用于目标与背景的区分度大，且背景干扰少的情况；文献REF_Ref32446\w\h[24]将仿射模型应用与核函数带宽的自适应选择中,很好的解决了核函数带宽自适应问题。（3）当目标区域出现干扰物或遭遇遮挡时时，容易丢失目标。这是因为MeanShift目标跟踪算法缺乏模板更新机制。在目标跟踪过程中是将前一帧的候选模板作为当前帧的目标模板，当前一帧中目标区域出现干扰物时，相应的目标模板发生了变化，跟踪中目标特征信息不正确，就会导致跟踪失败。为解决这种情况下出现的问题，可以考虑将MeanShift与其他跟踪算法相结合，比如利用卡尔曼滤波或粒子滤波测到的结果作为MeanShift算法跟踪的起始点，提高跟踪精度[1]。（4）当目标快速运动时，MeanShift算法会丢失目标。这是因为MeanShift算法的原理要求相邻两帧区域有重叠，速度过快就会造成相邻帧区域分离，导致跟踪失败。MeanShift算法跟踪时对目标速度有所限制，不适合跟踪快速运动的物体。文献REF_Ref2747\w\h[32]中提出了融合背景差分、帧间差分和灰度阈值技术的变背景帧间差分法，并结合灰度质心定位和自适应核窗改进了MeanShift跟踪算法。总而言之，MeanShift目标跟踪算法因其算法简单、复杂度不高、易于与其他知识（如粒子滤波、卡尔曼滤波）相结合等优点，成为目标跟踪算法中不可或缺、经久不衰的研究课题之一。对MeanShift算法的缺点进行改进，使该算法能更好的应用到生活中也是国内外学者不懈努力研究的动力。

第五章总结5.1结论目标跟踪是计算机视觉的核心技术之一，一直是研究的经典和热点问题。其融合了诸多领域的研究成果，如自动控制、图像处理、模式识别和人工智能等领域。在视频监控、视频检索、视频分析、三维重构、智能人机交互、虚拟现实、动态识别、医学图像分析、气象分析和交通状况分析等领域都有着重大的意义和广泛的应用。本文对目标跟踪技术中的MeanShift目标跟踪算法进行了研究，具体工作如下：综述目标跟踪算法的发展以及在国内外取得的主要成就和实现的平台；（2）将当前的目标跟踪方法分为基于检测的跟踪算法方法和基于匹配的跟踪方法两大类；（3）详细论述了MeanShift算法的基本原理和特征空间的选择，给出MeanShift目标跟踪算法实现的实验，并分析了算法的优缺点。5.2不足与展望视频目标跟踪系统是一个非常复杂的问题，它涉及到多个领域的知识。由于时间有限本文仍存在很多不足之处，需要在今后的工作和学习中改善：本文研究的侧重点是单目标跟踪，在智能视频监控中有时需要对多个感兴趣的目标进行监控，多目标同时跟踪也是算法研究的方向之一。（2）本文仅对MeanShift算法进行实验设计与结果分析，并未给出实际的改进的方案和验证。目标跟踪算法还存在许多的不足，未来更多的研究还是会在算法的改进和实现这一块。比如，虽然现在的手机在拍照的目标识别上有了很大的进展，但大多数的手机还是无法很好的“抓住”移动中的物体，相信这会是研究的方向之一。

参考文献胡淑芳.均值偏移算法在目标跟踪中的应用研究[D].重庆大学硕士学位论文,2010.R.Collins,A.LiptonT.KanadeandP.Burt.ASystemforvideosurveillanceandmonitoring:VSAMfinalreport[R].CMU-RI-TR-00-12,CamegieMelonUniversity,Pittsburgh,America.May,2000.HaritaogluI,HarwoodD,DavisLS.W4:Real-timesurveillanceofpeopleandtheiractivities[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2000,22(8):809-830.RemagninoP.TanT,BakerK.Multiagentvisualsurveillanceofdynamicscenes.ImageandVisionComputing.1998,16(8):529-532.刘恋.基于MeanShift的目标跟踪算法研究[D].中国科学院研究生院硕士学位论文,2011.郭敬明,何昕,杨杰,魏仲慧,龚俊亮.模板自适应的MeanShift红外目标跟踪[J].红外激光工程,2014,43(04):1087-1093.赵海英,张小利,李雄飞,彭宏.基于多尺度MeanShift图像去躁算法[J].吉林大学学报(工学版),2014,44(05):1417-1422.成怡,王晓红,修春波.基于MeanShift与摄像机标定的无人机定位方法[J].天津工业大学学报,2017,(01):55-60.朱胜利.MeanShift及相关算法在视频跟踪中的研究[D].浙江大学博士论文,2006.BarornJ,FleetDandBeaucheminS.Performanceofopticalflowtechniques[J].InternationalJournalofComputerVision,1994,12(1):42-77.PolanaR,NelsonR.Lowlevelrecognitionofhumanmotion[J].In:ProcIEEEWorkshoponMotionofNon-RigidandArticulatedObjects,Austin,TX,1994,77-82.SegenJandPingaliS.Acamera-basedsystemfortrackingpeopleinrealtime[C].InternationalConferenceonPatternRecognition,Cambridge,1996,3:63.Karaulova1,HallP,MarshallA.Ahierarchicalmodelofdynamicsfortrackingpeoplewithasinglevideocamera[A].ProceedingsofBritishMachineVisionConference[C],Bristol,U.K,2000:352-361.JuS,BlackM,YaccpbY.Cardboardpeople:Aparameterizedmodelofarticulatedimagemotion[A].IEEEInternationalConferenceonAutomaticFaceandGestureRecognition[C],Killington,VermontUSA,1996:38-44.WachterS,NagelH-H.Trackingpersonsinmonocularimagesequences[J].ComputerVisionandImageUnderstanding.l999,74(5):174-192.KassM,WitkinA,TerzopoulosD.Snakes:Activecontourmodels[J].InternationalJournalofComputerVision1988,1(4):321-331.VierenC,CabestaingF,PostaireJ.Catchingmovingobjectswithsnakesformotiontracking[J].PatternRecognitionLetters,1995,16(7):679-685.代科学,李国辉.监控视频运动目标检测减背景技术的研究现状和展望[J].中国图像图形学报.2006,11(7):919-927.万缨,韩毅,卢汉清.运动目标检测算法的探讨[J].计算机仿真.2006,23(10):221-226.LiptonA,FujiyoshiHandPatilR.Movingtargetclassificationandtrackingfromreal-timevideo[J].In:ProcIEEEWorkshoponApplicationsofComputerVision,Princeton,NJ,1998,48-14.BieelingM.Displacementestimationbyhierarchicalblockmatching[J].SPIEVisualCommuandImageProcessing.VCIP88,Cambridge,MA,1988:942-951.V.Markandey,A.Reid,S.Wang.Motionestimationformovingtargetdetection[J].IEEETransactionsonAerospaceandElectronicSystems,1996,32(3):866-874.D.W.Murray,B.E.Buxton.Scenesegmentationfromvisualmotionusingglobaloptimization[J].IEEETrans.PatternAnalysisandMachineIntelligence,1987,9:220-228.田莘.基于MeanShift算法的目标跟踪问题研究[D].西安科技大学硕士学位论文,2010.FukunagaK,HostetlerLD.TheEstimationoftheGradientofaDensityFunction[J].IEEETrans.InformationTheory,1975,21:32-40.ChengYZ,MeanShift,Modeseeking,andClustering[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1995.17(8):790-799.ComaniciuD,MeerP.MeanShiftAnalysisandApplication[C].ProceedingsoftheInternationalConferenceonComputerVision.1999:1197-1204.李光.基于均值偏移的视频目标跟踪、检测算法研究及系统实现[D].浙江理工大学硕士学位论文,2010.王帅.一种基于MeanShift的目标跟踪算法的研究[D].山东大学硕士学位论文,2011.ChengYZ,MeanShift,Modeseeking,andClustering[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1995.17(8):790-799.ComaniciuD,RameshV,MeerP.Kernel-basedobjecttracking[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2003,25(5):564-577.XiaLM.Imagerestorationbasedonpaperfilter[C].Beijing:InProceedingsof7thInternationalConferenceonSignalProcessing,2004(2):1084-1087.

致谢时光飞逝，犹记当年刚刚成为一名大学生的时候，满心欢喜，带着激动，带着向往来到了学校。蓦然回首，时间虽已悄悄溜走，但岁月还是留下了美好的记忆与我相伴。大学四年间，我首先要感谢王焕宝老师。谢谢王老师选择了我作为您所带的毕业生之一。在完成毕业设计的几个月中，每周的组会上，王老师都会就我们论文课题完成情况给予指导。在这个过程中，我不仅在王老师身上学到了对学术要秉持认真、严谨的态度，在生活上也是如此，细节决定成败。谢谢王老师，您的教导我将受益终生。同时感谢论文中所引用的参考文献的作者。通过参考文献的阅读、学习，我对我的课题有了一定的了解，并在此基础上进行了MeanShift算法的实验研究，成功地完成了论文的撰写。没有你们的成果，我将需要走更多路。正所谓前人栽树后人乘凉，谢谢你们。也感谢其他所有带过我课程的老师们，感谢你们的孜孜不倦教诲，丰富了我知识的储备库。感谢孙晶晶学姐和王敏琪学长，在我撰写论文遇到问题时，为我解答疑惑，少走很多弯路。感谢王老师带领的论文交流小组中的每位同学，让我在每次组会中得到了许多好的思路和想法。感谢室友还有其他和我一起度过大学生活的同学和朋友，四年相伴，有欢笑有泪水，成长的路上有你们真好。感谢家人的支持，你们的支持是我前进的动力。

附录程序代码：1MeanShift]%AdamKukucka%ZachClay%MarceloMolina%CSE486Project3function[rowcentercolcenterM00]=meanshift(I,rmin,rmax,cmin,...cmax,probmap)%inputs%rmin,rmax,cmin,cmaxarethecoordiantesofthewindow%Iistheimage%outputs%colcenterrowcenterarethenewcentercoordinates%Mooisthezerothmean%**********************************************************************%initialize%**********************************************************************M00=0;%zerothmeanM10=0;%firstmomentforxM01=0;%firstmomentforyhistdim=(0:1:255);%dimensionsofhistogram...0to255,incrementby1[rowscols]=size(I);cols=cols/3;%**********************8%**********************************************************************%Maincode%**********************************************************************%determinezerothmomentforc=cmin:cmaxforr=rmin:rmaxM00=M00+probmap(r,c);endend%determinefirstmomentforx(col)andy(row)forc=cmin:cmaxforr=rmin:rmaxM10=M10+c*probmap(r,c);M01=M01+r*probmap(r,c);endend%determinenewcentroid%xiscolscolcenter=M10/M00;%yisrowsrowcenter=M01/M00;2分帧函数clc;clear;%%读取视频video_file='shiyan.avi';video=VideoReader(video_file);frame_number=floor(video.Duration*video.FrameRate);%%分离图片fori=1:frame_numberimage_name=strcat('viptrain',num2str(i));image_name=strcat(image_name,'.jpg');I=read(video,i);%读出图片imwrite(I,image_name,'jpg');%写图片I=[];end3CamShift算法%AdamKukucka%ZachClay%MarceloMolina%CSE486Project3function[trackmovprobmovcenters]=camshift%******************************************************************%initializevariables%******************************************************************rmin=0;%minrowvalueforsearchwindowrmax=0;%maxrowvalueforsearchwindowcmin=0;%mincolvalueforsearchwindowcmax=0;%maxcolvalueforsearchwindownumofframes=0;%numberofframesintheavithreshold=1;%thresholdforconvergencecenterold=[00];%forconvergence...previouscenterofwindowcenternew=[00];%forconvergence...newcenterofwindow%******************************************************************%Precode...loadmovieandselectinitialframe%******************************************************************%promptuserforavifilename%user_entry=input('Pleaseenteranavifilename:','s');%loadtheavifile...handleisM%M=aviread(user_entry);M=aviread('shiyan.avi');%getnumberofframes[dontneednumberofframes]=size(M);%initializematrixtoholdcentercoordinatesimagecenters=zeros(numberofframes,2);%extractthefirstframefromtheaviFrame1=M(1,1);Image1=frame2im(Frame1);%%%**********images(:,:,numberofframes)=G(:,:);%getsearchwindowforfirstframe[cmin,cmax,rmin,rmax]=select(Image1);cmin=round(cmin);cmax=round(cmax);rmin=round(rmin);rmax=round(rmax);wsize(1)=abs(rmax-rmin);wsize(2)=abs(cmax-cmin);%createhistogram%translatetohsvhsvimage=rgb2hsv(Image1);%pulloutthehhuenorm=hsvimage(:,:,1);%scaleto0to255hue=huenorm*255;%setunittypehue=uint8(hue);%GettingHistogramofImage:histogram=zeros(256);fori=rmin:rmaxforj=cmin:cmaxindex=uint8(hue(i,j)+1);%countnumberofeachpixelhistogram(index)=histogram(index)+1;endend%******************************************************************%Algorithmfrompdf%******************************************************************%aviobj1=avifile('2.avi');%aviobj2=avifile('3.avi');%foreachframefori=1:numberofframesFrame=M(1,i);I=frame2im(Frame);%translatetohsvhsvimage=rgb2hsv(I);%pulloutthehhuenorm=hsvimage(:,:,1);%scaleto0to255hue=huenorm*255;%setunittypehue=uint8(hue);[rowscols]=size(hue);%chooseinitialsearchwindow%thesearchwindowis(cmin,rmin)to(cmax,rmax)%createaprobabilitymapprobmap=zeros(rows,cols);forr=1:rowsforc=1:colsif(hue(r,c)~=0)probmap(r,c)=histogram(hue(r,c));endendendprobmap=probmap/max(max(probmap));probmap=probmap*255;count=0;rowcenter=0;%anynumberjustsoitrunsthroughatleasttwicecolcenter=0;rowcenterold=30;colcenterold=30;%MeanShiftfor15iterationsoruntilconvergence(thecenterdoesnt%change)while(((abs(rowcenter-rowcenterold)>2)&&(abs(colcenter-colcenterold)>2))||(count<15))%forj=1:5%disp('meanshift');%disp(j);rmin=rmin-7;%increasewindowsizeandcheckforcenterrmax=rmax+7;cmin=cmin-7;cmax=cmax+7;rowcenterold=rowcenter;%saveoldcenterforconvergencecheckcolcenterold=colcenter;[rowcentercolcenterM00]=meanshift(I,rmin,rmax,cmin,...cmax,probmap);%givenimage(I),searchwindow(rminrmaxcmincmax)%returnsnewcenter(colcenter,rowcenter)forwindowand%zerothmoment(Moo)%redeterm