基于视频的实时运动目标检测与跟踪系统研究论文

1、 PAGE83 / NUMPAGES94 基于视频的实时运动目标检测与跟踪系统研究硕士学位论文基于视频的实时运动目标检测与跟踪系统研究Classified Index: UDC: 密级： XihuaUniversityMaster Degree DissertationResearch of Real-time Moving ObjectDetection and Tracking System Basedon VideoCandidate : Li YuejingMajor : Signal and Information ProcessingStudent ID: 2007Supervis

2、or: Prof. Xie WeichengMarch, 2012西华大学学位论文独创性声明作者重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用容和致的地方外，本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了意。若有不实之处，本人愿意承担相关法律责任。学位论文作者签名： 指导教师签名：日期： 日期西华大学学位论文使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，在校攻读学位期间论文工作的知识产权属于西华大学，同意学

3、校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，西华大学可以将本论文的全部或部分容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。(的论文在解密后遵守此规定)学位论文作者签名： 指导教师签名：日期： 日期摘 要以计算机视觉技术为基础的智能视频监控系统，目前已经广泛应用于人们生产生活的各个方面。运动目标检测与跟踪是智能视频监控系统中的关键技术和主要研究方向，目的是实时检测视频序列帧中出现的运动目标，获得目标参数，对运动目标进行匹配和跟踪，进而获得目标的运动轨迹。本文主要研究了视频运动目标检测与跟踪系统的构成，系统中使用的视频、图像处理技

4、术，运动目标检测与运动目标跟踪算法，并分别在计算机系统与嵌入式系统中实现了运动目标检测与跟踪系统。首先，分析研究了常用的运动目标检测算法与各自的优缺点，提出了一种基于累积差分更新的背景减除法，该算法结合累积差分的概念，对自适应背景建模法作出改进，较好地消除了场景变化以与噪声影响等的干扰，关于目标提取的阀值判断，提出了一种两主峰间差值的灰度直方图阀值分割法。接着，分析比较了连续自适应均值漂移CAMShift算法与Kalman滤波算法，提出了一种基于几何特征的Kalman滤波与目标直方图匹配相结合的运动目标跟踪算法，以目标灰度质心与外接矩形框长宽作为目标几何特征参数，分别使用两组卡尔曼滤波预测后，

5、根据目标灰度模板相似度进行目标匹配。然后，在VC+6.0集成开发环境下，采用MFC应用程序框架与OpenCV计算机视觉库代码，实现了基于USB摄像头的运动目标检测与跟踪系统，对于USB摄像头或AVI视频文件输入的视频，系统能实时检测出场景中的运动物体并进行跟踪。最后，使用Altera ED2多媒体开发板，以Cyclone系列EP2C35F672C6 FPGA作为核心芯片，设计出基于SOPC的实时运动目标检测与跟踪系统，使用了Quartus、SOPC Builder与NiosIDE等开发工具，完成硬件设计与软件开发，经仿真与调试该系统实现部分运行。关键词：智能视频监控；目标检测；目标跟踪；Ope

6、nCV；SOPCAbstractIntelligent Video Surveillance System which based on Computer Vision technology has already been widely applied to various aspects of humans production and life at present. Moving object detection and tacking is the key technology and primary research direction of Intelligent Video S

7、urveillance System. In order to real-time detecting moving object emerged from video sequence frames, obtaining object parameters, matching and tracking moving object, then the movement locus of object is acquired. In this paper major researches include the structure of moving object detection and t

8、racking system based on video, the technology of video and image processing used in system, the algorithm of moving object detection and tracking, and the implementation of system based on computer and embedded technology. Firstly, conventional algorithms of moving object detection and tracking incl

9、uding each advantage and defect are analyzed and researched, and a kind background subtraction algorithm based on accumulated difference update is proposed. The algorithm incorporated accumulated difference notion improvements self-adaptive background modeling algorithm to eliminate noise interferen

10、ce. A kind partition method of gray histogram threshold is proposed.Then, CAMShift algorithm and Kalman filter algorithm are analyzed and compared, and a kind moving object tracking algorithm which combines Kalman filter based on geometric characteristic with object histogram matching is proposed. T

11、he center of mass of objects grayscale and the length and width of circumscribed rectangle frame are used as the geometric characteristic parameter of object. After using respectively two groups of Kalman filter to calculate, matching object according to similarity of template of objects grayscale.A

12、nd then, the moving object detection and tracking system based on USB camera is implemented by VC+ 6.0 Integrated Development Environment. The MFC application program wizard and Intel OpenCV code are utilized to develop system. According to inputted video from either USB camera or AVI files, the sys

13、tem can detectand trackobject in scene. Finally, the real-time moving object detection and tracking system based on SOPC is designed. The Altera DE2 board which contains Cycloneseries EP2C35F672C6 FPGA chip is used as development platform. The Developer Kits include Quartus, SOPC Builder and NiosIDE

14、 etc. The hardware design and software programming are accomplished. The embedded system is able to partly operate after simulating and debugging.Key Words：Intelligent Video Surveillance;Object Detection;Object Tracking; Open CV; SOPC目 录TOC o 1-3 h z uHYPERLINK l _Toc319618747摘要 PAGEREF _Toc31961874

15、7 h IHYPERLINK l _Toc319618748Abstract PAGEREF _Toc319618748 h IIHYPERLINK l _Toc3196187491 绪论 PAGEREF _Toc319618749 h 1HYPERLINK l _Toc3196187501.1 研究背景与意义 PAGEREF _Toc319618750 h 1HYPERLINK l _Toc3196187511.2 国外研究现状与发展趋势 PAGEREF _Toc319618751 h 2HYPERLINK l _Toc3196187521.2.1 国外研究现状 PAGEREF _Toc31

16、9618752 h 2HYPERLINK l _Toc3196187531.2.2 发展趋势 PAGEREF _Toc319618753 h 4HYPERLINK l _Toc3196187541.3 主要研究容与本文结构 PAGEREF _Toc319618754 h 6HYPERLINK l _Toc3196187552 系统结构与关键技术 PAGEREF _Toc319618755 h 8HYPERLINK l _Toc3196187562.1 系统结构 PAGEREF _Toc319618756 h 8HYPERLINK l _Toc3196187572.2 图像处理技术 PAGERE

17、F _Toc319618757 h 9HYPERLINK l _Toc3196187582.2.1 图像获取 PAGEREF _Toc319618758 h 9HYPERLINK l _Toc3196187592.2.2 视频信号制式与图像色彩模型 PAGEREF _Toc319618759 h 10HYPERLINK l _Toc3196187602.2.3 图像滤波 PAGEREF _Toc319618760 h 13HYPERLINK l _Toc3196187612.2.4 形态学处理 PAGEREF _Toc319618761 h 16HYPERLINK l _Toc31961876

18、22.2.5 连通分量分析 PAGEREF _Toc319618762 h 18HYPERLINK l _Toc3196187633 运动目标检测算法研究 PAGEREF _Toc319618763 h 20HYPERLINK l _Toc3196187643.1 常用运动目标检测算法分析 PAGEREF _Toc319618764 h 20HYPERLINK l _Toc3196187653.1.1 帧间差分法 PAGEREF _Toc319618765 h 20HYPERLINK l _Toc3196187663.1.2 背景减除法 PAGEREF _Toc319618766 h 22HY

19、PERLINK l _Toc3196187673.1.3 光流法 PAGEREF _Toc319618767 h 23HYPERLINK l _Toc3196187683.2 基于累积差分更新的背景减除法 PAGEREF _Toc319618768 h 23HYPERLINK l _Toc3196187693.2.1 背景模型建立与更新 PAGEREF _Toc319618769 h 24HYPERLINK l _Toc3196187703.2.2 运动目标提取 PAGEREF _Toc319618770 h 27HYPERLINK l _Toc3196187713.3 检测算法流程与实验结果

20、 PAGEREF _Toc319618771 h 28HYPERLINK l _Toc3196187723.3.1 检测算法流程 PAGEREF _Toc319618772 h 28HYPERLINK l _Toc3196187733.3.2 检测算法实验结果 PAGEREF _Toc319618773 h 30HYPERLINK l _Toc3196187744 运动目标跟踪算法研究 PAGEREF _Toc319618774 h 33HYPERLINK l _Toc3196187754.1 常用运动目标跟踪算法分析 PAGEREF _Toc319618775 h 33HYPERLINK l

21、 _Toc3196187764.1.1 卡尔曼滤波算法 PAGEREF _Toc319618776 h 33HYPERLINK l _Toc3196187774.1.2 CAMShift算法 PAGEREF _Toc319618777 h 35HYPERLINK l _Toc3196187784.2 基于几何特征的卡尔曼滤波和直方图匹配算法 PAGEREF _Toc319618778 h 37HYPERLINK l _Toc3196187794.2.1 几何特征计算 PAGEREF _Toc319618779 h 37HYPERLINK l _Toc3196187804.2.2 卡尔曼滤波 P

22、AGEREF _Toc319618780 h 39HYPERLINK l _Toc3196187814.2.3 灰度直方图匹配 PAGEREF _Toc319618781 h 40HYPERLINK l _Toc3196187824.2.4 多目标跟踪问题 PAGEREF _Toc319618782 h 41HYPERLINK l _Toc3196187834.3 跟踪算法流程与实验结果 PAGEREF _Toc319618783 h 41HYPERLINK l _Toc3196187844.3.1 跟踪算法流程 PAGEREF _Toc319618784 h 41HYPERLINK l _T

23、oc3196187854.3.2 跟踪算法实验结果 PAGEREF _Toc319618785 h 43HYPERLINK l _Toc3196187865 基于VC+的运动目标检测与跟踪系统 PAGEREF _Toc319618786 h 46HYPERLINK l _Toc3196187875.1 MFC与OpenCV PAGEREF _Toc319618787 h 46HYPERLINK l _Toc3196187885.1.1 MFC PAGEREF _Toc319618788 h 46HYPERLINK l _Toc3196187895.1.2 OpenCV PAGEREF _Toc

24、319618789 h 47HYPERLINK l _Toc3196187905.2 系统硬件结构 PAGEREF _Toc319618790 h 48HYPERLINK l _Toc3196187915.3 系统软件编程 PAGEREF _Toc319618791 h 49HYPERLINK l _Toc3196187925.3.1 系统软件模块 PAGEREF _Toc319618792 h 49HYPERLINK l _Toc3196187935.3.2 算法编程 PAGEREF _Toc319618793 h 50HYPERLINK l _Toc3196187945.4 系统运行实现

25、PAGEREF _Toc319618794 h 54HYPERLINK l _Toc3196187956 基于SOPC的运动目标检测与跟踪系统 PAGEREF _Toc319618795 h 59HYPERLINK l _Toc3196187966.1 开发平台、工具与流程 PAGEREF _Toc319618796 h 59HYPERLINK l _Toc3196187976.1.1 SOPC与VreilogHDL PAGEREF _Toc319618797 h 59HYPERLINK l _Toc3196187986.1.2 开发平台 PAGEREF _Toc319618798 h 60H

26、YPERLINK l _Toc3196187996.1.3 开发工具与流程 PAGEREF _Toc319618799 h 62HYPERLINK l _Toc3196188006.2 系统硬件设计 PAGEREF _Toc319618800 h 64HYPERLINK l _Toc3196188016.2.1 系统总体设计 PAGEREF _Toc319618801 h 64HYPERLINK l _Toc3196188026.2.2 各模块设计 PAGEREF _Toc319618802 h 65HYPERLINK l _Toc3196188036.3 系统软件开发 PAGEREF _To

27、c319618803 h 73HYPERLINK l _Toc3196188046.4 实验结果与分析 PAGEREF _Toc319618804 h 75HYPERLINK l _Toc319618805结论 PAGEREF _Toc319618805 h 77HYPERLINK l _Toc319618806参考文献 PAGEREF _Toc319618806 h 79HYPERLINK l _Toc319618807攻读硕士学位期间发表的论文与科研成果 PAGEREF _Toc319618807 h 85HYPERLINK l _Toc319618808致 PAGEREF _Toc319

28、618808 h 861 绪论1.1 研究背景与意义随着21世纪的第1个10年的过去，人类社会早已经进入了信息时代。从愚昧的原始社会，到稳步发展的古典时代，再到欣欣向荣的启蒙时代，然后是繁忙的工业时代，人类文明在不断发展，科学技术在不断进步，21世纪涌现出了一大批新兴科学与技术，使人类社会和人们的生活发生了翻天覆地的变化。智能技术、多媒体技术已成为信息时代的主导技术，计算机视觉、视频图像处理等领域已成为研究领域中的前沿和热点。计算机视觉（Computer Vision）是一门综合性的交叉学科，由计算机通过对采集的图像或视频序列进行处理和分析，提取需要的信息，从而代替人来实现某种功能，该学科融合

29、了计算机科学、应用数学、几何图形学、图像处理、视频处理、模式识别等学科的知识。计算机视觉研究的最终目标是让计算机通过输入设备来获取外界信息，代替人为操作自主地进行思考并作出反应。当然，在离这个最终目标的实现还有一定距离的今天，人们努力的目标是建立一种在由人为规定的一些约束条件下，实现某些简单功能的准智能机器视觉系统，能够部分代替人们的工作。然而，自从1946年约翰.诺依曼（John Von Neumann）博士发明了程序储存体系结构的电子计算机以来，随着微电子技术的不断进步和因特网（Internet）这一全球互联网的形成，当代计算机家族彻底地改变了人们的生活。因此，计算机视觉技术的未来，也会是

30、出乎人们预料的。关于计算机视觉技术的研究1-3，起溯于20世纪70年代后期，因为随着计算机硬件技术的发展，使计算机能够处理数据量很大的诸如图像这一类的信息。而今天，计算机视觉技术得到了越来越多的关注和长足的发展，智能视频监控（Intelligent Video Surveillance）系统就是计算机视觉技术主要的研究方向和重要的应用领域之一。近年来，智能视频监控系统已经广泛应用于人们生产生活的各个方面。在公共安全方面，银行、大型商场、地铁站点、城市街道等人流密集场所，核电站、高速铁路、民航机场等重要设施以与2008年奥运会、2010年世博会等盛大活动，都安装配置了大量最先进的智能视频监控系统

31、，来保证人们的生命财产安全、保护国家公共财产不受损失、维护会场公共秩序、提高突发事件反应能力与防止恐怖主义事件。在交通管理方面，各个十字路口的电子眼系统，能够监视车辆的闯红灯、违章行驶等行为，通过连续抓拍违章车辆3幅图像，给出其违章证据与车牌。在人们的生活中，家庭远程监控系统使人们在千里之外也能看到家里的情况，驾车疲劳检测系统降低了事故的发生率使人们的生命安全得到了保障，而视觉辅助驾驶系统可以实现简单的车辆导航功能。智能视频监控系统有效地解决了传统视频监控系统中存在的由人为因素带来的与时性差、效率低的问题。智能视频监控系统是一种能自动地、智能地对摄像机或传感器采集的视频序列或图像进行分析和处理

32、，实现监控场景中的目标检测和追踪的监控系统4-6。运动目标检测与跟踪是智能视频监控系统中的关键技术和主要研究方向，目的是实时检测视频序列帧中出现的运动物体，提取运动目标，获得目标参数，确定目标位置，对运动目标进行匹配和跟踪，进而获得目标的运动轨迹，为下一步对目标的识别与行为的理解等提供必要的信息。一个运营级智能视频监控系统组成结构如图1.1。图1.1 运营级智能监控系统Fig 1.1 a running system of intelligent video surveillance1.2 国外研究现状与发展趋势1.2.1 国外研究现状由于传统视频监控系统自身所固有的体积大、效率低、实时性差等

33、缺陷，而且随着社会的发展，人们也迫切需要现代化技术来实现对场所或物体的监控。智能视频监控系统与传统监控系统相比优势突出，有极高的实用价值和经济价值。国外众多高校、公司与研究机构都开展了广泛并深入的研究，取得了一定的成果7,8。美国和欧洲等国家，凭借自身技术和资金上的优势，从上世纪90年代起率先进行了智能视频监控系统方面的研究，主要包括：美国国防高级研究项目署DARPA（Defense Advanced Research Projects Agency）的视觉重大监控项目VSAM（Video Surveillance and Monitoring）项目9，由卡基梅隆大学（Carnegic Mel

34、lon University）、麻省理工学院（Massachusetts Institute of Technology）等十几所高校与研究机构参与，主要研究了在战场与普通民用场景中，利用多传感器、通信网络等实现对区域的全方位全时段监控，包括自动视频理解、目标识别与跟踪、行为分析等关键技术；马里兰大学（University of Maryland）和美国国际商用机器公司（IBM）共同开发的实时监控系统W410，针对夜晚和光线较差的室外环境，能对场景中出现的人进行定位，通过建立外观模型实现多人跟踪，并且能对图像中人的身体部分进行分割，可以检测出携带物体等行为并监控人们的活动；欧洲委员会IST（I

35、nformation Society Technologies）资助的视频标注检索监控ADVISOR（Annotate Digital Video for Surveillance and Optimized Retrieval）项目11，能自动分析地铁站场景，识别个人行为活动，对公共交通系统场所进行监控。当前，国际上一些权威期刊：模式分析和机器智能PAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）、计算机视觉IJCV（International Journal of Computer Vision）、图像和

36、视觉计算IVC（Image and Vision Computing）等为智能视频监控领域开辟了专栏。一些重要学术会议：计算机视觉和模式识别会议CVPR（IEEE Computer Society Confe- rence on Computer Vision and Pattern Recognition）、视觉监控会议IWVS（IEEE Interna- tional Workshop on Visual Surveillance）、国际计算机视觉会议ICCV（International Confe- rence on Computer Vision）等将智能视频监控与其关键技术作为会议的

37、主题之一，促进了该研究领域的交流与发展。国在智能视频监控领域也开展大量的研究：中科院自动化研究所模式识别国家重点实验室在人运动的视觉分析、交通场景视觉监控和智能轮椅视觉导航等领域取得众多成果，其中人的运动与行为视频分析项目于2008年通过验收，目前已在地铁线路中投入使用；清华大学研发出在户外复杂环境下对人自动检测和识别的智能监控系统；交通大学图像处理与模式识别研究所实现了智能报警系统中的图像分割与标记；交通大学研发出视频监控的生物特征识别系统，能够对场景中的不同生物进行标记并识别；华南理工大学研制出车载驾驶员疲劳检测系统，能够自动检测出驾驶员疲劳程度并发出警报；中兴大学在移动视频监控领域取得了

38、优异的成果，对进入侦测围的人和物体，通过分布式网络进行联动监控。图形图像学报、电子学报、计算机工程、自动化学报、控制与决策等都开辟了视频监控与图像处理方面的专栏。中科院自动化研究所、中国图形图像学会在国举办了多次学术研讨会议，就智能视频监控领域开展了广泛深入的研究，对视频序列分析、目标识别与跟踪、监控系统构建、网络视频监控等技术进行了探讨。2011年12月，全国首个城域级视频监控网，被誉为城市智慧之眼的城市视频监控系统正式运行，该系统由遍布全市的25万个摄像头组成，由城域级通信专网承载，能放大200米远的车牌，具有自动监控跟踪，异常情况报告等功能。现代富博公司通用图像处理系统ImageSys，

39、能实现图像变换、图像滤波、图像运算、参数测量与统计等功能12。实时跟踪测量系统RTTS能实现动物、昆虫、微生物等的行为解析，人体动作解析，机器人视觉反馈、自动跟踪等。贝尔信（BELL SENT）公司在智能视频监控系统的研制和开发中，处于国的前列13，特别以高侦测条件下低误报率和智能识别目标驱动PTZ（Pan/Tilt/Zoom）高速球机技术为代表，在国拥有较高的市场占有率，其中像某学校周界防监控系统、某会场安全防护与计数管理系统、某核电站自动PTZ跟踪系统、某银行视频联网监控系统等都以成功的交付使用，并获得了良好的运行效果，如图1.2所示。图1.2 智能视频监控系统效果图Fig1.2 the

40、running frames of intelligent video surveillance1.2.2 发展趋势未来的视频监控系统将向智能化，实时化，小型化发展。智能化就是利用视频分析方法和计算机视觉技术对视频序列进行分析，提取信息，发现感兴趣事件。各种运动目标检测与跟踪算法是视频监控系统实现智能化的关键，目前一个良好的算法应该具有以下特点：（1）准确性，是指算法能检测出视频图像序列中运动物体的准确程度，能够对单一目标、多个目标提取出目标轮廓，在复杂背景环境、背景中存在大量干扰时，也能准确检测出运动目标。（2）实时性，是指算法处理图像数据，到获得结果所需要的时间度量，在系统要求的准确度下，

41、处理时间应尽可能的短，如果一种高精度复杂算法耗时太长，几秒才能处理1帧图像，也是不能接受的。（3）鲁棒性，是指算法在受到外界干扰时，能继续执行原先功能的稳定能力，如在有新目标进入画面，画面中目标发生重叠等情况下，算法能继续进行目标跟踪而不发生丢失。因此如何开发一种精确度高，耗时短，高鲁棒性的运动目标检测与跟踪算法，是一直以来研究的热点。实时化，要求系统采集、显示图像的同时进行数据处理和数据分析，即分析一帧图像数据并给出结果的时间应尽可能短。由于视频和图像数据自身数据量大，怎样在最短的时间对大量的数据进行处理，可以从硬件和软件两个方面考虑，即对硬件设计进行优化或对代码进行优化。小型化，随着系统的

42、规模越来越大，基于计算机的系统体积过于庞大，已经不适应这种发展，使用嵌入式系统是今后主要的发展方向。随着微电子技术的发展，嵌入式系统体积更小，功能更强。专用集成电路ASIC（Appli- cation Specific Integrated Circuit）方案是基于ASIC芯片来实现的，各种专用于视频图像采集和处理，具备强大功能的集成芯片，为在嵌入式系统中实现视频监控提供了条件。目前，在嵌入式平台上实现智能视频监控主要有以下3种：（1）基于ARM平台，ARM（Advanced RISC Machine）处理器基于32位精简指令集RISC（Reduced Instruction Set Com

43、puter）构架，由于其指令执行速度快，代码效率高，支持高级语言编程等特点，被广泛使用在嵌入式系统设计中，ARM7、ARM9系列被广泛应用于联动控制、网络传输、操作系统中，目前已推出了ARM11系列，但ARM芯片以逻辑控制为主，处理视频或图像等大量数据方面不是其强项，因此用ARM平台实现系统处理速度有限。（2）基于DSP平台，DSP（Digital Signal Processor）处理器是一种专门为处理大量数据而设计的专用处理器，因为其强大的数据处理能力和极快的运算速度，特别适合于各种数字信号处理，能快速实现各种数据处理算法。随着每秒48亿次运算速度DSP的出现，使实时处理动态图像成为可能。

44、TI（Texas Instruments）公司的TMS320系列DSP，具有哈佛结构，以其硬件乘法器和流水线操作，能快速实现大量运算，在个人移动手持终端、多媒体产品、导航设备等产品市场中取得了非常成功的应用。但是，DSP处理器部硬件线路是固定的，没有办法进行重构，特定型号的芯片只能运用在特定领域，不具有通用性。虽然处理数据方面有优越性，但系统控制方面能力略显不足。（3）基于FPGA平台，FPGA（Field Programmable Gate Array）不同于以上2种定制的ASIC,而是一种半定制的电路，既继承了ASIC大规模、高集成度的优点，又具有设计灵活等特点。可编程片上系统SOPC(S

45、ystem On a Programmable Chip)是基于大规模可编程器件FPGA芯片的单片系统，它把整个系统利用逻辑编程技术集成到一个硅片上，包括硬核、软核、存储器、I/O设备等。SOPC技术能在单个芯片上实现可裁减、可扩充、可升级的灵活逻辑功能，软件、硬件均可编程。SOPC系统采用了IP核复用技术，特别是IP软核技术，使得在一个系统中可以实现多处理器。用SOPC技术构建的DSP核能完全使用目前各种成熟的DSP算法，由于实质是执行并行处理指令，因此实际上还可达到DSP芯片的处理速度。SOPC系统具有开发设计灵活、实时检测、可移植操作系统、高级语言编程等优点。基于FPGA的SOPC系统比

46、ARM系统处理速度快，比DSP系统控制能力强，是未来智能视频监控系统开发的理想平台。1.3 主要研究容与本文结构本文主要就基于视频的运动目标检测与跟跟系统进行了研究，限制在单摄像机静止背景下，研究了一个基于视频的运动目标检测与跟踪系统的主体结构以与工作流程，系统视频信号的制式以与各种图像数据结构，以与图像滤波、形态学处理、连通分量分析、灰度直方图等图像处理技术。研究了目前运动目标检测与跟踪的各种算法，对算法进行分析比较，提出了改进后运动检测和运动跟踪算法，在VC+6.0平台采用OpenCV视觉库开发，实现了视频运动目标检测与跟踪系统。设计了基于SOPC的实时运动目标检测与跟踪系统，分析系统处理

47、流程和工作机制，完成系统软硬件设计，最后对系统进行仿真和测试。本文的研究工作主要包括：（1）在分析研究了常用的帧差法、背景减除法、光流法等运动目标检测算法的基础上，结合系统的实时性要求，提出了一种累积差分更新的背景减除法，该算法采用累积差分更新法建立背景模型，相比基于高斯建模的算法实时性更好，经测试该算法能在存在干扰背景环境下，准确检测出运动目标。（2）分析了比较了连续自适应均值漂移CAMShift算法与Kalman滤波算法，在综合考虑跟踪精度和计算复杂度的基础上，提出了一种改进后的Kalman滤波与目标直方图匹配相结合的运动目标跟踪算法，经测试该算法能对检测出的目标进行有效的跟踪。（3）在V

48、C+6.0平台上，采用OpenCV计算机视觉开源库代码进行开发，实现了基于MFC（Microsoft Foundation Classes）对话框的视频运动目标检测与跟踪系统，该系统能采集由USB接口摄像头输入视频数据，实时检测出场景中的运动物体并进行跟踪。（4）设计出基于SOPC的实时运动目标检测与跟踪系统，使用Altera ED2多媒体开发板，Cyclone系列EP2C35F672C6 FPGA芯片，完成系统的主体结构设计，使用VerilogHDL硬件描述语言设计系统各个模块，移植了C/OS-操作系统，完成系统初始化和处理算法程序，最后对系统进行了仿真与测试。本文共分六章，各章容如下：第一

49、章 绪论 介绍了研究背景与意义，国外研究现状与发展趋势，本文主要研究容和各章安排。第二章 系统结构与关键技术 给出了基于视频的运动目标检测与跟踪系统的功能模块图，介绍了系统所用到的视频信号制式、图像色彩模型和图像处理技术。第三章 运动目标检测算法研究 介绍了目前常用的运动目标检测算法，分析了各种算法的优缺点，提出了一种累积差分更新的背景减除法，给出了应用该算法的仿真结果。第四章 运动目标跟踪算法研究 介绍了CAMShift算法和Kalman滤波算法，分析各自的优缺点，提出了一种改进后的Kalman滤波与目标直方图匹配相结合的跟踪算法，给出算法仿真结果。第五章 基于VC+的运动目标检测与跟踪系统

50、 介绍了在VC+平台，利用OpenCV开源库代码开发，实现本文提出的检测与跟踪算法的系统。第六章 基于SOPC的运动目标检测与跟踪系统 介绍了SOPC开发平台，给出了系统的总体设计，各模块的设计，最后进行了仿真与测试。结论 对本文研究工作进行总结，对今后的研究方向进行展望。2 系统结构与关键技术智能视频监控系统是一种能自动地、智能地对摄像机或传感器采集的视频序列或图像进行分析和处理，实现监控场景中的目标检测和追踪的监控系统，有效地解决了传统视频监控系统中存在的由人为因素带来的实时性差、效率低的问题。智能视频监控系统通过对监控场景中出现的物体信息进行处理，能够实时检测出运动物体，提取运动目标，获

51、得目标参数，确定目标位置，对运动目标进行匹配和跟踪，进而获得目标的运动轨迹。2.1 系统结构智能视频监控系统实现了从摄像头采集视频数据，数据传送到工作站进行处理，监控终端监视器画面显示，监控画面存储，异常情况报告，远程数据传输等功能。本文研究的基于视频的运动目标检测与跟踪系统是智能视频监控系统的一部分，要求能实现视频数据采集、图像数据处理、实时结果显示等功能。系统的大体结构如图2.1所示。图2.1 系统结构Fig 2.1 the structure of system按照系统功能要求和工作机制，本文基于视频的实时运动目标检测与跟踪系统结构分为以下5个部分：图像采集部分：采集由摄像头产生的视频信

52、号，通过视频解码芯片将模拟电压信号转变为数字图像数据，将图像数据送入图像存储部分存储与目标检测部分进行处理。图像存储部分：将采集到的图像数据存入存，以便显示是调用，同时还负责后续检测与跟踪部分数据的存储。目标检测部分：对图像采集部分送来的数据进行处理，首先进行预处理包括，彩色图像到灰度图像变换、图像滤波，然后进行运动目标检测包括，背景模型建立与更新、运动目标提取，再对检测得到的二值图像还要进行形态学处理、连通分量分析。目标跟踪部分：对检测出的运动目标，计算目标参数，根据得到的目标参数，通过跟踪算法，对下一帧中目标参数进行预测，得到下一帧实际参数后，结合匹配规则，进行目标匹配，并对预测作出修正，

53、实现对目标的跟踪。图像显示部分：将检测与跟踪部分与存储部分的原始数据结合后，通过视频编码芯片将数字图像数据转变为模拟电压信号，在显示器上显示结果。2.2 图像处理技术2.2.1 图像获取图像是由场景中的物体反射、透射或吸收照射源的能量而产生的，照射源可以是可见光、雷达波、红外线、X射线等，而物体可以是苹果、笔、物质分子、甚至光源14。人类通过眼睛来获取图像，而机器的眼睛则是传感器。传感器中的敏感材料在一定的电源输入功率下，将表面接受到的能量转变为输出电压，连续的电压波形就是原始的图像数据了。这些原始数据进行一些加工处理，成为规定的格式标准后，才能显示出来。目前，图像传感器主要有CCD、CMOS

54、两种类型。CCD（Charge-coupled Device）电荷耦合器件，1969年由美国Bell试验室的Willard S. Boyle和George E. Smith发明，两位科学家也因发明了电荷耦合器件图像传感器CCD而获得2009年诺贝尔物理学奖。CMOS（Complementary Metal Oxide Semiconductor）互补金属氧化物半导体，一种电压控制的逻辑运算放大器件，也被应用于制造影像器材的感光元件。其中前者发展时间比较长，应用较广泛，而我们常见的摄像头则多用价格相对低廉的CMOS作为传感器。在摄像机、数码相机、摄像头中主要使用传感器阵列，将具有敏感特性的元件封

55、装成MM单元的稳定阵列。传感器与传感器阵列如图2.2所示。(a) 单个传感器 (b) 传感器阵列图2.2 传感器与传感器阵列Fig 2.2 a sensor and a array of sensors数字图像是将连续模拟图像信号进行采样和量化后的结果，可以用一个矩阵来表示，如下： （2.1）就表示了一幅M行N列的数字图像，矩阵中每个元素称为一个像素。数字图像有彩色图像、灰度图像、二值图像等形式，若一幅图像每个像素有级不同的颜色，该图像称为k比特图像。2.2.2 视频信号制式与图像色彩模型（1）NTSC、PLA制式NTSC（National Television System Committe

56、e）是美国、日本、加拿大等国家采用的电视信号制式15,16，PAL（Phase Alternating Line）制式主要被西欧、中国、澳大利亚等国家采用17-19。PAL制式扫描奇数场在前，偶数场在后，8MHz传输带宽。PAL制式传输一个亮度信号和两个色度信号，其中一个色度信号进行逐行交替相位调制，另一个色度信号进行正交平衡调制。PAL制式有ITU-R BT.656和ITU-R BT.601两种国际标准。ITU-R BT.601标准，采用21芯接口，16位并行数据传输，Y、U、V信号同时传输，行场同步信号单独输出。ITU-R BT.656标准，采用9芯接口，8位串行数据传输，先传Y信号再传U

57、、V信号，行场同步信号嵌入数据流中。BT.656是BT.601附件A中的数字接口标准，简单地说就是定义了一种数据传输接口而已。BT.601是演播室数字编码参数标准，BT.656是该标准下用于数字视频设备之间的传输接口标准。在BT.601数字视频编码格式中，亮度信号采样频率为13.5MHz，色度信号采样频率为6.75MHz，这样得到的采样数据就是YCbCr4:2:2格式，每个采样点进行8比特量化，则输出比特流为13.5MHz8+6.75MHz82=216Mb/s。本文中输入的视频信号就是ITU-R BT.656标准的YCbCr 4:4:2格式。（2）RGB、CMY、YUV色彩模型色彩模型是用来描

58、述色彩空间的集合，就像笛卡尔坐标系是用来描述欧几里德几何空间的集合一样。常见的色彩模型有RGB模型、CMY模型、YUV模型。RGB模型是计算机显示器，电视机，LCD显示屏等使用的色彩模型，凡是要靠自身发光来显示图像的都采用这一模型。CMY模型是彩色打印机、复印机等使用的色彩模型，凡是靠其它光源照射来显示图像的都基于此模型。YUV模型是现代电视信号制式的彩色图像格式，也是缺省情况下的图像和视频压缩编码标准。RGB色彩模型来源于自然界中的三原色，Red、Green、Blue原色光谱分量按一定比列混合，就能够得到RGB模型中的任意一种颜色，该模型基于笛卡尔坐标系，颜色空间是一立方体，红绿蓝分别位于坐

59、标轴上3个顶点，黑色位于原点，白色位于原点的对角，将颜色值归一化后，所有的颜色值都在立方体表面或部，灰度等级沿黑白两点间的连线分布。RGB模型颜色空间如图2.3所示：（a）空间坐标系 （b）颜色空间图2.3 RGB颜色空间Fig 2.3 RGB color space在RGB彩色模型中，一幅图像每个像素分别由R、G、B分量组成，若每一分量用8比特表示，即每一分量可有种颜色，3种分量可有种颜色，此类图像称为全彩色图像。将图像送入显示器进行显示时，3幅图像在显示屏上产生一幅合成的彩色图像。使用RGB三原色表示的图像被称为位图（bitmap），在Windows系统中后缀BMP，但对于全彩色图像来说，

60、一幅640480像素的图像大小为6404803=921600字节，需大量存储空间，因此Windows中使用了一种基于颜色表LUT（Look Up Table）的调色板技术，减少了存放图像需要的存储空间。BMP格式没有灰度图像的概念，若图像每个像素R=G=B=，该图像就是灰度图像，RGB模型彩色图像转变为灰度图像的公式如下： （2.2）CMY色彩模型与RGB模型相似，但采用的三基色青、深红、黄是颜料原色，与RGB中三原色相加产生色彩不同，CMY模型是基于相减色原理的，例如青色吸收白光中的红色，深红吸收白光中的绿色，黄吸收白光中的蓝色。等量的青、深红、黄混合产生黑色（吸收产生），但颜料混合产生的黑