【毕业学位论文】（Word原稿）基于全方位视觉的多目标检测跟踪-软件工程

硕士学位论文 论文题目 ： 基于全方位视觉的多目标检测跟踪 作者姓名 指导教师 学科专业 在学院 提交日期 20 年 11 月 浙江工业大学硕士学位论文 基于全方位视觉的多目标检测跟踪 作者姓名 : 指导教师 : 浙江工业大学软件学院 20 年 11 月 007 浙江工业大学 学位论文原 创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的学位证书而使用过的材料。对本文的研究 做 出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律责任。 作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全 了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1、保密 ，在 _年解密后适用本授权书。 2、不保密 。 （请在以上相应方框内打 “”） 作者签名： 日期： 年 月 日 导师签名： 日期： 年 月 日浙江工业大学硕士学位论文 i 基于全方位视觉的多目标检测跟踪 摘要 多 目标检测与跟踪 涉及 图像处理、模式识别 等多个技术领域， 是计算机 视觉 系统中 的重要课题。 本文采用能 实时获取水平方向 360场景图 像的 全方位视觉 装置，设计并验证了 一种 新 的 多运动目标检测与跟踪 方法。本文 在综述目前国内外多目标跟踪的研究现状的基础上，主要完成了以下研究工作 ： 在 运动目标检测 方面， 提出 了 帧差法和背景减除法相结合的目标检测方法。 利用 该 方法 检测出运动 区域 并 二值化图像 ， 应用 数学形态学 去除图像中的噪声 ， 通过连通域标识和碎片合并得到各个运动目标，并提取各 运动目标的物理属性参数 ，通过实时更新背景，提高目标检测的准确性。 基于 波器和匹配矩阵 方法， 设计了 多目标 跟踪算法 。所设计的算法用 波器 预测运动 目标 的 状态 ；用 匹配矩阵解决多目标跟踪中多 个 目标 的 遮挡 、 遮挡目标分离 、 目标消失 、 目标新出现 等 情况。 实验 结果 证明 了所提出方法的有效性 。 最后， 基于 形处理库 ，以 C+为开发语言 ，设计 开发 了一个多目标检测与跟踪的原型 系统， 并进行了实验验证 。 浙江工业大学硕士学位论文 键词 ： 全方位视觉，目标检测，目标跟踪，匹配矩阵， 浙江工业大学硕士学位论文 N to It is an in A 60 is in A is up On of of at of is as In of a of on is of by 江工业大学硕士学位论文 iv of is of of is An is to In as by an is + is by 浙江工业大学硕士学位论文 v 目 录 摘要 . i . 一章 绪论 . 1 言 . 1 内外多目标跟踪研究现状 . 2 频检测技术的发展与现状 . 2 目标跟踪技术的研究现状 . 3 方位视觉的概述 . 4 方位视觉的介绍 . 4 方位视觉的应用现状 . 5 文研究的内容和文章结构 . 7 章小结 . 8 第二章 运动目标检测 . 9 动目标检测算法介绍 . 9 流法 . 9 差法 . 11 背景法 . 11 景减除和帧差结合检测目标 . 13 像去噪处理 . 16 标分割 . 19 通域标识 . 19 法描述 . 20 标碎片合并 . 25 标表示 . 25 片合并 . 26 验结果 . 26 章小结 . 28 第三章 运动目标跟踪 . 29 动目标预测 . 29 波器简介 . 29 波器对运动目标预测的实现 . 30 标匹配 . 33 定目标匹配度 . 33 立匹配矩阵 . 34 描匹配矩阵 . 35 标跟踪 . 36 标跟踪流程 . 36 标 跟踪相关参数设置 . 36 目标跟踪算法 . 37 目标跟踪算法 . 38 浙江工业大学硕士学位论文 验结果 . 40 目标实验 . 40 目标实验 . 44 章小结 . 48 第四章 全方位目标检测跟踪设计与开发 . 49 发目的与开发平台 . 49 统详细设计与实现 . 50 计目标 . 50 统的功能 . 51 频采集实现 . 52 术介绍 . 52 绍 . 53 频采集设计与实现 . 55 标检测实现 . 56 标跟踪实现 . 59 章小结 . 63 第五章 总结 . 64 结 . 64 一步工作 . 64 参考文献 . 66 致谢 . 72 攻读学位期间发表的学术论文目录 . 73 浙江工业大学硕士学位论文 1 第一章 绪论 言 随着计算机技术、通信技术、图象处理技术的不断发展，视觉监控系统已经逐渐成为一种重要的安全防范手段。运动目标检测与跟踪是视觉监控的主要组成部分。 视觉监控通过运动检测得到图像中的运动信息，提取图像中的运动目标，然后对目标运动轨迹进行跟踪。 多目标的快速实时跟踪与识别是计算机视觉、图像处理、模式识别领域中的热点问题，也是难点问题。快速、准确的捕获 目标在军事、科研、工业等方面都有着极其重要的研究意义和价值 。 目前使用的大多数图像系统是由视频摄像机（或照相机）和镜头组成。多数镜头的投影成像模型是单个投影中心的透视。因为成像装置（如 列）的大小有限，接收入射光时镜头周围的阻挡，镜头只具有一个圆锥区域的小视野，而不是一个半球。为了获得全方位图像，旋转成像系统（云台）和采用鱼眼镜头是两种传统的方法。旋转成像系统获得全景图像的方法是绕投影中心旋转成像系统，旋转过程中获得的一系列图像拼接成场景（景物）的全景图像。这种方法的缺点是需要旋转运动的部件、系统难 以准确定位，并且要使成像系统旋转一周才能获得全景图像，获取全景图像花费的时间长、存在着死区或者盲点，图像处理算法复杂。所以这种方法一般只应用于静态场景和非实时应用的领域。采用鱼眼镜头取代传统的镜头，因为鱼眼镜头焦距非常短，可将成像系统的视野扩大到半个球或更大的场景。但是要设计制作使所有入射光交会于一点产生固定的视点的鱼眼镜头十分困难。目前已经商业化的鱼眼镜头不能构建场景的无失真的透视图像；此外如果视野要半球，镜头更大更复杂，价格昂贵。 全方位视觉传感器为实时获取场景的全景图像提供了一种新的解决方案。 全方位视 觉系统 特点是视野广 （ 360 度 ） ，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时， 场景中的安放位置更加自由；监视环境时 用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。 传统视频成浙江工业大学硕士学位论文 2 像系统的主要区别是增加了一个安装在成像镜头前方的镜子和一套相应的计算机图像处理软件。把传统的摄像头改进成 ，产品的技术和价格优势十分明显。例如，原先对道路交通（十字路口红绿灯）的监控需要四台摄像设备，且监控的算法非常复杂， 采用这种技术后仅需要一台嵌入式全方位视觉系统就能实现同样功能，同时也不会出现监控盲区并能实现实时跟踪监控和有变化进行记录。 内外多目标跟踪研究现状 频检测技术的发展与现状 视频图像的运动目标检测是计算机视觉领域的一个重要研究课题，它在目标跟踪、视频监控和精确制导领域有重要的应用。运动目标检测的目的是从序列图像中将变化区域从背景图像中提取出来，运动区域的有效分割对于目标分类、跟踪、行为理解等后期处理至关重要 1。 近年来，国内外学者对视频图像的运动目标检测进行了许多研究，比较常用的 方法有光流法 ，帧差法和减背景法 。 光流法的优点是能够检测独立运动的对象 ，不需要预先知道场景的任何信息 ， 并且可用于摄像机运动的情况 ， 但多数光流法计算复杂耗时 ， 很难实现实时检测 ； 使用相邻帧差的算法非常适合于动态变化的环境 ， 但不能完整地分割运动对象 ， 当场景中运动目标没有显著运动时 ， 往往会在目标检测时留下大面积的本应属于目标而却未被检测到的区域 。 背景差分法是目前运动分割中最常用的一种方法 ， 它是利用当前图像与背景图像的差分来检测运动区域的一种技术。目前大部分研究人员都致力于开发不同的背景模型 ， 以期减少动态场景变化对运动 分割的影响。已有许多文章提出了各种背景建模方法 ，如 2利用最小、最大强度值和最大时间差分值为场景中每个像素进行统计建 ； 3建立了自适应多高斯模型 ； 4利用像素色彩和梯度信息相结合的自适应背景模型。 由于这三种方法各有优缺点 有人提出许多方法的融合改进 ， 如基于边缘的背景去除法 5， 但该类方法存在着由于运动目标边缘与背景边缘可能有一定交迭 ， 使部分运动目标信息被去除的缺点 。 又如 6提出一种获取运动物体精确位置的方法 ， 但计算量大并且有一帧 时间的滞后浙江工业大学硕士学位论文 3 性 。 目标跟踪技术的研究现状 跟踪过程中目标的暂时消失、相互遮挡导致目标信息丢失 ， 如何在复杂情况中跟踪目标、获得目标的运动轨迹是难点之一。目前国内外一些知名专家学者对多运动目标匹配问题，国内外的研究主要有： 杨勇等使用单模态背景模型，用连通检测的方法分割出目标，取得目标信息，采用特征参数匹配的方法跟踪目标，对实际中出现的目标停止移动、被背景遮掩和相交运动等情况做了分析，但是其研究是在静止背景条件下的 7。万琴等针对固定监控场景提出的运动目标检测与跟踪方案 8，利用像素梯度及色度 均值、方差分布建立并实时更新背景模型。在目标跟踪模块 ， 引入卡尔曼滤波器预测目标参数 ， 建立帧间目标匹配矩阵完成目标匹配。但她的方法主要存在的不足是不能完整、准确地分割前景目标；视场中有四个以上的目标、目标运动情况复杂多变时 ， 算法准确度降低。 蔡征等 应用 波完成运动预测 ， 在关联匹配中提出了一种代价函数方法 ， 通过分析运动特性提出了几种补偿算法 ， 有效解决了跟踪中的重合、目标暂时消失等问题 ， 实现了对目标的正确跟踪 9，其主要缺点是背景不能及时更新。 文献 10中介绍了运动检测时运用基于条件的形态学重建有效地来消除阴影和光白，运动跟踪时运用时间模板地方法和 的方法不适合在过多目标重合和长时间重合的情况下。, , 决了静止摄像机下跟踪识别刚性非刚性物体互相作用的情况 11。该方法用形状来跟踪目标，显然对于目标变形的情况下会匹配错误。 波结合颜色信息来检测跟踪多个运动目标 12。 uo . 样条曲面的方法弹性匹配目标，从而实时跟踪多目标 13。 浙江工业大学硕士学位论文 4 方位视觉的概述 方位视觉的介绍 全方位图像 (称基于反射镜面的图像 (是由全方位视觉设备生成的一种图像。全方位视觉设备由一个 光镜负责将水平一周的 图像反射给摄像机成像 （如图 1示） 。这样在一幅图像中就能获得水平方向 360 度的环境信息。由于全方位图像有较大的视野，使全方位视觉系统适用于某些大视野的应用。随着计算机处理能力的提高以及视觉传感器件的普遍应用，进入 21 世纪后，基于 全方位视觉系统近几年迅速发展， 迅速应用于监控领域和机器人视觉引导，正成为计算机视觉研究中的重要领域， 2000 年开始举办每年一次的全方位视觉的专门研讨会（ 最近的一届于 2005 年 10 月在北京举行，会上交流全方位视觉摄像机的成像理论和具体的应用研究成果，会上交流的研究成果越来越多。可以预见，全方位视觉将成为计算机视觉领域中的一个重要的研究内容。 图 1方位 视觉 设备 使用全方位视觉的主要优点为： 浙江工业大学硕士学位论文 5 1、 信息量大。全方位视觉传感器视野广，能把一个半球视野中的信息压缩成一幅图像。而这原来需要 4摄像机同时拍摄才能达到同样的效果。 2、 安装方便。在获取全景图像 时 ，利用全方位视觉传感器安装位置自由，可以替代原来多个摄像头， 从而大大减少了投资所需要的成本。 3、 观察方便。在 监控的过程中，全方位视觉传感器不用瞄准目标就能监视其行为。此外，通过全方位的展开软件，还可以生成全景 图像 ，即在一幅场景上即可以观察 360 度的环幕场景，改变了以往需多个场景同时观看才能获得的总体信息 的情况 ，减少了监控人员的总体工作量。 全方位视觉带来的缺点是为弥补以上的优点所付出的代价。 1、全方位视觉图像由于拍摄时存在 图像被扭曲的现象，不符合人的观察习惯，需要进行转换，才能生成人能所理解的图像内容。 2、图像精确度的降低。这包括两大方面：一是一张图片中容纳了更多的信息，必然导致图像部分细节方面的丢失。二是 在转换成人能所理解的图像内容时，也会丢失掉部分的图像信息。 3、成像时点的不均匀性，空间中的信息在全方位图像上成像时，其成像密度存在着很大的差别。反射镜面曲率越大，图像的不均匀性越严重。 方位视觉的应用现状 全方位视觉的研究，具有十分巨大的实际意义。无论是静态图像还是运动检测，无论是在消费市场还是在产业，全方位视觉的应用领域都十分广阔，单是监控市场就十分巨大。全方位视觉传感器由于其独特的 360 度全景成像能力、成像的旋转不变性、更全面的环境信息和较低的分辨率等特点，是建立低成本高性能全景图像系 统的最佳方案。 全方位视觉由于其特性，非常适合于需要大视野的应用，故国外研究者在全方位视觉的具体应用上也做了大量的研究，主要的研究方向如下： 1、视频监控 由于全方位视觉的特性，可用于代替多个普通的摄像头来进行视频的监控，在十字路口一次性可以查看几条道路的通行情况，在房间的结合处安装一个全方浙江工业大学硕士学位论文 6 位视觉设备可一次性查看两个或多个房间的情况。同时在该应用上发展出来针对全方位视觉的人体检测与跟踪。 4设计了一个将抛物面全方位图像恢复成全景图和透视图后用于监控和检测的实例。 5提出了一种全方位视觉条件下基于时空分析的步态检测方法。 2、视频会议 视频会议是当今研究的热点之一，视频会议相对于传统的会议，大大节省了人力和成本。而在会议中使用全方位视觉设备，在一个圆桌中不需要硬件的切换可以获得全部参与会议者的视频信息。微软公司 究院曾做过该方面的一系列研究，并给出了软硬件的实现环境与实现方法 16。慕尼黑工业大学的研究者提出了使用全方位视觉视频会议时的一些脸部跟踪方法 17。 8等提出全方位视频会议时的会议者的追 踪，跟据脸部的人物识别等方法。 3、机器人导航 将全方位视觉应用于机器人导航是全方位视觉应用的重点，也是全方位视觉应用研究人员最多，研究成果最多的应用。传统的机器人视觉系统主要是采用常规镜头的摄像机直接获取场景的信息，这种方法的主要问题是视场角较小，只能获取视野有限的局部信息，为获取大视野场景图像，可将单个镜头旋转或多个普通镜头水平组合得到。但这种方法的问题是不同位置摄像机光心的物理位置不能真正重合，因此定位精度底。所以近二十年来人们开始研究基于单个曲面反射镜面的全方位摄像机系统实现机器人定位。最早日本大坂 大学的 9 91 年设计了锥面反射镜的全方位视觉传感器用于室内环境中的机器人导航，在他的后续研究中，分别对该机器人导航方法进行了碰撞检测研究、建立简单室内环境地图研究与检测未知障碍物研究。 1997 年，卡内基梅隆大学研制的利用全方位视觉系统导航的机器人在 40 天内走过 200功穿越智利的阿塔卡马沙漠。3等人将全方位视觉设备用于无人驾驶直升机的导航。 4、虚拟现实 虚拟现实就是一种可以创建和体验虚拟世界的计算机系统。这种系统生成的各种虚拟环境 ， 作用于用户的视 觉、听觉、触觉 ， 使用户产生身临其境的感觉 ，沉浸其中。由于全方位视觉大视野的特性，减少了生成虚拟环境时信息采集的工浙江工业大学硕士学位论文 7 作量。根据生成方式不同的分类，虚拟现实系统可分为基于实景图像的虚拟现实系统与基于几何模型图形构造的虚拟现实系统 24。在基于实景图像应用的虚拟现实系统方面， . 5人提出了如何对大量的全方位图像进行采样、有层次的压缩与存储，构建出一个交互式的虚拟空间，使用者可以在里面自由走动。 7等分析并比较了基于全光建模 (三种方法。在基于几何模型图形构造研究方面。 2001 年用一张全方位图像通过人工选定的方法构建出空间三维造型。大量的三维景物重建的工作都基于两张图像以上的匹配，以 重建工作最为典型 28。 9 2003 年提出了一种通过少量全方位图片来进行空间三维信息的恢复方法 ， 并给出了可靠点的选择方法。而 1等人则提出了在全景图基础上的景物重建方法。 文研究的内容和文章结构 本文主要的研究 内容是利全方位设备，实现在全方位视频的动态背景下多个运动目标的检测识别与跟踪。对于 有 多个运动目标 的视场 只需要一个全方位摄像机就可以对每一目标进行检测并跟踪，同时解决多个目标相互遮挡，遮挡目标分离，新目标出现，目标消失等情况。 本文主要目标是 设计一种新的全方位视觉监视系统 ， 用来对多个运动目标进行实时运动检测跟踪。 其中 主要研究内容包括：运动区域检测，运动目标分割，运动目标跟踪。 本文共分为五章，具体安排如下： 第一章：作为文章的绪论，介绍了本文涉及的基本概念，研究背景， 研究现状 ，研究内容等。 第二章：介绍了 运动目 标检测的基本算法，提出了帧差和减背景相结合的运动目标检测方法，并介绍了用形态学方法对图像进行去噪，用连通域标识的方法对目标进行分割，最后还考虑了如何处理目标碎片的问题。 第三章： 该章重点对目标跟踪实现进行了详细的介绍。主要包括：运动目标预测，目标匹配算法，目标跟踪算法。在对多目标进行跟踪的过程中分析了目标可能会出现的复杂情况， 多目标合并，目标分离，目标消失，目标新出现等情况。 浙江工业大学硕士学位论文 8 第四章：该章对 基于全方位视觉的多目标检测跟踪系统，在开发平台，详细设计，具体实现上分别作了详细介绍。 第五章：全文的总结以及进一步的 工作。该章对前面各章节所做的工作进行了归纳与总结，并探讨了作者对下一步研究的一些设想。 章 小 结 本章 综述了视频检测技术的发展与现状，国内外目标跟踪技术的研 究 现状，并对 用全方位视觉设备实现多目标检测跟踪做了一个基本的介绍 ，包括 全方位视觉优 点 和应用现状 。 最后对 本文所研究的主要内容 及各章节的安排 进行简短的概述。 浙江工业大学硕士学位论文 9 第二章 运动目标检测 动目标检测算法介绍 流法 光流是空间运动物体被观测面上的像素点运动产生的瞬时速度场，包含了物体 3D 表面结构和动态行为的重要信息 32。 一般情况下，光流由相机运动、场景中目标运动，或两者的运动产生。当场景中有独立的运动目标时，通过光流分析可以确定运动目标的数目、运动速度、目标距离和目标的表面结构。 对于 光流 的研究已经在环境建模、目标检测与跟踪、自动导航及视频事件分析中得到了广泛的应用 33 在空间中，运动可以用运动场描述。而在一个图像平面上，物体的运动往往是通过图像序列中不同图 像 灰度分布的不同体现的。从而，空间中的运动场转移到图像上就表示为光流场，光流场反映了图像上每一点灰度的变化趋势。光流可以看作带有灰度的像素点在图像平面运动产生 的瞬时速度场。 光流方程推导：假设 E( , , )x y t 为 (x,y)点在时刻 t 的 灰度 。设 t+刻该点运动到 (x+dx,y+，他的灰度为 E ( , , )x d x y d y t d t 。我们认为，由于对应同一个点，所以 E ( , , ) E ( , , )x y t x d x y d y t d t (2将上 面 光流约束方程 式右边做泰勒展开，并令 ，则得到： E E E 0x u y v t ，其中： E E/x d E E/y d E E/t d /u dx /v dy 上面的 y,计算都很简单，用离散的差分代替导数就可以了。光流法的主要任务就是通过求解光流约束方程求出 u,v。但是由于只有一个方程，所以这是个病态问题。 故而 人们提出了各 种其他的约束方程以联立求解。但是 当 用于浙江工业大学硕士学位论文 10 摄像机固定的这一特定情况，问题可以大大简化。 在摄像机固定的情形下，运动物体的检测其实就是分离前景和背景的问题。对于背景理想情况下，其光流应当为 0，只有前景才有光流。并不 需要 通过求解光流约束方程求出 u,v。 只要求出亮度梯度方向的速率就可以了，即求出22。 而由 光流 约束方程可以很容易求得 梯度 方向的光流速度为： 22E / E EV t x y (2因此 设定一个阈值 T。 ( , ) T ( , )( , ) T ( , )V x y x yV x y x y， 是 前 景， 是 背 景(2光流计算方法大致可分为三类：基于匹配的、频域的或梯度的方法。 基于匹配的光流计算方法包括基于特征和区域的两种。基于特征的方法不断地对目标主要特征进行定位和跟踪，对目标大的运动和亮度变化具有鲁棒性。存在的问题是光流通常很稀疏，而且特征提取和精确匹配也十分困难。基于区域的方法先对类似的区域进行定位，然后通过相似区域的位移计算光流。这种方法在视频编码中得到了广泛的应用。然而，它计算的光流仍不稠密。另外，这两种方法估计像素精度的光流也 较 困难，计算量很大。在考虑光流精度和稠密性时，基于匹配的方法不