基于全方位视觉目标跟踪算法研究_图文

1、天津理工大学硕士学位论文基于全方位视觉目标跟踪算法研究姓名:于洪淳申请学位级别:硕士专业:计算机应用技术指导教师:曹作良20090101 基于全方位视觉目标跟踪算法研究 作者： 学位授予单位： 于洪淳 天津理工大学 相似文献(10条 1.学位论文 刘丽群 基于鱼眼镜头的全方位机器视觉应用研究 2009 基于视觉信息的移动机器人导航是当前移动机器人研究的一个焦点。同人类一样，视觉是机器人获取周围世界信息重要来源，可为机器人提供周围 的环境信息，如机器人对环境中目标的识别、实时的跟踪导航信息。全方位视觉是一项新兴的视觉技术，该系统能一次性获取180度立体角内的场景图像 。由于该系统具有大视野的显著

2、特征，用全方位视觉构建移动机器人的视觉系统，满足机器视觉实时获取环境信息的要求，具有广泛的应用。但是全方 位视觉设备由于其特殊的光学成像机制，系统获取的图像存在严重的扭曲。因此，在将全方位视觉投入到真正的应用之前，需要从全方位图像中恢复出 所拍摄的景物信息。本文针对鱼眼镜头获取全方位视觉图像的畸变校正算法开展研究工作。 本课题来源于国家科技部国际科技合作项目：移动机器人和自引车的全方位视觉导航技术。本文首先介绍了全方位视觉技术、该技术的研究现状以及具 体应用现状。然后深入研究了常规摄像机与全方位视觉成像系统的不同之处，并详细介绍了鱼眼摄像机的光学结构及成像原理。基于鱼眼摄像机的成像 模型，构建

3、鱼眼摄像机的数学模型。根据所用鱼眼镜头的等距成像模式，提出适应的标定鱼眼摄像机内部参数的方法，与传统标定方法相比.该方法简单 可行，避免了复杂的计算，且精度较高。随后根据鱼眼图像变形特点及研究现状，本文提出两种鱼眼图像畸变校正算法一函数法和基于支持向量机 (SVM回归算法，函数法是基于鱼眼镜头的等距成像模型，建立畸变点与理想点之间的函数对应关系；基于支持向量机(SVM回归算法是利用SVM强大的分 类和回归能力，建立特定的训练靶标，用SVM拟合出畸变点与理想点之间的映射关系，从而实现鱼眼图像的校正。两种方法分别通过VC编程实现，实验结 果验证了算法的正确性。 本文最后将函数法移植到DSP上，利用

4、高速的数字信号处理器DSP为核心硬件，在有限的时间内完成了大量的图像数据处理，确保了图像的实时性，为全 方位视觉用于提供移动机器人视觉导航信息奠定了基础，具有一定的实用性。 2.学位论文 张呈涛 全方位视觉移动机器人目标跟踪系统 2009 移动机器人平台上基于视觉的目标跟踪系统能够较好地应用于室内外环境，而无需建立额外的辅助设施。传统的基于视觉的目标的跟踪系统使用的 镜头通常视角较小，当观测大角度范围时需通过云台旋转实现，这样导致观测的实时性差、观测物易丢失。采用全方位视觉的目标跟踪系统能够捕获环 境半球域视场信息，这对视觉跟踪技术具有重要意义。 全方位视觉设备由于其特殊的光学成像机制，系统获

5、取的图像存在严重的扭曲。因此，在将全方位视觉投入到真正的应用之前，需要从全方位图像中恢 复出所拍摄的景物信息。本文针对鱼眼镜头获取全方位视觉图像的畸变校正算法进行了研究。 全方位视觉移动机器人平台上有很多目标跟踪算法可以采用，每种算法都有最佳适应环境。采用单一特征信息的跟踪算法在复杂环境中往往失效。本文 提出了一种综合的目标跟踪算法，融合了目标的多种特征信息。以基于概率的粒子滤波算法为核心，综合了自适应模板匹配算法、基于边缘特征的主动 轮廓跟踪算法和基于特征点的跟踪算法，同时也对各种算法进行了一定地发展与创新。本方法采用了分布式体系结构，粒子滤波算法构成数据融合中心 ，其输出用于指示其它三种并

6、行算法的检测范围，三种算法的输出又可以反馈给粒子滤波器进行综合跟踪。这种体系结构便于进行程序的并行设计，在 移动机器人平台上能用多个硬件实现，提高跟踪的实时性。这种综合算法也可以对每种算法单独控制，在特定环境下采用最合适的算法或某种组合。可 以克服粒子滤波定位不准、随机性较大及另外三种算法计算量大、实时性差的问题。实验结果表明，这种组合了多种跟踪方法优点的综合性方法，具有 很好的鲁棒性和精确性。 3.期刊论文 元伟.孙杰.YUAN Wei.SUN Jie 采用鱼眼镜头全方位视觉的组合跟踪算法研究 -天津理工大学学报 2010,26(2 本文提出了一种用于鱼眼镜头全方位视觉的组合跟踪算法,该算法

7、将连续自适应均值漂移算法、鱼眼镜头畸变矫正算法和归一化互相关模板匹配算法 相结合,解决了目标因完全遮挡或移出镜头视野后再现情况下的目标识别与跟踪问题.实验表明,该方法提高了目标实时跟踪的鲁棒性和精确度并具有较好 的实时性. 4.学位论文 刘旭坤 大畸变图像校正关键技术的研究 2008 全方位视觉感知，又称全景视觉、全视觉，是指一次获得大于半球视场(360°×180°的三维空间的全部视觉信息，是近几年被广泛关注、热门研 究的视觉感知技术。由于其视域开阔，对于民用、军事还有宇航空间领域中的依赖于视觉信息做出决策的各行业都具有非常重要的意义。 由于全方位视觉是一门新兴的

8、技术，目前对于其基础理论的研究还不成熟，应用方面也有许多关键技术有待解决。针对国内外全方位视觉的研究现 状，本文对用一种全新形式获得全方位视觉效果的方法进行了基础性研究。 首先，本文对现有的全方位视觉成像方法进行了简单评价，对于利用鱼眼镜头成像原理与约束条件进行了理论推导，从原理上解释了利用鱼眼镜头 可以获得视场增强效果的物理本质。为得到更好的实验结果，本文对采集的图像进行了图像预处理。 鱼眼镜头具有短焦距、大视场的优点,因而在很多领域都得到非常广泛的应用,但存在鱼眼图像畸变比较严重的问题,这就需要对图像畸变进行校正 ，使之符合人眼的视觉习惯。 为此,本文提出了一种有效的鱼眼镜头畸变校正模型及

9、校正方法。 LabVIEW 是一种业界领先的工业标准图形化编程工具，主要用于开发测试、测量与控制系统。它是专门为工程师和科学家而设计的直观图形化编程 语言。本文通过确定的畸变模型及校正方法，利用LabVIEW 编程语言实现了鱼眼图像预处理及鱼眼图像畸变校正。实验结果说明,根据给出的畸变模型及 校正方法图像畸变得到了很好的校正。 5.期刊论文 秦洁.杨学友.曹作良.Qin Jie.Yang Xueyou.Cao Zuoliang 基于DSP的SVM算法实现鱼眼镜头畸变校正 -电子测量技术2008,31(9 鱼眼镜头应用于全方位视觉跟踪导航系统中,但其产生的畸变如不加以精确实时的校正必然导致定位错

10、误和偏差.本文创新地采用鱼眼镜头所采集的 图像特征点训练支持向量机(SVM,使其产生回归径向距离的模型并生成坐标映射,然后通过查表法实时的校正采集的图像,用TMS320DM642处理鱼眼镜头畸 变的实时校正.结果证实,该方法校正效果好,响应速度快,满足图像处理的实时性要求;并且用DSP代替以往PC运算,可简化整体结构,压缩系统体积. 6.期刊论文 苑光明.丁承君.俞学波 基于鱼眼镜头的全方位视觉系统建模 -天津工业大学学报2010,29(3 研究鱼眼镜头成像模型,对鱼眼镜头的3种畸变,包括径向畸变、偏心畸变(切向畸变和薄棱镜畸变进行了分析,并建立了各自的数学模型.最后根据投 影规律得出3种畸变

11、校正模型:等距修正模型、等立体角修正模型和正交校正模型. 7.期刊论文 苑光明.丁承君.俞学波.YUAN Guang-ming.DING Cheng-jun.YU Xue-bo 基于鱼眼镜头的全方位视觉系 统的设计及实现 -河北工业大学学报2010,39(2 在对基于全方位视觉的移动机器人机动目标识别跟踪进行研究的基础上,建立了基于鱼眼镜头的全方位视觉图像的畸变矫正系统.该系统采用基于立 方体投影模型来矫正畸变的鱼眼图像,并用基于立方体投影的鱼眼镜头图像畸变校正系统对鱼眼图像进行了畸变校正.实验结果表明采用以上方法能够有 效的克服原始的鱼眼图像存在的几何变形,校正后的鱼眼图像符合人的直观感觉,

12、真实感较强. 8.学位论文 刘世与 基于目标跟踪的全方位视觉自引导车动态定位技术 2008 自动导航技术是自引导车(AGV和移动机器人系统的关键部分。基于视觉的导航系统能够良好的应用于室内和室外环境，而无须建立额外的辅助设施 。然而，环境中需要包含一些能够被视觉系统观察到的自然的或人工的特征。在导航环境中，将这些图像特征和物理空间参数结合以实现定位。所谓车 载测量定位是指将镜头固定于自引导车或移动机器人等需进行测量定位的移动物体上，通过对周围特征物的观测实现对自身的动态定位。 本文采用的移动载体为自引导车。传统的视觉AGV定位方法采用的镜头通常视角较小，当观测大角度范围时需通过云台旋转实现，实

13、时性差，观测物 易丢失。采用全方位视觉的导航系统能够捕获环境半球域视场信息，这对视觉导航技术具有重要意义。全方位视觉图像能够克服以镜头为轴心的旋转带 来的图像信息的丢失，这使得图像特征更为稳定，有利于AGV视觉定位和导航的实现。鱼眼镜头是建立全方位视觉系统最有效的方法之一，相对于反射式 全景视觉镜头，鱼眼镜头具有结构紧凑、体积较小、不易损坏等优点。鱼眼镜头视场角通常达到或超过180度，单一镜头能够捕获半球图像，而使用两个 鱼眼镜头则能够一次获取整个空间的完整图像。 本课题使用单一鱼眼镜头构造全方位视觉系统。在AGV顶部竖直向上安置一台鱼眼镜头摄像机，摄取360°方位视角中的全部场景图

14、像，增强AGV对环 境的观测能力，如图1所示。同时借助粒子滤波器具有对多种类型目标进行高效跟踪的能力，对已知陆标进行视觉跟踪。最后通过对鱼眼镜头标定，将目 标图像坐标转化为物理空间参数，实现陆标的空间和图像两方面信息的融合，从而实现对AGV的定位。本文提出的算法在自引导车实验平台上进行了测试 ，在鱼眼图像畸变校正的基础上，使用粒子滤波器对双色陆标进行视觉跟踪，实现了对AGV的定位。 9.学位论文 刘宇莉 基于全方位视觉的图像跟踪算法研究 2008 随着计算机技术的不断发展，计算能力得到了极大的提高，使得利用计算机实现人类的视觉功能成为目前计算机领域中最热门的课题之一。然而 ，传统的视觉跟踪技术

15、因受到镜头视场角的限制，出现实时性差、观测物易丢失等缺点，导致观测系统具有较大盲区，难以应用在要求有大范围观测区 域的场合。因此，具有极大视角的全方位视觉跟踪技术的研究具有重要的现实意义及实用价值。 本文分别从实际应用和理论研究两个层面对全方位视觉的图像跟踪系统进行了彻底的剖析。在实际系统构建层面，结合鱼眼镜头的结构紧凑、体积小、 不易损坏等优点和传统全方位视觉系统存在的图像扭曲、图像细节的损失、成像密度不均匀等缺点，本文提出新型鱼眼镜头全方位视觉系统，并设计了 新型航标模式拓扑结构。鱼眼镜头的概念是由Maxwell首先提出来的。由于鱼眼镜头具有一次性获取三维半球空间中信息的特点，因此其应用在

16、全方位视 觉的目标识别和跟踪方面具有很大的优势。在理论研究层面，本文提出了球形透视投影法的图像几何畸变矫正算法和改进型Mean Shift的全方位视觉目 标跟踪算法，改进型Mean Shift算法在复杂背景的序列图像中，能够实现快速计算和有效跟踪。因此，该系统不仅具有视角大的特点，而且能有效地解 决采集图像质量差、目标被遮挡、目标丢失、实时性差等问题。 最后，通过在移动机器人上的应用，该全方位视觉的图像跟踪系统在目标的识别和跟踪上得到了很好的验证，能够满足要求。 10.学位论文 齐志强 基于FPGA的全方位视觉图像畸变校正 2008 全方位视觉能够在一幅图像中观测到半球域的信息，因此其应用也越

17、来越广泛，鱼眼镜头是建立全方位视觉系统的最有效的方法之一，它使用单一 镜头就能够捕获半球图像，使用两个鱼眼镜头则能够一次获取整个空间的完整图像，但是鱼眼镜头图像虽然观测视野很大，但也带来了较大的图像畸变 ，给应用造成了很大的问题。虽然这种畸变可以用很多方法来进行校正，但大多方法都只限于理论或在PC机上实现，但由于其体积，功耗和处理速度等 原因，其并不适合用在车载系统中。 随着电子技术的发展，集成电路的集成度越来越高，复杂的系统可以在一块集成电路芯片中实现，FPGA、DSP、ARM处理芯片的发展为图像，视频，等应 用带来了更多的解决方案，嵌入式系统已经成为当前EDA领域最热门的研究方向，使用嵌入

18、式系统可以降低产品功耗，缩小产品体积，提高系统集成性 ，使产品具有更强的市场竞争力。由于鱼眼图像畸变校算法正包含了并行的图像数据运算，因此非常适合采用并行结构的FPGA对其进行处理。 本课题根据鱼眼镜头本身的特点，在对多种鱼眼图像畸变校正算法进行详细研究的基础上，提出了一种适合于FPGA实现的基于球形透视投影模型的畸变 校正算法。并通过实验确定算法中所需确定的各个参数。 通过对算法和实际问题的分析，将系统分成采集，存储，校正，输出几个部分，采集和传输部分采用串口，存储器采用DDR-SDRAM，校正和各部分驱动 采用FPGA实现。在FPGA的驱动下数据由串口输入，接收到数据后暂存在DDR-SDRAM存储器中，同时通知校正模块进行校正，校