基于双目视觉系统的三维交互-本科毕业论文

1、-. z.中国科学技术大学本科生毕业论文-. z.国 科 学 技 术 大 学 科 毕 业 论 文 题 目基于双目视觉系统的三维交互英 文3D Interaction based on题 目Binocular Vision System院 系数学科学学院姓 名高瑞良 学 号 PB11001004导 师*利刚 教授日 期二一五年五月-. z.中国科学技术大学本科生毕业论文-. z.目录摘 要 1Abstract2 致 31 章 绪论4 1 课 题 背 景 4 2 本文内容与构造 4 2 章双目视觉系统的搭建6 1 双 摄 像 头 设 备 搭 建 6 2 摄 像 头 标 定 6 摄像头标定方法与原理

2、6标定步骤与结果73 章 目 标 识 别 与 跟 踪 9 1 几种 常见目 标跟 踪方 法简 介 9 1.1 几种基于运动分析的跟踪方法 9 1.2 基于图像匹配的跟踪方法9 几种跟踪算法的优缺点102 C a m S h i f t 跟 踪 算 法 及 其 改 进 1 0 2 . 1 颜 色 空 间 11 2 . 2 C a m S h i f t 算 法 介 绍 1 1 2 . 3 对 CamShift 算法的一些改良 12 跟踪算法结果展示13算法性能分析.154 章 空间定位与交互16 1 双 目 视 觉 空 间 定 位 原 理 1 6 2 用户交互界面 16 5 章 总结和未来工作1

3、9 1 总结1 9 2 未来工作1 9 参考文献20-. z.中国科学技术大学本科生毕业论文-. z.摘要双目视觉的概念源于人眼的高级视觉功能，它是指双眼协调地同时工作，当*一物体反射的光线成像在视网膜时，形成两个有轻微差异的物象，再经过大脑的分析、整合、加工，最终形成一个有三维空间深度感完整印象的过程。计算机双目视觉仿照这个原理，用两台摄像机或照相机对同一场景进展拍摄，获得有一定视差的两幅图像，再运用双目视觉原理，就可以计算出图像中空间目标的三维信息。双目视觉系统具有高效、精度适宜、本钱低等特点。从 60 年代的开创开展至今，已有大量卓有成效的工作，在军事、工业和民生都有广泛的应用价值。本课

4、题搭建了基于 OpenCV 的双摄像头测距系统，结合运动目标实时跟踪的算法，制作了一个让用 户在三维空间中交互的小游戏。一个双目视觉系统需包含图像抓取、摄像机标定、特征提取、图像匹配以及目标 空间定位这几个主要技术环节。本文开篇介绍了双目视觉系统的背景及研究意义，然 后依次对以上各技术环节进展介绍和研究：首先是双目视觉系统的搭建以及双摄像头 的标定方法，然后介绍了运动目标跟踪的一些常见方法，详细介绍了 CamShift 目标跟 踪算法并展示了我们改良后的跟踪算法，之后介绍了双目视觉的三维测距原理以及我 们制作的用户三维交互游戏，最后对课题做了总结与展望。关键字：双目视觉 双摄像头标定 运动目标

5、跟踪 空间定位 三维交互1-. z.中国科学技术大学本科生毕业论文-. z.AbstractBinocular vision system is based on the function of human eyes, it is the process that how people use their two eyes together to see the outside world. Two images with paralle* are created when light reflected from a target falls on the retina of human e

6、yes. After the analysis and integration process of our brain, we finally get the full three-dimensional sense of space targets. puter binocular vision is a simulation of this process. By using two independent cameras to capture the same scene, we get two images with paralla*. Then we can pute the th

7、ree-dimensional coordinates of the space targets according to theory of binocular vision.Binocular vision system has high efficiency, low cost and appropriate precision, it is widely used in both military area and industry filed. There have been a lot of e*cellent research works since its beginning

8、in 1960s. Our project includes the building of a binocular vision system based on OpenCV 2.0, the real-time tracking of a moving target and a little game with 3-D user interaction.An integrated binocular vision system contains the following technical aspects, image capture, camera calibration, featu

9、re e*traction, image matching and 3-D information acquisition. This article first introduces the background and research significance of binocular vision system, followed by detailed discussion to each technical aspect. We first discuss how to build a binocular vision system and some concepts on cam

10、era calibration, then we talk about some methods on object tracking and focus on the CamShift tracking algorithm as well as our modification on it. Finally we e to the theory of binocular vision measurement and show how to play our game with 3-D user interaction.Key words: binocular vision; camera c

11、alibration; moving target tracking; 3-D interaction2-. z.中国科学技术大学本科生毕业论文-. z.致谢从今年 3 月份开场做这个课题到现在已经 2 个多月了，在我的论文即将完成之际，我感 慨良多，在这里我要向帮助过我的每一个人表达由衷的感谢。首先要感谢我的指导教师*利刚教师。在我大三时，幽默又善于启发、鼓励学生的*老 师带我走进计算机图形学的领域，他向我们展示了计算机图形学领域的丰富多彩，更用他的 严谨和执着告诉我一名科研人员应该具有怎样的素质和态度。在我做这个课题时，*教师每 两周会与我交流一次进度，提出问题与建议，在与*教师的交流中我

12、有很多收获与启迪。感谢同实验室的周世哲教师、董智超同学、付钟奇同学、李航同学、钟亚焘同学。在我 进展最初的双目视觉系统搭建工作时，周教师和付钟奇同学给予了我不少有用的建议；在我 编写目标跟踪算法、调程序时，董智超同学和李航同学的帮助与陪伴，还有钟亚焘同学在OpenCV 学习方面提供的帮助。最后在我写这篇论文时，我也从周教师和董智超同学那里学习了很多论文写作相关的知识。感谢我们的父母、班里的同学、室友在这一学期给我提供的帮助与鼓励。祝中国科技大学蒸蒸日上，培养更多优秀人才，创造新的辉煌！3-. z.中国科学技术大学本科生毕业论文-. z.第一章 绪论1 研究背景计算机视觉是用计算机代替人类的视觉

13、与大脑，对客观世界进展感知和分析处理的技术，它的目标是让计算机具有分析二维图像来认知三维空间信息的能力。这项技术不仅赋予计算机感知三维空间的能力，还让计算机能够对其进展识别、存储并通过图像来创立三维模型，从而可以认知客观世界，与人工智能有着严密联系。因此计算机视觉一直是计算机科学领域内热门研究课题，并且开展十分迅速。双目立体视觉是计算机视觉的一个重要研究领域，其根本思想是让计算机直接模拟了人眼处理空间景物的方式，通过左右两个视图的存在的视差，灵活方便的获得物体的三维信息。它具有高效、精度适宜、本钱低、易实现等优点，在工业界具有广泛的应用，如智能导航、可视化雷达、三维测量以及虚拟现实。20 实际

14、 60 年代中期，美国麻省理工学院的 Robert 将之前的二维图像分析推广到了三维，完成了三维景物分析工作，标志着立体视觉的诞生。70 年代末，Marr 创立了视觉计算理论并应用在了双目匹配上，使两*有视差的二维平面图产生了有深度的立体图形，为双目立体视觉领域的开展奠定了理论根底。经过 30 年的开展，立体视觉领域出现了一大批优秀的研究成果，在实际应用中也不乏成功的例子，如对航空图像和卫星图像的分析、工业机器人的视觉系统、地图绘制、医学辅助诊断以及智能人机接口等。在当前阶段，立体视觉正在向完整化、智能化、动态立体视觉方向开展15。与人类自身的视觉系统相比，立体视觉系统还处于十分不成熟的阶段，

15、面临着一 系列技术难点。如当前的图像匹配技术还不够完善，在图像失真和噪声较为严重以及 各物体之间存在大量相互遮挡的情况下，匹配图像是十分困难的，目前并没有一个通用的、稳定的匹配方法。运动目标跟踪也是计算机视觉领域的一项重要课题，融合了图像处理、人工智能、 模式识别等多个领域。目标跟踪技术在军事、工业、民用领域都有广泛的应用前景， 吸引了众多科研人员，并且已有不少研究成果，产生了各种各样的跟踪算法。比拟重 要的三类跟踪算法是光流法、基于模板的跟踪算法和基于颜色直方图的跟踪算法，但 各种跟踪算法都或多或少具有一定的局限性，如稳定性、实时性、抗干扰性等，因此运动目标跟踪领域的科研仍具有广阔的前景。2

16、 本文的内容与构造4-. z.中国科学技术大学本科生毕业论文-. z.本文通过把双目视觉系统和运动目标跟踪算法相结合，实现了用双目视觉系统进 行空间目标跟踪的程序，同样具有重要的应用价值，如机器人视觉、交通监管等。论文主要研究内容包括：(1)双摄像头标定。这是搭建双目视觉系统的核心步骤，正确的计算出单摄像头内部参数和双摄像头的外部参数，才可以计算空间目标的位置信息。(2)运动目标跟踪。即从图像序列中找到运动目标，对其质心位置进展跟踪。这是整个课题的最关键问题，我们需要实时的计算出运动目标在图像中的位置，才能够利用双目视觉原理计算目标空间坐标。目标跟踪的准确性、稳定性、实时性对整个系统的性能起关

17、键作用。(3)双目视觉三维测距与交互。这是整个工程的最后一步，我们期望到达的目标是可以实时、准确的测量出目标空间位置，并让用户自由的进展三维交互。根据这些内容的流程，可绘制工程的主要内容构造图如下，可以看出，双摄像头标定工作的情况与运动目标识别跟踪的情况直接决定了目标空间定位的准确性，因此也是本工程最为核心的两个局部。图 1. 本工程的主要内容构造图5-. z.中国科学技术大学本科生毕业论文-. z.第二章 双目视觉系统的搭建首先，我们搭建一个简易的双目视觉系统，包括搭建双摄像头装置、使用 OpenCV驱动进展图像抓取以及双摄像头的标定，下面详细介绍步骤和原理。1 双摄像头设备搭建工业上有多种

18、精度高、像素高的双摄像头，对于本课题，我们当然不会选择价格昂贵的工业级相机，而是用两个一样型号的 USB 小摄像头自己搭建了一个小型双摄像头设备，实物见下列图。其中两个摄像头型号、帧率一致，可达 30 帧/秒，底座是一个硬纸 盒，用双面胶将其粘好，然后调整好两摄像头之间的距离、角度。图 2. 双摄像头实物图接下来，我们利用 OpenCV 里面的摄像头驱动函数进展图像抓取。主要是 OpenCV2.0 里面提供的 VideoCapture 类，可以方便的从摄像头读取图像，我们从左、右抓取所需图像，为下一步摄像头标定做准备。2 摄像头标定我们希望使用双摄像机获取的二维图像重建三维空间中的物体，而空间

19、中*目标点的三维几何位置与二维图像中对应点的关系是由摄像机成像的几何模型决定的，这就要求我们进展摄像头标定，也就是求每个摄像头内外部参数以及双摄像相对位置参数的过程。作为双目视觉系统的根底性工作，标定方案的选取直接影响着后续双目视觉空间定位工作的精度。目前比拟常见的三种摄像头标定方法有 Faugeras 等提出的基于 3D 立体靶标的摄像头标定、Tsai 等提出的基于径向约束的摄像头标定以及基于消失点的摄像机参数标定。2.1 摄像头标定方法与原理一般而言，我们用摄像机得到的图像与三维空间中的物体之间存在着一种简单的线6-. z.中国科学技术大学本科生毕业论文-. z.性关系：像=M 物，这里，

20、矩阵 M 就是所谓的摄像机矩阵，它反映了世界坐标中的物体与摄像机图像坐标的关系，其中的参数就是摄像机参数。为求矩阵 M，需要我们计算从图像坐标到世界坐标中间的一个个变换矩阵，3中给出了详细介绍。但是，摄像机光学系统并不是准确地按理想化的小孔成像原理工作的，因此要考虑透镜的径向畸变与切向畸变3。摄像头的光学透镜的特性使其成像存在着径向畸变，可 由两个参数 1、 2确定；同时由于装配方面的误差，传感器与光学镜头之间并非完全平 行，因此成像存在切向畸变，可用两个参数 1、 2确定。镜头畸变模型如下列图，其中的( , )为引入畸变后的投影坐标。图 3. 镜头畸变模型，公式来源3。求解摄像机内部参数以及

21、畸变系数的过程就是单目摄像头标定。对于双摄像头，两 者之间的相对位置可用一个平移和一个旋转向量表示，求这两个向量的过程即为双目标 定。2.2 标定步骤及结果我们使用Bouguet的Matlab标定工具箱进展立体标定，标定完再将结果读入OpenCV，来进展后续的目标识别与跟踪。首先准备一个黑白格棋盘板，作为标定参照物，之后进展提取角点的工作，见下列图。图4. 提取角点步骤，图中红点为自动提取的角点按照Matlab标定工具箱的使用说明，将左右摄像头捕捉的图片一一进展提取角点后，最终计算出双摄像头的内外参数，完成标定。标定工具箱的使用说明可参考下面7-. z.中国科学技术大学本科生毕业论文-. z.

22、这个：图5. 计算摄像头外部参数8-. z.中国科学技术大学本科生毕业论文-. z.第三章 目标识别与跟踪目标识别与跟踪一直是计算机视觉研究领域的一个重要方向，它在交通监测、军事侦察、生物医学以及日常生活都有着广泛的应用。我们这里的目标跟踪是指在连续的图像中实时的识别出具有颜色特征的小目标，计算出其质心位置和大小，为了下一步计算目标空间位置的准确性，要求较高的位置准确度，同时还要保证实时性。经过调研几种常见的目标跟踪算法，我们最终选择了应用目标颜色信息的CamShift算法，并对其做了适当改良，以提高跟踪效果。下面首先介绍一些常用的目标跟踪方法的算法思想和优缺点，然后详细介绍我们采用的CamS

23、hift算法。1 几种常见目标跟踪方法简介运动目标识别与跟踪的研究中，总的来说可分为两种思路10：第一种是不依赖先验知识，直接从图像信息中寻找目标，再对运动目标进展跟踪；另一种是依赖先验知识，首先要对运动目标建模，然后在图像序列中寻找运动目标。更细致地，8将运动目标跟踪方法分为基于运动分析的方法和基于图像匹配的方法。1.1 几种基于运动分析的跟踪方法帧间差分法是通过对图像序列中相邻两帧作差分运算后，对结果图像取阈值并分割，进而获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机 移动的情况。当场景中有物体运动时，帧与帧之间便会存在出现差异，两帧相减，得 到两帧图像亮度差的绝对值，

24、将其与阈值比拟，以此分析图像序列的运动特性，确定 图像序列中有无物体运动。光流法是通过目标和背景的不同速度来检测运动目标的一种方法，在很多领域都 有重要的应用。三维空间中的目标和场景对应于二维图像平面运动时，其在二维图像 平面的投影发生运动，光流就是这种运动以图像平面亮度模式表现出来的流动。光流 不仅包含图像中目标的运动信息，而且包含了三维物理构造的丰富信息，因此可用来 确定目标的运动情况以及反映图像其它等信息。光流法根本思想是通过分析图像序列中的像素强度的时域变化和相关性，计算各 自像素位置的运动，即研究图像灰度在时间上的变化与景象中物体构造及其运动的 关系。9-. z.中国科学技术大学本科

25、生毕业论文-. z.1.2 基于图像匹配的跟踪方法按原理的不同，8将基于图像匹配的跟踪方法分为四大类：区域匹配、特征匹配、模型匹配、频率域匹配。区域匹配是指将原图像中*一图像块与实时图像中所有可能位置上的图像块进展 匹配，定义*种度量来计算图像块之间的相似性，通过计算与实时图像中个图像块与 原图像块的相似性，寻找相似性最大的位置作为目标的位置。特征匹配是通过首先提取图像的特征点、线、面或局部能量等特征，对特征进 行参数描述，然后运用所得的参数来进展匹配的一种算法。一般而言，所处理的图像 包含的特征有颜色特征、形状特征、空间位置特征、纹理特征等。模型匹配需要利用先验知识来为给目标建模，再在图像序

26、列每一帧中模型匹配跟 踪目标。由于目标在运动中会出现大小、角度、形状等方面的变化，固定的模型不容 易到达匹配精度，变形模型应运而生。变形模型又可分为参数式变形模型和自由式变 形模型。仿照通过频率分析函数的思想，频率域匹配首先将图像变换到频率域，再根据变 化系数的幅值或相位值来检测运动目标的位置。傅里叶变换是一种常见的将图像变换 到频率域的手段，经过变换可将图像中的噪声、边缘以及运动局部变换为高频分量， 而背景区域以及慢变局部则成为低频分量。1.3 几种跟踪算法的优缺点对于基于运动分析的跟踪方法，帧间差分法最简单、易于硬件实现，但是帧差法只能提取目标的边缘，且依赖帧间时间间隔，对于动态背景效果较

27、差。光流法具有较 强抗干扰性，但是其计算量大，实时性较差，而且对光照强度、光源位置的依赖较 大。对于基于图像匹配的跟踪方法，区域匹配能够获得精度较高的定位，但其计算量 大，而且能否把图像准确分割也是一个关键因素。特征匹配是一种较为常用的跟踪算 法，这里的特征是一个抽象的描述，具体的计算量和跟踪效果要从提取特征的算法以及根据特征计算相似度的算法两方面考虑。模型匹配跟踪精度高、抗干扰能力较强，但是也面临计算量大的问题，模型更新复杂时，实时性差。频率域匹配算法复杂度不高，实时性较好，容易消除噪声。2 CamShift跟踪算法及其改良根据我们对各种目标跟踪算法的分类与调研，我们选择了一种基于CamSh

28、ift算法的目标跟踪算法。CamShift算法的全称为Continuously Adaptive Mean-SHIFT，它是一10-. z.中国科学技术大学本科生毕业论文-. z.种基于目标颜色特征的跟踪方法，其根本思想是对图像序列中的所有帧做MeanShift运算，并将上一帧的搜索结果即搜索窗口的中心和大小代入作为下一帧MeanShift算法的搜索窗口的初始值，以这样的方式迭代下去。CamShift算法的两大优势是可以有效解决目标变形和遮挡问题，以及对环境亮度不是特别敏感，但它最大的问题是容易背景中一样或相似颜色的干扰。根据设备以及实际跟踪效果，我们对CamShift做出了适当改良，下面我们

29、详细介绍算法原理以及改进方法。2.1 颜色空间我们要提取的特征是目标的颜色，首先介绍两种颜色空间的概念。RGB颜色空间包含R(红)、G(绿)、B(蓝)三种根本颜色，通过三个分量的组合，表示全部颜色。它是图像处理中最常用、最根本、面向硬件的颜色空间。然而，RGB值对亮度比拟敏感，因为RGB三个分量与亮度密切相关，只要亮度改变，3个分量都会相应地改变。所 以，RGB颜色空间适合于显示系统，却不适合于图像处理。HSV颜色空间是根据颜色的直观特性建立的，它的三个分量是:色调(H)，饱和度(S)，亮度(V)。H参数表示色彩信息，即所处的光谱颜色的位置。该参数用一角度量来表示，红、绿、蓝分别纯度S为一比例

30、值，*围从0到1，它表示成所选颜色的纯度和 该颜色最大的纯度之间的比率。S=0时，只有灰度。相隔120度。互补色分别相差180度。V表示色彩的明亮程度，*围从0到1。HSV空间模型示意图如下列图6。图6.HSV空间模型因为HSV空间中把亮度(V)这一属性独立了出来，可以有效降低环境亮度变化对目标特征的影响，并且色调(H)直接影响人眼的视觉判断，因此我们选择了HSV空间来描述目标的颜色特征。11-. z.中国科学技术大学本科生毕业论文-. z.2.2 CamShift算法介绍CamShift以MeanShift(均值偏移算法)算法为核心，它的实现步骤以及原理示意图如下列图。图7. CamShif

31、t算法步骤Step 1 反向投影：(1)将图像从RGB空间转换为HSV空间。(2)对其中的H分量作直方图，通过直方图我们可以查找出H分量大小为h的概率或者像素个数。(3)将图像中每个像素的值替换为其颜色出现的概率，我们便得到了颜色概率分布图，它是一个灰度图像。Step 2 MeanShift：MeanShift算法是一种密度函数梯度估计的非参数方法，通过迭代寻优来找到概率分布的极值，从而定位目标。即根据概率密度梯度方向，先算出当 前点的偏移均值，移动该点到其偏移均值，然后以此为新的起始点，继续移动，直到满足一定的条件而终止。Step 3 CamShift：即将MeanShift算法扩展到连续的

32、图像序列。对图像序列的所有帧做MeanShift运算，并将上一帧得到的搜索窗口的大小和中心，代入作为下一帧MeanShift算法搜索窗的初始值，如此迭代下去。2.3 对CamShift算法的一些改良基于OpenCV的CamShift算法的代码我们参考了一篇博文7。针对CamShift算法的12-. z.中国科学技术大学本科生毕业论文-. z.一些缺陷，以及实验测试中出现的一些问题，我们对原始的CamShift算法做出如下几点改良。(1)参加低通滤波预处理。由于我们使用的摄像头分辨率低(640*480)、图像质量差(可看见密密麻麻的噪点)，所以要对图像进展预处理，我们采用高斯滤波函数对图像进展预

33、处理，起到了一定的降噪效果。(2)质心位置辅助判别。我们记录每一次寻找到的目标质心位置(即搜索到的目标窗口的中心点)，与下一帧搜索到的质心位置做比拟，如果距离超过*个阈值(经历所得)，则判断为目标丧失，之后缩小搜索窗口再次搜索。(3)目标尺寸判别。记录前一帧搜索到的目标窗口的宽和高，作为目标当前尺寸。与后一帧搜索到的目标窗口的宽和高进展比拟，如果发生突变则判断为目标丢失。由于目标在运动时的远近、角度在变化，因此目标窗口大小、角度发生适当变化是正常的，因此突变的判断依据也来自实验经历。(4)用户自定义参数deltah与deltas。根据背景复杂程度、环境亮度、跟踪目标材质等实际情况，我们允许用户

34、手动调节deltah与deltas两个参数，其中deltah代表色调(H)的与带跟踪目标的色调值得波动*围，deltas代表与目标饱和度(S)值的波动*围，一 般情况下，使用默认值即可，用户无需修改。2.4 跟踪算法结果展示运行程序，翻开左右摄像头，跟踪的目标为一蓝色小瓶盖，下列图展示了在各种情形下我们的跟踪算法能够正确的跟踪到目标。四幅图中，左边窗口代表左摄像头抓取的图像，右边窗口是右摄像头抓取的图像，左视图上面的两个拖动条分别用于用户调整deltah与deltas。其中图(a)为我们平移目标时的跟踪情况，图(b)展示了我们旋转瓶盖时，算法能够准确跟踪到瓶盖，搜索窗口大小乡相应改变，图(c)

35、展示了目标离开视野的过程中，算法正确搜索到了目标剩余局部，图(d)展示了目标被我们用手指遮挡时，算法能正确跟踪到目标的剩余局部。13-. z.中国科学技术大学本科生毕业论文-. z.图8. 我们的目标跟踪算法结果展示14-. z.中国科学技术大学本科生毕业论文-. z.2.5 算法性能分析我们的跟踪算法可以实时的跟踪具备颜色特征的小物体，其存在的优缺点如下。 优点：实时性好，目标可以变形、被遮挡，受环境亮度干扰较小，可手动调节参数deltah及deltas提高跟踪性能。 缺点：需要目标颜色特征鲜明，背景相似颜色对跟踪效果影响较大，见下面图9。图9 相似颜色背景干扰，由于跟踪目标小瓶与水瓶颜色相

36、近，右视图跟踪失败15-. z.中国科学技术大学本科生毕业论文第四章 空间定位与交互利用两个摄像机，同时从不同角度拍摄同一目标，获取两*存在视差的二维图像，利用上一章的目标跟踪算法我们已经得到了目标质心所在的位置，下面要做的就是三维空间点的重建，即计算目标质心的空间位置。1 双目视觉空间定位原理10. 双目视觉系统模型图10 是双目视觉系统的模型图，两个摄像机按图中方式相对放置，调整角度使得两摄像头视锥重合局部尽可能大。P 为空间内任意存在的一点，其在两个照相机成像平面上的像 点为 1 2，两照相机的光心分别为 1和 2。现道 1是左摄像头坐标系坐标原点，同时也 是世界坐标系原点，因此 2点的

37、坐标可由双目标定的参数得出。同样的根据摄像头标定所得 的数据，我们可以求得射线 1 1上的点与射线 2 2上的点，从而得到两条射线的方程。下面 就是射线求交，由于误差的存在，我们求得的两条射线有可能是异面直线，因此我们采用的 是求两条射线的公垂线段的中点作为它们的交点，由此便求得了目标质心的空间位置。 2 用户交互界面现在，我们的算法可以实时的对目标进展跟踪并且计算出目标质心的空间位置。利用这些算法，结合 OpenGL 的三维绘制功能，我们制作了一个三维交互的小软件，可以让用户通过控制运动目标，在三维空间中绘制与交互的小游戏。下面介绍软件界面以及用户交互方法。运行程序，首先出现的是左右视图界面

38、，见下列图，用户在左右视图中框选出带跟踪目标(蓝色或红色瓶盖)，然后进展简单地跟踪测试，确保目标已被正确的识别，假设因为环境光等特殊情况跟踪出现问题，用户可以在左视图手动调节 deltah 与 deltas，修改目标特征的*围。16-. z.中国科学技术大学本科生毕业论文-. z.图 11. 左右视图界面，绿色框为目标窗口下面转换到用户进展三维交互的sculptor窗口，这个窗口可以实时绘制目标位置，以及进展小游戏，下列图为按键说明。图 12. 用户按键说明用户可用W、A、S、D键控制用户的观察角度，可以帮助熟悉各坐标轴的位置。 接下来，按下O键开场绘制空间曲线，目标的初始位置位于原点，移动目

39、标，可看见一条 黄色的空间曲线，此即目标的运动轨迹，例如我们绘制一个平行四边形，效果见下列图。图 13. 用户交互示意图，用户手绘17-. z.中国科学技术大学本科生毕业论文为了增加趣味性，我们编写了一个的小游戏-穿越彩环。玩法很简单，在空间中随机位 置会出现闪烁的彩色圆环，用户通过移动瓶盖来完成穿圆环的任务。每穿过一个彩色圆环， 该圆环变为绿色，同时空间中随机位置出现下一个圆环。圆环的半径不断减小，游戏难度不 断增加，效果见下列图。图 14. 用户交互示意图，穿越圆环穿过全部圆环后，空间上方出现闪烁的You Win!，游戏完毕。图 15. 用户交互示意图，游戏完毕18-. z.中国科学技术大

40、学本科生毕业论文第五章 总结与未来工作1总结本文结合双目视觉测距原理与运动目标跟踪技术，结合 OpenCV 的图像处理以及OpenGL 的空间绘制函数，我们搭建了一个双目视觉系统，实现了对运动目标空间位置的实时跟踪，并编写了一个让用户通过三维交互进展的小游戏。本文各章主要研究内容如下：(1)双目视觉系统搭建与摄像头标定。介绍了搭建简易的双目视觉系统的方法、摄像头标定的原理、方法以及实现步骤，通过利用一*黑白棋盘标定板以及 Matlab 标定工具箱，完成了我们的双摄像头的标定。(2)运动目标跟踪。首先介绍并分析了几种常见的目标跟踪算法的根本思想，然后详细介绍了 CamShift 跟踪算法的原理及

41、实现方法，针对实验中出现的一些问题，我们对跟踪算法做出了几点改良。(3)三维空间定位与交互。利用双目视觉测距原理，我们编写了一个能够实时计算出目标空间位置的小程序，结合我们的运动目标跟踪算法，我们制作了一个能够让用户通过控制运动小物体进展三维交互，并制作了一个简单的小游戏。2 未来工作双目视觉研究领域和运动目标跟踪研究领域已经比拟成熟，有大量的算法和技术，本文 通过把双目视觉系统和目标跟踪结合起来，成功搭建了一个双目视觉系统并能够让用户进展 三维交互。但我们的程序和算法还存在很多改良的地方，由于个人时间和精力的问题，并没有对课题进展更深一步的完善。针对未来的进一步研究工作，主要有一下几点考虑：(1)在设备的使用上，本课题选用的是两个分辨率较低、图像质量较差的 USB 小摄像头，因此对左右视图中的目标跟踪性能方面有不小的影响。未来可以换用更加强大、稳定的摄