双目视觉传输系统摄像机标定与立体匹配

1、 密级： NANCHANG UNIVERSITY 学 士 学 位 论 文THESIS OF BACHELOR（2013 2017 年）题 目 双目视觉相机标定与立体匹配算法研究 学 院： 信息工程学院 系 电子系 专业班级： 卓越通信131班 学生姓名： 蒋杨婷 学号： 6102213916 指导教师： 陈其纶 职称： 讲师 起讫日期： 摘要双目视觉相机标定与立体匹配算法研究 专 业： 通信工程 学 号：6102213916学生姓名： 蒋杨婷 指导教师：陈其纶摘要本文基于双目视觉图像传输系统重点研究了摄像机标定与立体匹配两个模块。在摄像机标定中，重点阐述了三大坐标系、两种摄像机模型以及张正友平

2、面标定法，基于Matlab实现了立体标定过程并对实验结果进行了分析；在立体标定中，重点阐述了基于全局误差能量最小化立体匹配算法和基于线性生长立体匹配算法的原理，基于Matlab仿真了立体匹配算法的实现过程，并就可靠度与计算量两个指标对两种匹配算法进行了比较分析。关键词： 双目视觉，摄像机标定，立体匹配，张正友平面标定，摄像机坐标系三维重建，模板匹配IIAbstractBinocular vision image transmission system design AbstractBased on the binocular visual image transmission system,

3、this paper focuses on the camera calibration and stereo matching .In the camera calibration, this study was expounded the three coordinates, the two kinds of camera models and ilf plane calibration method, camera calibration was implemented based on Matlab and the experiment results are analyzed; In

4、 stereo calibration, this study was expounded the principle of stereo matching algorithm based the global error energy minimization and stereo matching algorithm based on linear growth, and the implementation process of the stereo matching algorithm based on Matlab, and the reliability and the amoun

5、t of calculation of two indicators of the two matching algorithms are analyzed in comparison.Keyword: Binocular vision, camera calibration, stereo matching, ilf plane calibration, the camera coordinate system of 3 d reconstruction, template matching目录目录摘要IAbstractII第一章 绪论- 1 -1.1背景及研究意义- 1 -1.2国内外研究

6、现状- 1 -1.3论文的主要工作- 2 -1.4论文的组织结构- 2 -第二章 双目视觉系统- 3 -2.1双目立体视觉系统简介- 3 -2.2双目立体视觉系统应用- 4 -2.3摄像机立体标定- 4 -2.3.1像平面坐标系、摄像机坐标系和世界坐标系- 5 -2.3.2摄像机模型- 7 -2.3.3张正友标定平面标定- 9 -2.4立体匹配- 10 -2.4.1基于全局误差能量最小化的区域匹配算法- 10 -2.4.2基于线性生长区域立体匹配算法- 11 -2.4.3从差距图生成深度图- 12 -2.5本章小结- 14 -第三章 立体标定与匹配- 14 -3.1双目摄像机标定的实现- 15

7、 -3.1.1左右两摄像机单目标定- 15 -3.1.2双目立体视觉标定- 18 -3.1.3实验结果分析- 20 -3.2立体匹配仿真结果- 20 -3.2.1基于全局误差能量最小化区域匹配算法- 20 -3.2.2基于线性生长区域匹配算法- 23 -3.3不同匹配算法差异分析- 26 -3.4本章小结- 28 -第四章 总结与展望- 28 -4.1总结- 28 -4.2展望- 29 -参考文献- 31 -致谢- 33 - 13 -第一章 绪论1.1研究背景与意义第一章 绪论随着图像处理，人工智能，计算机科学等相关学科的发展，计算机视觉的研究也得到了深入的发展1。双目视觉系统技术作为计算机视

8、觉最重要的一个分支，在军事、医学、工业等领域都有着极其重要的作用，例如3D电影，谷歌视觉眼镜、无人驾驶以及虚拟现实网上购物等技术为我们的生产生活提供了新的技术和工具，不断改变着我们的生活。因此双目视觉的研究发展对各个领域科技创新发展具有重要的价值。双目视觉系统的设计原理源自于人类的视觉感知系统，模拟人眼获取视觉范围内的物体信息。客观世界真实存在是3D的，但人眼或者摄像机获取的图像是显示场景中物体的2D信息，人类视觉系统能够通过大脑神经网络分析出空间中的物体3D信息。因此双目视觉系统最终目标是利用计算机图像处理，模式识别，人工智能等技术，对摄像机得到的图像或者图像序列进行处理，进而恢复图像中的3

9、D信息，形成具有立体感的图像。双目视觉系统2中摄像机标定的目的是求解出摄像机内外参数；立体匹配过程利用求解出的参数采用特定的算法获取图像的深度信息，还原图像的立体感。因此，双目视觉系统中的利用2D图像获取3D信息过程中，摄像机标定与立体匹配具有极其重要的地位。标定的精确度与立体匹配算法的可靠度直接影响获取深度信息的准确性，后续三维重建优劣以及最终实验结果的整体效果。1.2国内外研究现状1、国内研究现状 浙江大学完全利用透视成像原理并结合双目视觉技术设计出了机械系统。该系统可动态精准检测多自由度装置的位姿，仅需提取左右两幅图像必要的特征点，具有信息量少，速度快，无运动影响，精度高的特点3；东南大

10、学电子工程系提出了一种新双目视觉立体匹配算法。该算法基于灰度相关多峰值极小化，可非接触精密测量三维不规则物体(偏转线圈)的空间坐标4； 哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航。该系统包括一个固定在机器人顶部的摄像机和一个安装在机器人中下部可以水平旋转的摄像机，可以实现全自主足球机器人导航5；火星863计划课题“人体三维尺寸的非接触测量”，采用“双视点投影光栅三维测量”原理，通过对双摄像机获取的左右图像进行图像处理，获取人体图像上任意一点的三维坐标，从而计算出服装设计所需的人体特征尺寸6。2、国外研究现状日本冈山大学研制了视觉反馈系统，该系统使用立体显微镜和双目摄像机控制微操作

11、器对细胞进行操作，进行基因注射和微装配等微操作7；麻省理工学院计算机系统提出了一种新的传感器融合方式，并将其运用于智能交通上，该方法采用雷达系统和双目立体视觉得到目标深度信息，再结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割8；华盛顿大学与微软公司合作研制了宽基线立体视觉系统9。1.3论文的主要工作本文重点围绕双目立体视觉系统技术进行探究，其中重点阐述摄像机标定与立体匹配两个重要模块。本文通过摄像机的线性模型与非线性模型探讨出了摄像机内外参数的理论求解公式，叙述了张正友平面标定法10 基本原理，提出了基于全局误差能量最小立体匹配算法11和基于线性生长立体匹配算法12两种

12、匹配算法。并且均基于Matlab进行实验，对实验结果进行了探究，对两种算法进行了利弊分析。1.4论文的组织结构第一章：绪论。主要阐述双目视觉系统的研究背景与意义以及国内外研究发展现状。第二章：双目视觉系统。简单介绍双目视觉系统及其应用，重点探究了摄像机标定与立体匹配两个模块的理论知识。第三章：立体标定与匹配。基于Matlab叙述立体标定和匹配的仿真过程，并对实验结果进行分析。第四章：总结与展望。对论文内容进行总结，对今后工作进行展望。第二章 双目视觉系统第二章 双目视觉系统2.1双目立体视觉系统简介立体视觉系统设计原理仿照人类双眼工作原理：两台平行的摄像机模拟双眼；计算机图像处理相当于人脑神经

13、系统。双眼所形成的图像信息是具有差异性的，这种图像信息的差异性通过大脑神经系统进行分析匹配，得到图像的深度信息13。随着人们生产生活与科技的发展，利用立体视觉的原理设计出了双目视觉系统，让计算机分析得出2D图像中的立体信息，即获取图像的深度信息。如图2-1是双目平行摄像机成像示意图，点和点分别是左右摄像机的成像焦点，即左右摄像机坐标系的原点；空间任意点投影在左右两图像上的点是和，立体匹配算法找出与点和之间的关系。图2-2 双目平行摄像机成像示意图由投影原理的性质，有： (2-1) 则 (2-2) 其中，为左右摄像机的焦距，表示为两平行双目摄像机的距离。在这里，点以为坐标中心，左摄像头成像坐标系

14、为坐标系；由（2-2）式表示的是左右两图像的投影点与空间中点之间的关系。2.2双目立体视觉系统应用一个完整的双目立体视觉系统通常可划分为以下五个模块14：(1)获取图像 模拟双目的方式，两台平行的摄像机对同一场景进行拍摄，从而获取左右眼图像。(2)摄像机标定 通过选取图像特征点，建立摄像机的几何成像模型，得出摄像机内外参数。(3)立体匹配，通过左右两图像的视觉差获取图像深度图，为三维重建提供立体模型。(4)三维重建 通过图像的立体模型，恢复图像的立体感，获取场景立体信息。本文研究重点在立体标定与立体匹配。2.3摄像机立体标定双目视觉系统最终目标是获取图像场景的立体信息。由摄像机投影原理我们可知

15、，摄像机拍摄到的图像与图像场景的立体信息存在某种关系。这某种关系与摄像机的内外参数有关，求解这些参数的过程即是摄像机标定。因此，摄像机标定在双目视觉系统中具有重要的地位：标定结果的精度直接影响到后续工作的可靠度。以下我们对摄像机标定相关理论知识进行探究。2.3.1像平面坐标系、摄像机坐标系和世界坐标系 由图形学知识我们可知，摄像机采集的图像在计算机内表示为数组：表示图像中像素的行数与列数；数组值表示各个像素点的亮度值。如图(2-2)，定义直角坐标系为图像坐标系，表示某一像素点的图像坐标。由于只是表示某一像素的图像坐标，而不是数学意义上的点坐标，因此需要将以像素为单位的像平面坐标系转换成以毫米为

16、单位的像平面坐标系。该坐标系可表示为如图2.3所示。图2-2 图像坐标系与像平面坐标系一般图像中心点表示为像平面坐标系中的原点，而一般图像左上角点表示为图像坐标系中的原点，任意点在两种坐标系中的关系如下： (2-3)其中，分别表示点在图像坐标系与像平面坐标系中的坐标，分别表示图像坐标系与像平面坐标系原点坐标；分别表示每一个像素在与方向上的物理尺寸，上式表示为齐次坐标与矩阵形式： (2-4)如图2-2双目视觉系统成像示意图可知，在摄像机坐标系中：摄像机光轴与图像平面的交点为原点，与像平面坐标系平行。三大坐标系如图2-3所示， 为世界坐标系，为世界坐标系原点； 为像平面坐标系，为像平面坐标系原点。

17、表示摄像机坐标系，为摄像机光心即摄像机坐标系原点；为摄像机焦距。图2-3 三大坐标系（像平面坐标系，摄像机坐标系，世界坐标系）其中，世界坐标系与摄像机坐标系的关系表示为： (2-5） 其中， 表示正交单位旋转矩阵；t表示三维平移向量； 为矩阵15。2.3.2摄像机模型1、线性摄像机模型(针孔成像模型)由图2.2可知针孔成像模型中成像系统没有任何畸变，空间任何一点在图像中的投影位置表示为，是摄像机光心点与点的连线在图像平面的交点。由投影比例关系有如下关系式（以左摄像机成像为例）： (2-6)其中，为空间点左摄像机成像点坐标；为空间点的摄像机坐标表示形式。上述透视投影关系为： (2-7)其中，表示

18、比例因子，表示透视投影矩阵16。将公式(2-4)，(2-5)代入上式得出空间中与其投影点的关系 (2-8)其中，分别称为轴上归一化焦距；为投影矩阵；参数决定，称为摄像机内部参数；称为摄像机外部参数。摄像机标定过程即是确定某一摄像机的内外参数的过程。 由上式可得出求出某空间点的空间坐标方程， 但是事实上，由于是不可逆矩阵，即使已知摄像机的内外参数和图像点的位置时，消去只可得到关于的两个线性方程，由这两个线性方程只能确定点位于射线上。因此，只由线性模型无法确定空间点的位置坐标。2、非线性模型 非线性模型在线性模型的基础上考虑到实际中的畸变。假设在实际成像过程中产生了畸变，新的成像点坐标为，表示为1

19、7： (2-9)其中，是非线性畸变值，与成像点在图像中的位置有关。理论上非线性畸变可分为径向畸变和切向畸变。但一般来讲切向畸变比较小，可忽略不计。因此，非线性畸变可用径向畸变的修正量表示，公式如下： (2-10)其中，；参数与非线性畸变参数和统称为非线性摄像机模型的内部参数18。由此，摄像机非线性模型通过内部参数可以得出空间任意一点的空间坐标。2.3.3张正友平面标定算法数学原理图2-4 张正友平面标定示意图在这里假定模板平面中任意点坐标为，公式(2-8)可表示为： (2-11)其中， 和分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量； (2-12)根据旋转矩阵的性质，即和，每幅图像对

20、内参数矩阵的基本约束： (2-13)由上式可得摄像机有5个未知内参数，所以当图像对足够多时，就可以解线性方程求出唯一解。算法步骤如图图2-5 算法流程图首先，用双目摄像机从不同角度拍摄若干张图像对；然后进行图像特征点提取，并求出摄像机的内外参数和畸变系数，最后对标定后的参数进行优化求精19。至此，摄像机标定过程完成。2.4立体匹配立体匹配作为双目视觉系统最重要也是最关键的一步，立体匹配的优劣直接影响到后面进行三维重建的好坏20。在现实场景中，同一时间不同视点拍摄出的图片受到光照，噪声等干扰因素的影响，会产生很大的不同，从而导致增加了获取高精度的匹配效果困难性。本文研究内容是基于区域立体匹配算法

21、，通过两种不同的算法思路实现，分别为：基于全局误差能量最小化和基于线性区域生长21。两种方式原理如下：2.4.1基于全局误差能量最小化的区域匹配算法在此算法中，我们利用模板匹配技术来得到图像中每个像素点的误差能量值，图像中所有像素的误差能量值便构成一个误差能量矩阵。若双目摄像机获取的是彩色图像则为三维矩阵，若为灰度图像则为二维矩阵。本研究所采用图像为彩色图像，因此我们用分别用，表示Matlab通过imread函数读取左右图像的RGB值，其中，c取值为1，2，3分别表示R，G，B维度的值。当模板取值大小为的窗口，误差能量值可下式求得： (2-14) 其中，是由图像每个像素的误差能量值组成的误差能

22、量矩阵；表示视差值。首先预定一个视差搜索范围，再将每个像素的误差能量值通过多次均值滤波器进行处理得到平均误差能量矩阵；均值滤波器可以消除像素点之间RGB差值骤变导致的匹配误差。并且通过均值滤波器还可以得到误差能量整体变化趋势。因此，该算法也可以称为全局匹配算法。用大小的窗口进行匹配时，平均误差能量矩阵可由下面公式表示： (2-15) 对每个差值进行反复的均值滤波器后，我们可以选取中最小的误差2能量值作为像素点误差值，因此这表示左右图像结果立体匹配后的图像视差矩阵。算法步骤如下：步骤1：在视差搜索范围内计算得出误差能量矩阵。(图2-6)步骤2：在视差搜索范围内对每一个视差矩阵进行多次平均滤波 (

23、图2-7)步骤3：在矩阵中为每一个像素找到最小视差量，将最小视差每个像素处的视差值定义为视差图像。(图2-7)图2-6 计算能量矩阵原理图 (a) (b)图2-7 算深度图示意图 (a)通过均值滤波器(b)最小值搜索2.4.2基于线性生长区域立体匹配算法基于线性生长的立体匹配算法分为两个部分：寻找基点发展区域和按照预定的规则进行区域生长。我们的规则是利用公式(1)点与临近点的误差能量值，当误差能量值大于我们预先设计的阈值时，则重新找基点；当小于预先设计的阈值时，则进行区域生长。事实上，更准确的说该算法叫做视差值生长。在实际运算中为减少运算量，我们限定生长方向为线性水平方向。算法步骤如下：步骤1

24、(根点选择)：在图像中选取一个不属于任何生长区域的点并利用能量函数(式1)求取该点视差，将该点作为基点并作为区域视差初值，进行步骤2。若找不到任何一点比小则重复该步骤。步骤2（区域生长）：计算基点的紧邻点的视差值，如果等于或小于初值，则将该点定义为区域点。否则将其定义为闲置点步骤3：重复步骤2对图像的所有点进行计算，直到图像中所有的点都被计算过，算法停止。所有的区域点组成的区域构成视差图。图2-8 生长匹配算法示意图2.4.3从差距图生成深度图左右两图像深度和视差关系可由立体投影示意图(2-9)表示，利用基本几何计算可以得出深度和差异之间的关系如下： (2-16)图像中像素点投影在物体表面的真

25、实位置的空间立体坐标，按以下公式可用于计算后计算深度。 (2-17)图2-9 立体投影示意为了获得更平滑的深度图，可在在计算深度之前使用窗口大小的中值滤波过滤不可靠的视差。通过设置平均误差阈值来消除不可靠误差估计我们通过视差图的平均误差值来定义获得的视差图的可靠度。 它可以表示为如下公式： (2-18)视差图的误差值可以如下表示： (2-19)视差图包含一些不可靠的差异估计在对象边界周围大部分是由于图像中的物体遮蔽。 这些可以通过观察中的高误差值来删除不可靠的差异。 为了增加获得的视差图的可靠性，如(2-20)描述的简单的阈值机制，可以在得到过程中过滤一些不可靠的差异估计。 (2-20)通过过

26、滤一些不可靠的差异，将比的误差能量估计更加精准。 在方程(2-20)中将差异设定为是指“无估计”状态在计算中排除具有状态的值。方程(2-18)中参数表示不是的误差值的点数。是的误差值。是用于决定视差估计的误差值是不可靠的。 为了自动确定，我们使用以下公式： (2-21)在等式(2-18)中，是容忍公差系数，用于调整滤波的可靠性。 减少导致更可靠。然而，减少会由于消除了更多的差距点而削弱视差图。- 27 -2.5本章小结在本章中，首先，对双目立体视觉系统就行了简单介绍。其次，叙述了三大坐标系和两种摄像机模型，并推导出了双目视觉系统中的摄像机标定原理。最后，叙述基于全局误差能量最小化和基于线性生长

27、两种区域匹配算法。总之，本章是对摄像机标定以及立体匹配过程进行了理论研究，下一章的实验打下基础。第三章 立体标定与匹配在本章实验中的摄像机标定与立体匹配过程中均基于Matlab进行实验仿真。摄像机标定原理是基于张正友棋盘标定发利用Matlab标定工具箱完成的，实验14张图片是采用双目摄像机从不同角度进行拍摄的，首先，摄像机内参数是固定不变的，因此在对内参数标定后，利用已知的内参数实现对摄像机外参数的标定，至此，摄像机标定过程完成。立体匹配利用Matlab对基于全局误差能量最小化立体匹配算法和基于线性生长立体匹配算法进行编程，对双目摄像机拍摄的左右图像进行立体匹配，进而求出空间中物体深度信息。3

28、.1双目摄像机标定的实现3.1.1左右两摄像机单目标定以下以实现左图像标定为例，步骤如下：1、下载Matlab标定工具箱22加载到Matlab工作目录中，从middlebury23网站下载标定图片，左右摄像机拍摄的图片分别为14张，大小均为， 100mm为边长的黑白棋盘格标图，如图3-1所示：图3-1 ，20mm为边长的棋盘格标定图像2、运行calib_gui指令，按照工具箱的指令手动对每一幅靶标图像选定靶标区域，然后提取角点。鼠标点击设定棋盘格靶标的选定区域时，选取区域四边与棋盘格靶标的网格线重合，重合度决定角点提取结果的准确度，正确选取结果如图3-2所示，误选如图3-3所示： 图3-2 合

29、适的靶标选定区域与角点提取结果，(a) 靶标选定区域，(b) 角点提取结果如(a)图所示标出了待提取角点的区域，图(b)标出了角点提取区域中提取出的角点。如图3-2中所示，图(a)中的角点与十字标记位置有所偏差，但在十字标记位置附近；图(b)中每个角点均在角点提取窗口区域。表示正确选取了靶标区域。图3-4 错误的靶标选定区域与角点提取结果，(a) 靶标选定区域，(b) 角点提取结果如图3-4(a)所示角点与十字标记位置存在明显偏差，甚至个别角点远离十字标记；图(b)中很多角点在角点提取区域窗口之外。说明错误选取了靶标区域，不符合实验要求。3、 内参数标定对每一幅靶标图像正确提取角点后，在标定工

30、具箱操作面板点击“Calibration”键，完成摄像机的内参数标定以及标定优化： 其中， fc表示焦距；cc表示为光轴主点坐标，单位为像素23；alpha_c是图像坐标系的y轴与摄像机坐标系Yc轴实际夹角，单位为弧度；angle of pixel axes为对应于图像坐标u、v的摄像机的x、y轴之间的夹角，默认值为90； kc为畸变系数；err为误差的标准方差，单位为像素。1）显示摄像机与标定靶标之间的关系，如图3-5所示：图3-5 摄像机坐标系与靶标之间的关系 (a) 摄像机固定，(b) 靶标固定图(a)为假设摄像机固定时摄像机与靶标之间的关系，图(b)为假设靶标固定时摄像机与靶标之间的关

31、系。2）所有角点反投影到图像空间的图像坐标误差，如图3-6所示：图3-6 反投影到图像空间的角点图像坐标误差图像坐标误差的标准方差为：4、图像畸变校正完成内参数标定后，在标定工具箱操作面板点击“Undistort image”键：对读入的所有靶标图像进行消畸处理，生成的消除畸变后的图像。原始图像和消除畸变后的图像：图3-8 原始图像和校正后图像，(a) 原始图像 (b) 消除畸变后的图像5、外参数标定完成摄像机的内参数标定后，点击“Comp. Extrinsic”键，进行靶标相对于摄像机的外参数标定，结果如下：其中，Tc_ext表示位移向量，单位为mm；omc_ext表示旋转向量；Rc_ext

32、表示旋转矩阵； 3.1.2双目立体视觉标定左摄像机内参数的标定结果保存为Calib_Results_left.mat，右摄像机的标定结果保存为Calib_Results_right.mat。运行stereo_gui指令，进行双目立体标定程序，依次导入左、右摄像机的标定结果文件，实验结果如下26：其中， om，T分别表示为左摄像机相对于右摄像机的姿态矩阵与位移向量24。点击“Run stereo calibration”键，计算并输出左、右摄像机的内参数和优化后的内参数。输出结果：点击“Show Extrinsics of stereo rig”键，实验结果如图3-9所示：图3-9 靶标相对于摄

33、像机的位姿该图显示是14张棋盘图相对于双目摄像机的位姿三维图。3.1.3实验结果分析Matlab摄像机标定工具是基于张正友平面标定法原理设计的，张正友平面标定法的原理与流程在本文中的第二章有所叙述。此处，我们针对该算法以及实验结果进行分析：张正友的平面标定方法比传统标定方法设备要求低，操作简单，又较自标定方法精度高，符合家用，办公用的桌面视觉系统(DVS)的标定要求。但是基于Matlab实现张正友标定法需要手动进行特征点标靶区域选取，手动选取的不确定性会给实验结果带来误差。3.2立体匹配仿真结果采用高清双目摄像机拍摄一组左右图像，并分别用两种算法进行匹配，实验图片以及其对应的实物轮廓图片如图3

34、-10所示图3-10 彩色立体左右图像对以及实物轮廓图 图中上面一组图片显示是左右摄像机拍摄的左右彩色实物图像，下面一组图片显示的是左右实物图像中物体轮廓图3.2.1基于全局误差能量最小化区域匹配算法我们分别取窗口大小为的模板进行立体匹配，实验结果如下：1、参数取值为，其中表示窗口大小，表示能量误差阈值，表示摄像机焦距， 表示两摄像机距离， 表示容忍误差系数；窗口大小为时模块匹配又称为点匹配，实验结果如下：图3-11 模块为视差图图3-12 模块为深度图其中可靠视差图是全局视差图去除了“无估计”点(即误差值大于阈值的点)的视差图，比较两图可以发现，可靠视差图较比全局误差视图陡变区域更缓和；经过

35、中值滤波后的视差图较平滑；误差能量可以大致显示出物体边缘轮廓；深度图显示的是左右两图像中空间物体的视觉差。2、参数取值为，窗口大小为时模块匹配又称为行匹配，实验结果如下：图3-12 模块为视差图图3-13 模块为深度图3）参数取值为，实验结果如下：图3-14 模块为视差图图3-15 模块为深度图3.2.2基于线性生长区域匹配算法1）参数分别为时，其中，表示误差阈值。实验结果如下图3-15 模块为视差图图3-16 模块为深度图点匹配状态图中，棕色代表闲置点，黄色代表基点，蓝色代表区域点。2）仅改变阈值，其他参数不变，实验结果如下：图3-17 模块为视差图图3-18 模块为深度图3）仅改变 ，其他

36、参数不变，实验结果如下：图3-19 模块为视差图图3-20 模块为深度图3.3不同匹配算法差异分析1、基于全局误差能量最小化区域匹配算法本实验采取窗口大小为进行匹配，实验结果如3-21所示图3-21 (a)窗口大小与可靠度关系图 (b)滤波前后可靠度关系图 (c)窗口大小与计算量关系图图3-21 (a)(b)分别表示的实验采取5种窗口大小时可靠度与计算量大小的柱形图 (c)滤波前后可靠度大小的柱形图。实验结果表明：1)当匹配窗口较小时基于全局误差能量最小化算法的可靠度较大、计算量较小；2）滤波可使得算法的可靠度大大的提高算法的可考率。- 27 -第四章 总结与展望2、基于线性生长区域匹配算法图

37、3-22 (a)误差阈值与可靠度关系图 (b)滤波前后可靠度对比图 (c)误差阈值与计算量关系图图3-22(a)(b)分别表示的实验改变阈值值时算法可靠度与计算量大小的柱形图 (c)滤波前后可靠度大小的柱形图。实验结果表明：1）在误差阈值较小时，算法的可靠度随着误差阈值的增大而增加；误差阈值较大时，阈值越大时可靠度不再变化趋于一定值；2）整体来说，算法的计算量随着误差阈值的增大而减小；3）滤波能够大大增大算法的可靠度3、两种算法比较图3-23 (a)两算法可靠度比较图 (b)两算法计算量对比图图3-23(a)(b)分别表示滤波前后两种算法可靠度和计算量大小的柱形图。实验结果表明：两种算法基于全

38、局误差能量最小化算法的算法可靠度比基于线性生长区域算法要高，但是计算量也高。3.4本章小结 本章分别对摄像机标定和立体匹配的实现过程做了详解叙述，得出了实验结果，并对实验结果进行了分析。第四章 总结与展望近年来，计算机视觉技术发展迅速，研究领域逐渐从2D向3D转换。双目视觉作为计算机视觉中的一个重要分支28，为该转化提供了理论基础。其中摄像机标定与立体匹配技术是双目视觉系统最为重要的环节，研究其实现方式及匹配效率与精度等问题对双目视觉系统的发展有着极其重要的意义。 本文在搭建双目视觉系统采集模块完成的基础上，对双目视觉系统三大坐标、摄像机两种模型和立体匹配两种区域算法进行了理论研究，并基于Ma

39、tlab对摄像机标定与立体匹配算法进行软件仿真。 本文通过对两种匹配算法进行分析后得出结论：基于全局最小化匹配算法在可靠度和计算量上均优于基于线性生长立体匹配算法；两种算法通过滤波均能够大大增加算法的可靠度。4.1总结本文主要研究内容是双目视觉系统中的摄像机标定与立体匹配两大模块，完成以下内容：1、简要叙述了双目立体视觉系统的研究背景和意义以及国内外发展现状。文章重点叙述了双目立体视觉系统中的摄像机标定和立体匹配两大模块，包括理论知识以及实验过程。2、利用middlebury网站提供的标图基于Matlab对摄像机进行标定，再利用实验采集的图片进行立体匹配，为双目视觉系统的三维重建建立基础。3、

40、在摄像机标定过程中，我们详细阐述了世界坐标系，像平面坐标系以及摄像机三大坐标系、线性与非线性摄像机两种模型以及张正友平面标定原理与步骤。4、在立体匹配过程中，首先详细阐述了基于全局误差能量最小化匹配与基于线性生长立体匹配算法的基本原理，并基于Matlab实现了算法，得出了试验结果。5、通过综合分析得出不同匹配算法在可靠率、计算量以及均值滤波效果的结论：基于全局误差能量最小化匹配算法的可靠率明显高于基于线性生长立体匹配算法；基于全局误差能量最小化匹配算法的模板窗口较小可靠率较大，计算量较小；基于线性生长立体匹配算法误差阈值越大可靠度越大，计算量越小；算法结果进行均值滤波会大大增加算法的可靠率。4

41、.2展望在计算机视觉领域中，双目视觉技术的研究的热度一直居高不退的，至今为止双目视觉系统有着越来越重要的地位，也逐渐运用于我们生产生活中的各个领域。本文研究内容主要在双目视觉系统中的摄像机标定与立体匹配这两个模块，但是由于时间仓促导致本毕业设计存在着一定的不足，我将在今后继续关注这个领域的研究与发展，我将从以下几个方面对双目视觉技术的研究继续充实：1、在摄像机标定中，采用了工具箱中的模板网格图，应该自己制作高清的网格模板图片集进行实验仿真。2、在立体匹配算法研究中，匹配算法基础简单，可以尝试在现有的算法基础上进行算法改进与优化，提高算法的精度和效率；3、本文中摄像机标定与匹配算法均依赖于Mat

42、lab实现的，对底层实现研究较少，可以尝试通过研究底层实现获得更多的知识支持，对双目视觉系统进行更深入的探究；4、在本实验中后续工作可以增加采集的图片对，因为图像采集的光线和角度会影响实验结果。若光线较暗淡或图像与摄像头距离较近时会降低算法精度，因此可以增加实验原料，再就光线角度等指标进行筛选，提高算法精度。5、本设计采集的图片由于资源限制的问题，采集的图片中物体特征量少，图片色彩单一，导致匹配算法效果不明显。6、可以采取图片增强技术对原始图片进行图像预处理。- 33 -参考文献1 赵笑可. 基于全局能量最小化的立体匹配算法研究D. 南京理工大学, 2008.2 陈林. 面向双目立体视觉图像的

43、匹配技术D. 上海交通大学, 2013.3 刘俸材, 谢明红, 王伟. 双目视觉的立体标定方法J. 计算机工程与设计, 2011, 32(4):1508-1512.4 王明明.铁路大机与线路固定设施间距检测算法研究D.西南交通大学, 2015.5 李宁. 基于立体视觉的三维尺寸测量系统研制D. 合肥工业大学, 2013.6 冯成义. 模拟目视实现空间定位系统的研究和应用D. 吉林大学, 2007.7 隋婧, 金伟其. 双目立体视觉技术的实现及其进展J. 电子技术应用, 2004, 30(10):4-6.8 吴勇. 基于立体视觉的机器人图像动态检测系统D. 东华大学, 2009.9 黄涛. 基于图像立体匹配的三维重建D. 广西师范大学, 2008.10ZhangZ.AflexiblenewtechniqueforcameracalibrationJ.IEEETransactionsonPatter