双目立体视觉中的三维重建毕业设计论文.doc

双目立体视觉中的三维重建西安邮电大学 毕 业 设 计（论 文）题 目：双目立体视觉中的三维重建 诚信声明书 本人声明：我将提交的毕业论文双目立体视觉中的三维重建是我在指导教师指导下独立研究、写作的成果，论文中所引用他人的无论以何种方式发布的文字、研究成果，均在论文中加以说明：有关教师、同学和其他人员对本文的写作、修订提出过并为我再论文中加以采纳的意见、建议，均已在我的致谢中加以说明并深致谢意。 论文作者 时间： 2012年 6 月 7 日 指导教师已阅 时间： 年 月 日西 安 邮 电 大 学毕业设计(论文)任务书 学生姓名指导教师职称讲师院别自动化学院专业测控0802题目双目立体视觉中的三维重建 任务与要求 本题目要求在搭建双目立体视觉平台的基础上，通过opengl和matlab联合编程实现三维重建功能。具体任务分解如下：1查找文献，学习和掌握三维重建方法； 2完成三维重建的matlab编程，并对实验数据进行相关分析； 3通过opengl，实例编程实现三维重建； 4通过opengl和matlab联合编程，完成三维重建；开始日期2011年12月10日完成日期2012年6月25日院长(签字)2012年12月日西 安 邮 电 大 学毕 业 设 计 (论文) 工 作 计 划 学生姓名_ _指导教师_ _职称_讲师_院别_自动化学院_专业_测控0802_题目_ 双目立体视觉中的三维重建 工作进程起 止 时 间工 作 内 容12月10日-12月31日 查阅相关资料，熟悉题目要求， 学习和掌握三维重建。1月1日-2月26日 搭建双目立体视觉平台，在此基础上实现三维重建功能。2月27日-3月9日 学习和掌握基于opengl的三维重建3月10日-5月15日 通过实例编程实现基于opengl的三维重建。5月15日-6月9 日 完成实验数据的数学分析和总结。6月10日6月25日 撰写毕业论文，准备答辩。主要参考书目（资料）1 richard hartley, andrew zisseran著，韦穗，杨尚骏, 章权兵，等译.计算机视觉中的多视图几何m.合肥：安徽大学出版社,2002.2 张广军.机器视觉m. 北京：科学出版社,2005.3 吴福朝.计算机视觉中的数学方法m.北京:科学出版社,2008.4 李玲.基于双目立体视觉的计算机三维重建方法研究.d.武汉大学,2005.主要参考书目(资料)主要仪器设备及材料1. pc计算机一台2. 局域网网络环境3. opengl和matlab语言开发环境。论文(设计)过程中教师的指导安排1. 每周定时交流和集中答疑；2. 有问题及时e-mail联络；3. 定期解答讨论群的提问。对计划的说明西安邮电大学毕业设计(论文)开题报告 自动化 学院 测控技术与仪器 专业 2008 级 02 班课题名称： 双目立体视觉中的三维重建学生姓名： 学号： 06082042 指导教师： 报告日期： 2012年3月18日 1. 本课题所涉及的问题及应用现状综述1.1涉及的问题 双目立体视觉方法采用两台摄像机模拟人类双眼处理景物的方式，从两个视点观察同一场景，获得不同视角下的一对图像，然后通过左右图像间的匹配点，恢复出场景中目标物体的几何形状和位置等三维信息。该项技术在机器人视觉、车辆自主驾驶、多自由度机械装置控制、非接触自动在线检测等领域均具有很大的应用价值。 三维重建一直是计算机视觉的重要研究领域之一。近年来，三维重建技术的研究取得了巨大的进步，新技术新方法不断涌现。常用的三维重建方法主要有运动图像序列法、光度立体学方法、纹理恢复形状法和立体视觉方法等。各种三维重建方法的理论基础不同，在精度、尺寸以及系统价位等方面存在一定的差异，因此适用的应用领域也不尽相同。立体视觉法由于不需要人为的设置辐射源，只利用场景在自然光照条件下的二维图像来重建物体的三维信息，具有适应性强、实现手段灵活、造价低的优点，是目前研究最多、应用最广泛的技术之一。 1.2应用现状综述 1.2.1 国外研究现状 国外对立体视觉的研究起步较早，发展速度快，应用面广。立体视觉的先决条件是要解决两幅图像匹配基元之间的对应关系即立体匹配，然后由三角测量原理求得景物的深度信息。根据约束方式的不同，m. z. brown把匹配算法分为两种，一种是对像素周围小区域进行约束的局部匹配方法，如灰度匹配法、特征匹配法、相位匹配法等;另一种是对扫描线甚至整个图像行约束的全局匹配方法。比较而言，特征匹配具有定位准确、稳定性强、匹配速度快等优点，是目前应用广泛的匹配方法之一，其中主要包括两个子问题:特征提取和特征匹配。 1)常用的匹配特征有点特征和线特征。线特征主要是指图像边缘。haralick提出了用离散正交多项式对原始图像每一个像素的领域做最佳曲面拟合，在拟合曲面上求二阶方向导数的零交叉的方法。mary-hildretch提出的log算子边缘检测法是对原始图像用gauss函数平滑，然后检测二阶差分的过零点。canny在1986提出canny最佳边缘检测算子。点特征主要有零交叉点、角点等。2)特征匹配以灰度相似性为基础，辅以极线几何约束及其它约束进行搜索。beardsley等提取角点作为特征点，运用相关性进行匹配，将匹配的结果用奇异值分解求取了基础矩阵。m. piiu提出了一种基于奇异值分解的匹配方法，对包含特征点的gaussian-weighted距离信息的强度矩阵g进行奇异值分解，通过同维矩阵p中各个元素的值就能判断出对应的特征点是否匹配。在国外理论技术不断发展的同时，也出现了很多立体视觉系统。bhanu提出了一个用于实际三维物体形状匹配的三维景物分析系统，系统的输入为深度图像。对物体的描述是数据驱动的，可自动计算，用户不必干预，不足之处在于太依赖于多边形面产生算法的输出一致性，使用的表面数目太大，先验假定条件比较苛刻，对深度数据的获取要求甚高。pmf系统是英国用立体视觉的局部视差度量产生一个从物体2.5维简图到物体三维表面描述以至实现物体识别的实时处理方法。zisserman等完成的视觉导航系统利用了分层重建的思想，即首先对图像序列做射影重建，再将射影重建逐步提升到仿射重建和欧氏重建。另外一些系统分别应用于不同的任务场景，例如:debevec, taylor等完成了著名的建筑物重建系统facade; hy . shum等提出了一种人机交互式重建系统;faugeras等的系统利用分层重建、自标定等方法从图像序列中重建出建筑物;pollefeys等提出的物体表面自动生成系统运用可变内参数下的摄像机自标定技术等。1.2.2 国内研究现状国内在双目立体视觉的理论和算法实现方面也进行了大量的研究。asvs系统是由北方交通大学信息科学研究所研制的采用立体视觉技术进行三维数据采集、摄像机标定、物体识别与定位系统。浙江大学机械系利用透视成像原理，采用双目视觉方法实现了对多自由度机械装置的动态精确位姿检测，仅需从两幅对应图像中抽取必要的特征点的三维坐标，信息量少，处理速度快，尤其适于动态情况。与手动系统相比，被测物的运动对摄像机没有影响，且不需知道被测物的运动先验知识和限制条件，有利于提高检测精度。 中国科学院自动化研究所研究的三维重建技术，采用自动关键点匹配、双目重建、表面三角化和三维点拼接技术，经过图像对提取，图像对关键点匹配，图像关键点的重建，三角化以及数据融合生成物体完整的三维结构，在完成重建后，可以从任意视点观察物体，具有立体视觉效果。1.3 双目立体视觉研究存在的问题立体视觉虽然经过20多年的发展，但是无论从视觉生理角度，还是从实际应用角度来看，现有的立体视觉技术还处于不成熟的阶段。这不仅仅涉及到技术上的原因，也是因为人类对自身视觉机制还不十分了解，至今人类对自身的视觉系统还没有研究清楚。计算机视觉的问题本质上都是逆问题，受到物体的几何特征、材料表面性质、颜色、环境光照及摄像机参数等许多因素的影响，问题往往都是非线性的，其解不具有唯一性，而对噪声或离散量化引起的误差极其敏感，所以计算机视觉本身存在一定的病态性。 基于立体视觉的三维重建技术在一些核心算法上仍然存在有待解决的问题。立体匹配中如何选择合理的匹配特征，从而克服匹配准确性与恢复视差全面性间的矛盾;如何选择有效的匹配准则和算法结构，从而解决存在灰度失真、几何畸变、噪声干扰及遮挡景物的匹配问题;如何建立更加有效的图像表达形式和立体视觉模型，从而更充分地反映景物的本质属性，为匹配提供更多的约束信息，降低立体匹配的难度。另外，虽然许多三维重建的实施方案和数学模型在理论上是比较完善的，但在实际应用中仍然受到很多限制，比如设备精密程度高、价格昂贵、处理过程复杂等，影响了工程中的应用。因此，如何既能获得较为满意的处理结果，又能简化操作过程，是目前三维重建研究工作的一个重要内容。如何更好地利用软、硬件结合方法实现实际应用中的实时处理是目前急需解决的问题。在软件方面，通过合理的设计算法流程，减少冗余计算，使用适当的约束条件在通用平台上进行快速的立体视觉匹配。在硬件方面，利用专门的硬件实现算法加速，如数字信号处理器dsp，可重构器件fpga以及一系列的专用芯片等。参考文献 1刘篙鹤.基于双目立体视觉的安全车距测量技术研究d.武汉武汉理工大学，2008.2杜欲.用于导航的立体视觉系统d.杭州:浙江大学，2003.3邹凤娇.摄像机标定及相关技术研究d.成都:四川大学.2005.4陈西.摄像机标定与三维重建研究d.北京:北京化工大学.2007.5章毓晋.图像理解m.北京:清华大学出版社，2007.6张力，张祖勋，张剑清.walks滤波在影像匹配中的应用j武汉测绘科技大学学报，1999, 24(1):221-237.7白明，庄严，王伟.双目立体匹配算法的研究与进展j.控制与决策，2008,23(7): 722-723.8徐奕，周军，周源华.立体视觉匹配技术j.计算机工程与应用，2003. 34(9): 112-123.2.本课题需要重点研究的关键问题、解决的思路及实现预期目标的可行性分析2.1关键问题本课题需要重点研究以下3个关键问题：1）双目立体视觉平台的构建 立体视觉三维重建的基本原理是从两个视点观察同一景物，以获取在不同视角下的图像，通过三角测量原理计算图像像素间的位置偏差(即视差)来获取景物的三维信息，这一过程与人类视觉的立体感知过程是类似的。最简单的双目视觉模型是理想的平行放置的双目视觉模型。两台摄像机完全相同，按光轴互相平行，x轴互相重合、沿x轴相距b的位置放置。摄像机光轴平行于z轴，图像平面与xy平面平行，如图1所示。图1 平行双目立体视觉平行双目立体视觉获取三维信息采用的是视差测距量原理。2）三维重建方法的研究 空间直线和空间曲线也是组成空间图形的主要基元。根据空间直线射影变换前后仍是直线的性质，以此来分析空间直线与图像中的直线之间的关系。空间直线在ccd上的成像可以这样认为，空间直线与摄像机光心构成的平面与成像平面的交线，两台摄像机有两个这样的平面，这两个平面的交线就是空间直线。 空间二次曲线是空间二次曲面与平面的交线，因此二次曲线的平面曲线，在ccd上的成像可以认为是由空间二次曲线与光心组成的锥面与成像平面的交线。两台摄像机有两个这样的锥面，求这两个空间锥面的交线，就是空间曲线。通过上述算法恢复物体三维坐标后，得到的是一些散乱点，不能直观的显示出来，因此我们借用opengl来实现这些散乱数据的三维显示。3）基于opengl对三维重建的实现 在opengl中绘制出三维图形景观的基本步骤:1.根据基本图形单元建立景物模型，并且对所建立的模型进行数学描述。2.把景物模型放在三维空间中的合适的位置，并且设置视点。3.计算模型中所有物体的色彩，其中的色彩根据应用要求来确定，同时确定光照条件、纹理粘贴方式等。4.把景物模型的数学描述及其色彩信息转换至计算机屏幕上的象素，这个过程也就是光栅化。 在这些步骤的执行过程中，opengl可能执行其他的一些操作，例如自动消隐处理等,另外，景物光栅化之后被送入帧缓冲器之前还可以根据需要对像素数据进行操作。2.2解决思路在matlab 和opengl中均有二维图形的创建以及二维向三维转化的工具或函数。通过以下步骤进行1） 利用matlab 与opengl进行二维图像的合成如一个圆。2） 利用matlab 与opengl进行编程，利用matlab 与opengl所提供的函数或界面进行二维图像的三位处理尝试，并且将每次处理的结果进行记录分析，摸索处理过程，处理细节处理方法，处理要素。最后实现满意的处理结果为止。3） 总结前面的处理经验并分析处理手法为接下来的真正编程做铺垫。4） 用照相机拍摄二维平面照（如桌上的一个水杯）。5） 在前面程序的基础上进行修改，并利用前边所说的二维生成三维的一些具体成像原理进行程序的再设计。6） 调试程序，直到产生令人满意的结果分析其中曾产生的错误，经验教训，思维过程，并认真整理matlab 与opengl在使用过程中各自的优点与缺点。2.3可行性分析 以上思路是可行的，原因有以下几点：1） 该实验准备充分。实验之前，我会进行相关实验资料的调查。并且认真学习matlab 与opengl这两款软件，在编程过程中力求实验处理贴近所想，实现编程的简洁、清晰、高效、易懂以及时间复杂度空间复杂度的降低。2） 该设计过程遵守由简到难的过程，在编程过程中，由于处理物体简单，必将使程序简单有利于二维向三维整体过程的步骤的搭建，减少变成难度，并且也具体处理了一些关键性问题，还是只得到验证，有利益将来进行程序的调节。3） 该设计过程时时总结，分析出错原因，不会导致错误的积累。并且设计过程呈现阶梯式，为整个实验的完成奠定良好的基础。3.完成本课题的工作方案课题完成方案是1）（2.273.16）到图书馆或上网查找具体文献，学习了解什么是双目立体视觉,什么是三维重建。并且具体了解由二维向三维转变中所要涉及的具体问题要求和器具。最后，还要了解一下当前学术界对于三维重建的一些看法和意见等等，递交开题报告； 2）（3.164.10）查找资料并学习matlab相关软件的具体功能和使用方法，熟悉并掌握matlab编程的一些具体问题和技巧，然后结合前边对双目立体视觉与三维重建部分的了解完成三维重建的matlab编程，并对实验数据进行相关分析，然后查找资料，解决编程后具体数据于估测结果之间差距出现的原因并设法做出处理或给定解决方法； 3）（4.105.20）到图书馆或上网并学习opengl相关软件的具体功能和使用方法，熟悉并掌握opengl编程的一些具体问题和技巧，然后结合前边对双目立体视觉与三维重建部分的了解完成三维重建的opengl编程； 4）（5.206.02）通过opengl和matlab的分别编程，了解其中的差异、区别以及优势，分别利用opengl和matlab各自的优势进行联合编程，完成三维重建；4指导教师审阅意见 该同学的论文选题较为合理，专业基础扎实，课题具有一定的理论研究价值和实际研究意义，该同学对本课题的国内外研究现状较为熟悉，技术路线分析明确，工作方案比较可行，同意开题。指导教师(签字)：江祥奎 2012年 3 月 16 日 西安邮电大学毕业设计 (论文)成绩评定表学生姓名性别男学号专 业班 级测控0802班课题名称双目立体视觉中的三维重建课题类型科研题目难度较难毕业设计（论文）时间2012年3月82012年6月20日 指导教师课题任务完成情况论 文 (千字)； 设计、计算说 明书 (千字)； 图纸 (张)；其它(含附 件)：指导教师意见分项得分：开题调研论证 分； 课题质量（论文内容） 分； 创新 分；论文撰写（规范） 分； 学习态度 分； 外文翻译 分指导教师审阅成绩 指导教师(签字)： 年 月 日评阅教师意见分项得分：选题 分； 开题调研论证 分； 课题质量（论文内容） 分； 创新 分；论文撰写（规范） 分； 外文翻译 分评阅成绩： 评阅教师(签字)： 年 月 日验收小组意见分项得分：准备情况 分； 毕业设计（论文）质量 分； （操作）回答问题 分验收成绩： 验收教师(组长)(签字)： 年 月 日答辩小组意见 分项得分：准备情况 分； 陈述情况 分； 回答问题 分； 仪表 分答辩成绩 答辩小组组长(签字)： 年 月 日成绩计算方法(填写本系实用比例)指导教师成绩 20 () 评阅成绩 30 () 验收成绩 30 () 答辩成绩 20 ()学生实得成绩(百分制)指导教师成绩 评阅成绩 验收成绩 答辩成绩 总评 答辩委员会意见 毕业论文(设计)总评成绩(等级)： 系答辩委员会主任(签字)： 系(签章) 年 月 日备注西安邮电大学毕业论文(设计)成绩评定表(续表)毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作 者 签 名： 日 期： 指导教师签名： 日期： 使用授权说明本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名： 日 期： 学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名： 日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期： 年 月 日导师签名： 日期： 年 月 日指导教师评阅书指导教师评价：一、撰写（设计）过程1、学生在论文（设计）过程中的治学态度、工作精神 优 良 中 及格 不及格2、学生掌握专业知识、技能的扎实程度 优 良 中 及格 不及格3、学生综合运用所学知识和专业技能分析和解决问题的能力 优 良 中 及格 不及格4、研究方法的科学性；技术线路的可行性；设计方案的合理性 优 良 中 及格 不及格5、完成毕业论文（设计）期间的出勤情况 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）指导教师： （签名） 单位： （盖章）年 月 日评阅教师评阅书评阅教师评价：一、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格二、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）评阅教师： （签名） 单位： （盖章）年 月 日教研室（或答辩小组）及教学系意见教研室（或答辩小组）评价：一、答辩过程1、毕业论文（设计）的基本要点和见解的叙述情况 优 良 中 及格 不及格2、对答辩问题的反应、理解、表达情况 优 良 中 及格 不及格3、学生答辩过程中的精神状态 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格评定成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）教研室主任（或答辩小组组长）： （签名）年 月 日教学系意见：系主任： （签名）年 月 日摘 要本文研究了针对不同的视点对同一个场景观测的两幅图像，基于双目立体视觉，通过提取相关的特征点，对像点进行匹配，从而获取相应的基础矩阵，本文主要采用了ftt 傅里叶变换的相关理论，从而实现双目立体视觉中的三维立体重建。在论文开头，我们需要介绍一些计算机的立体视觉系统的相关理论。关于双目立体视觉中的三维重建，我们先对双目立体视觉的应用，以及国内外近几十年对双目立体视觉的研究方法，研究成果，研究理论，进行了回顾与展望。以便于我们对双目立体视觉中的三维重建的研究内容、研究方法以及研究方向可以进行充分的了解，为后续的编程，思想分析等做出相关的背景知识补充。对于双目立体视觉的基本原理，我们首先介绍了双目立体视觉，三维重建这些名词背后的意义，以及其基本理论和原理。由于该技术可以通过像点的匹配来获取相关基础矩阵，从而实现三维立体系统的重建，但是同时有关图像立体匹配的内容也是相关研究中最难以彻底清查解决的问题。并且，由于不同方法有不同的优缺点，故选取合适的方法，是该实验成败的关键性因素，不可不注意。本论文的相关图像匹配均采用的是以特征点匹配为基础，进而采用小波变换来提取图像相关突变特征点的方法来实现的。本方法与传统的采用角点匹配的方法在性能和结果上截然不同。在双目立体视觉的匹配方面，引进了一种相对其他方法比较好的特征点提取与特征点匹配的方法。首先我们采用视差的方法和区域支持的方法来求取相关的初始匹配，在候选匹配的原则下，卓有成效的提高了相关的匹配精确性，从而可以得到相关的初始匹配点对的集合。并在此基础上，利用相关的基础矩阵对匹配点对的集合不断进行优化，从而，一方面可以不断来去除误差相对较大或不合逻辑的匹配点对，另一方面我们也得到了精确且有效的相关基础矩阵。最后，我们应用matlab、opengl,以及联合编程去完成双目立体视觉中的三维重建程序实现。并且给出了相关的实验结果和分析，并对部分匹配点对进行了三维重建的分析。关键词：立体匹配；fft；matlab；opengl；特征点的提取；三维重建 abstractthis paper studies the observation of two different perspectives on the same scene image, based on binocular stereo vision, through the extraction of feature points, like point matching, in order to obtain the corresponding fundamental matrix, this paper uses a ftt fu fourier transform theory, in order to achieve three-dimensional reconstruction of binocular stereo vision.in the paper at the beginning, we need to introduce some of the theory of computer stereo vision system. three-dimensional reconstruction of the binocular stereo vision, binocular stereo vision applications, as well as domestic and foreign binocular stereo vision research in recent decades, research results, research theory and conduct retrospect and prospect. binocular stereo vision, 3d reconstruction research, research methods and research in order to fully understand, and follow-up programming, thought and analysis to make the relevant background knowledge added.the basic principles of binocular stereo vision, we first introduced the binocular stereo vision, three-dimensional reconstruction of the meaning behind these terms, as well as its basic theory and principles. because the technology can match point to obtain the underlying matrix in order to achieve the reconstruction of three-dimensional system, but at the same time related to the contents of the image matching is related research in the most difficult to completely inventory to solve the problem. and, due to different methods have different advantages and disadvantages, so select the appropriate method is the key to the success of the experiment, we should never overlook.of this paper are related to image matching is the feature point matching based on, and then using the wavelet transform to extract the feature points of image mutations. this method and the traditional corner matching method is very different in terms of performance and results. binocular stereo vision matching, the introduction of other methods in a relatively good feature point extraction and feature point matching method. first, we use the parallax method and regional support to strike the initial match, the principle of matching candidate, effectively improve the matching accuracy, which can be related to the initial matching point pairs. on this basis, the use of the basis matrix to match point pairs continue to be optimized, thus, on the one hand, can continue to remove the error or illogical match point, on the other hand we also get a precise and effective the underlying matrix.finally, we apply the matlab, opengl, and joint programming to complete the binocular stereo vision, 3d reconstruction program. and gives experimental results and analysis, and part of the match point on a three-dimensional reconstruction analysis.keywords： three-dimensional matching； fft；matlab；the opengl； feature point extraction ；three-dimensional reconstruction目 录摘 要iabstractiii第一章 三维重建的应用与发展11.1课题选择原因11.2双目立体视觉的研究价值21.3立体视觉和三维重建的国外研究现状21.4基于双目立体视觉研究存在的问题41.5论文的内容安排5第二章双目立体视觉与三维重建实现原理72.1双目立体视觉平台的构建原理72.2三维重建方法及原理92.3三维重建的计算机编程思路112.4本章总结12第三章双目立体视觉与三维重建三种编程方法及实现结果133.1基于matlab对三维重建的实现133.2基于opengl对三维重建的实现173.2.1 opengl 的特点及功能173.2.2windows 下的 opengl 编程183.3 matlab与vc+的结合方式213.4本章总结23第四章总结和展望254.1三维图像过程总结254.2 未来研究展望264.3本章总结27致 谢28参考文献29vii第一章 三维重建的应用与发展1.1课题选择原因由于我们大家生活在三维几何空间的世界中，对外界的一切感性认识最初是建立在我们对各种三维物体的几何形体与三维几何深度信息的获取上的。它们是构成我们生活中最重要的也是最基本的信息获取方式与处理内容。它们也同样是与几何处理及其显示等相关的学科相互联系的一个庞大的学科群：一方面，我们研究是从主观的实物构思到我们生成相关的模型或模拟出客观世界中显示的正向的过程，主要代表包括计算机图形学和cad ；另一方面，我们的研究可以从客观的物质世界中进行实物原始数据采集，从而最终实现实物分析和建模的完全逆向的过程，主要代表包括计算机视觉的相关方向、数字图像和视频处理的相关方形以及模式识别的相关方向等。其中的逆向过程由于它需要从二维图像信息中来求取三维图像中的相关信息，因而该方法存在着多义和多解的技术漏洞，需要我们进行除此之外的大量的智能性分析和推理过程方可避免，所以这种方法较之正向的过程其难度相对会翻番，同时它的处理过程也相对的复杂度翻番。但是，如果我们能够取得逆向的处理识别重构技术能够持续性向前发展，那么我们必将促进整个几何处理与显示以及相关学科的大学科群的质的飞跃。计算机视觉是在对影像的重构技术的基础上发展起来的，该学科具有可以进行非接触型测量，并且实施非常简单的特点，因而该学科具有相当广阔的应用前景，并且也是有待于我们进行进一步开拓的领域。（1）图像的理解技术目前发展前景十分的广阔。从二维的平面图像到三维立体环境的重建工作更是图像理解中根本不可能跳跃过去的一个台阶。从总的原则上来说，双目立体视觉的图形分析以及三维信息重建的理论和方法又可以推广至多目视觉系统中。这样便能够使我们更好的获取研究目标的一些深度的信息，以便于我们来实现三维图形的重建。（2）随着我们对相关系统的自动化的程度及其智能化的水平不断的提高，许多的实际应用系统都开始希望可以增加机器再实际环境中应用功能，来提高市场占有率。近来几十年，随着我们推动数字化技术和ccd 光电输入的不断向前进步和发展，以及数码摄像机与数码相机的在普通民众中普及，还有就是相关硬件设备等的价格的不断降低和计算机自身性能的不断升级，也为计算机视觉技术的应用与发展提供了良好的前提条件，从而使得计算机视觉的相关技术更加普及以及应用范围进一步扩大。1.2双目立体视觉的研究价值1）三维重建自始至终一直是计算机视觉的一个不可或缺的研究领域。近年来，我们对三维重建技术的研究屡屡取得重要突破，新技术和新方法此起彼伏。其中常用的三维重建的方法主要有以下几种：立体视觉的方法、光度立体学方法、运动图像序列法和纹理恢复形状法。这些三维重建的方法的理论基础均大致相同，只是在尺寸、精度以及系统价格等方面存在一些的明显差异，因此它们各自适用的应用领域也各不相同。在立体视觉法中，由于它根本不需要我们亲自来设置相关辐射源，只要在场景中又自然光照，就可以用二维图像来重建物体的三维图像，所以该方法实现手发灵活、具有适应性强以及制造价格低廉等一系列优点，是目前我们研究的最多、应用的范围最广的技术之一。 2）双目立体视觉方法主要是采用两台摄像机来模拟我们的双眼观察实物的方法。它主要是从两个不同的视点来观察同一个场景，从而获得同一个目标物在不同的观察角度下的一对图像，然后通过两张图片之间的匹配点，就可以恢复出场景中的目标物体的位置和几何形状等三维信息。该项技术在非接触自动在线检测、机器人视觉、多自由度机械装置的控制、车辆自主驾驶等领域均占有一席之地。1.3立体视觉和三维重建的国外研究现状国外对双目立体视觉的研究远远早于我国，因而发展速度也比我们快很多，对应的应用也相应的广泛。立体视觉的基本条件是通过对两幅图像进行对应的匹配基元的相互配对，也就是立体匹配，然后用三角测量的原理来最终取得景物最终的深度信息。根据它们各自约束方式的特点，m. z. brown把该匹配算法主要分为两大类，一种是其中的扫描线是对整个图像行进行约束的全方位匹配的方法，如：本征曲线法、图切法、动态规划法等；另一种则是对像素点周围的小区域进行有约束的局部匹配方法，如：相位匹配法、特征匹配法、灰度匹配法等。这两种方法相比较而言，特征匹配具有匹配速度快、稳定性好、定位精准等优点，是目前在实际应用中被广为使用的方法之一，其中他所包括的两个主要问题分别是特征的提取与特征的匹配。1)常用的匹配特征的方法有两大类：点特征与线特征。线特征主要指的是图像边缘的处理。haralick提出使用离散的正交多项式来对原始的图像中的每一个像素领域都做其对应曲面拟合求最优值，即：在拟合的曲面上求取每个点二阶方向导数的零交叉方法。canny于1986提出了canny边缘最佳检测算子法。点特征主要包括角点和零交叉点等。smith提出了其著名的susan角点检测算子法，该方法中首先对像素周围的区域进行最小化处理，之后用统计特性来最终确定该像素的属性。rosenfeld和kitchen共同提出的角点检测器利用了通过求取灰度沿边界轮廓梯度方向的最大值的性质，来进行特征匹配。nobel试图用微分几何来推算出角点检测的一些理论公式，并且还归纳出了在piessey算法下的一些检测原则。1988年stephens和harris对plessey角点检测方法进行一系列的改进，共同提出了harris算子。 2)特征匹配使以灰度得相似性为基础，同时以极线几何约束及其它约束为辅助条件来进行搜索。zisserman和pritchett等共同提出利用单位矩阵(homography)来取代传统中的极线约束和灰度相似性作为其匹配的准则，他们近似的认为那些对应匹配点对之间应该近似的满足单应矩阵的关系。beardsley等通过提取图像角点作为其特征点，通过运用相关性来进行相关匹配，最终将匹配的结果通过用奇异值分解来求取其相关基础矩阵。longquan和lhuillier等共同提出了一种基于稠密匹配的新方法，在该方法中综合