本科毕业设计(论文)基于双目立体视觉的行李规格检测

本科毕业论文基于双目立体视觉的行李规格检测学生姓名： 张国锋 专 业： 自动化 学 号： 091141168 指导教师： 刘恒力 所属学院： 航空自动化学院 二一三年六月中国民航大学本科毕业设计论文基于双目立体视觉的行李规格检测Baggage Specification Detection Based on the Binocular Vision学生姓名：张国锋专 业：自动化学 号：091141168指导教师：刘恒力学 院：航空自动化学院2013年6月中国民航大学本科毕业论文创见性声明本人声明：所呈交的毕业论文是本人在指导教师的指导下进行的工作和取得的成果，论文中所引用的他人已经发表或撰写过的研究成果，均加以特别标注并在此表示致谢。与我一同工作的同志对本论文所做的任何贡献也已在论文中作了明确的说明并表示谢意。毕业论文作者签名： 签字日期： 年 月 日本科毕业设计（论文）版权使用授权书本毕业设计（论文）作者完全了解中国民航大学有关保留、使用毕业设计（论文）的规定。特授权中国民航大学可以将毕业设计（论文）的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交毕业设计（论文）的复印件和磁盘。（保密的毕业论文在解密后适用本授权说明）毕业论文作者签名： 指导教师签名：签字日期： 年 月 日 签字日期： 年 月 日中国民航大学本科毕业论文摘 要I为实施国际航协提出的“简化商务、便捷出行”的核心计划，研发自助行李托运系统已经成为重要的解决方案。其中，行李信息的检测包括行李重量的采集、规格的检测以及行李标签的扫描。针对行李规格的自动检测问题，研究了基于双目立体视觉的检测算法，以实现自助行李托运系统中对行李的非接触检测。首先，基于自助行李托运系统特殊的硬件环境，设计了平行双目结构的行李图像采集系统，使系统能够在有限的空间内采集行李的立体图像对。设计了一种基于棋盘平面的系统标定法，获取摄像机的内外参数。其次，采用自适应最优阈值法对行李图像进行预处理并提取行李特征。设计了一种能够描述行李几何形状和轮廓的二维canny边缘检测算法。在外极线、唯一性、灰度相容性等基本约束和视差梯度附加约束条件下，设计了基于特征的区域灰度匹配方法，采用双向匹配策略，减少误匹配，提高了匹配的可靠性和稳定性。最后，考虑了双目视觉系统中空间点三维信息恢复方法，包括最小二乘法、中点法以及三角法。采用三角法并结合摄像机标定参数计算行李轮廓的三维信息。基于上述关键技术和方法，对几类行李进行检测实验，验证了本文算法的可行性和有效性，具有一定的应用价值。关键词：行李规格检测；立体视觉；特征提取；立体匹配；三维信息恢复25AbstractIn order to implement fully simplify business program put forward by IATA(international air transport association) and shorten the boarding time, researching the self-service luggage system has become an important solution. Passengers can use it to make the identification and print boarding pass and baggage tag. The system can automatically detect baggage information, and finally complete luggage checked. Among them, the baggage information detection includes baggage weight collection, specifications detection and luggage label scanning. For the luggage size automatic detection problem, a set of detection algorithm based on binocular stereo vision is proposed to realize non-contact detection on the self-service luggage system.Firstlyl, according to the hardware environment of self-service luggage system and binocular stereo vision structure model. It designs luggage image acquisition hardware system of the parallel binocular structure. At the same time, the camera imaging model and calibration method were studied, using a system calibration method based on the chessboard plane to get the camera parameters.Secondly, using the optimal threshold value method to preprocess the images. Then, in feature extraction, designing 2D canny edge detection algorithm to describe the luggage geometric shape. After that, According to basic constraints and disparity gradient additional constraint conditions, designing the regional gray matching method based on feature, and using the two-way matching strategy, reducing the error matching, It ensures the reliability and stability of the matching.Finally, researching the calculation methods of space point 3D information of the binocular vision system. According to the parallel binocular structure, using the triangular method to calculate 3d information of the baggage.Based on the technology and method mentioned above, testing the shape of different size luggage can realize the non-contact detection of baggage specifications. Key Words: Luggage Specifications Detection; Stereo Vision; Edge Feature; Stereo Matching中国民航大学本科毕业论文目 录摘 要IAbstractII第1章 绪论11.1 论文的背景意义11.2 尺寸规格检测的技术现状41.3 双目立体视觉测量的技术现状61.4 论文研究内容8第2章 基于行李图像的双目视觉测量系统设计92.1 双目立体视觉结构模型92.2 摄像机立体标定112.2.1 摄像机坐标系统112.2.2 坐标系间转换关系112.2.3 摄像机模型112.2.4 系统标定112.3 基于立体视觉的行李测量系统结构设计12第3章 行李特征提取与立体匹配算法133.1 图像预处理133.2 行李特征点提取133.2.1 边缘算子133.2.2 Canny检测法133.2.3 Harris角点检测143.3 行李立体匹配算法143.3.1 匹配约束准则143.3.2 立体匹配方法143.3.3 基于行李边缘特征的双向匹配算法153.4 本章小结15第4章 行李三维信息提取及实验164.1 行李三维信息的计算164.1.1 最小二乘法164.1.2 中点法164.1.3 三角法164.2 行李规格测量实验164.2.1 实验平台及行李图像采集174.2.2 双目视觉系统标定174.2.3 行李规格测量步骤184.2.4 实验结果及分析184.3 本章小结20第5章 结论21参考文献22致 谢24附录A：程序清单25附录B：外文翻译资料26第1章 绪论第1章 绪论1.1 论文的背景意义随着科学技术的不断发展，自动化水平的不断提高，民航运输业也在向便捷化发展。2004年11月，随着国际航协(IATA)“简化商务”战略计划的出台，各国航空公司纷纷对其传统的经营管理模式进行改进，无论是订票系统、值机系统还是行李托运系统等方面统统进行了重要的改革1。目前值机系统就已经有多种便捷的方式，而且广泛应用于全球各大机场，而行李托运服务则处于初步发展阶段。国际航协已将中国作为“简化商务”的首个全球试点地区，希望中国在实施“简化商务”方面能起到带头作用2。 自助值机服务正是很好的体现，提前在网上订票并缩短排队时间已经成为最理想的旅行方式。然而有关调查显示，大多数乘客表示行李托运问题成为他们不愿意使用自助值机服务的最大障碍，同时也是航空公司进一步发展自助值机服务的主要制约和瓶颈3。因为自助值机最早是针对无托运行李的乘客来设计的，有托运行李的乘客一般都到柜台办理。自助值机简便易行，使乘客很快获得登机牌，但又要花大量时间重新排队等待行李托运，所以直接导致了乘客体验的下降，限制了自助服务技术省时高效性能的发挥4。显然，为实现航空运输业自助化服务的目标，先决条件是妥善解决行李的自助托运服务问题。目前在国外只有极少数机场使用了行李自助托运试用系统，处在实验或起步阶段。如荷兰阿姆斯特丹机场、法国巴黎机场、新西兰奥克兰机场以及迪拜机场等5,6。在荷兰阿姆斯特丹史基浦国际机场，从2008年7月开始进行行李自助系统check in测试，乘客可扫描自己的登机牌，通过电子触摸屏进行相关的信息验证之后，就能够打印出行李标签，然后自己贴在行李上，如图1-1所示。行李标签上有一个微型的无线应答器，类似一张邮票，在几英尺外都可以识别。最后将行李放在传送带上进行托运7,8。同时，该系统还具有平滑的结构设计，如图1-2所示，生物检测功能和三维相机视觉系统。结构设计是为了使行李规则放置，便于进行行李信息的检测。视觉系统是用来存储行李图像的，并作为后续行李查找的依据9。该系统是通过激光测距仪来实现行李规格检测的。 图1-1 阿姆斯特丹机场自助行李托运系统 图1-2 行李放置结构设计在新西兰奥克兰机场已经采用了RFID无线射频识别技术。其中，新西兰航空公司已经将奥克兰机场的14个自助登机服务亭换成了30个安有RFID读写器的新亭，如图1-3所示。该系统在自动打印登机牌的同时也会随即打印出行李标签，乘客可以贴在他们携带的行李上，再把行李放在传送带上，之后进入候机室或登机门，这样不仅加速了行李托运的处理而且准确率也提高了4,5。 图1-3 奥克兰机场自助登机亭 图1-4 迪拜机场自助行李托运系统德国汉莎航空应用先进成熟的技术实现了行李的完全自助服务，并在迪拜机场T3航站楼运行该系统，如图1-4所示。乘客可以在触摸屏上扫描护照，得到登机牌，如图1-5所示，然后扫描条形码，打印行李标签，如图1-6所示，将标签贴在行李上，拖放到传送带上进行托运。 图1-5 扫描护照、登机牌 图1-6 打印行李标签2012年法国巴黎机场也投入使用了自助行李托运系统，如图1-7所示，该系统能够自动检查行李的重量，尺寸，体积和标签条码。行李从进入系统开始便会在可控的方式下进行行李处理，并将时刻跟踪4。 图1-6 法国巴黎机场自助行李托运系统 图1-8 国航自助行李托运CUSS机目前，国内的民航自助值机已十分普遍，主要包括值机柜台(KIOSK)、网上值机、手机值机等。在2010年，我国KIOSK自助值机乘客量就达到20991881人次，从2007年至2010年，KIOSK值机方式从1.8%上升至8%，而传统值机方式则从98%下降至89%。对于能使办理登机手续更加便捷的措施和方法，乘客非常欢迎。但是47%的乘客都把需要办理行李托运作为未使用自助值机服务的原因。在一定程度上，机场自助值机技术的推广取决于乘客自助办理行李托运的能力10。中国国际航空公司在参考了世界主流航空公司成功经验的基础上，于2010年4月28日在国内首家推出自助托运行李服务。其具体使用流程是：首先乘客可以在自助值机CUSS机上进行身份验证，如图1-8所示；然后值机系统将自动打印出登机牌和行李标签；乘客自行将标签贴在行李表面，最好是显著的位置，这样便于进行扫描；最后，乘客就可以将行李拿到交运柜台进行人工托运，此时工作人员会给一张行李领取的凭证，这样就完成了行李的托运。由此看来，该系统实际上不能实现完全的自助服务，但是可以给乘客另一种方式选择，这样可以提高机场运营效率，也能节约乘客时间5,8。综上所述，如果能够研发出完全自助化的行李托运系统，对全面落实国际航协提出的“简化商务”的核心计划，缩短登机时间、方便乘客出行、降低运营成本、提高民航运营水平具有极其重要的意义，必将带来的巨大社会和经济效益。自助行李托运系统，除了需要进行乘客身份确认、航班信息查询、登机牌打印外，最重要的是要完成行李信息检测和行李控制，实现行李的接收办理和拒绝操作。其中乘客身份确认、航班信息查询、登机牌打印等功能在传统值机系统中已经能够很好的完成，对于行李信息检测和行李控制部分，包括规格检测，重量采集，行李标签扫描和传输机控制等，则需要重点研究和攻关。本论文就是基于上述环境，针对行李信息检测中尺寸规格的自动检测来展开研究的。1.2 尺寸规格检测的技术现状自助行李托运系统在国外处于起步阶段，只有极少数机场在使用行李自助托运试用系统。而在国内也没有实用的自助行李托运系统，机场工作人员一般是通过目测来判别行李规格是否符合托运要求的。前阶段研制出行李自助托运系统功能样机，如图1-9所示。乘客在传统的值机系统中完成身份确认、航班信息查询、登机牌打印等功能后，就可在自助行李托运系统中对行李进行托运。该系统对于行李尺寸信息的检测是通过光电管实现的。图1-9 自助行李托运系统样机在自助行李托运系统中不需要测量行李的具体形状和尺寸，只要行李尺寸没有超过规定值就算合格，所以设计了一种基于反射式光电管的多检测门的动态尺寸检查系统。如图1-10所示：图1-10 基于反射式光电管的尺寸检测系统在该尺寸检测系统中，光电管M1和M4是用来检测行李长度的，M2是高度检测，而M3则是用来检测行李是否到达检测区。该方法简单易行，但存在以下问题：(1) 当行李放置的角度不同时，检测的结果会有误差；(2) 对于行李表面有反光的情况下，检测的结果是不准确的；(3) 没有检测到行李的宽度信息。综上所述，行李尺寸规格的自动检测尚处于初步研究阶段，需要研究一种方法，能够在自助行李托运系统里实现对行李非接触的、快速的、在线检测。目前制造业领域在尺寸检测应用广泛的是三维坐标测量机。坐标测量机是一种精密的接触式检测仪器，它主要由互相垂直的三根机械轴构成，每个方向上都有一个标尺和导轨，导轨可以使测头实现各个方向的运动，对目标物体进行准确定位11。在测量过程中，主要是通过对被测量工件的角点、线的检测，计算得到其坐标值，这样就可以根据数学方法得到该工件的几何尺寸。这种方法优点是能够实现高精度的测量，但是计算量较大，测量速度很慢。在非接触测量中，光学测量方法应用较为广泛，常被分为主动测量和被动测量两种。主动测量是指让特殊的结构光作用于物体上，再通过数学和物理的方法得到物体的三维信息；而被动测量则是指在自然光作用下，直接检测物体的几何信息12。光学测量方法，因为其具有较高的精度，常被应用于逆向工程、产品在线检测、医学方面等。随着计算机技术的快速发展，视觉测量技术已经越来越成熟了。在研究人类视觉感知景物的方法后，通过多个摄像机从不同的角度获取场景信息，再通过图像处理和视觉计算，最终恢复场景的三维信息。Marr视觉理论奠定了视觉检测技术的基础，此外也提供了视觉计算的理论方法。检测的基本过程是通过两个（多个）摄像机对空间场景进行拍摄，在二维图像中提取场景特征，进行匹配，最后恢复场景三维信息13。由于它具有非接触式、快速、准确、自动化程度高等特点，广泛应用于物体三维测量、工业检测、虚拟现实、机器人导航以及国防工业中。在公共场所内，通常会对不同身高的群体要求不同，比如在购买车票，使用景区的某些设施甚至在公共安全方面，人体身高都被作为重要的特征。Nihon大学就将立体视觉技术应用于身高的检测14。首先在入口处安装两台摄像机，然后经过图像采集、预处理、特征提取与匹配等步骤，最后利用视差原理计算出身高信息。该系统实现简单，便于操作，检测结果具有一定准确度，而且也能够满足系统实时性的要求。工业自动化和智能化正在不断提高，如果在某些领域使机器视觉代替人类视觉，那将会节约不少人力资源。韩国Po hang科技大学研究设计了一个立体视觉检测系统，将其安装在炼钢厂的起重机上，根据钢卷的结构特点，对采集的钢卷图像进行分析，计算它的位置和重心，从而为起重机提供空间信息14。视觉技术还可以应用到汽车规格的检测，如图1-11所示。英国ROVER汽车公司就利用视觉传感器实现对汽车车身的检测，通过不同的CCD摄像机组成多个测量单元，在车身的两侧对其进行图像的采集，经过分析处理后，得到车身的尺寸15。实验证明，这种视觉测量方法对于汽车的在线测量中具有较高的精度。图1-11 汽车车身视觉检测系统组成在国内，对于立体视觉测量系统的研究也越来越多。清华大学王新成提出一种算法平行多视点，可以从平行的视点序列中提取图像序列，然后计算得到深度信息。该方法的特点是运用了图像的傅里叶变换，将时域转换到频域。提高了稳定性，降低了复杂度，而且还能保证求取深度信息的实时性16。杨丽凤等人将视觉技术应用到对陶瓷片的尺寸在线测量中，利用高性能的摄像机和特殊的照明方式对目标物体进行图像采集，经过边缘检测等处理，计算出陶瓷片的尺寸信息，实验表明，测量精度可以达到0.01mm17。东南大学电子工程系在立体视觉测量的研究方面，提出了一种新的匹配方法，称其为灰度相关多峰值视差绝对值极小化，可以通过偏转线圈的三维坐标实现对不规则物体的非接触测量18。中国科学院自动化研究所主要对三维重建技术进行研究。用到的视觉技术有特征点的匹配，图像拼接以及表面三角化等。通过在多个视点观察物体，进行特征提取与匹配后，恢复物体三维信息，达到立体效果19。1.3 双目立体视觉测量的技术现状上世纪60年代开始，美国麻省理工学院的Robert将传统的平面图像分析推广到三维空间物体，这就是最早的立体视觉技术。80年代，该学院人AI实验室的Marr提出了一套视觉计算理论，成为双目立体视觉发展的基础。经过多年的研究和完善，该视觉理论现在已经成为一套成熟的立体视觉计算理论，并广泛应用于各个领域之中，比如制造业工件检测、空间物体三维测量、机器人导航、医学研究以及虚拟现实等，具有重要的作用20。通过立体视觉技术获取空间场景的三维信息是立体视觉研究的一个重要内容。目前，应用最普遍的立体视觉结构是双目结构，它其实是模仿人类视觉来获取空间物体信息。利用双目立体视觉系统测量的基本原理是通过两个不同位置的摄像机同时采集空间某一场景，根据空间同一点在两幅图像中位置的差异（视差）来计算该空间点的三维信息。一个完整的双目立体视觉系统通常分为以下几个部分，包括目标图像的采集和预处理、摄像机的标定、图像特征的提取、立体匹配、三维信息的计算等14。立体视觉测量系统中图像采集的方式有很多种，根据摄像机间的相对位置不同可以分为平行双目结构、相交光轴的双目结构以及可调节距离的双目结构。平行双目结构就是使两摄像机放置在一条直线上，并保持其光轴是平行的，它是最简单的一种几何结构，由于位置关系简单，因此便于计算空间点的三维信息。这种结构适合于视场比较大而且对测量精度要求不高的系统。相交光轴双目结构的两个摄像机交叉摆放，使其光轴相交于一点。该结构虽然没有上一种结构简单，但它匹配准确，能够实现较高精度的测量，通常应用于医学中的双目显微镜头、制造业的工件检测等。可调的双目结构指的是摄像机间的距离可以调节，这种结构一方面当距离变化时，系统就需要重新标定，计算量大；但另一方面可以根据被检测的物体大小来调节摄像机以改变视场大小，提高了测量精度和鲁棒性16。在实际获取立体图像时，应根据系统的要求和特点选择不同的结构，此外，还应综合考虑光照、摄像机性能以及被检测物体的特点等因素。摄像机的标定是立体视觉测量系统中至关重要的一步，因为它可以得到摄像机的内外参数以及空间位置关系，从而就能确定图像平面的投影点和全局坐标系下空间物体点之间的对应关系17。针孔模型是摄像机的理想模型，摄像机标定的目的就是为了得到投影矩阵，这样通过图像平面的像素点就可以计算空间物体点的三维信息。常用的标定方法有传统标定法、摄像机自标定法以及主动视觉标定法19。由摄像机采集的二维图像，需要通过图像预处理去除噪声以及不必要的信息，一般要分割出目标物体，将背景等去除，在经过形态学的处理，提高图像质量和效果。特征提取是进行立体匹配的基础，所选择的特征必须能够清晰描述被检测物的特征。迄今为止还没有一种普遍适用的特征提取算法，因为物体对象的多样性没有固定的模式。但常用的有点特征、线特征、区域特征等，其中，点特征以其能够精确定位的特点而被广泛采用20。总体来说，选取的特征要既要能正确描述空间物体的特点，又要使后续的匹配工作容易进行。立体视觉测量系统中最困难同时也是极为重要的工作就是立体匹配。以双目视觉为例，当空间一点投影在左右像平面上时，左右像点在图像平面上会存在位置的差异，即视差，然后通过三角原理计算出空间点的三维信息14。其中，立体匹配的目标就是找出空间一点在左右像平面上的投影点，即匹配点对（共轭点对）。而实际由于客观环境中的许多因素，比如摄像机畸变、噪声影响、物体的形状以及光照条件等，使得匹配的难度加大，正确度降低。立体匹配主要工作概括起来就是选择正确的匹配基元，在极线、视差等多约束条件下设计稳定的算法结构。由于每部分都不具有唯一性和确定性，所以，立体匹配的方法有很多种，需要根据系统的自身特点，设计适合本身的匹配算法，而且同时要保证匹配速度和精度，减少误匹配，并保持匹配算法的稳定性。再通过立体匹配得到共轭点对后，就可以得到视差，并根据不同的算法计算出空间点的三维信息。常用的三维信息恢复方法有最小二乘法、公垂线中点法以及三角法17。实际中，由于系统的标定误差、特征检测、匹配度等因素，也会直接影响所测量的深度信息。因此，必须保证每个部分的准确度，才能得到空间点精确的三维信息。通过上面的工作计算得到的空间物体的三维信息还是存在一些误差，需要进一步进行校正，提高系统精度，最终完成整个物体的深度信息提取。1.4 论文研究内容针对自助行李托运系统中行李尺寸规格的自动检测问题，设计研究了一种基于双目立体视觉的行李规格非接触检测算法。首先通过左右两个摄像机采集行李图像，对其进行边缘检测，提取边缘特征点，然后在外极线、视差梯度等约束条件下，进行基于特征的立体匹配，最后根据视差获取行李边缘点的三维信息。第2章 基于行李图像的双目视觉测量系统设计第2章 基于行李图像的双目视觉测量系统设计双目视觉测量系统其实是模仿人类的眼睛，在同一时间使两个摄像机从不同角度拍摄空间中的某一物体，这样两个摄像机所拍摄的空间同一点在各自像平面上的投影点的位置就会存在差异，称其为视差，然后通过三角测量原理，就可以计算两个摄像机公共视场范围内物体点的三维坐标12。双目视觉结构根据摄像机的相对位置不同而有多种方式。在实际测量系统应用中，应该根据系统的特点选择合适的双目测量结构来保证测量的精度。2.1 双目立体视觉结构模型双目立体视觉测量，即由两个CCD摄像机从不同角度同时获取被测物体图像，通过摄像机标定、特征提取、立体匹配等一系列步骤，并根据视差原理实现物体三维信息恢复的过程。双目测量模型如图2-1所示，、分别为左、右两个摄像机的光学中心位置，基线长度(与之间的距离)为，摄像机焦距为。对于空间中的一点在左、右像平面上的投影点分别为、(称、是共轭对应点)12。图2-1 双目视觉测量系统模型图2-2 视差原理成像的几何关系如图2-2所示，空间点P到直线的距离是z，和分别垂直于左右像平面，L、R为垂足，同时PH也垂直于像平面。假定，由三角几何关系可得到下式： (2-1)整理得： (2-2)对上式进行化简，可得： (2-3)代入式(2-1)中任何一个，即可计算出深度为： (2-4)其中，称为点在左右两个像平面上的视差，它表示了空间点在左右两幅图中位置的差异15。所以，由式(2.1)可以看出，空间点的深度信息与基线长度b，摄像机焦距f以及左右图像的视差d有关。其中，基线长度b和焦距f可由摄像机标定得到，而视差d则由立体匹配获得。这就是双目立体视觉的基本原理，即根据视差来恢复空间物体点的三维信息。2.2 摄像机立体标定摄像机标定是双目测量系统中重要的工作，标定的目地是得到摄像机的内部结构参数和外部参数，从而能够获得空间物体点与像平面上投影点之间的对应关系，即投影矩阵。标定的精度直接影响后面的立体匹配和深度信息计算的精度，所以应采用合适的算法进行摄像机的标定。2.2.1 摄像机坐标系统双目视觉测量系统中会用到三个坐标系统，即世界坐标系、摄像机坐标系和图像坐标系，它们都遵守右手法则，定义分别如下17：2.2.2 坐标系间转换关系世界坐标系中的一点P可以通过旋转和平移变换到摄像机坐标系中，所以变换过程可由一个旋转变换矩阵R和一个平移变换向量T来描述，R是一个正交旋转矩阵，矩阵的元素和两个坐标系沿三个轴的旋转角度有关，他们通称为摄像机的外部参数。与分别是空间某一点P在摄像机坐标系与世界坐标系下的齐次坐标，则转换关系如下14：2.2.3 摄像机模型由上节内容可知，针孔模型是摄像机最基本的模型，它忽略了外界因素，如噪声，摄像机畸变、环境等因素的影响，认为空间物体点、光心、以及在图像平面上的投影点是共线的。该模型主要由成像平面、光轴以及摄像机光心构成。在实际环境中，由于各种因素的干扰，空间点、图像点以及光心通常不在一条直线上，产生了畸变，所以还需要研究摄像机的非线性模型21。2.2.4 系统标定摄像机标定是为了建立成像模型，确定摄像机的位置和属性参数，以确定空间坐标系中物体点同它的图像点之间的对应关系。双目摄像机标定通常先采用单摄像机的标定方法，分别得到两个摄像机的内部参数(如有效焦距、主点坐标、畸变系数)，再确定两台摄像机之间的相对位置关系(如旋转矩阵和平移矢量)21。2.3 基于立体视觉的行李测量系统结构设计本系统的设计目标是实现对行李规格的测量，根据双目视觉理论系统分五个部分实现：行李图像获取、摄像系统标定、图像预处理、行李特征点提取与匹配、行李三维信息获取，如图2-9所示。第3章 行李特征提取与立体匹配算法第3章 行李特征提取与立体匹配算法在基于双目图像的三维测量技术中，一般所采用的方法是通过特征点的提取、立体匹配，最后根据匹配对来计算空间物体的三维信息。在这个过程中，图像特征点的提取是进行后续工作的重点也是基础，因为它关系到立体匹配的准确度和复杂度。常用的物体图像特征有点特征、线特征、面特征等。其中，点特征因其可以准确定位以及能够提供更有效地三维信息而被广泛采用。立体匹配是双目视觉系统中重要的一步，它其实是一个多约束条件下的最佳搜索问题，最后得到两幅图的视差，用来计算空间物体的三维信息。3.1 图像预处理在图像预处理中，提取图像中有意义的部分是关键的一步。在本论文环境中，通过图像分割将行李目标提取出来则是进行后续工作的基础，也是重要的一步。图像预处理的优劣直接关系到后面行李特征的提取及匹配的好坏。3.2 行李特征点提取在双目视觉测量系统中，特征提取的目的就是能够将表现目标物体几何形状的线、角点、轮廓信息等提取出来。图像的边缘、角点包含了目标物体的大量几何信息，是描述物体的重要特征，而且对于物体几何形状的恢复具有很大的作用。图像的边缘是图像灰度的微分，所以对外界环境的变化较为稳定31。所以，根据本文行李规格测量的特点，可以通过对行李箱的边缘、角点的检测，实现对行李的特征提取。3.2.1 边缘算子图像的边缘在描述物体几何形状方面发挥着重要的作用，尤其是在双目视觉测量系统中常被作为重要的特征进行提取。物体图像的边缘点一般指的是小邻域内灰度变化最显著的地方32。边缘特征是一个矢量特征，具有幅值和方向两个要素。一般情况，边缘点水平方向的灰度变化缓慢，而垂直方向的灰度变化起伏较大。下面介绍几种常用的边缘算子。3.2.2 Canny检测法Canny边缘检测方法，由于其边缘检测精度高、对噪声有较好的抑制而被越来越广泛的应用在边缘提取中。Canny边缘检测的主要思路是先将图像和二维高斯函数卷积，进行平滑去噪。二维高斯函数如下式38：3.2.3 Harris角点检测在对物体几何形状的描述中，角点也是一个重要的特征。Harris角点算子因其计算量小，检测效果良好而得到广泛的应用，该算子是关于图像函数的一阶微分算子。3.3 行李立体匹配算法立体匹配问题其实是一个多约束条件下的最优搜索问题。在行李二维图像特征点提取之后，关键任务就是寻求左(右)图像中的每个特征点在右(左)图像中的对应点，即立体匹配。立体匹配是立体视觉中最重要，也是最困难的步骤。因为当空间物体被投影为二维图像时，同一物体点在不同视点下的图像中会有很大的不同，而且由于场景中的诸多变化因素，如光照条件、噪声干扰、物体几何形状和畸变及摄像机特性等，这些因素都只能被综合到单一的图像灰度值中，然而仅仅由灰度值确定对应点是十分困难的。为了得到匹配对应点，人们建立了许多约束：如外极线约束，一致性约束，唯一性约束，连续性约束，视差梯度约束等，这样可以减少错误匹配。3.3.1 匹配约束准则空间一点在左相机上的投影点和在右相机上的投影点位于同一条极线上，这样可以大大缩小搜索空间。如图3-1所示，I1和I2分别为左右两台摄像机的成像平面，C1、C2分别为左右摄像机光心，P为空间一点，p1与p2是其在左右两幅图像上的投影点，则p1、p2、P、C1、C2必在同一平面上。平面与I1和I2分别相交于l1和l2，l1、l2就被称为极线。则p1在l1上，而且p2在l2上。所以通过这个规律，就可以寻找与左像点对应的右像点42。3.3.2 立体匹配方法在实际行李测量系统中，由于受到系统结构、噪声、畸变等外界因素的影响，将会给立体匹配带来额外的负担，所以需要设计准确度高、稳定好的匹配算法，保证匹配的精度。由于本文提取的是边缘特征，匹配点较突出，对应性会比较高。同时，本文设计的是基于特征的区域灰度匹配，具有较高的鲁棒性。3.3.3 基于行李边缘特征的双向匹配算法在本文的行李测量系统中，采用的是平行双目视觉结构，而且摄像机距离较近，所以采集到的左右行李图像位置相差不是很大。3.4 本章小结本章主要是在采集到行李图像后，对其进行预处理、特征提取以及立体匹配等各部分的算法研究。首先通过背景相减法以及形态学处理，去除背景，提取行李图像；然后对能够描述行李几何形状的边缘特征进行提取；最后，设计了基于特征的区域灰度的双向匹配算法，保证了匹配的可靠性。第4章 行李三维信息提取及实验第4章 行李三维信息提取及实验在获得了左右行李图像的匹配点对之后，结合之前通过立体标定得到的摄像机内外参数，根据视差原理，就可以计算出行李的深度信息。本章主要讨论进行行李三维信息恢复的方法，并对不同的行李进行了测量实验及结果分析。4.1 行李三维信息的计算4.1.1 最小二乘法首先，假定行李的任意边缘点P在摄像机C1和C2上的投影点p1和p2已经通过上一章的立体匹配算法得到，成为空间点P的匹配共轭对；而且两个摄像机也已经完成标定，它们的投影矩阵分别是M1与M2，都是的矩阵，则根据第2章的摄像机模型有以下关系48：4.1.2 中点法由4.1.1节讨论可知，空间的行李特征点应是两摄像机光心与左右像平面上投影点连线的交点，但这是在理想的情况下，实际上，由于摄像机成像环境、成像模型、标定参数误差等影响，这两条直线未必相交于一点。所以实际算法当中，一般取它们公垂线的中点来近似该点，这样得到的误差最小49。4.1.3 三角法本文研究的基于双目立体视觉的行李规格测量系统是基于平行光轴的双目立体成像方式的，如图4-2所示，两摄像机内部参数相同，而且它们的光轴互相平行，并且保持轴在一条直线上。由于摄像机光轴与图像平面垂直，所以轴也是相互平行的，两摄像机光心之间的距离，即基线长度为。4.2 行李规格测量实验本文采用双目视觉测量结构实现对行李规格的非接触测量，并给出相应的检测结果。实验过程包括从系统的初始化到给出测量结果，以验证本文算法及整个测量系统的可行性、可靠性。4.2.1 实验平台及行李图像采集实验的计算机平台选择XP 3.1GHz、内存2G、500G硬盘和多USB接口，以保证多摄像机组成的双目立体视觉测试系统快速、精确的完成测量任务。实验平台是在课题组自主开发的自助行李托运样机上进行实验验证，如图1-9所示。然后采用双目视觉结构采集行李图像，如图4-2所示。系统中两台摄像机平行放置，俯拍角度为12o，离传送带高度为50cm，基线长度为14cm。CCD摄像机选择日本WATEC摄像机WAT-241，镜头采用computar镜头，焦距为2.6mm，保证摄像机视野范围能够覆盖整个检测区。图4-2自助行李系统的双目视觉结构4.2.2 双目视觉系统标定双目视觉测量硬件系统组建成功后，开始进行系统初始化工作，首先要做的就是进行摄像机的立体标定，来确定摄像机的内、外部参数。根据2.2所述的标定方法对系统进行标定后求解出左右摄像机的内部参数，摄像机内部参数为：表4-1 摄像机的内部参数焦距主点(u0,v0)畸变系数(k1,k2)左右(546.745,547.239)(543.914,543.324)(289.583,230.455)(322.073,230.357)(-0.00080,-0.12948)(-0.03503,-0.03681)表4-2 摄像机的外部参数旋转矩阵R平移矩阵T0.9978 -0.0004 0.06560.0004 1.0000 0.0000-0.0656 -0.0000 0.9978-120.48039 4.53571 -18.990934.2.3 行李规格测量步骤系统测量的前提条件是尽量使物体与两个摄像机视线保持平行，也就是说使物体成像不倾斜，测试系统的检测过程如下：4.2.4 实验结果及分析实际对行李进行规格检测时，需要知道行李的尺寸参数是否满足航空公司托运的要求，一般规定行李的三边之和不能超过158cm，或者是体积不能超过100cm*60cm*40cm。所以，只要行李三条边的尺寸小于规定值，则认为行李的规格是允许托运的。首先对白色行李箱进行检测，按照测量步骤将其放在自助行李托运系统的传送带上，左右摄像机采集的图像分别如下： （a）左摄像机采集的白色行李箱图像 （b）右摄像机采集的白色行李箱图像图4-3 摄像机采集的行李箱图像然后通过图像预处理，去除背景，分割提取出行李，根据3.2特征提取算法得到白色行李箱的canny边缘特征如下图所示：图4-4 行李图像canny边缘提取在极线约束、视差梯度等约束条件下，通过3.3.3双向匹配算法，得到白色行李箱的轮廓深度图如下：图4-5 行李轮廓深度图再根据4.2.2系统标定结果，计算行李轮廓点的三维坐标，在MATLAB环境下显示行李边缘的三维点云如下图所示：图4-6 行李轮廓的点云通过相关计算，可以得到白色行李的规格为，小于航空公司规定尺寸，符合托运要求。而实际白色行李箱大小为，误差范围是(-1.2cm,0.9cm)，相对误差不超过3.91%。对于行李托运系统来说，检测的主要目的是判断行李是否超出规定的范围，而对行李具体的尺寸要求不是特别严格，所以这个误差是可以接受的。此外，用同样的方法对蓝色行李箱进行检测，蓝色行李与白色行李相比，形状、大小、材质均不同，其检测效果如下列图示： 图4-7 左摄像机采集蓝色行李箱 图4-8 右摄像机采集蓝色行李箱 图4-9 行李图像特征提取 图4-10 行李轮廓深度图图4-11 行李轮廓点云同样计算得到蓝色行李的规格为，小于航空公司规定的尺寸，符合托运要求。而实际蓝色行李箱大小为，误差范围是(-1.5cm,1.3cm)，相对误差不超过4.6%，这个误差也是可以接受的。实际环境中行李种类繁多，形状大小各不相同，本文从行李测量系统的特殊性出发，目的是判断行李规格是否超出规定，所以只要行李三边的长度小于规定值就可以进行托运。实验中，对形状、大小、材质均不同的白、蓝色行李进行检测，从结果来看，绝对误差不超过1.5cm，相对误差不超过4.6%，可以满足行李托运系统的要求，验证了本文算法的有效性和可行性。4.3 本章小结本章主要研究了由立体匹配得到的匹配对应点恢复空间点三维信息的方法，主要有最小二乘法、中点法以及三角法，并推导了各自的公式。然后对形状大小不同的白、蓝行李进行图像预处理、特征提取、立体匹配后得到行李轮廓深度图，最后计算恢复行李轮廓三维信息，用行李轮廓点云图进行显示，测量结果误差在一定范围内，满足行李托运系统要求，验证了算法的有效性和可行性。第5章 结论第5章 结论为了能够实现自助行李托运系统中行李规格的非接触检测，并使其具有一定的可靠性和可行性。本论文提出了基于双目立体视觉的行李规格检测算法，主要研究工作总结如下：首先，优化了系统的结构。对于自助行李托运系统特殊的结构环境，根据双目立体视觉的结构模型，设计了平行双目结构的行李图像采集硬件系统，并对系统的结构和立体视觉测量原理进行了分析，更好的提取行李立体图像对。同时，对摄像机成像模型和标定方法进行了研究，采用了一种基于棋盘平面的系统标定法，获取摄像机的内外参数。其次，设计了一套立体视觉检测算法提取行李匹配点对。采用自适应最优阈值法对行李图像进行预处理，去除背景，提取行李目标图像。在特征提取方面，设计了一种能够描述行李几何形状和轮廓的二维canny边缘检测算法。之后，在外极线、唯一性、灰度相容性等基本约束和视差梯度附加约束条件下，设计了基于边缘特征的双向匹配算法，减少了误匹配，保证了匹配的可靠性和稳定性。最后，对双目视觉系统中空间点三维信息恢复的方法进行研究，包括最小二乘法、中点法以及三角法。基于本文的平行双目结构，采用三角法并结合摄像机标定的参数计算行李的三维信息。最后以自助行李托运样机为实验平台，对形状大小不同的行李箱进行规格检测实验，结果表明能够实现对行李规格的非接触检测，验证了本文算法的可行性和有效性。基于视觉测量原理实现对行李规格的非接触检测，实验结果表明了算法的可行性和有效性。论文仍然有一些不足并需要进一步完善。后续可进行如下工作：1. 系统标定算法的进一步优化。由于自助行李托运系统特殊的硬件结构环境，在系统标定中，标定结果所达到的精度不够高。应更全面地考虑外界因素对系统的影响，使