镜像式单摄像机立体视觉传感器对弹簧几何尺寸的测量.doc

镜像式单摄像机立体视觉传感器对弹簧几何尺寸的测量 赵艳玲 （乐山职业技术学院，四川乐山614000） 摘要：弹簧零件在工业领域发挥着重要作用，对其尺寸、完整性以及表面形貌的检验是出厂的必须工序。目前使用得最广泛的测量方法是使用千分尺等工具直接接触测量，很难保证测量的精度和弹簧零件表面的完整性。采用立体视觉方法，以外径小于等于80mm的弹簧零件为测量对象，开发了基于双目视觉测量原理的测试系统，设计了镜像式单摄像机立体视觉传感器机械结构，运用数字图像和机器视觉等方法实现了测量精度高于0.1mm的弹簧零件的非接触式测量。 关键词：立体视觉；摄像机标定；特征提取；立体匹配 ：TN606?34：A：1004?373X（xx）18?0137?04 0引言 弹簧是一种利用弹性来工作的机械零件，一般用弹簧钢制成。弹簧零件在工业领域发挥着极其重要的作用，常用以控制机件的运动、缓和冲击或震动、贮蓄能量、测量力的大小等，广泛用于机器、仪表中，从治疗心血管的弹性支架，到汽车上的减震弹簧，弹簧的用途十分广泛。弹簧零件的几何特征包括：弹簧丝直径、弹簧圈外径、弹簧圈内径、弹簧圈中径、节距、螺旋升角和自由长度等。传统人工接触式检验的方式效率低下并且规模庞大，对弹簧金属零件表面破坏较严重，减少了弹簧零件的有效使用寿命1。 双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。几何特征测量是三维测量中的重要组成部分，而在三维测量过程中，几何特征参数通常也作为一个重要参数被反映出来，因而几何特征参数的测量在测量技术中也有着重要的地位。图像是视觉的直观反应，是三维景物的二维投影，但是一幅图像并不足以反映出三维景物的所有几何信息，所以需要从不同角度拍摄的两幅或者多幅图像才能测量出其投影面积的大小。 1镜像式单摄像机立体视觉传感器测量原理 镜像式单摄像机立体视觉传感器的系统基本组成如图1所示。该系统组成部分包括计算机、图像采集卡、摄像机和平面镜系统。其中，两片平面镜按一定的角度组成了平面镜系统，放置于摄像机的正前方，两平面镜交线和摄像机光轴垂直相交。被测物体通过M1反射后成像于摄像机的左半像面，同样，物体通过M2反射后成像于摄像机的右半平面，通过该系统可以获得一张包含两部分的图像，相当于平面镜镜像出两个视场减半的虚拟摄像机，两个虚拟摄像机从不同的角度同时对物体拍摄。这就是镜像式单摄像机立体视觉传感器的基本测量原理。 2镜像式单摄像机设计 2.1立体视觉传感器设计 首先对镜像式单摄像机立体视觉传感器分析其几何模型，然后进行结构设计，根据已知被测物体的大体尺寸，按照成像原理和镜面与光线的几何规律计算出测量系统的各项参数，主要有镜头焦距、平面镜夹角、平面镜夹角、平面镜尺寸和摄像机到平面镜的距离等。再采用SolidWorkxx软件完成镜像式单摄像头立体视觉传感器平台的电子图纸的绘制工作，正确的标定系统参数，达到可以成功获取三维立体视觉图像的要求。在初步计算出镜像式单摄像机立体视觉传感器的相关参数后，在软件上进行电子三维图纸的绘制，严格按照计算出的参数和相关的光源要求进行了组合，如图2所示。 2.2摄像机标定 镜像式单摄像机立体视觉传感器的设计工作完成之后，首要的任务是标定摄像机。镜像式单摄像机立体视觉传感器系统主要是基于三角法原理进行测量的，即两个虚拟的摄像机的图像平面和被测物体之间构成一个三角形。已知两个虚拟摄像机之间的位置关系，便可以测量两个虚拟摄像机之间的公共视场之内物体的三维尺寸及空间特征点的三维坐标。而只有通过摄像机的标定，才可以获得两个虚拟摄像机之间的位置关系，才可以获得摄像机的内部参数。本项目的摄像机标定采用的是基于Matlab的CalibrationToolbox工具箱，采用自由移动二维平面靶标法。用已设计的传感器拍摄了15张不同位置的方格靶标，通过基于Matlab的Cali?brationToolbox工具箱进行标定。利用工具箱的读入图像、提取角点和开始标定三个过程，可以获得摄像机的一些内部参数，如表1所示的焦距、主点坐标、畸变参数和重投误差等。 2.3弹簧图像的边缘检测 边缘检测主要的目的是检测图像中亮度显著变化的点。这些亮度显著变化的点往往反映了图像的重要属性和特征，这些属性和特征就包括了深度的不连续、表面方向的不连续、物质属性的变化和场景照明的变化等。Canny边缘检测算子是JohnF.Canny于1986年开发出来的一个多级边缘检测算法，经过降噪，寻找图像中的亮度梯度，图像中跟踪边缘。 直接对该图像进行Canny算子边缘检测的效果图如图3所示。可以看到，边缘检测十分的混乱，背景的花纹噪音严重影响到边缘检测的效果。 对图3进行基于高斯滤波的图像平滑处理，由于图像背景的花纹纹理比较清晰，对边缘检测影响较大，所以多次使用基于高斯滤波的图像平滑处理，经过多次研究，分别采用2次，5次，7次，10次和15次高斯滤波处理，如图4所示。随着基于高斯滤波的平滑处理次数增多，相对应的边缘检测的效果越好，但边缘提取的准确程度会下降。因此基于高斯滤波的平滑处理次数控制在1015次之间，既保证了边缘检测的精确度，又消除了背景噪声的影响。 3弹簧综合几何参数的视觉测量算法 3.1镜像式单摄像机立体视觉传感器数学模型先建立一个单摄像机立体视觉传感器模型，如图5所示。根据已经建立的单摄像机立体视觉传感器的测量模型，在已知摄像机的内部参数和镜头畸变系数，以及两个虚拟摄像机的位置关系的情况下，可以根据被测点在左右图像坐标系下的二维坐标求得其在测量坐标下的三维坐标。 首先获得空间点P在左右两半边图像中的对应点P1，P2点的畸变图像坐标Pd1和Pd2，并通过式（1）进行畸变校正，获得无畸变图像坐标Pu1和Pu2，然后通过式（2）计算P1和P2的归一化坐标Pn1和Pn2，最后由式（3）计算转换为P点在测量坐标系下的三维坐标（xc1，yc1，zc1）T： 3.2单摄像机立体视觉的极线几何模型 由传感器数学模型计算可知，首先要获得空间点在左右两边图片对应点的图像坐标才能计算出该空间点的三维坐标，因为使用单摄像机立体视觉传感器进行测量的关键是左右两半边图像中特征点的匹配。 本项目特征点匹配采用的是以基于极线的特征点匹配为主，立体匹配约束为辅的匹配方法，单摄像机立体视觉传感器的极线几何模型，如图6所示。 图6中，DE1和DE2是P点在左右平面的投影点P1和P2所对应的极线，记DE1为l1，记DE2为l2。将极线约束采用解析式的形式表示为： l2=FPu1（4） l1=FTPu2（5） 式中：F为基本矩阵，是极线几何的一种代数形式；Pu1和Pu2是左右图像去畸变坐标。 如果已知两虚拟摄像机的内参矩阵A1，A2以及两个虚拟摄像机之间的旋转矩阵R和平移矩阵T，则有： 式中S为反对称矩阵，它由平移矢量定义为： 所以，式（7）还可以表示为： 可以看出，基本矩阵F实际上包括了单摄像机立体视觉传感器的所有参数，即两虚拟摄像机内参A1，A2和两虚拟摄像机结构参数R和T。这表明，基本矩阵只和单摄像机立体视觉传感器的参数有关，与外部场景无关，是单摄像机立体视觉内在的一种约束关系。 4弹簧综合几何参数的视觉测量结果 弹簧综合几何参数的视觉测量方法选用的相机为大恒DH?HV1505UM摄像机，镜头为焦距为12mm的Computar镜头搭建成了单摄像机立体视觉传感器。 弹簧综合几何参数的视觉测量项目采用32位Win?dows7旗舰版SP1操作系统，计算机中央处理器为IntelCOREi3M350，计算机中央处理器主频为2.70GHz，计算机内存为2GB（三星DDR31067MHz）。开发环境为MicrosoftVisualStudioxx。程序采用面向对象的VC+编译，使用了计算机视觉库OpenCV（OpenSourceComputerVisionLibrary），版本为2.0实现程序中的图像处理。 4.1弹簧综合几何参数的视觉测量方法的程序界面弹簧综合几何参数的视觉测量方法的程序界面如图7所示。 4.2弹簧综合几何参数的视觉测量的实验结果 经过不同弹簧的综合几何参数测量，获得的测量结果统计，如表2所示。 5结语 弹簧综合几何参数的视觉测量系统精确度大于0.5mm，实验精度比较理想，但是相比较于同类型的测试系统，精度还有待提高。误差主要存在于图像边缘提取、特征匹配等步骤中，进一步改进系统的精度是下一步的主要目标。运用双目视觉技术完成弹簧金属零件的几何特征测量相比较于人工的检测效率更高，可靠性更强，不需要辅助工具（千分尺、三坐标测量仪等），对零件破坏程度大大降低。 参考文献 1张旭苹，汪家其，张益昕，等.大尺度三维几何尺寸立体视觉测量系统实现J.光学学报，xx，32（3）：1?8. 2NEUROSCIAR.TheanalysisofstereopsisM.Maryland：UniversityofMaryland，1984. 3杨峥，周富强.镜像式单摄像机双目视觉传感器的结构设计J.机械工程学报，xx，47（22）：8?12. 4郑元杰，杨杰.基于单摄像头双目成像系统在计算机视觉中的应用研究J.红外与激光工程，xx，33（4）：392?396. 5徐玮.基于折反射全景的动态虚拟环境建模与绘制技术研究D.长沙：国防科技大学，xx. 6刘琼，秦现生，应申舜，等.双目视觉测量系统结构参数设计及精度分析J.中国机械工程，xx，19（22）：2727?2732. 7闫丽，段发阶.单目立体视觉传感器的优化设计及精度分析技术研究J.传感技术学报，xx，19（2）：349?352. 8FAUGERASOD，TOSCARNIG.Cameracalibrationfor3DputervisionC/ProceedingofIEEEInternationalWork?shoponIndustryApplicationofMachineVisionandMachineIntelligence.