基于hancon双目立体视觉焊缝检测

1、基于halcon的双目立体视觉焊缝检测基于halcon的双目立体视觉焊缝检测现代焊接生产中，对焊接技术和质量的要求愈来愈高。自动化和 智能化在焊接生产上的应用日趋广泛。近年来图像处理技术和机器视觉技术得到空前的发展，如果把机 器视觉技术用在焊缝成形质量评判中， 可以提高评判效率，为焊接质 量评判的智能化打下基础。机器视觉是运用计算机来模拟人的视觉， 从不同事物的图像中获取信息，进行相应处理并加以分析、理解，最 终应用于实际的检测与测量等。机器视觉检测和测量方法不但可以有 效提高生产效率与自动化程度，且易于实现信息的集成，从而满足数 字化自动化生产的要求。机器视觉中的立体视觉技术把二维景物的分析

2、推广到了三维景 物，该项技术可方便实现从图像获取到三维景物表面重建的完整体 系，对于整个机器视觉的发展具有重要意义。 双目立体视觉是立体视 觉中的一个重要的分支，它直接模拟人视觉处理景物的方式， 可以在 各种条件下灵活地测量景的立体信息。2双目视觉检测2.1 基本理论如图1所示，设点 防空间焊缝某一特征点，该点在两相机平面O1和O2的投影点依次为P1和P2。好、图1双目视觉原理根据空间解析几何理论，很显然，式（3）中的4个方程均具有平 面解析式的形式，前2方程代表2平面相交，得到的是直线O1P1P的 方程，同理直线02P2P的方程由后2个方程得出。两直线方程相交， 即可求出P点的空间三维坐标。

3、可见，若采用单相机模型，则理论上仅能解出一条直线的空间方 程，无法得出空间点的准确三维坐标， 而双目视觉理论则能够克服这 个缺陷，从而使焊缝的精确测量有了可能。2.2 图像处理为实现准确测量的目的，必须对采集到的图像进行数字化处理。首先，经过相机采集到的焊缝图像不可避免地存在一些污染痕迹，这些痕迹会对有效捕捉焊缝特征点产生影响，这在计算机图形学中被称 之为噪点，要进行降噪处理以剔除噪点。其次，初步采集到的图像为 全信息图像，欲提取有效焊缝信息，必须对图像进行二值化处理，以便计算机有效区分焊缝轮面坐标系 OXlYl, O XrYr的转换矩阵分别为Ml和Mr,那么根据透镜成像原理,针对左右相机，可

4、得如下2个方程:U1V111=MX Y Z1lmulm21l m311l m12 l m22l m321l m13l m23l m331l m14 l m24l m341XYZ1U2V2 11=MX r YZ1r m11r m21r m311r m12 r m22 r m321rm13rm23rm331rm14rm24rm341XYZ1式中：(u1 , v1, 1)和(u2, v2, 1)依次为pl和p2的齐次相机平面坐标；(X, Y, Z, 1 )为点P在空间绝对坐标系中的齐次坐标。将式(1)和式(2)展开并联立有:l(U1m|31 l(V1m31(U1m|31r (V1m|311mn)X1

5、m21)Xm：)Xrm21)Xl (U1m|32 l (V1m|32 (um31 r (V1m|32l、， m12)Y l m22)Y m；1)Yrm22)Yl (U1m|33 l (V1 m33 (Um31r (V1m|33lm13)Zlm23)Zrmn)Zrm2)Zl mi4 l m24r m14r m24lU34lu34(3)U34ru342.3 焊缝检测设P和Q为焊缝图像边缘上的2个像素点，其经过计算得出的三维坐标为(XP, YP, ZP)和(XQ, YQ, ZQ),那么，根据空间2点距离公式有四口 Q两点间的距离为：:222d (Xp Xq) (Yp Yq) (Zp Zq)由此，可计

6、算焊缝边缘上任意两点的距离。 垂直于焊缝轴线并与 其轮廓相交的线段长度可认为是焊缝宽度， 同时已知空间点坐标也可 计算曲线长度，从而有效计算长度。焊缝高度信息可由左右相机采集到校正后图像立体匹配之后得 到的深度图中图像灰度值的变化得到3焊缝检测系统为实现对焊缝检测，需要一套完备的软硬件系统，系统主要结构 模块包括图像采集模块、图像处理模块、双目视觉计算模块以及最后 的焊缝尺寸计算模块。下面分别对各个模块进行详细介绍。3.1 图像采集模块桥面裂缝检测双目视觉测量系统图像采集模块的核心是双目相 机。本系统两个CCDEC业相机，将两个US级业相机固定在支架上与 计算机相连，同过调用halcon程序即

7、可同时采集两幅清晰的焊缝缝图 像。3.2 图像处理模块图像处理的步骤为：1)通过在程序中多次调用算子 mean_image对图像进行均值滤波处理，从而剔除对检测结果不利的噪点。2）利用算子emphasize对降噪后的图像进行增强处理，为裂缝边缘检测做准备3）利用算子var_threshold进行自动阈值分害U ,进而利用算子region_to_bin对图像进行二值化，二值化后图像如图 2所示。图2二值化焊缝图像4）由图2可知焊缝二值化图像效果较差，因此在程序中利用形态学算子closing_circle对图像进行闭运算得到效果较好的二值化图像如图4所示。留开一湎口. 1 方找FedUtni 口串

8、 的力陶适应寄口扇1国、»，舔图3二值化图像5）由图3可知改进后的二值化图像虽仍具有许多孔洞，但利用图3已可以提取焊缝的左右边缘。在程序中利用halcon算子 threshold_sub_pix即可根据二值化图像提取出图像中的轮廓信息， 接着通过使用算子select_shape_xld通过对轮廓位置及长度的筛选， 提取出焊缝的左右轮廓并滤掉由二值化图像中不需要的孔洞带来的 其他轮廓。提取出的轮廓如图4所示。6）根据提取出的焊缝的两个轮廓，利用算子distance_cc可计算出两轮廓间最长与最短的坐标距离。303 -弋11 票爵弧m蜷 E,0 4西4 % 国语区百口 ”国M »

9、; ：»加（图4焊缝左右轮廓3.3双目视觉计算模块3.3.1 相机标定3.1 节中对双目视觉基本理论与坐标计算方法作了介绍，其中转 换矩阵Ml和Mr中的某些参数是相机的固有属性，称为内参数（如镜头 畸变系数），这些参数是已知的。而将三维空间点投影到二维平面过 程中的平移矩阵和旋转矩阵中的参数是未知的，为求解这些参数，以及得到相机实际内参需要在检测前对相机进行标定。本文采用自制10cm标定板机halcon标定函数对左右相机进行标定。经标定之后，相机的内外参数即可求得，代入Ml和Mr矩阵，即 可参与计算。3.3.2 图像匹配与尺寸计算以上分析可见，空间点P的三维坐标是通过这一点在左右相机

10、平 面上的二维坐标计算可得。因此，从理论上讲，必须精确寻得点P在 左右相机平面中的像点，才能进行准确计算。这一过程称为图像的匹 配过程。本文中采用halcon自带函数binocular_disparity即可实现图 像的匹配。经匹配计算之后，即可得出同一空间点在两相机平面中的 二维坐标。然后即可得到图像坐标之间与实际物理距离之间比值关系 K,根据比例K及上节计算得到的轮廓之间的坐标距离，即可得到两轮廓间的实际物理距离。将实际得到的结果在halcon图形窗口中显示如下:周出窗口一油;0- 3彳 « q q 网送困 囤加，» »用|焊缝最大宽膜7829吵伽焊缝高度3：