三维计算机视觉及其在焊接中的应用

1、三维计算机视觉及其在焊接中的应用摘要：随着视觉传感、图像处理和人工智能等技术的发展，计算机视觉以其信息量大、精度高、通用性好、检测范围大等特点，在焊接领域得到了广泛的应用。简要地介绍了目前出现的三维计算机视觉技术和方法，综述了该技术在焊接中的典型应用，并在此基础上提出了目前存在的问题和未来的发展趋势。关键词：三维计算机视觉；焊接；应用；发展焊接过程是一个电、光、热、力等综合作用下的复杂的物理化学过程，为实现焊接生产的机械化和自动摘要：随着视觉传感、图像处理和人工智能等技术的发展，计算机视觉以其信息量大、精度高、通用性好、检测范围大等特点，在焊接领域得到了广泛的应用。简要地介绍了目前出现的三维计

2、算机视觉技术和方法，综述了该技术在焊接中的典型应用，并在此基础上提出了目前存在的问题和未来的发展趋势。关键词：三维计算机视觉；焊接；应用；发展焊接过程是一个电、光、热、力等综合作用下的复杂的物理化学过程，为实现焊接生产的机械化和自动化，科技人员不断地致力于开发机械、机电、电磁、电容、超声、红外、光电、激光、视觉、电弧、光谱等多种形式的弧焊传感器。事实上，人类感知外界环境，80%以上是通过视觉得到的。同样，熟练的焊工主要通过其视觉来从事焊接操作与控制。随着计算机视觉技术的发展，借助于CCD摄像机、红外摄像仪、X射线探伤仪、高速摄像机等图像传感设备及智能化的处理方法，许多机器人及特定的自动焊机也具

3、备了一定的视觉功能。它们不仅可以模拟熟练焊工的视觉感知能力，而且可以超越人类局限，完成诸如：获取并处理强弧光及飞溅干扰下的焊缝图像、实时提取焊接熔池特征参数、预测焊缝的组织、结构及性能等工作，实现在人类难以直接作业的特殊场合（如水下、空间、核辐射环境等）下的自动焊接，确保焊缝质量的稳定性和可靠性。笔者介绍了三维计算机视觉技术，综述该技术在焊接中的典型应用实例，并在此基础上指出了当前存在的问题及未来的发展趋势。1三维计算机视觉在使用摄像机对一个3D目标进行摄像得到目标的二维图像的过程中，丢失了一些形状信息，同时另外一些信息以各种各样的形式，如：阴影、纹理、轮廓、遮挡、光流等信息保留在物体的图像中

4、，因此通过物体的图像、图像中隐含的线索和其他已知条件、假设条件可以得到物体的形状信息和尺寸。三维计算机视觉就是研究由2D图像恢复场景目标即3D信息的一门学科。目前用于三维恢复的方法主要有：结构光法、立体视觉法、光流法、光度立体法、阴影法和纹理法。结构光成像和三维恢复经典的结构光三维视觉方法是将基准光栅条纹结构光投影到物体表面，条纹随着物体表面形状的变化而发生畸变，摄像机摄取物体表面图像，然后采用计算机图像技术，从被物体表面形状所调制了的畸变条纹模式中，提取出物体的三维信息。工业应用中很少采用基准光栅条纹结构光，而是采用一种简化的激光扫描照射系统。这种方法的计算精度高，但价格昂贵、设备庞大，限制

5、了其应用范围。立体视觉方法属于双目或者多目视觉，采用两个或者多个摄像机从不同的位置拍摄图像，通过三角测距原理得到物体的三维尺寸。其缺点是设备安装复杂，需要在多幅图像之间进行对应点的匹配。光流法当目标在相机前运动或相机在一个固定的环境中运动时我们都能获得对应的图像变化，这些变化可用来恢复（获得）相机和目标间的相对运动以及场景中多个目标间的相互关系。在具体技术上就是通过求解光流方程来求取表面朝向。要求：（1）图像要有足够的采样密度；（2）在图像平面中每一点上的灰度变化应该完全是由图像中模式的运动引起的，不应该包括反射性质变化带来的影响。其缺点是需要控制照明或物体运动且条件要求苛刻，适用范围窄。光度

6、立体法属单目视觉，基本原理是在同一光照条件下，物体不同的表面朝向对应图像中的不同灰度即反射图方程。由于反射图方程属于病态方程，所以通过变换光源得到不同光照条件下的图像，利用反射图方程组来求解表面朝向，进而计算三维尺寸。应用的最理想情况是：成像光源和摄像机为无穷远，物体表面为均匀漫反射表面，则可以得到理想反射图方程；物体表面为光滑表面，并且已知物体表面的特征点高度。阴影法属单目视觉，成像的基本原理同光度立体法，但不需要控制光源，是一种简单可行的方法。此方法需要采用附加的约束如惟一性、连续性（表面、形状）、相容性（对称、外极线）等来求解反射图方程，进而求得三维尺寸。运用的理想情况同光度立体法。纹理

7、法属单目视觉，利用物体表面上纹理的变化可以去确定表面取向并进而恢复表面的形状。在获取图像的透射投影过程中，原始的纹理结构有可能发生变化，这种变化随纹理所在表面朝向的不同而不同，因而带有物体表面取向的信息。要求纹理元清晰、均匀、有固定的形状。2三维计算机视觉在焊接中的应用当焊接控制要求和精度提高到一定程度时，就需要用到工件、焊缝、熔池等目标的空间坐标、位置状态等三维信息。文献4-7采用简化的激光扫描照射系统已将三维恢复用于焊缝跟踪、坡口形状与接头形式检测、多道焊排道等方面。为了获取熔池表面的三维信息，文献8-9设计了一套由强脉冲激光栅格状多结构光条纹和高电子快门摄像机组成的熔池视觉检测系统，摄像

8、机的电子快门与激光脉冲同步。试验装置如图1A所示。图1B为获得的TIC焊熔池表面的三维图像，电流为118A，弧长为3mm，材料为SS304不锈钢。采用一定的图像处理算法可提取结构光条纹的栅格框架和轮廓，如图1C所示。进而可计算出熔池正面的高度。图1结构光视觉传感文献10开发了一套基于双目立体视觉的机器人路径规划系统，该系统将双目摄像机安装在机器人的末端执行器上，使其能跟随焊枪沿焊缝走向一起移动，采用自然光作为视觉系统的光源。经典的双目立体视觉采用两个图像平面上特征点匹配，并根据三角测量原理来确定对象的三维坐标。对于焊缝来说，坡口边缘内外不存在明确的特征点，所以无法使用特征点匹配。针对在局部图像

9、窗口中，焊缝可以近似为直线段的特点，作者设计了一种简化的特征匹配算法来计算焊缝三维坐标，并通过人工神经网络提高了精度和速度。该系统可以实现对直线和曲线焊缝的路径规划。文献11对填丝脉冲CTAW低碳钢对接焊熔池图像视觉传感进行了研究。在文献中，首次将三维计算机视觉中的阴影恢复形状方法引入到焊接熔池表面高度信息提取上，通过对成像实际条件的深入分析，提出了符合实际成像条件的通用反射图模型，并提出了求解方程的基本算法；针对实际焊接熔池图像的特点，引入了表面光滑约束、边界条件、灰度加权调整。在基本算法的基础上形成了改进算法，成功地由单幅熔池图像获得了熔池正面三维形状信息。图2A是填丝CTAW的凸起形熔池

10、图像，图2B是计算的结果。图2采用阴影恢复形状法计算熔池表面高度3存在的问题鉴于焊接过程的复杂性以及先进制造业对焊接技术更高层次的需求，当前还必须解决以下问题。3.1三维计算机视觉的计算仍局限于mARR理论的计算机视觉理论框架目前在焊接中应用的三维恢复算法，仅仅强调计算理论，整个处理过程也是自底向上没有反馈的，没有充分地利用知识，忽视了知识的表示、推理和知识库的构建。3.2视觉传感系统复杂目前使用的视觉传感系统一般都较为复杂，如结构光三维视觉传感系统有激光发生器、CCD摄像机、光学转换机构、机械扫描机构等组成，因此需要研制更为简单化的、高可靠性的视觉传感系统。积极推广单目被动视觉的研究，简化视

11、觉传感系统。3.3视觉计算速度慢焊接质量的视觉传感与闭环控制、机器人焊接的路径规划与姿态控制等都要求计算视觉传感与控制具有很强的实时性和很高的控制精度，常用的视觉计算方法很难满足实时控制的要求，因此在视觉计算中可采用并行计算信息处理技术。发展趋势随着电子技术、计算机技术、自动控制技术以及信息和软件技术迅速地引入到焊接领域，焊接生产自动化、智能化已经成为21世纪焊接技术发展的重要方向。采用最新的计算机视觉理论，开发焊接机器人视觉传感与控制技术，研制能够识别目标环境、实时精确跟踪轨迹并调整焊接参数的智能焊接机器人已经成为焊接领域的重要发展趋势之一。国内外许多研究人员对机器人视觉系统在焊接接头特征识别、焊接参数优化、焊枪姿态调节、焊接路径规划、焊缝跟踪、焊缝熔透控制等方面的应用开展了卓有成效的研究。在此基础上，国外知名的焊接机器人厂家，如KUKA，CMF，Motoman，Adept等相继开发出装备有新型视觉传感系统的机器人。与普通机器人相比，新型机器人因具有更为广阔的应用领域、更为强大的功能及更为优越的性能，而受到广泛欢迎，其售价通常是普通机器人的2倍。国内也