薄钢板搭接焊缝的微小特征实时识别

1、.文章编号：1002025X(2014)10-0015-05薄钢板搭接焊缝的微小特征实时识别 陈海永， 杜晓琳，董砚（河北工业大学 控制科学与工程学院， 天津 300130）摘要： 针对薄钢板搭接焊缝， 提出了一种基于结构光视觉的图像特征识别方法。 利用时空相关性原理和图像形态学开运算， 消除部分随机噪声， 改善了图像质量。 利用峰值检测法， 确定了感兴趣区域， 提高了计算效率。 进而利用列搜索和距离差分法实现了结构光带 的特征点提取， 试验结果达到了期望的性能。关键词： 搭接； 机器视觉； 特征提取； 激光结构光中图分类号： TG441.7文献标志码： B主研机器人水下焊接与球罐焊。目前这些

2、研究主要引言搭接钢板焊接在集装箱焊接、 油桶纵缝的焊接、集中于较宽特征明显的焊缝图像识别，但是对于搭0接微小焊缝的识别仍需要进一步深入研究 。 为 此 ，本文主要研究了搭接焊缝特征点的识别与提取算法。汽车制造（汽车贮气筒环缝搭接焊缝、车身镀锌钢板）、 船舶制造、 航空航天、 压力容器制造等行业应用广泛， 开发搭接焊缝系统， 对于降低工人劳动强 度、 改善生产条件、 提高生产效率、 优化焊缝质量 有巨大的社会效益和经济效益。近年来， 为了实现焊接过程的自动化和智能化，国内外研究者对焊缝图像识别进行了大量的研究 。视觉系统构成基于结构光的搭接焊缝的特征点提取原理如图 11所示。整个视觉系统主要由

3、CCD 摄像机、线结构光发射器、 滤光片等部件组成。 CCD 摄像机垂直于焊接工件，线结构光发射器发射出一条细长的红色线德国斯图加特大学 F Abt 教授1、美国肯塔基大学张条打在工件上，干扰光信息。滤光片安装在镜头前方以滤去部分裕明教授2通过分析熔池状态图像，研究其与焊接质量的关系； 英国格拉斯哥大学 Camarasa3提出双目视觉系统， 能够在杂乱场景下完成辨识 、 确 定 目 标 ； 西 澳 大 利 亚 大 学 Mitchell ， Ye 4 等人实现了照度变 化， 反射等条件下的焊缝鲁棒识别和焊缝定位。 上海交大陈善本教授5 主要从熔池动态形状来研究焊线激光CCD 摄像机焊接工件接；沈

4、阳自动化研究所赵明扬教授6等人主研机器人图 1搭接焊缝视觉系统原理图激光拼接焊接；清华大学都东教授7等人主研彩色信由图 1 中可以看出， 线结构光打在焊接工件上，由于搭接引起的高度差值会使分别打在焊板上的两 段结构光呈平行状态， 需要找到焊接特征点即 2 条平行线的跳变点。息识别多层多道焊和管道焊接；中国科学院自动化研究所徐德研究员8 等人对 V 形焊缝焊缝图像处理进行 了 深 入 研 究； 北京石油化工学院焦向东教授9图像处理图像处理算法设计是视觉焊接系统中至关重要 的环节， 其本质就是对视觉传感器采集到的图像信收稿日期： 2013-12-07基金项目： 国家自然科学基金资助项目 （6120

5、3275）；河北省自 然科学基金项目 （F2014202071，F2013202101）；河 北省高等学校科学技术研究项目 （YQ2013036）2： 16 ·试验与研究· 焊接技术第 43 卷第 10 期 2014 年 10 月息进行加工， 保留有用信息，削弱或者去除噪声干式中： Ft（i， j）为 t 时刻采集到的图像； Ft（i， j）为 t-1时刻采集到的图像； Ft（i， j）为图像进行与操作后的 图像。这样， 图像与运算后可以滤去由于引弧飞溅等 引起的随机噪声的干扰， 而条纹有一定的宽度， 不 会对线位置识别造成较大影响。一般来说， 图像具有局部连续的性质 ，

6、即相邻扰。 对于搭接焊缝的微小特征识别，本文分别进行图像滤波等一系列处理， 处理流程如图 2 所示。骨架提取像素的数值相近，而噪声的存在使得噪声处产生灰度 跃 变 ，对图像局部存在的噪声采用平均模板滤 图 2图像处理流程图图像增强在现场实时焊接过程中， 由于存在弧光、 强热、飞溅等的干扰， 导致图像存在很多噪声， 这些噪声波， 修正噪声点的灰度值， 实现图像平滑。 设 f （i，21j） 为摄像机采集到的含有噪声的图像 ，经过邻域的平均模板滤波处理后的图像为 g（i， j）， 则有 g（i， j）=f（i， j）/N（i， j）M， M 是所取滤波模板中邻域中邻主要是呈现线状和块状的，采集的实

7、时图像如图 3a所示。 所以， 在进行图像特征点提取之前需要进行图像增强处 理 ， 即使需要的信息更加突出 ， 反 之 ，削弱不需要的信息， 使处理后的图像更加易于机器近像素的坐标，N 是邻域中包含的临近像素的个数。模板尺寸越大， 处理后的图像越模糊， 本实施例滤111 11111111即 为 111的识别，有利于特征点的提取。波模板采用尺 寸 为 3*3 的 模 板 ，11 · 1 1，1111911111 111111中间黑色圆点代表要处理的元素。 滤波结果如图 3b所示。通 过两幅图像对比可以看出 ，图 像 中 局 部 块状 的 噪 声点得到了有效修正 ， 邻域灰度值变化平 缓

8、 ， 平 滑 了 图 像 边 缘 ， 削弱了焊接过程中弧光带 来的干扰。（a） 原始图像图像分割图像分割是将数字图像分割为互不相交22（ 不重叠） 区域的技术和过程。图像分割是图像分析中的关键问题，通过图像分割可以凸显出图像中感兴趣的区域或景物。图像二值化为了进一步凸现出感兴趣目标的轮廓， 需要对灰 度图像进行二值化处理。 为了得到理想的二值图像， 须选取合适的阈值。 而由于条纹中间较亮， 两边较暗， 所以整幅图像不宜用一个相同的固定的阈值。221（b） 滤波后的图像图 3采集的实时图像在实时获取图像信息时， 基于时空相关性原理，考虑到条纹有一定的宽度 ， 实时焊接运动速度等 ，在以 ms 级

9、为单位的处理速度情况下，相邻帧间图像条纹在图像中的位置变化缓慢，而图像中飞溅噪声下面提出阈值选择方法，最大类间差法（ 简称则有很大的随机性， 因此， 对图像进行与操作：Ft（i， j）minFt（i， j），Ft1（i， j），OTSU 法）。 OTSU 算法计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的（1）提取特征点确定感兴趣 区域结构光条纹条纹有效性 判断特征点提取图像分割图像二值化图像形态学图像增强图像滤波 Welding Technology Vol43 No10 Oct. 2014 ·试验与研究· 17 应用。 它是按图像的灰度特性，将图

10、像分成背景和提取特征点确定感兴趣区域相机采集到的图像， 干扰遍布整个图像区域上，23前景两部分。 背景和前景之间的类间方差越大，说231明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景都会导致两部分的差别变小。 因此， 使类间方差最大的分割意味着错分而处理图像所需要的区域只是含有结构光条纹的区域， 有效提取感兴趣区域， 不但提高了稳定性， 避 免图像其他区域的噪声对图像处理过程中造成的干 扰， 而且， 较小图像处理范围， 提高了算法的处理 速度。通过逐行计算结构光条纹亮度， 找出 2 个峰值所在的行， 2 条纹纵向坐标分别记为 y1， y2。 此时，概率最小。设灰度图像灰

11、度级是 L，则灰度范围为0， L-1， 利用 OTSU 算法计算图像的最佳阈值为：tmaxw0（t）*（u0（t）u）2w1（t）*（u1（t）u）2，（2）变量说明： 当分割的阈值为 t 时， w0 为背景比例， u0为背景均值， w1 为前景比例， u1 为前景均值， u 为 整幅图像的均值。可以确定图像感兴趣区域 纵 向 方 向 范 围由于搭 接 板 的（ ROI） ，使以上表达式值最大的 t 值，即为分割图像的最min （y1， y2）20， max （y1， y1）20 。佳阈值。的结果。图 4 为 OTSU 算法对图像进行二值化处理条纹征点处可能出现不连续断点，法获取连续的条纹直线

12、， 即：采用最近邻插值f（x，y）g（round（x），round（y），（4）式中： f（x，y）为滤波处理后的图像； round 为取整运算。 最近邻插值法计算简单， 程序运行耗时少，输出结果不影响关键信息的处理。与插值结果如图 6 所示。感兴趣区域的确定图 4 OTSU 算法二值化图像图像形态学图像二值化后， 还存在部分干扰， 为了进一步 消除干扰， 需要再次进行处理。 采用形态学开运算，222即先对图像做腐蚀运算再做膨胀运算。腐蚀运算会去除图像里面边缘点离散点，膨胀运算会使存留下图 6 确定 ROI来的信息恢复原貌，这样在不影响图像轮廓基础上结构光条纹骨架提取确定结构光条纹中心骨架最常

13、用的方法有阈值 法、 极值法、 重心法等。 阈值法是以阈值大于等于232滤除了噪声。 开运算可表示为：A×S（S）Z（S）Z哿A。（3）图像开运算后的效果如图 5 所示。一定值的左右两像素为起始点和结束点，二者的平均位置为结构光条纹中心； 极值法是以光强最大值点作为结构光中心骨架； 重心法即为改进的极值法，首先采用极值法找到光强最大值位置，然后取此位置左右各 k 点， 求这 k1 点的重心，即认为是结构光条纹中心骨架。 这 3 种方法单个像素点的提取不准确会对结果造成较大影响。在 ROI 区域内，提取焊缝条纹中心线数组， 本图 5形态学开运算处理结果 18 ·试验与研究&#

14、183; 焊接技术第 43 卷第 10 期 2014 年 10 月文采用逐列搜索法得到条纹的中心线数组。条纹打点距离差值之和。当满足条件 Dd 时， 即寻到焊接特征点，正叠加时坐标偏差， 对 i 值进行修正， 对此时，在焊板上会有一定的宽度，需要进行细化以提取列为修满足方向上唯一的条纹坐标。细化的基本思想就是保持图形原有形状的同时， 去掉边缘点， 即保持图像原有骨架， 细化的目的即为提取出唯一的条纹中心线 数组。 基于条纹细化原理， 笔者提出一种逐列搜索法得到条纹的中心线数组。条件的 i6 值即为特征点横向坐标值，（y1+y2）/2 为特征点纵向坐标值。在现场焊接过程中， 高频噪声等干扰大量存

15、在，为进一步提高特征点提取的稳定性与可靠性， 采用 二阶差分法进行修正补充。sum12*（f（i， j1）f（i， j1），sum2f（i， j8）f（i， j6）f（i， j8）f（i，deltasum1sum2，（5）j6），（6）（7）Y（i， j）=f（i+2， j）-2*f（i+1， j）-f（i， j）。（11）提取到的最大点处的二阶差分值 Y（i， j）处即为求取最大的 delta 值， 此时对应的 j 值即为提取的对特征点。通过距离搜索法提取到的特征值与二阶差应轮廓的纵向坐标，此时 f（i， j）即为提取结果。分提取到的特征值进行比较，两值差小于 10 个像素条纹有效性判断提取

16、的特征点会由于噪声等引起特征点较大的 偏差， 需要对提取的条纹骨架进行有效性判断， 确保提取的条纹特征点有效。 求取每次提取的特征值点即为合法， 否则进行下一轮计算。233试验结果通过以上步骤处理， 图 7 中方块即为焊接特征3得平均值，要去除掉。误差大于 30 个像素即为大的跳变点，需点提取结果。 由图中可以看出，激光条纹明显分割为 2 条直线，焊接特征点即为由于钢板搭接高度变aver= f（i，） 化引起的直线跳变点。n/n，（8）ji=1式中： f（i，j）为提取到的特征点； aver 为每提取一个特征点后进行的一次均值计算。赋值为 aver。剔除后的特征点值距离差分法提取特征点经过插值

17、法得到连续的条纹， 又以逐列搜索法 得到条纹骨架， 下一步要解决的就是要确定焊接特234征点，在图像上显示为 2 条条纹的转折跳跃点。常图 7特征点提取结果用方法为通过梯度值寻找梯度最大点，但这种方法为了验证算法的实时性与可靠性，对焊接过程计算量大， 影响系统的实时效果，本文采用一种通中特征点实时提取， 分别对不同斜率的直线进行提取。 通过控制执行机构运动， 以 1 m/min 的速度匀速 移动传感机构， 提取特征点坐标， 选取 2 条不同斜过距离差分法提取焊缝特征点。 依次取相邻 10 个点的图像轮廓 f 值， 进行距离差分计。率焊缝如图 8a， b 所示。对提取到的特征点的横纵dmax（y

18、1， y2）min（y1， y2） *5*，（9）坐标进行拟合， 得到跟踪与拟合数据结果，提取到i+10i+4D=f（i， j）-f（i，j），（10）的 X， Y 数据见图 8c， d， e， f。 从图中可以看出 ，i+6i式中： d 为 2 条距离叠加值； y1， y2 为已提取出的 2坐标实时提取精度较高， 提取结果稳定可靠。算法条条纹纵向坐标值； 为距离权值，用来修正距离处理速度较快， 速度为 14 帧/s，要求。能够达到实时焊接叠加值偏差，取值范围为 0709； D 为图像上连续 Welding Technology Vol43 No10 Oct. 2014 ·试验与研究

19、· 19 结论对于搭接焊接智能系统， 图像处理速度是关键， 针对薄钢板搭接焊缝， 本文通过时空相关性原理与 形态学开运算等一系列算法， 完成对图像增强降噪 处理， 继而通过峰值检测法确定感兴趣区域， 提高了运算效率， 并采用逐列搜索法对条纹骨架进行了4（a） 焊缝 1（b） 焊缝 250045040035030025020015010050准确提取，最终利用列搜索和距离差分法得到特征点， 处理速度较快。中遇到的各种干扰，本文充分考虑了实时焊接过程并结合结构光图形图像特点采用了一系列可靠的处理过程， 处理速度较快，足焊缝实时跟踪的要求。能满0050100 150 200 250 300

20、帧数（c） 焊缝 1 的 x 坐标变化350400参考文献：500450400350300250200150100501Abt F， Heider A， Weber R， et al Camera based closed loop con-trol for partial penetration welding of overlap jointsJ Physics Pro- cedia， 2011， 12： 7307382Zhang J， Walcott B L Adaptive interval model control of arc weld-ing process J IEEE Tr

21、ansactions on Control Systems Technology，2006， 14（6）： 1 1271 13403Gerardo A C， Fattah H and Paul Siebert J. Towards a unified visualframework in a binocular active robot vision system J Robotics020406080 100 120帧数（d） 焊缝 2 的 x 坐标变化140160and Autonomous Systems， 2010， 58（3）： 276286Dinham M， Gu F. Low c

22、ost simultaneous calibration of a stereo vi- sion system and a welding robot C/2010 IEEE International Con-500450400350300250200150100504ference on Robotics and Biomimetics（ROBIO）， 2010： 1 452-1 456陈希章， 陈善本. 焊缝三维信息计算精度分析及试验方法J. 焊 接学报， 2009， 30（3）： 4549张承宁， 赵明扬， 罗海波 一种灰度级抽取的图像分割方法研究J 小型微型计算机系统， 2013，

23、 34（8）： 1 8911 895邹怡蓉， 都 东， 曾锦乐， 等 基于多视觉特征获取与信息融合 的焊道识别方法J 焊接学报， 2013， 34（5）： 3336560050 100 150 200 250 300帧数（e） 焊缝 1 的 y 坐标变化3504007500李原， 徐 德， 李 涛， 等 一种基于激光结构光的焊缝跟踪8450视觉传感器J 传感技术学报， 2005， 18（3）： 488492焦向东， 黄松涛， 周灿丰， 等 海底管道干式高压焊接跟踪轨迹 的识别J 焊接学报， 2007， 28（1）： 144009350300250200020406080 100 120帧数（f

24、） 焊缝 2 的 y 坐标变化图 8 提取到的 x， y 数据图140160 作者简介： 陈海永 （1980 ）， 男， 博士， 副教授， 研究领域： 视觉检测、 视觉控制、 工业机器人等.y 坐标/像素y 坐标/像素x 坐标/像素x 坐标/像素 Welding Technology Vol43 No10 Sep. 2014 · 英文标题、 摘要及关键词 · MAIN TOPICS, ABSTRACTS KEY WORDSResearch on microstructure of SOFC cathode fabricated by plasma sprayingXIA W

25、ei-sheng1， YANG Yun-zhen2（1State Key Laboratory of Materials Processing and Die Mould Technology， Huazhong University of Science andTechnology， Wuhan 430074， Hubei pro， China； 2School of Automotive Engineering， Wuhan University ofTechnology， Wuhan 430070， Hubei pro， China） P69Abstract： As a new powe

26、r source， solid oxide fuel cell （ SOFC） has become the current research focus of fuel cells， which is considered to be the most promising new energy technology in the 21st century In this paper， the SOFC cathodes are prepared by plasma spraying， and then their microstructure and composition distribu

27、tion analysis are carried out to investigate their characteristics And also the cathode microstructures by plasma spraying of micro- and nano-particles are analyzed for the comparison This case will provide the effective guidance for the microstructure optimization of SOFC cathode fabricated by plas

28、ma spraying Lamellar structure is mostly observed in the SOFC cathode prepared by plasma spraying with micro-particles， and the columnar crystal structure occurs in the some partial regions， which is beneficial to provide more electrochemical reaction pore structure in the service life of SOFC The n

29、ano-crystal of the SOFC cathode by plasma spraying with nano-particles mainly inherits from the original sprayed particles and the formed nano-crystal during the quenching processKey words： solid oxide fuel cell， plasma spraying， cathode， microstructure， columnar crystal structureQuantitative study

30、of metal magnetic memory testing technique in welding defect detectionGUO Qi， LI Hui-lin， GUO Li-jie， ZHENG Chao（ College of Environmental and Chemical Engineering， Yanshan University， Qinhuangdao 066004， Hebei pro，China） P1014Abstract： In order to solve the question of magnetic memory technique whi

31、ch could not analyze the welding defect quantitatively Two testing directions of Q345R welding plate was tested， one was along the weld direction， and the other was perpendicular to the weld direction The effects of weld metal crack size （including crack length and crack depth） on magnetic memory si

32、gnal was studied Then the quantitative relationship between weld metal crack size and magnetic memory signal was also established This paper proposed a new way to analyze the weld metal crack quantitatively， which was the combination of testing directions The researches showed that two testing directions signal both had obvious weld metal crack location features， but one single direction signal couldnt reflect all the size information， the signal of two testing directions must be combined In addition， BP neural network method was studied in this article， the results showed that BP neu