基于嵌入式视觉反馈的焊接机器人控制系统研究

基于嵌入式视觉反馈的焊接机器人控制系统研究

三峡等大型水电站先后建成并生产能力提高，对设备的叶片修复和质量要求更高。迫切需要开发出符合中国标准的智能机器人设备，这些设备可以直接在机井内完成维修和焊接，而取代传统的井外手动修复方法。2001年以来,清华大学与长江电力股份有限公司合作开展具有自主知识产权的大型水轮机叶片坑内修焊机器人作业单元关键技术研究,针对机器人移动平台设计、作业臂设计、空间定位等方面取得了一批阶段性成果。为获得高质量焊缝成形,需对焊缝进行自动跟踪,并实时调整焊接参数。随着计算机视觉传感与控制技术的发展,基于工控机、图像采集卡和运动控制卡架构的焊接过程视觉反馈控制系统得到成功应用。但受体积、质量和可达性的限制,此类系统无法直接应用于移动式修焊作业机器人。数字信号处理器(digitalsignalprocessor,DSP)技术的迅猛发展为解决上述问题提供了有效手段。基于上述背景,本文开发了功能集成度高、图像处理速度快、体积小、质量小、适用于移动式焊接机器人的双DSP嵌入式视觉反馈控制系统。1模拟图像监控系统如图1所示,双DSP嵌入式视觉反馈控制系统由两片TI公司生产的DSP芯片为核心构成,包括基于TMS320DM642的图像采集与处理模块、基于TMS320LF2812的运动控制与参数调整模块、数字视频输入模块、数字视频输出模块、模拟视频输入模块、模拟视频输出模块和电源变换模块等。系统工作原理为:TMS320DM642通过模拟视频输入模块或者数字视频输入模块实时采集焊缝或者熔池区域的视频图像,并根据所设计的图像处理算法,从视频图像中提取焊枪与焊缝偏差信息或者影响焊缝成形质量的熔池特征参数等。在此过程中,TMS320DM642一方面将相关信息标示在熔池区域图像上,并动态显示在图像监视器上,供施焊人员实时监控整个焊接过程。与此同时,TMS320DM642还要将所获取的图像特征信息通过McBSP总线传送给TMS320LF2812,由TMS320LF2812根据所设计的控制策略,输出相应的焊枪位姿调整信号给电机驱动器,驱动十字滑块调节焊枪位置,实现焊缝跟踪;或者输出相应的焊接规范参数修正信号调整焊接电源输出,实现焊缝成形控制。TMS320LF2812也可以独立地采集焊接电流、电压等信号,并从中提取弧长信息,输出相应的焊枪位置调整信号,调节焊枪位置实现弧长控制。2单元各模块的功能划分和硬件设计2.1运动控制与参数调整模块图像采集与处理模块以TMS320DM642芯片为核心,在其扩展内存接口A(EMIFA)总线上扩展了2片16MB的同步动态存储器(SDRAM)和1片4MB的FLASH存储器。其主要功能是:获取数字视频信号,对数字视频信号进行缓存,完成特定的图像处理算法并提取图像特征值,将图像特征值同步传给运动控制与参数调整模块。该模块利用I2C单元与所有的I2C总线接口模块实现通讯;利用视频捕获单元获取数字视频信号;利用多缓冲串行总线与运动控制模块实现通讯;利用扩展内存总线与随机存储单元和FLASH存储单元实现高速总线连接,其中程序存于FLASH存储单元中,掉电后能够保存并能在上电后通过总线载入,随机存储单元则用于临时图像缓存;利用高速主机单元与USB接口模块对接,实现数字图像的USB传输;利用JTAG模块实现程序的下载和调试。2.2机的启停和换向运动控制与参数调整模块以TMS320LF2812为核心构建,该模块通过通用I/O单元输出相应的控制信号实现电机的启停和换向;利用事件管理器EVA(B)的脉冲发生器单元输出脉宽调制(PWM)脉冲信号实现焊接规范参数调整或电机运动速度调节;通过内置的积分编码脉冲编码计数单元实现电机运动速度和位置反馈;利用多通道缓冲串行端口(McBSP)实现与图像采集与处理模块的高速数据交换;利用串行通信接口实现在调试阶段与工控机的通讯。2.3数字相机接口电路设计数字视频输入模块的功能:实现对低压差分信号(lowvoltagedifferentialsignal,LVDS)接口方式的数字相机接口逻辑电平转换;实现不同数字相机视频格式到BT656视频格式转换;实现电弧电压检测并由此控制数字相机完成可控同步曝光。本文选用EPM240T100作为主控芯片,采用DS29LV048实现LVDS电平转换。2.4视频解码芯片模拟视频解码模块将CCD摄像机输出的模拟视频信号转换为数字信号。本模块采用型号为SAA7115视频解码芯片实现此功能,它能够直接输出TMS320DM642视频采集所识别的数字视频格式。可以通过I2C总线对SAA7115进行配置,同一个I2C总线上可挂接2片SAA7115。2.5bt.656数据处理模拟视频输出模块可以将图像采集与处理模块输出的数字图像信号转换为工业图像监视器可识别的模拟视频信号。本模块采用型号为SAA7121的视频编码芯片完成视频信号的数模转换。BT.656标准的数据从图像处理模块输入到SAA7121的数字端口,经过视频编码器的DataManager模块分离出Y信号与CbCr信号,再经过Encoder模块进行视频信号的编码,得到亮度和色差的数字信号,最后经过数模转换模块将数字视频信号变换成模拟视频信号,转换后的亮度和色差模拟信号分别从Y和C口输出,也可以按照复合信号通过CVBS端子输出。对SAA7121的工作配置也是通过I2C总线完成的,同一个I2C总线上也可以挂接2片SAA7121。2.6图像传输模块为能借助MATLAB等大型工具软件,快捷有效地编制相应的图像处理算法,需要将嵌入式DSP视觉反馈控制系统采集到的图像数据快速准确地通过数字视频输出模块传输到工控机。本模块的主要功能为:实现高速同步获得图像处理模块所需要输出的图像信号;按照特定的数据格式进行打包并传输到工控机;接收并执行工控机的传输指令。本模块只在系统进行算法调试或者需要将所获图像存储于工控机时安装使用。USB2.0接口能够达到最高80MB/s的传输速度,能实现PAL制图像的无丢失传输,并有较好的通用性。3tms320dd2视频采集主程序为了在所研制的嵌入式DSP系统上实现图像采集、处理和反馈控制,在CCS3.1平台上采用C语言编写了TMS320DM642和TMS320LF2812上运行的应用程序,程序流程图如图2和图3所示。图2所示的TMS320DM642程序流程图分为图像处理主程序和视频采集中断子程序两部分。TMS320DM642上电后采用EMIFBoot方式启动,通过扩展内存接口总线将连接在其CE1空间上存储器中前1kB的启动程序拷入片内缓存并运行这段程序完成上电复位工作。上述拷入片内缓存的启动程序将完整的应用程序从片外FLASH存储器中拷入内部高速缓存并跳转到应用程序入口实现FLASH程序加载。之后,应用程序进行初始化工作,主要包括EMIFA总线、I2C总线、视频口等外设模块的配置以及扩展内存只读技术(EDMA)通道的配置。在完成初始化后,程序进入到图像处理主循环中。图像处理主循环首先等待视频采集完成。为了节省DSP运算开支,TMS320DM642的视频采集以中断方式进行工作,且视频数据通过EDMA传输到指定内存区域,其流程见图2b。图像采集中断子程序在完成一帧图像采集后会对采集完成标志变量进行置位,主程序判断该标志位的置位情况可确定视频采集是否完成。若一帧视频图像采集完成,则需要对新获得的图像进行图像处理和特征提取。由于一帧图像的数据量较大,无法一次性将全部图像数据拷入内部高速缓存进行处理。为此,程序开了一个图像处理窗口并不断移动,最终实现全图的处理和特征值提取。为防止待输出图像未完成传输,在拷贝数据前先判断视频输出是否完成。最后,TMS320DM642将获取到的图像特征值通过McBSP传送给TMS320LF2812,完成一次图像处理主循环,程序又回到了视频采集判断,开始新一轮处理工作。图3中所示的TMS320LF2812程序流程分为反馈控制主程序和McBSP数据获取中断子程序。芯片上电后,首先将烧写在其内部FLASH中的应用程序拷入高速缓存中,并跳转到应用程序的入口地址完成上电复位工作。在程序对McBSP和AD等外设模块进行初始化配置之后,根据不同的工作模式选择情况,进入到对应的主工作循环中。主程序有3种工作模式可选,分别为弧长控制模式、焊缝跟踪控制模式和焊接成形控制模式。弧长控制模式首先是通过AD采样焊接电流和焊接电压,然后根据转换结果计算得出弧长偏差量,输出相应的电机运动控制信号,驱动电机调整焊枪位姿,实现弧长反馈控制。焊缝跟踪模式首先等待McBSP中断子程获取新图像特征值,之后根据此特征值计算焊枪和焊缝中心位置的偏差,输出相应的电机运动控制信号,驱动电机调整焊枪位姿,实现焊缝跟踪。焊接成形控制模式与焊缝跟踪控制模式类似。首先等待图像特征值更新,之后计算焊接规范参数修正值,最后根据上述修正值输出控制量调整焊接电源的输出。4视觉反馈控制系统采用功能单元模块化设计和层叠装配结构,将上述功能模块集成在170mm×57mm×40mm空间尺寸内,设计完成了用于移动式修焊作业机器人的双DSP嵌入式视觉反馈控制系统,如图4所示。系统的主要性能指标如下。质量:0.2kg(含铝合金屏蔽外壳);体积:125mm×70mm×45mm;兼容PAL、NTSC、LVDS制式模拟或数字视频输入;支持PAL、NTSC模拟视频输出;最多可支持3组步进电机控制;可实现两组电机运动速度反馈。选用合理的光学系统并编制相应的图像处理算法,所研制的视觉反馈控制系统已在不锈钢V型坡口焊缝跟踪、MIG打底焊焊缝成形控制和脉冲TIG焊熔宽控制中得到成功应用。5焊接质量控制研制了一种结构紧凑、功能高度集成、可脱离工控机独立工作、装配于移动式焊接机器人上、进