基于机器视觉的自动装配生产线定位方法

基于机器视觉的自动装配生产线定位方法

装配是产品生产的一个分支过程，在制造业中发挥着重要作用。传统的装配生产线上,装配机器人的操作都是预先严格设计好的,只能做一些固定的动作,这些机器人利用各种传感器来进行控制,称为敏感控制机器人。进行装配操作时,所有的动作都要预先设定,同时要求零件位置、包装箱的位置和方向放置得非常严格。为此要有价格昂贵的夹具或固定机构,还需要有精心设计的特殊传输带。将视觉系统引入工业机器人,可以大大地扩展机器人的使用性能和应用范围,使机器人在完成指定任务的过程中,具有更大的适应性。在实际应用中,由于各种原因,零件的位置往往不能严格固定,从而造成装配机器人拾取零件时出错,这时需要机械手能根据工件的实际位置动态调整抓取操作。本文通过CCD摄像机获取零件的图像,并通过图像处理和识别算法,计算位置偏移量,从而动态改变机械手的抓取操作,提高了装配操作的智能化。系统构成简单,开发成本低,具有很好的应用前景。1系统介绍1.1零件监控模块整个系统可分为3个主要模块:视觉模块,监控模块和执行模块。视觉模块通过一台固定在传送带上方的CCD摄像机摄取待装配的零件图像;监控模块监控装配线各工作站状态,并进行图像处理和识别定位,将结果传给下位机;执行模块根据反馈结果,动态调整机械手抓取零件操作。其中,监控模块中嵌入了图像处理识别子模块,完成对零件图像的采集、处理、识别和定位,是实现智能装配的前提,也是本文工作的重点。1.2图1:美国模式对采集的零件图进行图像处理和识别的系统框图如图1所示。对一幅采集的零件图像,需要经过滤波预处理,去除加性噪声,再对图像进行分割,提取零件特征,并对零件进行识别和定位。2零件的数据处理和识别2.1图像滤波处理在进行图像采集过程中,不可避免地受到各种干扰而混入随机噪声。为了减少识别误差,需对图像进行滤波处理。本文采用中值滤波算法,在滤除随机噪声的同时,很好地保持了图像的边缘信息,适应性强。图2(a)示出了采用该算法对采集图像的预处理结果。2.2图像分割的阈值在实际应用中,零件为亮色金属,将装载零件的托盘漆成黑色,使得采集图像的物体和背景形成明显的灰度差,将极大地简化图像处理过程,提高识别的速度和准确性。图像的直方图呈现明显的双峰,因此可采用二值化方法对图像进行分割。分割的阈值由最优阈值化方法确定,直方图采用正态分布的概率密度函数来近似,阈值取为离对应于两个或更多个正态分布最大值之间的最小概率处最近的灰度值。最优阈值选择的迭代算法:(1)求图像中最小和最大灰度值1µ和µM,令初始阈值为(2)在第t步,分别计算背景和物体的灰度均值µtB和µOt,其中在第t步将图像分割为背景和物体的阈值是Tt:其中,f(i,j)是图像上点(i,j)的灰度值,N(i,j)是点(i,j)的权重系数,通常取N(i,j)=1;(3)设,如果T(t+)1=Tt则停止,否则返回第(2)步。图2(b)是对经过预处理的零件图像采用该分割算法处理后的结果。2.3平均平均标记的选择在进行图像分割同时,采用连通域序贯标记算法对连通域进行标记并给同一连通成分的所有点分配同一标记。序贯算法要求对图像进行二次处理,算法描述如下:(1)第1遍扫描:从左到右、从上到下搜索整个图像R,设算法已经查到了该像素的这两个邻点,对每个非零像素R(i,j)赋一个非零的值V,根据邻域像素的标号来选择V值:1)如果这两个邻点都是背景像素(其像素值为0),则R(i,j)被赋予一个新的标记。2)如果这两个邻点中只有一点为1,且分配了标记L,那么就把这个标记赋予像素R(i,j)。3)如果这两个邻点都为1,且已分配了标记L,则把标记L赋予R(i,j);但是若邻点被分配了不同标记M与N,则这两个标记被用于了同一组元,需将它们合并。可将标号对作为等价的标号保存起来。等价对被保存在单独的数据结构等价表中。等价表包含了给每一连通成分分配唯一标记的信息,所有属于同一连通成分的标记被视为是等价的。(2)第2遍扫描:从等价集中选择一个标记并分配给连通域中所有像素点,通常将最小的标记分配给一个连通域。第2次扫描将给每一连通域分配唯一的标记。对二值化分割图,设定面积阈值去除背景噪声,再经过序贯算法标记后图像如图3所示,不同的连通域分别以标号1到4进行了标记。2.4零件特征匹配大部分零件是由圆形、方形等简单几何形状组合构成。因此我们可通过零件中的这些特征几何形状识别判别零件。即是采用圆形和方形的圆形度、矩形度、面积和周长等特征识别不同的目标零件。充分利用零件本身的形状和几何特征,避免了样本训练、特征匹配等通用模式识别带来的算法复杂等缺点。采用的特征值分别定义如下:(2)周长P:是围绕一个区域的所有像素的外边界的长度;(4)矩形度R:其中:AR为最小外接矩形面积;表1列出了图3中的4个区域(其中3个是目标零件)的特征值。识别时,由定位算法先得到区域的中心坐标,并根据标准图的零件中心位置,初步得到一个匹配结果。再计算零件的几何属性,分别用面积、周长、圆形度、矩形度等特征量对目标区域进一步进行匹配。采用该方法进行匹配速度很快,满足机器视觉在线识别的要求,同时也能够得到准确的匹配结果。2.5扩展分析模块设计零件定位是确定零件的位置和方向。首先确定零件的质心,对于二值图像,零件的中心位置与零件的质心相同。可通过下式求得由于是通过对图像进行“全局”运算得到的一个点,因此它对图像中的噪声相对来说是不敏感的。其次要确定零件的方向,这需要通过分析待测零件,选取合适的特征。在软件中可以将这部分设计成扩展分析模块,即为每种所需装配零件单独建立处理模块,根据需要装载。这种设计可以方便地扩展系统对零件更改的适应性。下面是针对两种特定的零件的定位方法。其中带孔圆形零件,可将小孔作为特征,根据孔中心形成的直线表示其方向。凹长方形零件,采用最小二阶矩轴来表示其长轴方向,并根据凹槽相对于物体中心的坐标方位来确定该偏移零件的旋转方向。最小二阶矩轴是这样一条直线,使物体上的全部点到该线的距离平方和最小。给出一幅二值图像B[i,j],计算物体点到直线的最小二乘方拟合,使所有物体点到直线的距离平方和最小,表示如下:为了避免直线处于近似垂直时的数值病态问题,将直线表示成极坐标形式:ρ=xcosθ+ysinθ,式(3)可重写为则极小化问题变为其中:由式(1)和式(2)求得,将式(4)对x2求微分,并令微分结果为零,得采用本文方法对经过以上处理的图像进行定位识别,并计算其坐标偏移和旋转角度,如表2所示。3视频输入和采集卡采用带有透镜径向一阶畸变的小孔摄像机模型,利用基于径向排列约束(RAC)的两步标定法对摄像机进行了标定,并在装配线上进行了机器人装配操作抓取实验。其中,下位机使用OMRON公司的CPMIA型PLC控制器,图像输入设备是采用MINTRON公司MS-1133型黑白CCD摄像头,像素为542(H)×582(V),CCD光敏像元尺寸为7.2μm(H)×4.7μm(V)。图像采集卡选用大恒公司的DH-VRT-CG200采集卡,最大分辨率为768×576×24bit。系统以一台PC机为上位机,对整条装配生产线进行监控,并进行图像的采集、处理和识别,同时将识别的结果传给下位机PLC,由PLC将位移角度参量变换成电平量并传给机器人控制器,控制机械手完成相应的抓取