基于计算机视觉的机器人多点手预捕获模式分类方法

基于计算机视觉的机器人多点手预捕获模式分类方法

0预初清阶段挖掘根据arbib等人提出的人类物体取样过程模型，机器人物体采集过程可分为三个阶段：初始阶段、预采阶段和操作步骤。在逼近阶段,机器人根据物体的外在特性,如空间姿态,引导多指手逼近物体;在预抓取阶段,运用视觉系统获得物体的形状,大小等特性,来决定采取何种手势抓取物体;在操作阶段,也就是在手指接触物体后,通过触觉等其它感知信息形成闭环回路来调整抓取力的大小。本文主要研究抓取过程中的预抓取阶段,在实现这阶段的过程中,David等人采用基于专家系统的模糊规则方法;Medhat采用带加强反馈的专家神经网络方法;参考文献采用了基于支持向量机的方法;以上方法都属于有监督模式识别范畴,即需要知道学习样本的先验知识。本文则采取了无监督模式识别方法——聚类分析方法实现对不规则形状物体的预抓取模式分类。1多次品的采集机器人多指手预抓取模式分类的整个流程如图1所示。Cutkosky提出的抓取分类学,如图2所示。其决策过程为:首先通过其表面粗糙度来判断是采用精密抓取还是强力抓取,粗糙度大的并且尺寸较小的物体可以采用精密抓取,而粗糙度小的,或者尺寸较大的物体则需采用强力抓取。然后通过判断物体的圆度来决定是否采用球形抓取,确定采用球形抓取后,获取物体的直径,来决定需要几个手指操作来抓取物体。对于不是球形的物体,还要通过物体的摆放姿态来决定多指手的抓取姿态。对于水平摆放的物体来说,其通过质心的垂直轴长的大小来决定抓取时需要的手指数;同理,对于竖直摆放的物体,则多指手必须转动手腕进行测面抓取,并判断其通过质心的水平轴长来决定需要采用几个手指抓取。当物体大小超过某一尺度时,则不能抓取。2图像预处理的原理对经数码相机拍摄得到的数字图像,进行图像预处理,阈值分割及形态学处理和形态学轮廓提取及细化3个步骤的处理,得到的图像可以用于提取物体的各个特征。2.1基于ps/ln-lnsmin图像的数字图像特征,其符合以下的图像数图像预处理即是图像增强的过程,包括二维中值滤波平滑和直方图规定化增强2个空间域方法。为了配合人眼视觉系统的对数特性,使图像直方图满足双曲线形状,则修正后要求的灰度分布函数为:Ps(s)=1/{s[ln(smax)-ln(smin)]}(1)式中smax,smin——灰度的最大值和最小值变换函数为:s=smin(smax/smin)∫r0Pr(w)dw(2)式中Pr(w)——式(1)中的分布函数2.2图像的分割处理利用图像的灰度统计信息提出一种快速有效的阈值分割方法,可以很好地将物体与背景有效分开。算法过程:一幅灰度级为L的图像,图像中灰度值为i的像素个数为n。去除像素个数为0的灰度值,组成序列像素Nk,并依次求出相邻的4个灰度值的方差,确定某一阈值d,使Var(Nk,Nk+1,Nk+2,Nk+3)<d成立。则k即为分割阈值τ。应用此阈值对图像中的物体和背景进行分割,可得到二值图像。阈值分割可以很好地完成二值分割工作,但发现某些物体在分割后内部和边缘出现一些噪声,影响轮廓的提取,因此采用形态学处理的方法作进一步处理,即用数学形态学里的开运算和闭运算,经过这样的处理后可以基本消除噪声。2.3形态梯度相关的缘检测许多常用的边缘检测算子通过计算图像中局部小区域的差分来工作,而形态学边缘检测主要用到形态梯度的概念。设A表示图像,B表示结构元素,♁表示膨胀运算。这里采用的形态梯度为:Grad=(A♁B)-A(3)由于通过上述方法提取出来的轮廓往往较粗,需要采用数学形态学对图像轮廓进一步细化。3刑罚执行和图像重构通常人在抓取物体之前会考虑其各方面的特征,比如颜色特征、形状特征和纹理特征等,其中姿态、大小、形状和表面粗糙度等特征,是人在抓取时决定采取何种手势抓取的最有效的依据。假定照相机镜头与物体的距离保持不变,结合图像提取长轴角,通过质心的水平轴长和垂直轴长,圆度(取值范围为0～1)以及灰度共生矩阵中的角二阶矩、熵分别作为物体姿态、大小、形状和表面粗糙度特征。这6个特征值组成向量作为每一物体特征向量,其特征向量如表1所示。物体摆放姿态与长轴角的关系定义为:当π/4<θ<3π/4时,物体为竖直摆放;其它情况则为水平摆放。圆度越接近1时表明物体越接近于圆形,二阶矩越大,则物体表面粗糙度越大,反之则越小;同样的,熵越小,则物体表面粗糙度越大,反之则越小。4模糊c的平均聚集模糊C均值算法(FCM算法)是一种基于划分的聚类算法,由Bezdek于1973年提出,作为硬C均值聚类(HCM)方法的一种改进。4.1自适应的聚类中心属性或目标函数FCM把n个向量Xi(i=1,2,…,n)分为C个模糊组的过程简述如下。根据模糊划分规则,FCM的隶属度矩阵U需要满足的条件如下:算法开始阶段,用值在0～1的随机数初始化隶属度矩阵U。再根据迭代公式:调整聚类中心和隶属度矩阵,直至价值函数(或目标函数):取得最小值。这里,Ci为第i聚类中心,dij=‖Ci-Xj‖为第i个聚类中心与第j个向量间的欧氏距离;且m∈[1,∞)是一个加权指数,Pal等人从聚类有效性方面的实验研究得到m的最佳选取区间为[1.5,2.5],若无特殊要求可取区间中值m=2。4.2类中心聚类分析算法上述算法由于不能确保FCM收敛于一个最优解,算法的性能依赖于初始聚类中心。为提高分类正确率,采用改进的FCM算法:在算法的第1阶段,采用改进的基于相似性阈值和最小距离原则的聚类方法对样本进行粗聚类,并对聚类结果计算得到各类的类中心;第2阶段,以第1阶段所得的类中心作为初始聚类中心,执行标准的FCM算法。第1阶段:a.将欧氏距离最近的2个样本定为一类,选定距离阈值T,与该2样本之一的距离在T之内的所有样本判属此类。b.在剩下的样本中找到距离最近的一对样本,若它们之间的距离大于T,则将这2个样本分别定为一类;若它们之间的距离小于T,则选定距离阈值αT(0<α≤1),将与该2样本之一的距离在αT之内的所有样本判属此类。c.重复上一步骤,直到所有样本都被分类,若最后只剩一个样本,则将该样本单独定为一类。d.调整T及αT,直到所有样本被聚成C类。e.按下式计算得到各类的类中心Ci(i=1,2,…,C):式中nj——第ωj类中所含样本的个数第2阶段:f.选择常数e>0,置迭代次数k=0,以e的结果作为初始聚类中心C(0)。g.根据C(k)按式(6)计算U(k)。h.根据C(k)和U(k)按式(7)计算代价函数J(k)。i.按式(5)进一步调整类别中心C(k+1)。j.检验,若|J(k+1)-J(k)|<e,则结束,输出聚类结果;否则,置k=k+1,返回g。5fcm聚类分析实验采用的数据来自VanAmsterdam大学的实物图片图书馆。因为本文假定照相机和物体间的距离固定,所以在实验中选择了如图3所示的,与现实中的物体比例相似的26种实物的彩色图像,每幅图像为192像素×144像素的点阵。采用的多指手模型如图4所示,具有4个手指,大拇指有5个自由度,其余手指均为4个自由度。手掌的宽度为90mm(每个指宽为30mm,对应到图像中其每个指宽为20个像素),手掌的长度为120mm,除大拇指外每个手指的长度为120mm。对每幅图像分别提取特征值组成特征向量Xi=[xi1,xi2,xi3,xi4,xi5,xi6],用采用高斯归一化对这些特征向量进行归一化。设μj和σj分别表示各类特征向量的均值和标准差,这样各个特征转变成具有N(0,1)分布的特征。即有:根据这些物体在某个角度的特征,结合人类日常抓取策略,可以对它们进行预抓取模式分类。假设机器人多指手的姿态在抓取竖直摆放的物体时需要转动手腕进行侧面抓取,而对水平摆放的物体则可以直接正面抓取。其结果如表2所示(物体的编号按照图3中从左到右,从上到下的次序排列)。分别用2种FCM算法对经过归一化处理后的特征向量进行聚类分析,其中各参数的取值为:m=2,e=10-5,T=0.8,α=0.5。由于基本的FCM对初始聚类中心比较敏感,所以进行10次运算,结果取其平均值。表3分别列出了迭代次数、运算时间和准确率。由表3可以发现,基本的模糊C均值聚类算法的初始聚类中心是随机产生,故容易陷入局部极小,不能得到完全正确的结果,而采用改进的模糊C均值聚类算法由于算法的第1阶段可以直接得到较正确的分类结果,第2阶段进一步执行FCM算