基于图像的PUMA560机器人视觉伺服系统仿真

1、基于图像的puma560机器人视觉伺服系统仿真2007年10月第35卷第10期机床与液压machinetool&hydraulicsoct.2oo7vo1.35no.1o基于图像的puma560机器人视觉伺服系统仿真宗晓萍,淮小利,王培光(河北大学电子信息工程学院,河北保定071002)摘要:采用基于图像的视觉伺服方法,基于机器人仿真工具箱(roboticstoolboxformatlab),在matlab/simuiink环境下,运用子系统建立了基于图像的六自由度puma560机器人视觉伺服仿真模型.通过仿真试验,其结果表明所构建的机器人视觉伺服系统对于静态的目标定位能够达到较快的响

2、应和较高的精度.关键词:视觉伺服;puma560机器人;图像雅可比矩阵;系统仿真中图分类号:tp24文献标识码:a文章编号:10013881(2007)101614simulationofimagebasedvisualservoingsystemforpuma560robotzongxiaoping,huaixiaoli,wangpeiguang(collegeofelectronicandinformationalengineering,hebeiuniversity,baodinghebei071002,china)abstract:avisualservoingsimulationmo

3、delforasixdofspuma560robotwasestablishedusingimagebasedmethod.thissimulationschemebasedonroboticstoolboxformatlabwasbuiltwithsubsystemandworksundermatlab/simulinksituation.theresuitsofexperimentshowthatthissystemcanresponsefastandhashighprecisionforstaticlocating.keywords:visualservoing;puma560robot

4、;imagejacobianmatrix;systemsimulation0引言机器人视觉伺服是指利用从图像中提取的视觉信息作为反馈传感信号,进行机器人末端执行器的位姿闭环控制.由于视觉信息具有包含的信息量大,可以非接触地感知环境等优点,在机器人的视觉引导,自动化装配,焊接及搬运等应用领域具有广泛的应用前景.机器人视觉伺服系统的种类繁多,存在多种不同的分类方法.根据控制方式可分为基于位置(positionbased)的视觉伺服控制,基于图像(imagebased)的视觉伺服控制和混合(hybrid)视觉伺服控制.基于位置的视觉伺服控制方式是在机器人任务空间中以摄像机的当前位姿与期望位姿之差来设

5、计控制器,由于其设计过程在直角坐标空间完成,符合人类的视觉习惯,所以其特点是形象,直观,容易理解.但此方法需要求解机器人逆运动学方程,计算量比较大,同时对摄像机的标定误差比较敏感,其控制的精度直接依赖于系统模型及标定误差.基于图像的控制方式其误差信号直接在图像空间定义,无需估计目标在笛卡儿坐标系中的位姿,减少了计算延迟,同时对摄像机标定的要求不高,具有较强的鲁棒性.但基于图像的控制方式需要在线计算图像雅可比矩阵(图像特征参数变化率与任务空间位姿变化率的关系矩阵)及其逆矩阵,加大了计算的难度.混合视觉伺服控制是指将基于位置和基于图像的控制相结合,误差信号既定义在图像空间又定义在位姿空间,集中了二

6、者的优点,对摄像机的标定误差也具有较好的鲁棒性.机器人视觉伺服系统的设计较为复杂,涉及的学科内容较多,除了机器人的运动控制外,还涉及到摄像机标定,图像处理,模式识别等内容.因此建立系统仿真模型,对于机器人视觉伺服的研究是非常必要的.本文基于机器人仿真工具箱(roboticstoolboxformatlab),在matlab/simulink环境下建立了图像反馈的六自由度puma560机器人手眼视觉伺服系统simulink模型,通过实现机械手对空间物体的定位仿真试验,验证了模型的有效性.1基于图像的机器人视觉伺服/摄噩墓特征提取卜.图像处理卜._j图一像图1基于图像的机器人视觉伺服系统结构图目前

7、存在的机器人视觉伺服控制方法中,基于图像的视觉伺服绕过了3d空间的重建,直接利用图像特征来控制机器人的运动,延迟时间短,控制精度高,鲁棒性强,故经常被采用.基于图像的视觉伺服系统结构如图1所示,图中采用双闭环结构,其中内环为关节伺服控制,通过关节位置反馈来实现机器人轨迹跟踪控制.在高性能伺服控制器作用下可将机器人控制系统近似为线性环节.外环为视觉伺服控制,基金项目:河北省自然科学基金资助项目(批准号:a2004000089);国家教育部留学回国人员科研启动基金资助项目(批准号:48371109);河北省科学技术研究与发展指导计划(编号:072135142)?162?机床与液压以较低的采样速率完

8、成关节角设定.整个系统利用从图像中提取的视觉信息特征,进行机器人末端执行器的位姿闭环控制.基于图像的机器人视觉伺服系统控制结构的关键问题是如何得到反映图像特征变化量与机械手位姿变化之间的变换关系矩阵,即图像雅可比矩阵.设/=,为目标物体的图像特征向量,r=r,r,r口一,r为机械手相对于基坐标系的位姿,.,为r与/的切空间之间的线性变换.则f=j,r,其中图像雅可比矩阵.,可以表示为jl=arlarpor另一方面,设q=q,q:,q,q为机器人关节角向量,定义为q与r的切空间之间的线性变换,则=j2q,其中机器人雅可比矩阵.,可以表示为:j2=ar1aq8rp8rpaqlaq(2)因此,图像特

9、征变化率和关节角速度之间也具有图像雅可比矩阵关系,f=jqj=jlj2=aqlaqlaqaq(3)式(1)和(3)是图像雅可比矩阵的两种表示形式,构成了基于图像反馈的视觉伺服研究的基础.求解图像雅可比矩阵主要有三种方法:直接估第35卷计法,深度估计法,常数近似法.深度估计法需要求出图像雅可比矩阵的解析式,并实时在线调整雅可比矩阵的值,精度较高.采用深度估计法,根据文献5可得图像特征变化率和摄像机位姿变化的关系:(4)其中:,t,r,rr:分别为摄像机的平移和旋转速度;(/z,)为目标特征的图像坐标;a为摄像机焦距.2图像反馈的视觉伺服系统仿真模型2.1机器人工具箱简介机器人工具箱(第七版)是由

10、澳大利亚联邦科学与工业研究组织(csiro)的研究员petercorke于2002年4月提出的.该工具箱包含了大量功能丰富的函数,可用于机器人运动学,动力学和轨迹规划的研究.该工具箱是基于串连关节机械臂的运动学和动力学提出的,应用该工具箱可以创建串连关节的机器人对象.此外该工具箱还提供了一些机器人仿真实例(如puma560,斯坦福机械臂等)和表示三维位置和姿态时常用的数据类型(如向量,类型转换矩阵和四元数等).2.2仿真模型的构建系统仿真模型如图2所示,仿真的基本思想是根据目标在像平面的图像特征与理想的图像特征之差定义误差信号,并变换到机械臂运动空间,以此作为机器人的运动控制命令驱动机械臂运动

11、,使得目标特征点逐步成像于理想位置.下面对模型中的主要部分加以介绍.图2系统仿真模型(1)期望输入时目标物体在图像平面上的理想特征.通常选取的图期望输入是指摄像机(机械手)到达期望位置像特征可以为特征点,线,圆,图像矩等.本例中选竿ma一0a一a一0;一第10期宗晓萍等:基于图像的puma560机器人视觉伺服系统仿真?163?取长方形物体的4个角点作为其特征点.假设.为期望的图像特征向量,厂为当前的图像特征向量,则图像特征误差为e=一fo(2)视觉控制器视觉控制器的设计方法有许多种,包括常规的pid控制器,基于任务函数法,状态空间法和基于机器人动态特性的控制器.pid控制器由于算法简单有效,在

12、工程实际中得到最广泛应用.因此本文采用pid控制器.根据视觉反馈误差e可以建立以下控制律:k/z=ke(k)+k,e(i)+.(e(k)一e(k一1)式中:u为控制量,k,k,分别为比例,积分,和微分算子的系数矩阵.本文采用最简单的比例控制,其控制量/z=ke.此模型中的视觉控制器由visjac,piny,矩阵相乘模块和比例模块组成.由于e定义在图像特征空间,而机器人的控制输入通常在笛卡儿空问或关节空间,因此需要进行必要的空间变换,即在线计算图像雅可比矩阵.jf=visjac(/iv,camdata,),根据式(4)完成图像雅可比矩阵的在线计算,其中输入/ib为图像特征矢量,camdata:a

13、,a,a,/z.,是摄像机参数,具体值将在仿真试验中给出,是深度信息,指摄像机到图像平面的距离;piny用于矩阵求逆运算.这部分的功能是由:j,-./计算出机械手相对于直角坐标空间的变化量.(3)puma560机器人本文以六自由度puma560机器人为例进行仿真.puma560机器人由6个连杆和6个转动关节组成,手爪与连杆6固定,基座固定不动,每个关节有1个自由度,因此puma560机器人是六自由度的操作臂.机器人本体结构图如图3所示.图3puma560关节型机器人本体结构示意图基座称为连杆0,不包含在这6个连杆之内.连杆1与基座0由关节1相连接;连杆2与连杆1通过关节2相连接为了确定各连杆之

14、间的相对运动关系,在各连杆上分别固接一个坐标系.与基座固连的坐标系记为0,与连杆i的坐标系记为i,其轴即第i关节轴线.puma560关节型机器人和大多数工业机器人一样,后3个关节轴线交于一点.该点作为连杆坐标系4,5,6的原点.各连杆的4个特征参数定义如下:a一,为从一,到沿一,测量的距离;为从到绕一,旋转的角度;d为从一,到沿测量的距离;为从到绕旋转的角度;连杆参数如表1所示,其中a:0.4318m,a=0.02032m,d2=0.14909m,da=0.43307m.表1puma560关节型机器人的连杆参数对于旋转型机器人只有是变量,其它的,a,d均为常值.为了求解运动方程式,要引入两组臂

15、杆间的齐次变换矩阵.为了书写上的方便,令s=sin,c=cos,a=.a.则两相邻臂杆间的齐次变换矩阵:a=co一csosocco0s.00ssoco.一scosocd.01(5)各连杆矩阵相乘,得puma560的机器人总变换矩阵为:t=ala2a3a4a5a6.本实验中的机器人部分包括jacobll,pinvl,tkine,矩阵相乘模块和积分模块.j=jacobll(robot,q)用于求机器人雅可比矩阵;pinvl是机器人雅可比矩阵的求逆运算;t=fkine(robot,q)求取机器人的运动学模型;这部分的功能是由g=求得的机器人各关节角的变化量q,再由fkine得出各关节总的变换矩阵.(

16、4)摄像机模型图4摄像机针孔模型pix.,z).i?164?机床与液压第35卷摄像机标定完成由二维图像坐标到三维空间坐标0(,z)为世界坐标系.的变换.采用摄像机针孔模型(图4),0(,y,)为其关系可用下述矩阵方程描述摄像机坐标系,0(,y)为成像平面坐标系,yu0rr1/dx训l.0z1:ctfyu.a0001/f10a00101jlo010j其中(u,)是以像素为单位的图像坐标系坐标,(,y)是点p在成像平面坐标系坐标,s(s=1/z)为比例因子,a为摄像机焦距,y为倾斜因子,a:a/dx,a:a/分别为u轴和轴的尺度因子.y,a,a,u.,均为模型的内部参数,c是摄像机内参数矩阵.(3

17、3正交矩阵)和t(三维向量)为摄像机的旋转矩阵和平移矩阵,为外部参数矩阵,f是目标特征点在世界坐标系中的坐标.仿真中的摄像机模型由camera模块来实现.删=camera(p,c,t)实现由三维世界坐标到二维图像平面坐标的转换,最终返回相应的图像特征矢量坐标/zu.3仿真试验及结果取目标物体为一长方o.厂=_?体,选取长方体上表面的4o0:1个角点为特征点,其空间300;1坐标(单位为m)分别为o0.;1(2,0.3,0.2),(2,0.3,i.:一q2),(2,一q3,一q2),.300.3,机.图5初始图像始位于(0.5,0,0)处,一初始的图像特征点坐标如图5所示.试验中采用的摄像机镜头

18、的有效焦距为8mm.摄像机感光阵列大小为6.4mm6.4mm,像素数为512512,则每个像素对应的图像尺寸为a:a=6.4/512=0.0125mm.成像平面坐标系的原点在图像平面的坐标为/z=%:256.期望的图像特征点坐标为(256,406),(456,406),(456,106),(256,106),期望的图像特征如图6所示.仿真过程中目标特征点u,在图像平面上的运动轨迹如图7所示,其中表示起始图像特征点,0表示最终图像特征点,+表示期望的目标图像特征点.图8为末端执行器的运动轨迹,末端执行器的最终位置为(0.72,0,0.2).即为长方体侧面的中心,便于抓取.图像特征的误差曲线如图9

19、所示,最终4个特征点误差的均方差为0.062个像素.由仿真rayu.0=l0.0fl001ol(6)结果可以看出,图像特征点最终能够到达期望的位置,且误差收敛于0.仿真结果具有较高的精度,能够较好地完成定位试验.500400300200l000500400300200l000,.一01o02003004005000lo0200300400500hh图6期望目标图像n80.6宴0.4冀懈毯露g图7目标特征点在图像平面上的运动轨迹图8末端手爪运动轨迹图9图像特征误差曲线4结论本文通过分析机器人视觉伺服系统的基本原理,采用基于图像的视觉伺服方法,基于机器人仿真工具箱,在matlab/

20、simulink环境下,运用子系统建立了基于图像的puma560机器人视觉伺服仿真模型.通过实现机械手对空间物体的定位仿真试验,验证了该模型的有效性.机器人视觉伺服系统的仿真,可为系统的设计提供一定的理论依据.但在实际系统中由于机器人的高度非线性,图像采集和处理的时延等因素的影响,其控制的实际效果还需做进一步的实际试验分析.参考文献【1】王麟琨,徐德,谭民.机器人视觉伺服研究进展j.机器人,2004(5).【2】w.j.wilson,c.w.hulls,g.s.bel1.relativeendeffectorcontrolusingcartesianposition?basedvisualse

21、r?(下转第154页)1jflr.-,l1,j000?154?机床与液压第35卷差,derror(i)为第k个采样时刻第i个粒子的位置误差变化率,u(i)为第k个采样时刻第i个粒子的位置,即控制量.为了反映这三项在适应函数中的作用,三项分别乘以权重o/,b,y.通过经验统计建模,可得某液压弯辊控制系统的开环传递函数为g.s=1.65810s.+2.22210一s+65.622.2110-6s4+6.89510-4s3+0.1286s+23.59s+1该对象为四阶系统,为了得到简化的传递函数,对其进行降阶处理,采用matlab提供的鲁棒控制工具箱中的基于schur均衡实现模型降阶函数schmr(

22、),可以直接获得降阶后的模型传递函数,g(s)=0.947s+258.04s+92.76s+3.93.【4】【5】【6】【7】采用基于混合粒子群算法81的pid控制器,采样周期为1ms,总共采样100次,时间为0.2s.输入为单位阶跃信号,控制量加上白噪声扰动.控制系统的仿真结果如图3所示,三条曲线代表三种控制算法的系统输出曲线,三条曲线都在很短的时间内达到了预定值,而且没有超调,说明三种算法在调节pid参数方面都有较好的效果,但是混合算法上升速度快,psogapso,/.n4%n8lt/s图3自适应控制系统的输出曲线粒子群算法次之,遗传算法最差.仿真曲线说明自适应pid整定具有较好的鲁棒性,

23、抗干扰能力较强.总的来说,在该液压弯辊伺服控制系统中,混合算法体现了它明显优于其它两种算法的性能,也使该控制系统取得了较好的控制效果.5总结本文研究了基于遗传算法的混合粒子群算法,用实验证明了混合算法在性能上比其它两种算法都有所提高,将混合粒子群算法应用到液压弯辊伺服系统的自适应pid控制中,并对此进行仿真,取得了令人满意的控制效果.参考文献【1】尹国芳,王益群.基于遗传算法的电液弯辊力伺服控制j.流体传动与控制,2004(3):45.【2】陈丽,李建更.fnn模型参考自适应控制在轧机液压弯辊系统中的应用j.计算机测量与控制,2005,13(12):13961399.【3】jkennedy,r

24、ceberhart.particleswa/lboptimizationc.proe.ieeeint.coneonneuralnetworks,1995:19421948.jkennedy,rceberhart.adiscretebinaryversionoftheparticleswalqllalgorithmc.ieeeservicecenter,proceedingsoftheieeeconferenceonsystems,man,andcybernetics,piscataway,nj:ieeepress,1997:41044109.yshi.rceberhart.amodifiedp

25、articleswalqlloptimizerc.procoftheieeeint.conf.onevolutionarycomputation.1998:6973.yshi,rceberhart.fuzzyadaptiveparticleswai1yloptimizationc.proeoftheieeeconfonevolutionarycomputation.seou1,2001:101106.rceberhart,yshi.comparinginertiaweightsandconstrictionfactorsinparticleswarlnoptimizationc.procoftheieeeconfonevolutionarycomputation.2000,1:8488.jkennedy,rmendes.populationstructureandparticleswarmperformancec.proc.2002congressonevolutionarycomputation,2002,2:16711676.【9】jhholland.adaptationinnaturalandartificialsystemm.mitpress,1975.作者简介:王京,男,汉族,教授,博士生导师,研究方向:自动化及过程