一种新的机器人手眼关系标定方法

1、| 维普资讯 h ttp:/VoI.2StIMcl4July. 2006| 维普资讯 h ttp:/| 维普资讯 h ttp:/立章编号:I002<M46( 2006)04-0400-07一种新的机器人手眼关系标定方法杨广林，孔令富，王洁（燕山大学信息科学与工程学院.制北矗堂岛066004）摘 通过控制装有摄像机的机械手的运动*给出了一种新的机器人手眼系统标定方法与以往英朕的不同 之处在于+在计算手眼关泵的平移向凰肘.对摄像机坐标系进行虚设艇转变换使徒转转化为平移何题 该方法需翌 机械手平台做两次平移运动和-次旋转运动只需要场景中两个特征点，所以具有方便性和实用性，同时*也给出r 基干主

2、动视觉的空間点深廈值计算方程、关餐词：手眼系统*平移运动；标定：深度值中图分类号；TP24文献标识码：RA New Calibration Approach to Hand-Eye Relation of ManipulatorJ"YANG Guang-lin, KONG Ling-fuT WANG 血(CoUege of fn/brwzfi Science and £ngijiering, Fa/tan Unwenity f Qinhuangfitio 066004, China)Abstract： We present a new hand-eye cahbration

3、 method on the basis of controlling mot ion of nianipulator mauntecl with a camera. Different fromj other algorithms t this method utilize twminaJ rotation for camera coordinate lo make rotation trans- foiTn into translation. The algorithin needs the manipulalor to execuLe two translation motions an

4、d a roiaiion motion and requires only two feature poiri1& in lhe The algoritlhiTL is both ciivenierit £mdl praolical in application. At lhe same time we also present an ative-vioii-baeti calcuklioiial method for depih value of points in ihe soent.Keywcifds: eye in hamd syslem; iranslation m

5、olion; ealibralion； depth| 维普资讯 h ttp:/| 维普资讯 h ttp:/收辐日明：2005-W-i21 引言（IiHnxhKtkm）机器人的视觉可分为固定视点的视觉和非固定 视点的观觉.固定规点的视觉是指摄像机处干静止 狀态，而固定视点的观觉要实现空间目标的定位一 般采用静止放置的两个摄像机构成双目系统“非 固定视点的视觉主要是指手眼系统口出和自主移动 车的视觉系统等.手一眼视觉是将摄像机固定在 可以稲动的机器人手臂的末端执行器上，并随着末 端执行器移动*于一眼视觉系统是实现主动视觉的 主要途径在手眼系统中，机器人控制器可以将机械 手移到任何方位，机器人需要知

6、道空间物体相对于 平台的位置，而物体的位置信息可以通过摄像机来 获取需要把摄像机获得的信息转化为平台坐标反 之也需要把平台的运动参数转换为摄像机的运动参 数+就应该求岀摄像机坐标系相对干平台坐标系的 方位，即机器人的手眼关系本文提出基于主动视觉 的机器人手眼关系掠定方法，不使用已知结构的标定物，是-种自标定方法r2 机器人手眼关系的标定（Calibration of hand-eye relation of manipulator）讨论的对象是安装个摄像机的机械手末端平 台*且机械手末端平台的移动被控制得精确“如图】 所示.设为空间某物体的坐标系，匚为摄像机坐 标系.G为机械手来端平台坐标系,

7、q与（:詢的相对 位置用&表示tet与g的相对位置用R j表示. 由于摄像机是固定在机械手平台上的，因此-旦固 定,k和f就是常野确定摄像机坐标系与平台坐标 系之间的关系藍和f的过程'就称为机器人手眼的标 定对于手眼标定.已有许多研究者进行了研 究f27"常用的机器人手眼标定方法是利用已知标 定参考物（标定块），控制机械手在不同方位观察空 间一牛已知的标定参考物，从而推导*和f与多次观第閱卷第4期扬广林等：一种新的机器人手眼关系标定方法401察第果的关系.这一方法需要求解方程AX = Xff 71, 这里A、X凤B是4 乂4矩阵，表示欧几里得变换，其 中A和B分别表示

8、机械手平台坐标系和摄像机坐标 系从第一个位置到第二个位置的变换*表示机械手 坐标系到摄像机坐标系的变换,即手眼关系*且下讨 论中假定摄像机的内参数已知，不使用已知结构的 标定物.图1摄像机坐标系与平台燮标系的关系Fig. 1 Relation between camera coord Lfiale and manipululor coonlindlc21手眼关系中的旋转矩阵的标定机械手平移时，摄像机也在平移.Ma在文10 中给出了摄像机坐标系平行移动方向的确定方法.Fig. 2 Geometrical relation of camera translalion如图2所示止与右为摄像机做平移运

9、动前甲处 与平移后乙处得到的两幅图像f为场景中的点心 与内为该点在两幅图像上的投影，称4与划为场景 中同点的对应点，简称对应点萨与內在两个图像 平面人与厶的坐标分别为円(知在图像平面人内标出点(衍，旳)，记为P；与 P；的连线称为平面人内的对应点连线丄内所有对 应点连线都逋过极点丿»扱点为乙处的摄像机坐标 系原点在平面人内的投影，向的方向即为摄 像机平移向量00的方向.选择场景中的两T持征点，在平面人上求得两 个上述的连线，这两个直线的交点即为扱点“进而 00的方向为单位向斌江=0" |6引，有Q0严 豳，其中 ff = (fl, ,«2>0.设P为空间中的

10、一点.”为点F在物体坐标系 F的坐标&为点P在机械手末端平台坐标系下的 坐标扎为点尸在摄像机坐标系下的坐标,则有；Xv = R,XC +F X. = RXrt (I) 机械手平台从甲处平行移动到乙处，平移的向 就为 诳.P点在甲处和乙处机械手平台坐标系F的 坐标分别为孟和E点在甲处和乙处的摄像机坐标系的塑标分别是孔 和*： 则有：JT； = RXr +&/) +f = Xc +石 RH 由上式可得：X'c-Xc = ktRb = 0.0,<2)从场景图像中找出两幅图像的两个匹配怎，求 出摄像机坐标系平移的向罐冕、于是得：a = Rb(3)机械手沿不同方向再械两次平

11、移运动同样可 以推得与上面的式子相类似的式子，即有；a2 £62 f a3 =*(4)将上面的3个列向量合成一个矩阵形式：A = RB(5)手眼关系的旋转矩阵1，特别地,控制机 械手沿3个相互正交的方向运动，矩阵B是单位正 交矩阵，于是R= AB2 ri误差的控制由于有许多因素彩响空闾点的成像精度，例如:(1)光学系统产生的非线性误差；(2)噪声引起的误 差江3)由CCD相机的数字图像空间最化效应所引 起的像索定位误差等从理论上讲，当尺和R都是正 交矩阵时,A也应该是正交矩阵.由于存在误差+得到 的三个平移向量&、鬲、鬲可能不相互正交事实上, 町以采用相互正交的两个方向的机械

12、手运动、分别 求得两个摄像机坐标系平移方向，当这两个平移向| 维普资讯 h ttp:/402机器人2006年？月蚩不相互正交时，采用施密持(Schmidt)正交牝方法 舟其正交化后，仍记为然后分别将石鼻与耳屁 都按右手系扩充成标准正交基,分别为5.兀 b.和玄、爲届t即得旋转矩阵盘是正交的.m 深度值的计箕问题空间点的深度值是指空间点在摄像机坐标系屮 的工轴的坐标，计算手眼关系的平移览时，要用到空 间点的深度值-Z 0咛 设摄像机的内部参数矩阵为二0人 叫*-0 0 1 -控制机械手平台从甲处平行移动到乙处.摄像机坐 标系的平移的向拭为ka=k(aita2Ta.)其中可是 平移方向对于空间一点

13、玖在甲处摄像机坐标系中 的坐标为Ei =(柑珀,zd)其图像像素坐标为 (叫J,在乙处摄像机坐标系中的坐标为G = 匕厂沧丹几图像像素坐标为(“),根据小孔成 像的线性模型有下列关系式：«l'-甌扎“ zc2-1 -1 -将X桂=+ ka代入式(6 ),并消去Xc t整理得 下面的方程：- u( ) = k(aja + uoa3 - aji/2) (f) l九(旳-旳)=+- *j*a)(7)式中,和是未知屋.当出-«i #0时*有:kg必+ %碍-的旳)小、幻 也-«否则有：(«iZ + 如h -眄叫)”、3 =(9；赴-眄式(町和(9)表明，

14、若已知摄像机坐标系平移方 向f点的深度值和摄像机塑标系平移距离左是 对应的，即已知摄像机坐标系平移距离氐，可求 出P的深度值殆，反之亦然.2.2手眼关系中的平移的标定下面來求手眼关系的平移量L令机械手平台做 纯族转运动，其旋转矩阵为&,如图耳所示，0计和 分别是摄像机坐标系运动前后位誉的摄像机坐标 系的原点设空间中的点巴在平台能转前，平台坐标 系的坐标为X輛，摄像机坐标系的坐标为乳亠平台旋 转后平台坐标系的坐标为兀"摄橡机坐标系中坐标 为于是有下列关系式】心二虬兀j(10)入=g +1(11)Xf2 = % + t丨利用式(10) -(12)(得：X 2 = RRK% + (

15、E - RRrR l) t(13)图3平件绕厲旋转后的位置Fi各 3 Pusilion after imnipululur raialirLg aruund 0e图4摄像机绕0“能转后的位置Fig. 4 Pbsiliun ufler can>era roiatm aruun<! ()ri关系式(13)说明摄像机坐标系的运动是由两部 分构成的，一是雄转矩阵为RRZ 的旋转变换，由 于W已被求出，且虬町以从机械手控制器中读出. 所为已知；另一个是VJ,(E-RRrR-)i为 平移向it的平穆变换“通过一个虚设旋转来求列一部分，即设想摄像 机坐标系绕着0说的位置进行旋转，使得购个摄像机

16、坐标系各个坐标轴方向一致，如图4所示，为此，考 虑进行如下坐标变换令：却=R町旷心(14)将式13)的扎1代人式(14人得：=Tc + (RRfR 1 -E)t (15)关系式(14)式表示虚设旋转后得到的新坐标系 与第一个位置的摄像机坐标系之间的变换关系.这| 维普资讯 h ttp:/(20)| 维普资讯 h ttp:/杨广林等：-种新的机器人手眼关系标定方法是一种纯平移的变换.建立虚设旋转前的图像点与旋转后的图像点之 间的对应关系对于空间点巴在旋转前的摄像机坐 标系中的坐标为扎“图像中的按影点为（也宀八在 旋转后的摄像机坐标系屮的坐标为扎图像中的投 影点为（旳设为摄像机的内參数矩阵根据小孔

17、成像原 理的线性模型有下列关系式：(16)令则式（14）变为CXcl t将此 式优入式（16）,得：旳=j CM1巧-1 -1 -）令a =心如MCM；' -山I式（门）展开求解得：_圧畀也2 +占2旳+必J 必 1 + 32 + 33二山】旳+注恥+吒3 *対+ J2 +注对(18)从机械手平台旋转前肓得到的两幅图像中找出对应点*再通过（18）式将对应点映射到虛设施转后的圈像上去*即仙冋）4（衍円）T（UJ ,旳）1（吗,叫）*由于（%小）一（吟）的对应关系是两个平行 图像的对应关系，可以按照2.1节介绍的方法求出 叽4的单位方向向量"（556八即0心二 me.对于其中的/

18、n*可通过求出空间某一点P在Ovl 处摄像机坐标系的深度值也得到，而深度值可氐山 式（町或（9）来求得.在求得了空间点戶在处摄 像机坐标系的深度值和后由图像的对应点（旳宀）屮眄，为及0“0宀的单位方向向量匚通过下列公式求得叭即:当M +岭5 “ 5旳时，有(19)否则，有:根据式（15）可知0,0仪二血“（舷”尺亠理）叭从此式中可解得即求得了手眼关 系的平移向量.综上,可通过以下步骤求得机器人的手眼关系：1）选取场景中有明显特征的点（至少两个*可 以人为设定八2）控制机械手平台做平移运动，根据平行移动 前的j幅图像以及平行移动后的一幅图像的持征对 应点求解摄像机坐标系的运动方向西，进而得到平

19、移向量岛矶；3）再选取一个与第一次移动方向垂直的方向做 平移运动,同样求取摄像机坐标系的平移向最 5，同 时求场最中的特征点在此时摄像机坐标系的深度值；4）利用Schmidt正交化方法将右、心正交化'令 心=忌 （咼，同时利用机械手平台平移的方向向量由 式（0求得手眼关系的箍转矩阵聲；5）接着，控制机械手平台做纯旋转运动,得到关 系式心=K&fT% + （E-RRZ 店6）做虚设旋转变换Xti =M； /t 根据两 个图像点的对应关系（巧）式,求旋转前后图像的对 应点，这样猖到的图像与机械手平台旋转前的图像 互相平行；了）利用机械手平台旋转前的空间一点卩的深 度值以及虚设旋转后

20、两个平行图像的持征点的对应 关系求出向量 s根据臥|0魂承叹 解岀f的值.经过上述步骤就可以求岀机械手的手眼关系R 和庇3 实验（Experiment）31模拟实验模拟图像假设大小为1024 x 1024像素.摄像机 内参数假设为/； =1000=800, =百00他=256. 空间一点P在图像乎面的投影为p, （200,200,90）, 第一次平移后在国像平面的投影为PJ100J50, 100） T第二次平移后槻影为p；（530,100,258）,第三 次平移后投影为250,130354）；空间另一点F在 图像平面投影为P, （350,200,90）'三次平移后的投 影分别为 P2

21、（ 625,250,100）（310,180,258）. /（47Qt360t354）.3 11机械手平移对旋转矩阵的误差的影响摄像机沿3个相互正交的方向运动得到的平移 矩阵的稱确与否会对于旋转矩阵的求解产主影响, J 0 0'不妨设平移矩阵月二Q I 0向平移矩阵的每一Lo 0 1J(20)| 维普资讯 h ttp:/404机器人2006邺7月元舉加人不同水平的随机噪声1.3转动矩阵对手眼关系中平移的診响由机械手控制器读出的转动矩阵的精度会影响 求解手眼关系的平移重转动矩阵是机械手分别绕3 个坐标轴转动一个角度得到的"假设控制机械手平台 做纯旋转运动，分别绕X轴转动绕F轴转

22、动15 绕近轴旋转53计算岀机械手平台的转动矩阵再由 N 2节所介绍的公式,计算岀对应的平移最I.在转动 角度上加人不同水平的随机噪声，即加人不同标准方 差的高斯白噪声在每一随机噪声水平下'运行本算在每一随机噪声水平均偏差实验结果见表1-从表1屮可以看出旋转平下运行本算法100次，计算所求出的旋转矩阵的 矩阵偏差是稳定的.表1当平移距阵蚣于不同噪声水平时手眼关茶中联转矩阵的平均值Table 1 Average of rotation matrix m hand-eye relation in the cases of translation matrix having noise of

23、 djffennt levels噪声水平 何）0102030陆转矩阵(.0.7382 0.8357 0.3899.0.6152 0.5008 0.83980.2768 0.223 03779-R 0.73 570.8340.3879.0.6L35 O.4W9 0.83830.2753 0.2244 OJ768-0.7402 0.8372 0,如 1 餌G.6I66 030IS O.S409 0.2781 0.226103769 -0.73160J8460.6167 0.483 0就 1 0.2727 G.2227 0374?旋耨距阵 平均帕走0-0.OT25- 0.0017-0.002-0.0

24、017-0,0009-0.0015-0.00L5-0.0009 -O.OOlh0.0020.00150.0016,0.0014 0,0007 &00II0.003 3 0.00080.001-0.0066-0.0047- 0.00531-0.0045-0.0025-0.0037-0.0C4I-O.QC25-0.0032 -| 维普资讯 h ttp:/404机器人2006邺7月| 维普资讯 h ttp:/404机器人2006邺7月312图像噪声对能转矩阵误差的診响检验图像点噪声对本文算法的影响，在图像坐 标Pi必必屈f 厲 £、碍上加入不同水平的随机 噪声*噪声的单位是像素&q

25、uot;在每一随机噪声水平下, 求岀摄像机坐标系的平移方向、进而得到矩阵A,然 后由平移矩阵B求旋转矩阵+运行本算法100次，计 算所求岀的旋转矩阵实验站果见表2+算法是稳定 的.| 维普资讯 h ttp:/404机器人2006邺7月| 维普资讯 h ttp:/404机器人2006邺7月*2图慷点处于不同嗥声水平时手眼关系中症捷矩阵的乎均值Table 2 Average of rotatioD matrix in hand-rye rdaiion in the cases of pixel having noise <vf dilTrenl leveh嘆应水平 （% ）0102030旋转

26、短阵0.7382 0.8357 0J899-0.6152 0.500S 0f8398 0.1763 0.2253 03779-0 7381 01336 OJSS06LM asoo? O,835SL 曲64 02253 0-3774 -0.7J52 0.8368 039120.6142 0,5002 0.84050.28190.2220.3753f 0.7 344 0.8371 039410.6159 0.4W6 Ol 帕加0.2833 0.2215 0.374-雄转矩阵平均偏差0-0.0001-0.002!-0.0019O.OUI2a.OMl-O.OOlJ-0.0004GjOQIL*00005

27、-0.0030.00110WI3-0.001-0P(XX)60.00060,005-0.0033- 0.0026-0.00380.GQI40.0M20.0007-0.0012-0.00090.0065-0.0038-0.0038-| 维普资讯 h ttp:/404机器人2006邺7月| 维普资讯 h ttp:/404机器人2006邺7月S 100次，计算所求出的平移址的平均值实验结果见 表玄从这个表中可以看岀算法是稳定的+31,4图像噪声对手眼关系的平移的影响为了检验图像点噪声对平移量计算的影响，在 像素坐标上加人随机噪声，在不同哋声水平（即随机 噪声的幅值）下均进行100次实验，然后取平均*

28、实 验结果见表4.从表4中可以看岀，在有噪声的情况 下，利用本文提岀的平移量计算方法仍能获得较好 的结果，证明了算老的稳定性.| 维普资讯 h ttp:/404机器人2006邺7月| 维普资讯 h ttp:/404机器人2006邺7月裹3转动角度St于不同噪声水平时手眼关解中平移的平均值ruble 3 Average of translation vector tn hand«eye relation in the casts of rotation H angle having noise of different levels曉声水平（羅01235-224.04-290.3874

29、2.26-215.91-282341 71S.4I-2OI.39_-262.13667.92-1S96_-240.95626.S8-169.25-1%.4?55977 -7-16006-190.87，529.63> L 53.16-16191505.7210-LS13K.-J9349501.44| 维普资讯 h ttp:/第狷卷第4期扬广林尊；一种新的机器人手眼戋系标定方储405護4 图锲点处于不同噪声水平时手眼关系中平移的平均值Table 4 AveniRe of IransEadon vector in hand-eye relation in the cases of pixel

30、havinf* noise of difTerent levels| 维普资讯 h ttp:/燥声水平（箱）012-224.041-214.8S-220.36平務量-29.031 -2&3M74.22672.145L 69J06 -351030-19832I72J5-16W-148l75-2&9B5-22.421 -20j6-19.14568.61357+36152.496，48410 50- 15331. L&,367422&7 -| 维普资讯 h ttp:/3.2真实圏像实验我忙I采用台湾敏通公司的MTV4881EX黑白 （XD摄像机.Maimx公司的Cor

31、ona II型图像采集卡， 并且在做实验前摄像机的内部参数已经披标定， 岭=120比巾=129.8,7； =3102,/；= 750.L 机械手移 动平台采用6-HTRT型六自由度井联机器人,在场最 中放置了由徼光打印机打岀的3亍不共线的实心圆 点构成的标志物将摄像机安装在机器人的动平台 上,构成手眼系统，控制机器人动平台做两次相互垂 直的纯平移运动2O,OT3OTJOT2OTOr和绕戈轴旋 转30啲纯族转运动，分别在不同位置取得4幅图像, 见图5.(c)图5摄像机从4于不同的位置获得的图像Fi舀.5 Im超烂i acquired from 4 different posilions利用本文的

32、算注求得了机器人手眼关系的施转 矩阵和平移虽，结果如下：P.51530.85640.0168 -_ 15036-05882037100.7171r 225L62L 0.62570.3578 0+6 理.280,76,4 结论 Conclusion）本文在摄像机的内部参数已经标定的情况下, 讨论了不需要高精度地标定参照物的机器人手眼关 系的标定方法该方法利用场景中的特征点与图像 点的对应关系以及机械手的平移运动和旋转运动, 分别求解手眼关系的錠转矩阵和平移向量.主要有 以下工作:通过控制机械手平台做两次平移运功（这 两次平移一般采用正交方向人就可以求出手眼关系 的旋转矩阵,保证所得的旋转矩阵正交

33、；然后，控制 机械手平台做旋转运动同时对摄像机坐标系进行 虚设旋转变换使之转化为平移问题，来求出手眼关 系的平移向量星同时，也讨论了基于主动观觉的空间 点深度计算问题上述方法，只需要场景中的两个特 征点*因此比较方便，实验证明这种方法是有效的.参考文献 References)】马颂©.托正班.计算机观觉计算理论号算法展础M. JtJft:科学出版社* I轴乱2 llorauri R T Dnmait F Hand-re !aijbralmn| j | Tlie JnEerTutifOnH JourrwkJ nf Khittics Kesearrh, 1995 T 14(1)： 195

34、 2103 BcrioEzj M, Broi A, Fascioli A, ¥i虽intdlink vehicles :nt lhe art und perwptvtivP _ J _ - Rnbnd也 arul Aulnnamomh System 2.000. 32(1)-16.u 4 j I*0 R Luvnig (J-Tt Maybank S. Camera self-ralibraiiiDn* ihc-on and eiperimenBs A Proceedlinf of the Second European Cfliilcrence on Compuiler Vision C, Berlin, Germanyx Springer- 1W2. 321 -334.5