视觉伺服控制算法优化综述

视觉伺服控制算法优化综述视觉伺服控制算法优化综述摘要：系统论述了视觉伺服控制的应用现状。重点介绍了针对不同的实际情况，提出优化的基于位置的视觉伺服系统和基于图像的视觉伺服系统的控制算法。优化后的算法效率高，具有很强的有效性和可行性。优化后的控制系统功能更强，更精确有效。关键词：视觉伺服;优化;算法SurveyofVisualServoingcontrolalgorithmAbstract:Theapplicationstatusofthevisualservocontrolarereviewed.Fordifferentrealities,weputfortwardanimprovedposition-basedvisualservosystemsandimage-basedvisualservocontrolalgorithmofthesystem.Highefficiencyoftheimprovedalgorithmhasstrongeffectivenessandfeasibility.Theimprovedcontrolsystemfunctionsstronger,andbecomemorepreciseandeffective.Keywords:VisualServoing;improve;Algorithm视觉伺服控制算法优化综述1引言随着科技的快速发展，在现代工业自动化生产过程中，机器视觉正成为一种提高生产效率和保证产品质量的关键技术,如机械零件的自动检测、智能机器人控制及生产线的自动监控等。基于视觉的伺服策略是采用相机所观察的特征来控制机器人移动的一种灵活有效的方法。视觉伺服主要分为3种：基于位置的视觉伺服(PBVS)、基于图像的视觉伺服(IBVS)和混合控制视觉伺服。早期的研究主要是基于位置的视觉伺服研究，近年来主要是基于图像的视觉伺服研究。PBVS的反馈偏差在3D笛卡尔空间进行计算，IBVS的反馈偏差在2D图像平面空间进行计算。PBVS的控制方式直接在笛卡尔空间下进行位姿估计和运动控制，具有很好的直观性和简单有效性。IBVS的控制方式其期望给定值直接以图像特征信息表示，所以不需要将特征信息投影逆变换到工作空间的过程，因此基于图像的控制方式对标定误差和空间模型误差不敏感，具有更高地定位精度，为多数的视觉伺服系统所采用。2视觉伺服控制算法在进行任何一个基于伺服控制的控制系统的分析、综合或设计时，首先应建立该系统的数学模型，确定其控制算法。它反映了系统输入、内部状态和输出之间的数量和逻辑关系，这些关系式为计算机进行运算处理提供了依据。控制算法的正确与否直接影响控制系统的品质，甚至决定整个系统的成败。2.1基于位置的视觉伺服算法的优化对于不同的功能要求，采用传统的基于位置的视觉伺服控制算法，常常造成稳定性不够、精度不够、准确性不足等问题，我们需要对算法进行优化处理，来满足要求。例如，针对家庭环境中服务机器人物品的抓取问题，提出一种改进的基于位置的视觉伺服抓取算法。该算法主要包括4个部分：.基于Naomark标签的物体识别，根据Naomark的ID确定抓取方式，并利用世界单应分解算法对目标物位姿进行估计。通过在具有不同形状和特征的各类物品上布置Naomark标签的方式，可以实现被操作物的快速识别与定位，从而解决家庭环境中物品种类多、操作方式复杂带来的困难。利用Hough变换和边缘检测可以得到Naomark的各特征点。.对NAO机器人的五自由度手臂进行运动学建模，计算出运动学正解和逆解。

视觉伺服控制算法优化综述NAO手臂具有5个自由度，其结构图如图2-1所示。肩膀处有俯仰和横滚2个自由度，肘部具有偏转和横滚2个自由度，腕部具有偏转1个自由度。除此之外，手爪具有1个张合自由度。根据确定好的各连杆坐标系，可以得到ModifiedDenavit-Hartenberg运动学参数。由此可确定NAO手臂的运动学模型。如图2-2所示。图2-1NAO手臂的结构图 图2-2NAO手臂的各连杆坐标系.设计单臂抓取和双臂抓取的PBVS控制律，并提出双臂抓取在运送物品过程中需满足的条件；（1）单臂抓取的PBVS控制律：PBVS控制律是根据摄像机测得的物体位置求出抓取成功时的叮可按式计e算。工二『羯'T.（羯二Z遇（（'「（却）• （2.1）根据求得的"e和运动学逆解可得到各关节的期望角度值。*定义误差e=e-e*，设定关节控制量为e的10%，每次关节移动后，进行实时视觉反馈得到最新的期望角度值和实时关节值采样得到最新的误差，重复此过程让末端执行器逐步逼近物品完成抓取。⑵双臂抓取的PBVS控制律：由获取到的抓取成功时末端执行器与目标物体坐标系的相对位姿 oT与Lotr，可由式算出T、rTL，运动学逆解出左臂和右臂各关节的期望角度值，控制左臂和右臂逐步逼近目标物体完成抓取。丁，—丁丁丁，，丁.丁「7 （2.2）T,-T71—丁，丁丁-丁… （2-3）抓取成功后，左臂、右臂、物体构成一个闭式运动链。（3）在抓取到物体进行运送的过程中,双臂的位姿需要满足约束关系。小乙二（％加）-〜〃勺（勺）(2.4)小乙二（％加）-〜〃勺（勺）(2.4)(2.5)视觉伺服控制算法优化综述其中，LTr=LTO(RTO》是个常数阵，在物品运送过程中应保持不变。4.引入路径规划，对原有PBVS算法进行改进。在整个抓取控制过程中，利用基于位置的视觉伺服原理设置路径点｛pl，p2，…，pn｝能很好的解决这个问题，该末端执行器到达各路径点处的位姿通过相对于目标物坐标系的旋转平移关系o,确定，PBVS控制原理图如图2-3所示。图2-3增加路径点的PBVS控制原理图这样控制过程被分成n+1段，机械臂末端执行器由初始位置到达各路径点，再由第n个路径点趋近并到达目标位姿完成抓取。控制律为：T-'T-'丁T丁：丁…,-T丁.((((e ct}P\Pl Pn£丁・="=1,2,…，几力 “a Pl(2.6)(2.7)2.2基于图像的视觉伺服算法的优化为了满足不同的功能需求，在基于图像的视觉伺服控制的基础上，必须优化算法，改进方法，更好的实现功能。极线几何与三角几何算法相结合运用已找到的特征点，如图2-4使用极线几何与三角几何的特点来控制机器人运动，使之到达目标位置。在整个过程可以由两步来实现。第一步为调整实际视角相机的方向，使之与目标视角相机方向一致；调整初始位置的机器人方向，使之与目标位置机器人方向一致。第二步为移动机器人，使之到达目标位置。此时平移可以采取上三角形平移与下三角形平移两种方式。图2-4图2-4全景相机的极线几何模型视觉伺服控制算法优化综述立体视觉算法和设备跟踪算法相结合此类视觉伺服系统是将立体视觉算法和设备跟踪算法相结合，通过目标跟踪算法和卡尔曼滤波算法完成设备区域的提取和跟踪，立体视觉跟踪算法被限定在设备跟踪窗内的有限区域内，有效降低了算法运算量，大大提高了算法的实时性。系统通过双目立体视觉算法实现设备三维信息的准确获取，并将该位置信息反馈机器人控制系统，形成伺服控制系统。此类算法已经用于高压带电作业机器人视觉伺服系统。高压带电作业机器人视觉伺服系统由机器人控制单元、高压带电作业机器人、双目相机和视觉定位单元组成。如图2-5所示。图2-5高压带电作业机器人视觉伺服系统框图图2-6为视觉定位方法的流程框图。其中，初始化操作作用是人工指定图像中要操作设备的感兴趣区域；卡尔曼滤波用于消除设备跟踪过程中出现的错误，提高跟踪的准确性。图2-6视觉定位流程图视觉阻抗补偿随着计算机视觉技术的发展，可以对运动目标进行实时的视觉检测，获取机

视觉伺服控制算法优化综述器人末端和运动目标的位置，将视觉反馈信息与阻抗控制相结合，使机器人系统跟踪目标阻抗，并保证阻抗跟踪误差的渐近收敛。基于视觉阻抗补偿的运动目标捕捉系统结构如图2-7所示，其根据视觉阻抗反馈控制机器人末端快速接近运动目标，实现对运动目标的捕捉。6R机器人关节传感器器觉谶机视反6R机器人关节传感器器觉谶机视反图2-7视觉阻抗控制系统结构基于CMAC网络的视觉阻抗反馈补偿能根据视觉反馈误差，对位置控制器的输出进行补偿，确保得到平稳柔顺的期望阻抗。基于DSP系统的视觉伺服将视觉伺服应用于涂胶过程中，把视觉系统嵌入涂胶机器人系统的反馈回路中，实现机器人高精度控制。在图像信息中进行胶线曲线提取，使用形态学的方法进行胶线曲线细化，得到胶线骨架信息，判断胶线闭合性，检测胶线的质量。涂胶机器人采用CCD+DSP的架构，系统包括机器视觉伺服和涂胶机器人两个部分。系统软件模块主要包括工件识别模块、胶线NC代码生成模块、胶线质量检测报警模块等。工件识别技术是本文软件模块的重要环节，主要通过零件存在性及相似性判断来识别工件。图像矢量化技术、工件骨架提取和零件骨架拟合是胶线NC代码生成模块的重要技术。变速箱的密封性能是靠完整连续的胶线实现的，所以胶线的质量是必须要检测的一个重点。首先进行图像采集，在该图像中提取胶线信息。使用直接色彩判断无需过多计算，速度快，适用于嵌入式系统。然后再用形态学腐蚀的方法细化胶线曲线。再对图像进行阈值分割，提取出胶线信息后，采用拉普拉斯算子对胶线的二值图像进行边缘检测，当拉普拉斯算子输出出现过零点时，就表明有边缘存在。

视觉伺服控制算法优化综述然后，通过边缘跟踪，来判断提取胶线断点，并做出断点报警。基于视觉伺服的航天器实际控制算法在实际飞行控制中，设雅克比矩阵伪逆的估计值为L，则我们可以将控制e律设计为：I———，"e (2.8)由于相机与航天器固连，其速率可等效为被控对象的速率，这种算法将被控对象作为理想的定位设备，没有考虑运动机构的实际跟踪能力和动力学特性，仅用一个微分环节代替，故算法的速率输出是理论值。在实际控制中应作为控制器的输入连入回路，在设计合理的速度控制律的同时，还应考虑其在空间轨道的相对运动及执行机构的控制能力和控制方案。考虑一类带动量轮系统的航天器，利用飞轮机构的转动惯量变化产生的反作用力矩来对轨道舱进行姿态机动控制。其设计基于速度偏差的PD控制律："⑺"抬⑺+加甯"⑺"抬⑺+加甯十%即(2.9)%。)二加一5；,,、，de⑴

M-幻气(。+后一；必仁—/L(A7—3,xZ(jtj(.)□相机以及被控对象的笛卡尔路径会出现不期望的运动。其在光轴方向会远离目标，再返回，称为摄像机回退现象。在极端情况下，如大角度机动，z方向的回退会过大而导致系统不稳定。为了解决这个问题，考虑将z轴的旋转和平移与其他两个轴的旋转和平移分开控制，即选择不同的特征向量和控制律。用数学形式表示即为：金二%%金二%%+(vv ，匕(2.10)图像矩和矢量积法针对“眼在手上”六自由度机械臂系统，提出一种基于图像的视觉伺服控

视觉伺服控制算法优化综述制。通过图像矩和矢量积法，建立机器人正向、逆向运动学模型，引入雅可比矩阵解决机器人逆运动学解析问题.建立了图像矩特征变化量和笛卡尔空间的关节角速度之间的映射关系即复合雅可比矩阵，由矩特征变化量得到伺服过程中六自由度机器人各关节角速度。保证在图像逼近期望图像时，机械臂末端到达期望位置，并且此时关节角速度将收敛到零。一般情况下，图像矩的定义为：乩V“ ” (2.11)假定在任何运动过程中，图像点的像素灰度值是不变的，即亚上=0，于是dt(2.12)基于图像矩的视觉伺服控制：(2.12)=Lflt.Xe* 1J图像矩的重心和面积可以代表物体在三维Euclidean空间的位置，因此选取图像特征向量s=[x,y,a]t，期望位置图像特征向量s*=[x*,y*,a*]t，所以与所gg gg选取特征相关的图像雅可比矩阵表示为：L-I/*./.：一 (2.13)耳一1/Z 0 -o—"z //z0 0 a(3/z-C)考虑机械臂运动学方面，由于摄像机固定在机械臂的末端，故机械臂末端坐标系原点的线性速度与摄像机坐标系原点的线性速度相同。机器人雅可比矩阵心可以反映机械臂末端笛卡尔空间速度与关节空间速度之间关系。使用DH表示法确定各个旋转关节坐标系。先需定义机械臂的初始位置，然后，使用DH方法建立基坐标系以及各个关节坐标系。建立了关节坐标系后，根据相邻关节坐标系确定关节的DH参数表。在矢量积求解机器人雅可比矩阵时，仍然以六自由度机械臂的末端执行器为分析对象，该执行器的速度可以表示为坐标系6坐标原点的速度矢量及平移运动矢量，以及坐标系6转动角速度矢量。由运算可得：(—JJJ( (J— (2.14)rZiX1/^4X?我四X，理四X1理TOC\o"1-5"\h\z_% Zg Z।Z5x'E x^-Z5 _视觉伺服控制算法优化综述并行分布补偿(PDC)控制方法运用张量积(TP)模型变换将视觉伺服系统模型转换为线性时不变系统的凸组合形式。将图像特征误差作为系统状态向量，对公式运用有限差分方法，视觉伺服系统可表示为线性参变状态空间模型的形式：■■ (2.15)+1)=窠⑷+wr(P(/r))Lerr(k)(e(A)=%(ft)视觉伺服系统可转换为TP模型的形式：卜丁：之一1：一二,：上I一/.：I，3;1丁 (216)\e(Zc)=根据并行分布补偿原理将视觉伺服系统的控制变量通过求解线性矩阵不等式的凸优化问题获得，其可行解保证视觉伺服系统的闭环渐进稳定性。该方法除了能够避免直接求解图像雅可比矩阵的逆而无需考虑图像奇异问题外，还易于处理系统约束，根据执行器的机械限制有效规划控制信号的强度。2.2.8无标定视觉伺服算法该算法是基于动态的方差最小化原理控制机械臂，采用动态的拟牛顿法估计图像雅克比矩阵，为改善系统的输出响应也对动态残差项进行了估计，增强了无标定视觉伺服理论的实用性。此算法已经广泛应用于食品分拣机械臂作业。系统的控制算法的实现目标是随着目标食品物体的运动，通过安装在分拣机器手上的摄像机所获得的信息，驱动分拣机器手随着目标食品的运动而运动，以使摄像机和目标食品的相对位置保持不变。将针对摄像机固定的控制算法直接应用于“眼在手上”系统中，会导致系统对目标物体的跟踪不精确。在“眼在手上”系统中摄像机要在任务进行过程中随着机器手的运动而运动，所以针对此类系统，需要对摄像机运动而引起的图像雅可比矩阵的变化做出估计，而图像雅克比矩阵关于时间的变化量需要计算。根据非线性方差最小化原理，推导眼在手上系统的无标定视觉伺服策略。⑵17)机+1二孔- 打..「 图像雅克比矩阵仅仅是一个关于机械臂关节角的函数，针对摄像机固定系统

视觉伺服控制算法优化综述(2.18)的无标定视觉伺服算法不再适合“眼在手上”系统，因此需要估计出由摄像机运动引起的图像雅克比矩阵的变化量。(2.18)启+5白,+(耳一几)ol•hJk+5当动态残差项较大时，S,的值可能出现大于f的情况，这时如果省略掉Sj系统的响应会变坏，严重的还无法完成跟踪彳任务1因此，提出了对Sk的估计。综上所述，这种的摄像机固定系统的动态无标定视觉伺服算法可总结为：-4)+而(2.19)TOC\o"1-5"\h\z=qk- ' ： r(2.19)"一(,"人)冏(2.16) 「、' 7AqAqiz 血-_ltAr_A X+AqPo=100000/,/e；?-(4/-，-也-察IDA—Pi+ a+MTPk-iM“眼在手上”系统的动态无标定视觉伺服控制的算法可表示为:心+5步+心+5步+(/-加)”)(2.20)仃5一人＜)3,JkJk一彳⑤一无源化控制方法对于手眼机器人双目视觉伺服系统控制对象，提出基于无源化方法的双目视觉伺服控制器，使得机械手能够渐近收敛到期望位置。同时，证明系统具有全局渐近稳定性，采用的双目视觉模型无需获取视觉系统的深度信息，改善了系统的动态性能。由物体上的n个特征点构成的视觉伺服系统的状态方程为：威=/(胴)" (2.21)z=D(tn)u对于给定的控制对象，采用无源化设计方法设计控制器，使得对于任意初始10

视觉伺服控制算法优化综述位置，机械手渐近收敛到期望位置，基于图像误差完成定位任务。（1）如果存在光滑可微存储函数：(2.22)=g（附一掰*）「（疵—册*）(2.22)(2.23)及控制输入u，使得系统满足如下耗散不等式，其中Q（m）为正定函数。(2.23)V<zTu—Q(m)那么，就称系统为严格无源的。当u=0,z=0时，系统有m—>m*，则期望点m*是可检测的。（2）系统如果存在（1）中存储函数V（m）使系统是严格无源的。该系统在平衡点m*是可检测的。则使闭环系统在期望点m*是全局渐近稳定的控制律为："一一/（w一门？） （2.24）可知V<0,当m=m*0寸；V=0又由平衡点m*是可检测的，所以有m >m*。故由LaSalle不变集原理，该系统的平衡点m的全局渐近稳定性得证，即机械手能够稳定地由初始位置运动到期望位置。自抗扰视觉伺服控制及小生境粒子群算法针对自抗扰控制器需要整定的参数较多，参数间相互影响，整定困难的特点，可采用小生境粒子群算法对自抗扰控制器参数进行整定优化。小生境算法能在优化中找到多个解，从多个解中再选出最好的解，就可能使优化问题达到全局最优或达到更好的局部最优。根据粒子间的距离划分每个粒子的小生境群体，在每个小生境群体内再利用PSO算法的进化机制对群体内的每个粒子进行位置及速度的更新。采用共享机制对更新后的群体再进行适应值的更新。（a）小生境粒子群优化过程 （b）标港粒子群优化过程（a）小生境粒子群优化过程 （b）标港粒子群优化过程图2-8小生境粒子群和标准粒子群优化工程比较图11视觉伺服控制算法优化综述小生境PSO算法优化性能较高，适合于自抗扰控制器的多参数优化问题。ADRC的主导思想：通过简单的TD，对系统的状态及状态的各阶微分进行跟踪控制：通过ESO估计被控对象的状态及模型和外扰的综合扰动项，得到广义状态误差，进而前馈补偿扰动项。典型的二阶自抗扰控制器结构如图2-9所示。整M耗NLSEF对象由混It分器整M耗NLSEF对象由混It分器TD就蒲器ESO图2-9自抗扰控制器结构经分析，TD参数整定具有相对独立性，因此经常需要调节的控制器参数分布在ESO和NLSEF之间。为协调二者之间参数的相互影响，采用粒子群优化算法对主要性能影响参数屈(f=l,2,3,4,5)进行优化。例如，基于自抗扰的挖掘机器人工作装置控制系统结构如图2-10所示。TD图,处国TD图,处国图2-10挖掘机器人自抗扰视觉伺服控制系统超级扭矩控制算法对于基于图像的视觉伺服控制，我们可以扩展现有的使用三焦张量(TT)作为源图像进行测量，可以有效的避免出现奇异点问题。我们可以从虚拟目标中设计一个单控制器，这个虚拟目标是源于真实目标的垂直位移。单控制器能够调节机器人朝着我们所需要的进行配置，不存在局部极小值问题。基于TT的虚拟目标视觉伺服控制方法如图2-11所示。12视觉伺服控制算法优化综述图2-11基于TT的虚拟目标视觉伺服控制方法图从实际目标，创建虚拟目标图像生成装置如图2-12所示。引入一种超级扭矩的控制方法，可以保证连续控制的输入，还具有较强的鲁棒性能。为了缓解传统的滑动模式控制（SMC）的不连续计算控制输入导致的抖动问题，开发出高阶滑模理论（HOSM）。特别是二阶滑模控制，即被称为超扭矩算法（STA）有效的应用于机器人的视觉伺服控制中。这种控制方式具有连续输入的较强的鲁棒性。此外，不需要滑动表面的时间导数来衡量。使用STA方法有以下两个原因：（1）为了从一个适当的期望定位轨迹方向校准横向偏差，必须定义为一个未知函数，它从编译时，引入了一个未知扰动。（2）由于图像噪声所产生的不确定扰动在方程的误差系统中必须被消除。STA方法应用如下：!■.=一；：」「'l,'：. （2.25）立［=一心sgnfpd,为=一.-之sgn（ea）+%n2=一七sgn（与）13视觉伺服控制算法优化综述3结论与展望本文主要论述了针对不同的实际问题，对传统视觉伺服控制系统的算法进行优化，从基于位置视觉伺服和基于图像视觉伺服两个方面分别介绍了不同的优化和改进的具体方法。改进后，算法效率明显提高，有很强的有效性和可行性。系统的控制准确性和稳定性进一步增强。未来，视觉伺服仍然将是机器人领域研究热点之一，我们还应该进一步结合不同的实际问题，优化算法，解决全局渐进稳定性、图像噪声的抑制、物体的深度信息获取等问题。4致谢在此，我想感谢老师这学期的教学指导。课堂上，他通过很多实际案例，教授了我们很多关于现代控制理论的知识，并让我们懂得怎样把理论知识用于解决实际工程问题中去。同时，我也从他身上学到很多为人处世的道理。14视觉伺服控制算法优化综述参考文献［1］袁丽，田国会，李国栋等.NAO机器人的视觉伺服物品抓取操作［J］.山东大学学报：工学版，2014,44（3）:57-63.［2］杨少平，陈雄，孔庆生等.采用全景相机的移动机器人视觉伺服［J］.计算机工程与设计，2010,31（19）：4261-4264.［3］陈星，郝矿荣，丁永生等.多气囊柔性试衣机器人的视觉伺服控制仿真［J］.计算机仿真，2014，31（10）：381-385.［4］王振利，鲁守银，李健，赵玉良，吕曦晨等高压带电作业机器人视觉伺服系统仃］.制造业自动化，2013,35（7）:69-72.［5］邙宏武，郝矿荣,丁永生等.机器人捕捉运动目标的动力学视觉伺服方法［J］.计算机工程，2010,36（18）：232-237.［6］李永哲，张翰翔，赵延婷，孙艳彬，安逸等.基于DSP系统的视觉伺服涂胶机器人设计［J］.信息通信，2013（6）：73.［7］李优新,毛宗源，田联房等.基于人工免疫和图像直接反馈的视觉伺服控制［J］.华南理工大学学报：自然科学版，2009,37（5）：54-58.［8］黄金凤，安福波，李占贤等.基于视觉伺服的AGV小车停车精度［J］.河北联合大学学报：自然科学版,2012,34（3）:84-88.［9］张烨，邢超，张科等.基于视觉伺服的飞行器交会对接技术［J］.西北大学学报：自然科学版,2013,43（1）：50-54.［10］曾祥进，黄心汉等.基于视觉伺服的自主微装配方法［J］.计算机工程，2011,37（20）：16-20.［11］董志丹，刘士荣，姜宏超等.基于图像矩和矢量积法的六自由度机械臂视觉伺服控制［J］.上海理工大学学报,2013,35（3）:221-226.［12］王婷婷，刘国栋等.基于图像视觉伺服的PDC控制方法［J］.控制工程，2013,20（2）:334-338.［13］张立见，田秋红，谢森栋，陈本永等.基于无标定视觉伺服的激光标记自动跟踪视频引伸计控制系统设计［J］.浙江理工大学学报：自然科学版，2014,31（3）:292-296.［14］王福斌，刘杰，陈至坤，焦春旺等.基于小生境粒子群优化的挖掘机器人自抗扰视觉伺服控制［J］.机械工程学报，2012,48（1）：32-38.［15］庞明,郝艳玲等.食品分拣机械臂无标定视觉伺服控制技术的研究［J］.农机化研究，2010,12:28-31.［16］梅志立，陈国栋等.消防机器人视觉伺服控制系统研究仃］.武警学院学报，2013,29（10）:94-96.15视觉伺服控制算法优化综述[17]邹立颖，苗凤娟，陶佰睿，朱磊等.一种双目视觉伺服系统的无源化控制方法仃]