视觉伺服产品调研.docx

视觉伺服产品调研：Fanuc机器人视觉系统：iRVision软件Fanuc iR Vision 2DV视觉系统：该视觉系统有一个安装于手爪上的2D摄像头完成视觉数据采集。该视觉系统作为待加工工件准确抓取的定位方式，省区通常为满足机器人的准确抓取而必须采用的机械预定位夹具，具有很高的柔性，使得在加工中心上可以非常容易地实现多产品混合生产。FANUC iR Vision 3DL视觉系统：该视觉系统由摄像机与一个安装于地面上的3D Laser Sensor完成视觉数据采集。该视觉系统解决了定位面有偏差的工件上料位置变化问题。由于待加工工件为毛坯件，机器人抓取工件后，上料的定位孔位置会发生变化，甚至工件上料时的平面度也有变化。该技术可以自动补偿位置变化，实现高精度上料。具体的分类如下：1. 测量方式分类：a) 2D 单视野检测 (2D Single-View)b) 2D 多视野检测 (2D Multi-View)iRVision 2D 只用于检测平面移动的目标 (XY轴位移、Z轴旋转角度R)。其中，用户坐标系必须平行于目标移动的平面，目标在Z轴方向上的高度必须保持不变。目标在XY轴方向上的旋转角度不会被计算在内。c) 2.5D 单视野检测 (2.5D Single-View / Depalletization)IRVision 2.5D 比较 iRVision 2D，除检测目标平面位移与旋转外，还可以检测Z轴方向上的目标高度变化。目标在XY轴方向上的旋转角度不会被计算在内。d) 3D 单视野检测 (3D Single-View)e) 3D 多视野检测 (3D Multi-View)iRVision 3D 用于检测目标3维内的位移与旋转角度变化。2D 检测2.5D 检测3D 检测2. 照相机安装方式分类：a) 固定照相机 (fixed camera)优点：可以在机器人运动时照相。 照相机连接电缆铺设简易化。缺点：检测区域固定化。如果因外界因素导致照相机和机器人间相对位置变更，必须重新校订相机。b) 照相机固定在机器人上 (robot-mounted camera)优点：检测区域可以随机器人变化，整体检测范围增加。较大的照相机焦距使用可能，检测精度提升易拓展再检测功能。缺点：机器人必须停止照相。必须注意光源是否被机器人或外围设备干涉。必须注意照相机连接电缆的磨损现象。ABB机器人视觉系统：ABB lntegrated Vision：ABB集成视觉系统硬件：智能摄像头，它具备强大的视觉工具、自动对焦、集成照明和光学器件，可以快速的影响捕捉、驱动和控制各类外部照明的能力以及进行任何目视检查的输入输出能力。有两种型号：1.中等分辨率，速度6X，分辨率800*600。2.高分辨率，速度12X，分辨率1024*1024。ABB集成视觉系统由50个智能视觉工具组成，由ABB的RobotStudio编程。实现功能：定位，机器人能够对自动工件进行定位，而无需安装预定位模式（即机械模式）向机器人示教工件位置。检查：该方法可执行工人在实际中无法可靠、持续完成的任务，如测量与校准。ABB 集成视觉系统采用Cognex的精密成像技术（比如 Cognex 取得专利的 PatMax算法）进行高级部件定位，从而实现可靠性检验、缺陷检测、引导、校准与测量，保证制成品符合最高标准。PickMaster 3与PickMaster 5机器人视觉系统主要用途：适用于拾料包装应用领域的视觉识别检测工具。通过与机器人控制系统的高度集成。这款基于PC的软件产品使用了综合图形界面，超强的应用配置可以允许8台机器人同时在输送带旁并肩工作。IRB 360 FlexPicker多功能工业机器人集成了PickMaster系统。此款机器人用于拾料和包装。特点是节拍时间短、精度高、负载大（8kg）。ISRA VISION 德国伊斯拉视像：ISRA VISION系统支持界面包括KUKA, ABB, FANUC, KAWASAKI等。l 2D 机器人视像检测系统：平面位置辨认和识别，2D机器人视像仪是不需要通过系统直接接触就可识别和/或位置辨认的标准系统。它提供可靠的部件位置、角度和变化信息。此系统的主要优点是它辨认速度极其快、子像素外形提取精确.l 2D机器人视像检测系统 ：除了位置和角度信息外，还有深度信息。l MONO 3Dl 3D形状匹配应用于准确匹配目标的形状。由LED照明、摄像机、激光传感器（适用于操作距离从1500mm到100mm），测量精度达到0.01mm。相机可以安装在固定位置，或者安装在机器人手上，移动过的工件上的“连续的”3D测量。应用：玻璃装配、门和盖子的装配、顶的装配、零部件装配、零部件测量隙缝和齐平度测量。 l 3D摄影测量法应用于高精确地对大件物体进行3D位置确定，如车身焊接车身喷漆、车身底板焊接、总装和分解。特点：1.在生存中快速、不间断的3D测量；2.测量机安装灵活；需要很小的调整；3.内部能自动调整参数，全部自动校准；4.测量监测短，精度高。l 3D立体传感器光学3D立体感应器可以确定位置和测量物体， 它利用边、洞、曲线或可用特性要素、边、线或类似多项式的路径轮廓来描述的物体部件，采用所有三个自由度来测量。为了达到更高的精确度，可同时使用多个感应器。应用：位置、距离和角度测量、 确定坐标、测量边、外形测量、接缝测量、机器人引导、 装配引导、车身位置确定、复杂的卸架。特点：可以3D立体测量任何所给几何特点，可以进行组合测量。 l 3D立体系统3D立体系统采用六个自由度(6DoF)用于快速、高分辨率地确定大部件或大量部件的位置。根据应用，可使用任何数量的摄像机组对。由于测量范围的部分重叠，一个视觉范围内的所有物体都可以探测到。因此，一个单个的感应器组可以测量多个参数。使用快速、精确的位置辨认，任何需要提高高自动化机器人和传送系统质量和效率的地方都可使用3D立体仪。应用：汽车玻璃安装、部件、元件装配、门的装配和拆卸、汽车玻璃法兰蒙罩、车体焊接。l 3D视像辅助视觉辅助是指3D视像系统里机器人的同步输送。由于这个功能，可以在部件输送的同时进行加工和装配，比如移动的汽车上装配车轮并加油。接缝导向时机器人可以准确地沿着部件的几何线移动，如摇摆走向上准确地密封接缝。特征：3D在线跟踪、光学同步输送、工程进行过程中可调试的轨迹调整。l 3D可适应的无需校准机器人自动化可适应的无需校准的机器人自动化。这个操作方法的特点是在不同的机器人定位中它可以自动地学习。无需做摄像机的校准。特征：学习型的系统、简单而快速的设置、可适应不同的图像标记和形状、没有校准体。KUKA Vision：Kuka官网上没有具体的介绍，这是从网上找到的资料资料：KUKA Vision-Guided Picking用于测量目标源或者是传送带上目标的位置和方向，kuka vision提供两种方法：1) 2D方法：这种方法的功能是从标准CCD相机的照片中提取图像的灰度值，为了识别一个目标，必须预先在系统工作前设定一组特征值。2.5D的方法可以测量处理平面信息之外的第三个测量值，如目标的大小。2) 3D方法：为了获得直接的3D图像应该使用3D测量方法。典型的工业方法如Stereo Vision Recognition立体视觉识别、Stereo by Motion、light cutting methods、3D激光传感器网格方法系统的组成：kuka机器人、kuka拾取器、3D视觉系统（高速3D相机）、控制单元和人机界面、安全控制、KUKA.PickControl软件、kuka控制柜。安川视觉模块MYVIS YV260系统组成：通讯方式：设备带有MECHATROLINK-II接口，可以直接与安川控制器MP2300连接。控制器的传输周期为0.5ms，最多在4.5ms内，MYVIS YV260与MP2300完成数据交换。Cognex视觉系统1. ln-Sight视觉系统ln-Sight视觉系统是康耐视独立的紧凑型系统，无需外部处理器或者单独的摄像头。ln-Sight视觉系统是目前市场上唯一一款能够提供工业级功能标准的视觉系统。ln-Sight视觉系统提供不同的配置，软件为ln-Sight Explorer, In-Sight 系统可用于进行单点检测，也可用于构建大楼和整个工厂的视觉系统网络。ln-Sight视觉系统配备Cognex Connect通讯套件，Cognex Connect 支持主要可编程逻辑控制器生产商使用的开放标准协议，包括CC-Link、MELSEC 协议、POWERLINK、EtherNet/IP、PROFINET 和Modbus TCP。无论连接至 Mitsubishi、Rockwell、Siemens 的可编程逻辑控制器 还是其它品牌的可编程逻辑控制器 ，康耐视都可以通过简单的指向并点击操作与控制系统集成。连接至机器人时，Cognex Connect 提供适用于 ABB、Denso、Kawasaki、Kuka、Motoman 和Staubli 的预配置通信工具。此外，还支持与 Mitsubishi、Adept、Epson、IAI、Nachi、Yamaha 以及其它多家生产商生产的机器人之间的通信。视觉系统实现的功能：元件定位、字符识别/字符验证（光学字符识别）、字符识别/字符验证（光学字符识别）、色彩检测、缺陷探测、瑕疵探测、测量：几何图形工具、边线检测和卡尺、图像优化：校准工具、图像过滤器工具、场景校正工具。2. VisionPro视觉软件VisionPro面向 2D 多相机和 3D 视觉应用的集成开发环境。3D视觉软件：VisionPro 3D 可以提供精确、实时的三维定位信息，以自动化方式实现组件验证、物流及机器人应用。配合任意数量的固定或安装在机器人上的相机，VisionPro 3D 可以实现完全的应用灵活性。具有以下特点：l 第一步：相机校准。康耐视校准工具可以修正光学变形和相机定位，还能精确地同步相机和机器人尾部操纵装置l 第二步：检测特征对象。康耐视业界领先的校准工具，如PatMax、SearchMax和PatFlex可以发现对象表面的多个2D特征。VisionPro 3D将这些工具加以结合，可以精确地确定对象的三维定位和方向。l 第三步：确定对象姿态。VisionPro 3D采用2D功能并通过三角测量来检测对象位置。有多种使用VisionPro 3D的方法，包括：多相机3D三角测量、双相机短基线3D、多相机混合应用。视觉产品技术分析：标定标定动作是为了实现图像显示空间和物理空间之间的坐标映射，主要是数学变换，难点主要在于变换矩阵的选取与实现。相机标定问题就是建立图像阵列中的像素位置和场景点位置的对应关系，涉及到确定两组参数：用于刚体变换（外部定位）的非固有参数（外参数）和相机自身（内部定位）所拥有的固有参数（内参数）。预处理点对点处理数学运算：加、减、乘、整数除、浮点除、反色、取绝对值、拷贝图像逻辑运算：与、或、非、与非、或非、异或手动或自动阈值（二值化，裁剪）设置缓冲区为一个常数比较（最大值，最小值）平移查找表（LUT）映射帧平均处理统计学运算生成灰度直方图查找最小/最大像素值定位常像素值计算两幅图像异同实现从二维（2D）到一维（1D）的映射图像的直方图均衡化处理滤波处理去噪和图像平滑：低通高斯滤波、中值滤波、高通滤波边缘增强：锐化，增强对比度边缘检测：水平和垂直检测、Sobel算子检测在边缘检测方面，Cognex仅提供了Sobel算法。Sobel为一阶算法，速度快，但是效果差一些，因此Cognex对要求较高的处理显得无能为力。形态学运算腐蚀、膨胀、开、闭、二值匹配等Blob分析（Blob分析是对图像中相同像素的连通区域进行分析，该连通区域成为blob。Blob分析可为机器视觉应用提供图像中的斑点的数量、位置、形状和方向，还可以提供相关斑点间的拓扑结构。）适用场合的应用：对象在尺寸、形状或方向上差异很大（训练模型很难或者不可能）对象有背景中找不到的截然不同的灰度对象没有重叠或者接触。介绍Cognex软件功能：Cognex的Blob分析过程分析的结果包括：斑点的索引、ID、几何属性和非集合属性。在实际应用中，Blob分析是非常重要的一环，大多数的视觉软件均将其视为重点。样本匹配Cognex的样本匹配工具为PMAlign。其不同于其他的模式定位工具之处在于没有基于像素进行定位，在图像旋转或尺寸拉伸的情况下，像素单元格定位精度低且运行效率也低。取而代之的是，PMAlign工具是基于特征的。一个PMAlign模式就是一个集合特征集，集合中的每个特征都是不同像素区域边界上的点。特征和特征的空间关系构成模式，特征在模式匹配方面表现的变化快且精度高。Cognex基于特征的样本匹配示意图PMAlign以任意的合成的变换方法在运动时图像中训练模式。可以将PMAlign受限于某个自由度，这个自由度只有特定的范围，除了这些，PMAlign还可以在最短的时间内找到应用程序中各种满足条件的模式。对每一个在运行时图像中找到的模型实例，都会返回实例的位置以及该模式实例发生变换时对应的自由度值。自由度包括晶体比例大小，允许的偏差角度范围等等。如下图所示：模型实例变换示意图当你使用PMAlign工具训练模式为图片训练模式时，你可以通过掩模的方法，通过屏蔽掉部分区域，去除包含在训练样本里面的一些特征或小细节，值得注意的是，掩模并不支持形状训练模式，因此在设置形状时，你自己本身就可以去掉一些你不想要的特征或者形状，下图表示了通过掩模的方法去掉了中间几个Cognex的英文字母，这个不是我们想要找的特征。PMAlign图片训练模式掩模方法示意图PMAlign工具在图像中寻找特征准确度主要是通过粒度（或者说间隔尺寸）来控制的。粒度可以这样理解，它是用来表示感兴趣的区域半径大小，单位是像素。如果粒度小的话，在进行特征检测时，就可以检测得更加细致一点，反之亦然。在实际应用中，一个特征可以表现为小的粒度或者大的粒度，在检测大特征的时候，PMAlign工具使用较大的粒度，而检测小特征时，PMAlign工具则使用较小的。PMAlign工具使用一个范围的粒度在图像中训练样本，他会自动决定出一个最优的粒度设置，如下图所示，粒度越小，寻找到的样本特征就越多。粒度选择对样本特征的影响示意图PMAlign里面也有很多小设置，比如是否忽略极性等，忽略极性会使寻找样本定位时慢10%左右。因此忽略极性也就是允许一个反色当时形状相同的实例也被计算进去，所以寻找的范围大了，时间也相应加长。PMAlign工具忽略极性设置示意图PMAlign计算完模式所做的变化后，还会对目标模式和运行时图像中的模式匹配程度进行打分，得分的范围在0.0到1.0之间。在PMAlign工具中，对样本的训练以及识别可以大致分为3种：PatMax，PatQuick和PatFlex。PatMax和PatQuick适用于一般的图像识别，他们的原理如上述。区别在于PatMax比PatQuick的精度更高，但是需要执行的时间更长，还有PatMax算法能够提供额外的分数等其他信息，一般来说，PatMax通过大特征来迅速找到在图片中的跟样本匹配的实例，和通过小特征对实例进行精确定位。对于一些有明显形变的图像，有两种办法处理：一个是设置一个不为0的弹性值，使得该形变在PatMax算法或其他算法容忍程度以内，适用于较小形变的图像，第二种是采用PatFlex算法。如果选择了PatFlex算法，PMAlign工具能对识别过程中，图像的非线性形变有较好的支持，并且会返回相关的形状信息，如果你的图像有发生以下形变：图像畸变示意图如果你知道要识别的图像会是上面的那种畸变，那么使用PatFlex算法并实现设置好畸变类型会对图像识别的速度和准确度有很大提高。在样本匹配功能上Cognex做的比较好，提供的三个函数各有侧重，基本上能够适应各种需求，这方面应用的实例也非常多。在不少图像处理论坛上讨论其他软件的这个功能都是以PMAlign为标准的，可见这个是可以作为标准来用的。图形工具Cognex图形工具分为静态的（一旦显示就不会更新）和交互的（可以选择并操纵图形属性在代码中修改并自动更新）。形状包括圆形（cogcircle类）、坐标轴（cogcoordinateaxes类）、椭圆（cogelipse类）、线段（coglinesegment类）、点标记（cogpointmarker类）、矩形（cogrectangle类）、矩形放射（cogrectangleaffine类）、多边形（cogpolygn类）、复合形状（cogcompositeshape类）、文本图形（coggraphiclable类）。复合形状是一种包括其他几种形状的形状。构成复合形状的所有形状被称为子形状。其两大用途一是创建包含数个总是一种操纵的形状的交互图形，二是作为视觉工具的结果图形。Cognex的图形种类更多更全面，而且从资料上看Mil没有交互式的图形，这样的话很不方便，在很多方面的应用都受到了限制。在图形工具这个方面Cognex更加强大，实用。计算Cognex的计算主要是在blob模块里面的，面积、周长、质心、坐标轴周围惯量的第三个力矩、几何延伸、主要限制框、斑点中位数、坐标轴周围惯量的第二个力矩、坐标延伸、任意的限制框。其他光学字符识别（OCR，Optical Character Recognition）OCVMax工具可以使用多数的字体文件：西方语言TrueType ASCIIUnicode字符字体使用图像字体萃取器创建自己的字体文件VisionPro帮助中列出了更多的扩展功能颜色工具FireWire白色平衡颜色匹配复合颜色匹配颜色分割视觉伺服论文综述在整理论文的过程中，有一篇文章机器人视觉研究进展（中科院自动化所，王麟琨等，2004.3）对视觉伺服进展有完整的综述。文章介绍了机器人视觉伺服系统的结构和主要研究内容，比较了当前几种主要的视觉伺服方法，针对当前机器人视觉伺服所面临的主要问题,详细阐述了一些解决方法。这篇文章对我们的研究有很大的借鉴意义，根据文章的思路，我整理的从2004年起对CKNI上关于视觉伺服的文章进行整理（主要针对机械臂视觉伺服控制）。鉴于以后的研究会看很多的论文，可以根据分类，添加到下边整理的类别中去。机器人视觉伺服系统由视觉传感向控制器提供外部信息，调整机器人的位置和姿态研究内容涉及到图像处理、机器视觉、控制理论、运动学等多个领域。当前机器人视觉伺服研究的主要内容可以归纳为视觉伺服系统结构、快速有效的图像处理算法以及视觉伺服控制器的设计等几个主要方面。1. 机器人视觉伺服系统的的结构1.1 视觉伺服系统的分类根据不同的标准,机器人视觉伺服系统可以被划分为不同的类型。根据摄像机的数目的不同，可以分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统。单目视觉无法直接得到目标的三维信息，一般通过移动获得深度信息。单目视觉适用于工作任务比较简单且深度信息要求不高的工作环境。多目视觉伺服可以观察到目标的不同部分，可以得到更为丰富的信息，但视觉控制器的设计比较复杂，且相对于双目视觉伺服更加难以保证系统的稳定性。双目视觉可以得到深度信息，当前的视觉伺服系统主要采用双目视觉。根据摄像机放置位置的不同，可以分为手眼系统和固定摄像机系统。手眼系统能得到目标的精确位置，可以实现精确控制，但只能得到小的工作空间场景，而且由于手眼系统只能观察到目标而无法观察到机器人末端。因此需要通过已知的机器人运动学模型来求解目标与机器人末端的位置关系。对标定误差以及运动学误差比较敏感。固定放置的摄像机既可以观察到目标也可以观察到机器人末端,并且可以得到大的工作空间场景，能得到机器人末端相对于目标的相对速度，但无法得到目标的准确信息，且机器人运动可能造成目标图像的遮挡。为了克服两种摄像机放置位置的不足，当前的一种解决方法是两种方式的协作使用。根据误差信号定义的不同，还可以将视觉伺服分为基于位置的视觉伺服和基于图像的视觉伺服。基于位置的误差信号定义在三维笛卡儿空间，而基于图像的误差信号定义在二维图像空间。1.2 视觉伺服系统结构基于位置的视觉伺服是根据得到的图像，由目标的几何模型和摄像机模型估计出目标相对于摄像机的位置，得到当前机器人的末端位姿和估计的目标位姿的误差，通过视觉控制器进行调节。基于位置的视觉伺服需要通过图像进行三维重构，在三维笛卡儿空间计算误差.这种方法的优点在于误差信号和关节控制器的输入信号都是空间位姿,实现起来比较容易。但由于根据图像估计目标的空间位姿，机器人的运动学模型误差和摄像机的标定误差都直接影响系统的控制精度，且没有对图像进行直接控制，易使目标离开视场。基于图像的视觉伺服直接计算图像误差，产生相应的控制信号,不需要三维重建，但需要计算图像雅可比矩阵。基于图像视觉伺服的突出优点是对标定误差和空间模型误差不敏感，缺点是设计控制器困难，伺服过程中容易进入图像雅可比矩阵的奇异点，一般需要估计目标的深度信息,而且只在目标位置附近的邻域范围内收敛。求解图像雅可比矩阵是基于图像视觉伺服的一个主要任务，数学描述如下：f=J(f,r)r。r，f为特征的图像坐标，J为图像雅可比矩阵，r为机器人末端坐标。求解图像雅可比矩阵主要有3种方法：直接估计方法（在线估计法）、深度估计方法、常数近似方法。直接估计方法不考虑图像雅可比的解析形式，在摄像机运动过程中直接估计得到数值解。深度估计的方法需要求出图像雅可比矩阵的解析式，在每一个控制周期估计深度值，代入解析式求值。这种方法实时在线调整雅可比矩阵的值,精度较高，但计算量较大。常数近似方法是简化的方法，图像雅可比矩阵的值在整个视觉伺服过程中保持不变，通常取理想图像特征下的图像雅可比矩阵的值。常数近似的方法只能保证在目标位置的一个更小邻域内收敛。混合视觉伺服方法：由于基于位置和基于图像的视觉伺服方法都具有一些难以克服的缺点，人们提出了混和视觉伺服方法。混合视觉伺服的主要思想是采用图像伺服控制一部分自由度，余下的自由度采用其他技术控制，不需要计算图像雅可比矩阵。混合视觉伺服以Malis提出的2.5D视觉伺服方法最具有代表性。2.5D的视觉伺服方法,是在已知摄像机内参数的前提下，计算当前图像特征与理想图像特征的单应性矩阵H(homography)。在极几何（epipolar）中，单应性矩阵H满足如下关系：f=Hf*，其中f为当前图像特征的奇次坐标，f*为理想图像特征的奇次坐标。将单应性矩阵H分解为旋转部分和平移部分，对应摄像机的旋转控制和位移控制，它的误差信号e定义为:e=u-u*,v-v*,logzz*,uT，其中u、v为特征的当前图像坐标, u*、v*为特征的理想图像坐标，和uT为根据分解的旋转矩阵得到的旋转角和旋转轴，z和z*为当前深度和理想深度信息，这样就实现了在图像空间控制平移运动，在笛卡儿空间实现转动控制。Deguchi也提出了混合视觉伺服方法，思想与2.5D方法是一致的，只是在单应性矩阵分解上采用不同的方法。这种混合的视觉伺服方法继承了基于位置和基于图像视觉伺服的优点，既保证了对于标定误差的鲁棒性以及不依赖于笛卡儿空间模型的特点，又避免了直接估计深度信息，可以设计解耦的控制律,可以达到全局稳定。这种方法虽然避免了直接计算图像雅可比矩阵,但需要在线实时计算图像间的单应性矩阵以及对其进行分解,计算复杂、计算量大。在计算单应性矩阵时，为了减少计算量，常采用线性最小二乘估计方法，但对图像噪声敏感。无标定视觉伺服方法：基于位置的和基于图像的视觉伺服控制以及2. 5D结构控制。这些方法的实现都需要精确的标定摄像机模型和机器人运动学模型，但在实际中，不可能实现对系统的精确标定，这一缺陷大大限制了视觉伺服控制在实际中的应用。无标定视觉控制不需要标定系统模型，成为研究重点。Hosoda首先提出了采用Broyden方法在线估计图像雅克比矩阵，这一基本理论成为无标定视觉伺服的理论基础。Kim等提出了针对“静态”目标的无标定视觉伺服控制方法该方法充分考虑到较大偏差对系统的影响，能较好地跟踪静止的或者运动速度很慢的物体，同时要求系统采样周期足够小。因为这种方法建立在针对静态目标的基础之上，所以当上述条件不能满足时，还需要研究一种预测运动物体位姿的算法，不具备良好的实时性，实现起来也很 复杂繁琐，具有一定的局限性。Piepmeier提出了针对“动态”目标的方法，该方法既可以跟踪静止的目标，也可以跟踪运动的目标，而且不会受到物体运动速度和采样周期的限制， 具有较好的实时性，但其缺陷在于忽略了偏差对系统的影响。当偏差较小时（该条件在试验中容易取得）, 影响是微弱的；当偏差较大时，如果忽略系统影响，系统响应将会变坏, 甚至导致控制失败。在实际工业生产中, 偏差较大的情况经常发生，因此，上述方法存在的缺点阻碍了无标定视觉伺服控制的进一步推广。基于旋量理论的视觉伺服方法：基于旋量理论的视觉伺服方法由图像处理得到三维特征点，并分析了特征点在运动情况下坐标信息的求取过程，然后，基于旋量理论对视觉伺服系统进行了运动规划，即通过特征点求螺旋参数，并由螺旋参数求出螺旋运动的速度，采用运动螺旋构建出机器人雅克比矩阵，最后规划出各个关机的运动速度。特征点的当前位姿p(t)与目标位姿pd的差值即为位姿误差e(p)=p(t)-pd。因此，由相应特征点之间三维坐标的差值,得到位姿误差的螺旋参数,它们就是螺旋空间的姿态差.然后,根据旋量理论,由螺旋参数求得解决特征点误差的螺旋速度,该螺旋速度即期望的末端操作器速度,以此来控制末端操作器,即可达到跟踪、抓取或放置的目的。2. 特征选择高效、快速的图像处理算法是实施视觉伺服的前提。对于视觉伺服系统，图像处理过程可以概括为：目标检测、图像与目标的匹配，对于跟踪运动目标的视觉伺服系统还应包括目标运动的估计。当前，视觉伺服中的图像处理主要集中在目标识别和图像特征的选择，这里主要讨论一下图像特征选择的研究进展。图像特征的选择对于视觉伺服系统的性能具有重要的影响，不合适地特征选择容易使特征离开视场,或者不能提供充分的目标信息而导致视觉伺服失败。图像特征的选择应具有一些基本的原则：识别容易，对目标的位置灵敏，可控。图像特征的数量对系统性能也具有重要的影响，合适地增加图像特征，即冗余特征，可以增加视觉伺服系统的灵敏度。但图像特征的数量也不宜过多，否则会造成图像处理的负担过重。视觉伺服研究所用到的图像特征大多采用简单的几何特征：点、直线、圆等,以及几何参数，例如点之间的距离、直线斜率、椭圆的轴长等。此外，也常采用基于目标轮廓的特征选择和基于区域的特征选择。简单几何特征属于局部特征，对于摄像机运动的视觉伺服，容易造成图像特征在一些情况下无法观察到。基于区域的特征选择不要求特殊的图像结构，对图像的畸变具有较强的鲁棒性，但对背景变化敏感。基于颜色特征的阈值分割技术，利用RGB和HSV信息分割算法被的利用到视觉伺服中。基于RGB信息的算法能够简单快速地分割物体目标，但是分割结果受环境光照的影响较大。HSV是一种彩色描述空间，参数分别为：色调，饱和度，亮度，尽管它建立在RGB模型上，却能够更好地反应人类对色彩的感知。当前视觉伺服的图像特征选择所面临的主要问题是如何提高鲁棒性。针对鲁棒性问题，当前特征选择的一个趋势是避免采用单一类别的图像特征，而采用多个图像特征类别的组合，例如由特征点组成的直线间的角度、特征点以及其所构成区域的面积所组成特征集。此外，还有一种视觉特征信息融合的方法，它的思想与机器人的多传感器信息融合的思想相似，综合了多个反映目标特征的视觉信息，例如：颜色、边缘、图像的运动等，采用模糊逻辑和加权的方法得出结论，相对于以往的特征选择方法具有更强的鲁棒性。此外，对于一些比较复杂的任务和目标，必须要保证相当数量的图像特征。这种情况下图像的特征选择比较复杂，为了减少计算量提高图像特征的效率，需要采用图像特征的自动选择。图像特征的自动选择是根据视觉伺服系统以及任务对象的状态,动态地在视觉特征集中选择信息量高、稳定的图像特征子集。引入任务约束来减少候选图像特征的数量，然后采用优化的方法在图像特征集中得到理想的图像特征。这种方法能够满足实时性方面的要求，同时提高了视觉伺服的鲁棒性，但需要预先得到运动的轨迹。3. 视觉控制器的