视觉伺服演讲稿.

1、1 摄像机标定2 基于位置的视觉伺服3 基于图像的视觉伺服4 混合视觉伺服控制7 伺服系统的分层结构 利用视觉传感器得到的图像作为反馈信息,可构造机器人的闭环反馈控制系统,即视觉伺服功能： 实现对机器人控制为目的而进行图像的自动获取与分析,因此它是利用机器视觉的原理,从直接得到的图像信息中,快速进行图像处理,在尽量短的时间内给出反馈信息,参与控制决策的产生,构成机器人的闭环控制系统。概念：Eye-in-hand优点：优点： 视觉伺服控制与基于传统传感器的机器人控制相比,具有比较明显的优点:更高的灵活性,更高的精度,能够对机器人标定误差具有强的鲁棒性等。1 概念概念 摄像机获取的图像信息并由此计

2、算三维空间中物体的几何信息，从而重建和识别物体。物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像几何模型决定的，这些几何模型的参数就是摄像机参数。而这些参数需要通过实验与计算才能得到，这个过程被称为摄像机标定。2 相机标定方法分类相机标定方法分类（1）传统标定方法 传统的相机标定方法是需要利用具有确定的结构信息景物而使用到标定块。它是基于一定的相机模型,通过特定的实验条件,如具有确定结构信息(形状、位置、大小)的标定物,利用一系列的计算和变换的方法(分为最优化算法的标定方法、利用相机透视变换矩阵的标定方法、进一步考虑崎变补偿的两步法和采用更为合理的相机模型的双平面标定法

3、)对其进行图像处理,进而求得相机模型的内部、外部参数。优点：优点：适用于任意的相机模型,而且标定精度较高缺点：缺点：标定程序复杂,同时又要求有高精度的确定结构信息的标定物,这将给一些实际应用的场合例如空间机器人、危险恶劣环境下工作的机器人的应用带来很大的麻烦。基于维度的传统标定方法的分类基于维度的传统标定方法的分类一 、基于一维标定物的相机标定二 、基于二维标定物的相机标定三 、基于三维标定物的相机标定1）基于一维标定物的相机标定 一维标定物通常指一维的直线(线段),通过将其一端固定而使另一端绕固定端旋转来实现标定过程。它是通过将标定物做几次刚体运动得到足够多的方程，从而解出相机的相关参数。2

4、）基于二维标定物的相机标定 基于二维标定物的相机标定方法是一种平面标定方法,是一种新型的适合应用的灵活方法。该方法中,相机通过在不同的方位拍摄同一个二维标定物,从而将标定板上点的物理坐标与拍摄的图像上点的进行匹配,进而计算出相机的内参数与外参数。 二维标定板3）基于三维标定物的相机标定 基于三维标定物的相机标定法是使用三维标定物来进行相机标定。把三维标定物上的每一个小方块的顶点作为特征点,这样每个特征点在世界坐标系中的位置可以得到较为精确地测定。为了操作方便,一般使用的标定物具有两、三个带有特征点正交平面,也可以使用带有标定点的一个平面进行多次正交运动来标定。（2）基于主动视觉标定方法 基于主

5、动视觉的标定方法指的是利用相机的某些运动信息来标定相机相关参数的方法。我们将相机固定在一个平台上,且该平台可以被精确控制,平台的参数可以从计算机中精确地读取,于是,我们只需要利用相机作特殊的运动来获取多幅图像,从而由己知的相机参数和图像来求得相机的内参数与外参数。 优点：可以线性求解，因此解的稳定性高，鲁棒性也高。缺点：当相机运动情况未知或者相机运动情况无法控制的场合下不适用。（3）摄像机自标定方法 利用多幅图像对应点之间的关系而不需要标定物的相机标定方法称为摄像自标定方法。 其优点是灵活度高，应用广泛，缺点是精度低，鲁棒性差。1 概念概念 基于位置的视觉伺服系统，是通过从处理后的图像信息中得

6、到的目标物体的特征信息，根据摄像机与机器人的标定关系，估计出目标物体相对于机器人末端的位姿，然后利用与期望位姿的偏差进行反馈控制。它将视觉伺服误差定义在 3-D Cartesian坐标空间，由相对位姿信息给出机器人在直角坐标空间的运动指令，并传给机器人关节控制器，控制机器人运动。优点：优点：1）这种方法的主要优点是直接在 Cartesian坐标空间应用较成熟的控制方法对机器人进行控制，另外它把视觉处理过程问题从机器人控制中分离出来，这样可以分别对二者进行研究。2）由于误差信号是机器人在世界坐标系中的位姿，有明显的物理意义，易于实现，也易于与其他传感器进行信息融合。3）目标特征易于选取。如果没有

7、特殊要求，可选择便于分割的角点、直线、端点等作为目标特征，方法较灵活。缺点：缺点：1）其缺点是这种控制方式的控制精度，很大程度上要依赖于从图像到位姿的估计精度，要保证这一估计过程的准确性依赖于摄像机的系统模型、标定精度、图像处理等。此外，它需要求解逆运动学方程，因此增加了计算量。2）系统的鲁棒性较差，对系统的标定误差比较敏感。需要对摄像机的内、外参数进行精确定标。需要进行精确地手眼定标。主要主要操作操作步骤步骤：1)快速进行图像处理，获得运动目标相对于末端执行器的位置；2)分析预测其位置、速度、加速度等信息 ； 3)建立视觉控制算法，控制机器人的运动;概念：概念：基于图像的视觉伺服系统，其伺服

8、误差直接定义在图像特征空间，误差信息来自平面图像的特征值，利用期望特征与实时观测到相应特征的差值直接进行控制，即不需要对目标的三维姿态进行估计。对于基于图像的视觉伺服控制的关键问题是如何得到反映图像特征与机械手位姿，速度之间关系的图像雅可比矩阵。优点：优点：基于图像的控制系统将当前图像特征的集合与理想图像特征集合对比，不需要对三维姿态估计，因而对摄像机标定的要求不高，具有较强的鲁棒性缺点：缺点：基于图像的控制结构需在线计算图像雅可比矩阵及其逆阵，计算量也比较大，而图像雅可比矩阵直接依赖于实时变化的摄像机与目标间的距离，加大了计算的难度核心任务：核心任务：视觉图像的处理问题视觉图像的处理问题1）

9、如何选取图像特征）如何选取图像特征2）与机器人末端执行机构位姿）与机器人末端执行机构位姿建立建立联系，联系，即构造图像雅克比矩阵即构造图像雅克比矩阵概念：概念： 结合基于位置的视觉伺服和基于图像的视觉结合基于位置的视觉伺服和基于图像的视觉伺服伺服,Ezio Malis提出了混合视觉伺服，又被称为提出了混合视觉伺服，又被称为2.5D视觉伺服。它是通过分解单应性矩阵来减弱视觉伺服。它是通过分解单应性矩阵来减弱平移和旋转间的互相影响。利用三维任务空间得平移和旋转间的互相影响。利用三维任务空间得到的信息来调节旋转误差，利用二维图像空间信到的信息来调节旋转误差，利用二维图像空间信息调节平移误差。息调节平移误差。混合视觉伺服混合视觉伺服与其他两种伺服方法比较混合视觉伺服与其他两种伺服方法比较 1） 混合视觉伺服避免了基于位置的和基于图像的 视觉伺服的缺点。2) 和基于位置的视觉伺服相比，它不需要目标的 任何3D模型.3) 和基于图像的视觉伺服相比，它保证了控制算4) 法在整个任务空间的收敛性。混合视觉伺服的优点：混合视觉伺服的优点：1 它是不需要目标模型的视觉伺服方法，虽然需要图像特征点，但是不需要目标的几何