《机器人学及其应用-导论》课件 第四章 机器人传感器与视觉

《机器人学及其应用—导论》第四章机器人传感器与视觉提纲124机器人传感器信息融合

机器人视觉及图像处理

机器人传感器3

机器人视觉核心技术2一、机器人传感器机器人传感器概述定义：传感器是借助检测元件将一种形式的信息转换成另一种信息的装置。传感器转换后的信号大多为电信号。因而从狭义上讲，传感器是把外界输入的非电信号转换成电信号的装置。敏感器件的作用是感受被测物理量，并对信号进行转换输出。辅助器件则是对敏感器件输出的电信号进行放大、阻抗匹配，以便于后续仪表接入。一、机器人传感器4一、机器人传感器内部传感器速度、角速度传感器加速度传感器位置、角度传感器力/力矩传感器其他光电开关霍尔传感器电位计光电码盘磁栅传感器旋转变压器加速度计其他增量编码器脉冲发电机测速发电机角加速度计其他弹性梁应变片其他姿态传感器惯性传感器其他限位开关内部传感器：以其自己的坐标系统确定其位置，是安装在机器人自身中用来感知它自己的状态，以调整并控制机器人的行动。5一、机器人传感器外部传感器外部传感器：检测机器人所处环境及目标状况，如是什么物体，离物体的距离有多远，抓取的物体是否滑落等。从而使得机器人能够与环境发生交互作用并对环境具有自我校正和适应能力。机器人外部传感器就是具有人类五官的感知能力的传感器。外部传感器视觉传感器力觉传感器触觉传感器测距传感器其它6一、机器人传感器外部传感器7一、机器人传感器外部传感器举例：欧姆龙视觉传感器FZ3通过摄像头捕捉图像信息，检测拍摄对象的数量、位置关系、形状等特点，用于判断产品是否合格或将检验数据传送给机器人等其它生产设备。提纲124机器人传感器信息融合

机器人视觉及图像处理

机器人传感器3

机器人视觉核心技术二、机器人视觉及图像处理WhyVision？视觉是人类最重要的感觉，人类认识外界信息80%来自视觉计算机视觉的概念利用各种成像系统代替人类的视觉器官作为输入手段，由计算机来代替大脑完成处理和解释计算机视觉的最终目标使计算机像人那样，通过视觉观察和理解世界，具有自主适应环境的能力计算机视觉当前的研究目标使计算机具有通过二维图像认知三维环境的能力：感知三维环境中物体的几何信息，包括形状、位置、姿态、运动等对它们进行描述、存储、识别与理解FANUC工业机器人视觉装配图像处理是信号处理的一种形式。这里,输入信号是一个图像(诸如照片或视频);输出或是图像,或是与图像关联的一组参数。大多数图像处理技术,将图像处理为一个二维信号I（x,y）。此处，x与y是空间的图像坐标。在任意坐标对（x,y）的I幅度,称作该点图像的强度或灰度图像处理是一个很大的领域,且在许多其他操作中,典型的是:滤波、图像增强、边缘检测。图像恢复与重构小波与多分辨率处理。图像压缩(例如,JPEG)。欧几里德几何变换,诸如放大、缩小与旋转。颜色校正，诸如亮度与对比度调整、定量化。或颜色变换到一个不同的色彩空间图像配准（两幅或多幅图像的排列）图像对准(二个或二个以上图像的对准)图像识别(例如,使用某些人脸识别算法从图像中抽取人脸)。图像分割(根据颜色、边缘或其它特征,将图像划分成特征区)。二、机器人视觉及图像处理12二、机器人视觉及图像处理图像处理--图像滤波图像滤波是图像处理中的主要工具之一。传送低频的滤波器为低通滤波器。低通滤波器所产生的效应是模糊(平滑)一个图像,它有减少图像噪声的主效应。反之,传送高频的滤波器称为高通滤波器,它典型地用作边缘检测。图像滤波器既可以在频率域实施也可在空间域实施。13二、机器人视觉及图像处理图像处理---边缘检测边缘的定义：图像中像素灰度有阶跃变化或屋顶变化的那些像素的集合边缘检测算子基本思想：计算局部微分算子

几种常用的边缘检测算子：梯度算子Roberts算子Prewitt算子Sobel算子Kirsch算子Laplacian算子Marr算子14二、机器人视觉及图像处理计算机视觉---立体视觉一个相机提供的二维图像无法给出清楚的深度信息，深度信息即被观测目标到相机的距离。假如目标的几何模型是已知的,深度信息可以根据该几何模型间接获得。当同一场景可以从不同视角获得两幅图像时,点的深度信息可以直接计算得到。这两幅图像可用两个照相机拍摄,或用一个移动相机次序拍摄。这种情况称作立体视觉。双目视觉第二个像机可解决单目存在的深度歧义可通过三角测量获得深度15二、机器人视觉及图像处理计算机视觉---运动场与光流运动场的定义：摄影机和空间环境存在相对运动；图像中的每一个点都对应于一个空间点；每一个空间点相对于摄影机的速度向量都可以投影为像平面上一个点上的二维速度向量，图像上每个像素的二维速度向量就构成运动场。当摄影机和被摄影物体之间存在相对运动时，在物体所成的图像序列中，可以观测到的亮度模式的明显变化称为光流。16二、机器人视觉及图像处理计算机视觉---运动场与光流运动场不为0，光流为0！运动场为0，光流不为0！17二、机器人视觉及图像处理计算机视觉---运动场与光流提纲124机器人传感器信息融合

机器人视觉及图像处理

机器人传感器3

机器人视觉核心技术19三、机器人视觉核心技术人类视觉机器视觉适应性适应性强，可在复杂及变化的环境中识别目标适应性差，容易受复杂背景及环境变化的影响智能具有高级智能，可运用逻辑分析及推理能力识别变化的目标，并能总结规律虽然可利用人工智能及神经网络技术，但智能性差，不能很好地识别变化的目标彩色识别能力对色彩的分辨能力强，但容易受人的心理影响，不能量化受硬件条件的制约，目前一般的图像采集系统对色彩的分辨能力较差，但具有可量化的优点灰度分辨力差，一般只能分辨64个灰度级强，目前一般使用256灰度级，采集系统可具有10bit、12bit、16bit等灰度级标定算法研究1966年B.Hallert首先考虑畸变，引入最小二乘法，对结果进行优化。1975年W.Fig建立复杂的成像模型，并用非线性优化求解。1986年，R.Y.Tsai建立经典的Tsai摄像机模型，提出两部标定法1999年张正友提出了基于移动模板的摄像机标定法，张正友标定法21三、机器人视觉核心技术机器人手眼标定摄像机标定分类序号分类方式标定方法1是否要标定参照物传统的摄像机标定、摄像机自标定2所用模型不同线性（小孔模型）和非线性3摄像机个数单摄像机、多摄像机4求解参数的结果显式（设置具有物理意义参数）、隐式（转换矩阵元素为定标参数）5解题方法解析法、神经网络、遗传算法6标定块的不同立体、平面7定标步骤两步法、三步法、四步法8内部参数是否可变可变内部参数的标定、不可变内部参数的标定9摄像机运动方式非限定运动方式摄像机标定、限定运动方式摄像机标定22三、机器人视觉核心技术机器人手眼标定张正友标定法，要求摄像机在可两个以上不同的方位拍摄一个平面靶标，摄像机和2D平面靶标都以自由移动。通过线性模型分析就可计算出摄像机参数的优化解，然后用基干最大似然法进行非线性求精。在这个过程中得出考虑镜头畸变的目标函数后就可求出所需的摄像机内、外部参数23三、机器人视觉核心技术位姿估计场景镜头光源摄像机图像存储体计算机输出镜头摄像机镜头摄像机控制电缆视觉系统流程图单目视觉：一个摄像组件（镜头+摄像机）多目视觉：多个摄像组件（镜头+摄像机）24三、机器人视觉核心技术位姿估计---双目立体视觉测量原理25三、机器人视觉核心技术位姿估计双目立体视觉测量原理——锻件测量26三、机器人视觉核心技术机器人视觉伺服系统控制视觉伺服：把视觉传感信号嵌入到机器人的伺服循环中，通过对视觉特征的控制，实现对机器人的定位闭环控制。优越性：简化了机器人控制系统的设计，伺服任务可灵活定义，控制器形式多样，更能满足不同场合需求。

视觉伺服控制系统之间映射关系27三、机器人视觉核心技术机器人视觉伺服系统控制基于位置的视觉伺服（PBVS）

视觉反馈控制信号直接在3D任务空间中以笛卡尔坐标形式定义基本原理：结合已知的目标几何模型及摄像机模型，在三维笛卡尔坐标系中对目标位姿进行估计，然后控制系统根据机械手当前位姿与估计出的目标位姿之间的差分信息，进行轨迹规划并计算出控制量。28三、机器人视觉核心技术机器人视觉伺服系统控制基于图像的视觉伺服(IBVS)误差信号直接用图像特征定义，无需对目标进行位姿估计，而是直接利用图像特征进行视觉信息反馈控制。基本原理:由图像误差信号计算控制量，再将此控制量变换到机器人运动空间，从而驱动机械手向目标运动。提纲124机器人传感器信息融合

机器人视觉及图像处理

机器人传感器3

机器人视觉核心技术30四、机器人传感器信息融合多传感器信息融合技术是通过对这些传感器及其观测信息合理支配和使用，把多个传感器在时间和空间上的冗余或互补信息依据某种准则进行组合，以获取被观测对象的一致性解释或描述。31四、机器人传感器信息融合32四、机器人传感器信息融合机器人传感器信息融合多传感器融合常用的方法有：加权平均法、贝叶斯估计、卡尔曼滤波、DS证据推理、模糊逻辑、产生式规则、人工神经网络等信息融合过程：首先将被测对象它们转换为电信号，然后经过A/D变换将它们转换为数字量。数字化后电信号需经过预处理，以滤除数据采集过程中的干扰和噪声。对经处理后的有用信号作特征抽取，再进行数据融合；或者直接对信号进行数据融合。最后，输出融合的结果。33四、机器人传感器信息融合机器人传感器信息融合三种结构形式：串