智能机器人原理与应用 课件 第5章 智能机器人的视觉

北京信息科技大学自动化学院智能机器人原理与应用“智能检测技术与模式识别”研究所第五章

智能机器人的视觉机器人的视觉功能在于识别环境、理解人的意图并完成工作任务。机器人的视觉技术包括：给定图像的检测与跟踪、多目视觉与距离测量、时序图像检测运动并跟踪、主动视觉等。移动机器人通常利用立体视觉恢复周围环境的三维信息、识别道路、判断障碍物，实现路径规划、自主导航等。5.1.1

理论体系5.1机器视觉基础理论1982年，马尔首次从信息处理的角度综合了图像处理、心理物理学、神经生理学及临床精神病学的研究成果，提出了一个较为完善的视觉系统框架。他认为对视觉系统的研究应分为3个层次，即计算理论层、表达与算法层和硬件实现层，如图5.1所示。图5.1马尔视觉理论的3个层次及其所对应的内容视觉系统的3个层次如下所示。(1)计算理论层是视觉信息处理的最高层次，是抽象的计算理论层次，它回答系统各个部分的计算目的和计算策略。(2)表达与算法层是要进一步回答如何表达视觉系统各部分的输入、输出和内部的信息，以及实现计算理论所规定目标的算法。(3)硬件实现层要回答的是“如何用硬件实现各种算法”。5.1机器视觉基础理论机器视觉研究可以分为如下五大研究内容。1.低层视觉低层视觉的主要研究任务是采用大量的图像处理技术和算法，对输入的原始图像进行处理。2.中层视觉中层视觉的主要研究任务是恢复场景的深度、表面法线方向、轮廓等有关场景的2.5维信息。3.高层视觉高层视觉的主要研究任务是在以物体为中心的坐标系中，在原始输入图像、图像基本特征、2.5维图的基础上，恢复物体的完整三维图，建立物体的三维描述，识别三维物体并确定物体的位置和方向。另外，主动视觉(activevision)涵盖了上述各个层次的研究内容。4.输入设备输入设备通过光学摄像机或红外、激光、超声、X射线对周围场景或物体进行探测成象，得到关于场景或物体的二维或三维数字化图像。5.体系结构研究机器视觉从设计到实现中涉及的信息流结构、拓扑结构等一系列相关的问题。5.1机器视觉基础理论5.1.2

关键问题机器视觉系统的主要困难体现在以下几个方面。1.图像多义性三维场景被投影为二维图像，深度和不可见部分的信息被丢失。不同形状的三维物体投影在图像平面上可能产生相同图像，如图5.2所示。不同角度获取的同一物体图像可能存在很大差异。2.环境因素影响照明、物体形状、表面颜色、摄像机以及空间关系变化都会对获取的图像有影响，几个立方体构成的多义性图像如图5.3所示。图5.2不同形状的三维物体投影在图像平面上产生相同图像图5.3几个立方体构成的多义性图像5.1机器视觉基础理论3.知识导引在不同的知识导引下，同样的图像将会产生不同的识别结果。不同的知识导引也可能产生不同的空间关系。4.大数据灰度图像、彩色图像、高清图像、深度图像、图像序列的信息量会非常大，需要很大的存贮空间和计算处理能力。5.2成像几何基础成像系统即是将三维场景变换成二维灰度或彩色图像。这种变换可以用一个从三维空间到二维空间的映射来表示。(5.1)5.2成像几何基础5.2.1

基本术语简单的三维图像获取过程如图5.4所示。图5.4三维图形获取过程1.

投影一般地，将n维的点变换成小于n维的点称为投影，平面几何投影的分类如图5.5所示。三维场景投影将三维空间的点变换成二维图像中的点。图5.5平面几何投影分类5.2成像几何基础2.

投影中心3.

投影线与投影面如图5.6(a)所示，投影线回聚于投影中心(COP)。对于视觉系统，投影中心也称为视点或观察点。从投影中心向物体上各点发出的射线称为投影线，投影面是物体投影所在的假想面。如图5.6(b)所示，投影线可以是直线或曲线。投影面通常是平面，但有的场合也应用曲面作为投影面。图5.6（a）

投影过程中的投影线与投影面图5.6（b）

投影过程中的投影线与投影面4.投影变换投影变换是将一种投影点的坐标变换为另一种投影点的坐标的过程。三维空间到二维空间的两种常用映射分别是透视投影变换和平行投影变换。(1)透视投影。如图5.7(a)所示，透视投影的投影中心与投影平面之间的距离为有限远。(2)平行投影。如图5.7(b)所示，投影中心与投影平面之间的距离为无限远。可见，平行投影是透视投影的极限状态。5.2成像几何基础图5.7透视投影变换和平行投影变换5.2成像几何基础5.2.2透视投影1.透视现象由于观察距离及方位引起视觉的不同反应，就是透视现象。利用透视规律，可以正确表现出物体之间的远近层次关系，使观察者获得立体的空间感觉，图5.8所示现象正体现了这一点。图5.8透视现象5.2成像几何基础2.透视投影成像模型如图5.10所示，透视投影可以用针孔成像模型来模拟，其特点是所有来自场景的光线均通过一个投影中心(针孔中心)。透视投影倒立成像的几何示意图如图5.11所示，经过投影中心且垂直于图像平面(成像平面)的直线称为投影轴或光轴。图5.10针孔成像模型图5.11透视投影倒立成像几何示意图5.2成像几何基础5.2.3平行投影平行投影也称为正交投影，是指用平行于光轴的光将场景投射到图像平面上。如图5.12所示，正交投影是透视投影的一个特例，当透视投影模型的焦距f很大且物体距投影中心很远时，透视投影就可以用正交投影来近似。图5.12正交投影几何示意图5.2成像几何基础5.2.4视觉系统坐标变换1.坐标系在几何学中，为了用数字描述空间物体的大小、形状和位置，必须引进笛卡儿坐标系。用户总是习惯于在自己熟悉的坐标系中描述客体或绘制图形，这个用户定义客体的坐标系称为用户坐标系，或称为客体坐标系。用户坐标系、规格化坐标系和设备坐标系三者之间的关系如图5.13所示。图5.13三种坐标之间的关系5.2成像几何基础机器视觉系统中通常涉及以下几种坐标系。(1)

像素坐标：表示图像阵列中图像像素的位置。(2)

图像平面坐标：表示场景点在图像平面上的投影。(3)

摄像机坐标：即以观察者为中心的坐标，将场景点表示成以观察者为中心的数据形式。(4)

场景坐标：也称作绝对坐标(或世界坐标)，用于表示场景点的绝对坐标。5.2成像几何基础旋转变化空间内物体绕x、y、z轴旋转角度θ，对应的变换矩阵Ti可表示为：考虑对笛卡尔空间内点P分别进行旋转、平行移动、放大、缩小，对应的射影空间内P[p]→P’[p’]的变换操作可用4×4矩阵T来作为P的齐次坐标的线性变换：p’=pT（5.2）式中P’[p’]表示P点变换后，对应在射影空间内的点。2.齐次坐标2）平移变换5.2成像几何基础空间内物体在x、y、z方向平移（h，k，l），对应的变换矩阵T可表示为：(5.4)3）扩大、缩小变换空间内物体以原点为中心，在x、y、z轴方向扩大或者缩小mx、my、mz倍，或者全体的1/mw倍，则对应的变换矩阵Ti可表示为：5.2.5射影变换5.2成像几何基础

图5.15配景映射5.2成像几何基础三维空间的坐标系规定为现实世界坐标，称为实坐标或世界坐标。在三维空间中，三维物体的投影和图像化过程如图5.16所示。图5.16三维空间内物体图像的形成过程5.3图像的获取和处理5.3.1成像模型成像系统的建模是建立摄像机成像面坐标与客观三维场景的对应关系。1.成像坐标变换成像变换涉及不同坐标系之间的变换，从三维场景到数字图像的获得所经历成像的变换如图5.17所示：图5.17坐标系转换关系图5.3图像的获取和处理1)图像坐标系2)成像平面坐标系摄像机采集的图像以MxN的二维数组存储的。如图所示，在图像上定义的直角坐标系中，坐标系原点位于图像的左上角，图像坐标系的坐标(u,v)是以像素为单位的坐标。图5.18图像坐标系uv若原点q在uv坐标系中的坐标为(u0,v0)，每一个像素在x轴与y轴方向上的物理尺寸为dx,dy，则图像中任意一个像素在两个坐标系下的坐标关系如下。（5.9）（5.10）5.3图像的获取和处理3)摄像机坐标系4)世界坐标系摄像机坐标系是以摄像机为中心制定的坐标系。摄像机成像几何关系如图5.19所示。设三维空间中任意一点P在世界坐标系的齐次坐标为[xw,yw,zw,1]T，在摄像机坐标系下的齐次坐标为[xc,yc,zc,1]T，则摄像机坐标系与世界坐标系的关系：（5.12）

图5.19摄像机成像与摄像机为中心制定的坐标系的几何关系5.3图像的获取和处理2.摄像机小孔成像模型实际成像系统应采用透镜成像原理，物距u、透镜焦距f、像距v三者满足如右关系。3.摄像机非线性成像模型由于实际成像系统中存在着各种误差因素，如透镜像差和成像平面与光轴不垂直等，这样像点、光心和物点在同一条直线上的前提假设不再成立，这表明实际成像模型并不满足线性关系，而是一种非线性关系。尤其在使用广角镜头时，远离图像中心处会有较大的畸变，如图5.20所示。像点不再是点P和O的连线与图像平面的交点，而是有了一定的偏移，这种偏移实际上就是镜头畸变。图5.20镜头畸变示意图5.3图像的获取和处理4.摄像机的标定1)传统标定方法传统的标定方法采用一个标定块（高精度的几何物体）的精确数据与摄像机获得的标定块图像数据进行匹配，求取摄像机的内部参数。2)自标定方法相机自标定是指仅通过相机运动所获取的图像序列来标定内部参数，而不需要知道场景中物体的几何数据。5.3.2图像处理5.3图像的获取和处理视觉传感系统的图像处理流程如图5.21所示，图像处理算法上通常应考虑算法的实时性、算法的精确性与算法的稳定性。图5.21视觉传感系统图像处理的一般流程1.图像预处理图像预处理的目的就是增强图像，以便为后续过程做好准备。但由于图像千差万别，还没有一种通用的处理方案，只能根据实际图像的质量来调整。具体处理方法多为图像平滑(高通或低通滤波)，图像灰度修正(如直方图均衡化、灰度拉伸、同态滤波方法)等。1)图像平滑2)图像灰度修正5.3图像的获取和处理2.图像分割图像分割就是把图像分成各具特征的区域，并提取出感兴趣目标的技术和过程，这里的特征可以是灰度、颜色、纹理等。图像分割可被粗略分为3类。(1)基于直方图的分割技术(阈值分割、聚类等)。(2)基于邻域的分割技术(边缘检测、区域增长)。(3)基于物理性质的分割技术(利用光照特性和物体表面特征等)。3.特征提取特征提取就是提取目标的特征，也是图像分析的一个重点。最常见的图像特征包括：线段、区域和特征点。点特征提取主要是明显点，如角点，圆点等。4.图像识别根据预定的算法对图像进行图像识别，或区分出合格与不合格产品，或给出障碍物的分类，或给出定量的检测结果。

5.4智能机器人的视觉传感器视觉传感器将图像传感器、数字处理器、通信模块和其他外设集中到一个单一的相机内，独立地完成预先设定的图像处理和分析任务。视觉传感器一般由图像采集单元、图像处理单元、图像处理软件、通信装置、I/O接口等构成，视觉传感器的构成如图5.23所示。图5.23视觉传感器构成5.4智能机器人的视觉传感器5.4.1照明系统照明系统的主要任务是以恰当的方式将光线投射到被测物体上，从而突出被测特征部分的对比度。照明系统直接关系到检测图像的质量，并决定后续检测的复杂度。好的照明系统设计能够改善整个系统分辨率，简化软件运算，直接关系到整个系统的成败。5.4.1照明系统1.镜头的分类根据焦距能否调节，镜头可分为定焦距镜头和变焦距镜头两大类。2.镜头的选择方法1)镜头的主要性能指标1）最大像场2）清晰场3）有效场2)选取镜头的考虑内容1）相机CCD尺寸2）所需视场3）景深4）畸变3．特殊镜头针对一些特殊的应用要求，设计机器视觉系统时，还可以选择一些特殊的光学镜头来改善检测系统的性能，常用的特殊镜头如下。1）显微镜头2）远心镜头3）紫外镜头和红外镜头4．接口镜头与摄像机之间的接口有许多不同的类型，工业摄像机常用的包括C接口、CS接口、F接口、V接口等。5.4智能机器人的视觉传感器5.4智能机器人的视觉传感器5.4.3摄像机摄像机是机器视觉系统中的一个核心部件，其功能是将光信号转变成有序的电信号。摄像机以小巧、可靠、清晰度高等特点，在商用与工业领域都得到了广泛使用。1.类型1)CCD摄像机和CMOS摄像机2)线阵式和面阵式摄像机2.摄像机的主要性能指标1)分辨率2)像素深度3)最大帧率/行频4)曝光方式和快门速度6)光谱响应特性5.4智能机器人的视觉传感器5.4.4图像处理器一般嵌入式系统可以采用的处理器类型有专用集成电路(ASIC)、数字信号处理器(DSP)及现场可编程逻辑阵列(FPGA)。智能相机中最常用的处理器是DSP和FPGA。5.5智能机器人的视觉系统5.5.1智能机器人视觉系统构成人眼的深度感知能力(depthperception)主要依靠人眼的如下几种机能。(1)双目视差(2)运动视差(3)眼睛的适应性调节(4)视差图像在人脑的融合(5)其他因素。常见的有机器人视觉系统有单目视觉、双目视觉以及多目视觉等。立体视觉系统可以划分为图像采集、摄像机标定、特征提取、立体匹配、三维重建和机器人视觉伺服6个模块。1.图像采集2.摄像机标定3.特征提取4.立体匹配5.三维重建6.机器人视觉伺服5.5智能机器人的视觉系统5.5.2单目视觉如图5.24所示，焦距为f的CCD摄像机距离地面的高度为h，其俯仰角度为

；O0是镜头中心；O(x0,y0)是光轴与像平面的交点，可作为像平面坐标系原点；R为目标物体，假设被测点为P，它与镜头中心的水平距离为d；P’(x,y)是被测点P在像平面上的投影，如下图所示。图5.24单目测距原理5.5智能机器人的视觉系统图5.25为国际仿人机器人奥林匹克竞赛高尔夫比赛项目示意图，机器人配备了一只CMOS摄像头。根据上述原理，可以通过二维图像获取深度信息。具体步骤如下。(1)通过摄像机标定获取摄像机的参数。(2)实时获取摄像机的俯仰角。(3)选取目标物体的目标像素点。(4)通过正运动学原理建模获取机器人当前摄像头的实时高度。(5)计算距离。图5.25仿人机器人高尔夫比赛示意图5.5智能机器人的视觉系统5.5.3立体视觉双目视觉系统用两台性能相同、位置相对固定的图像传感器获取同一景物的两幅图像，通过“视差”来确定场景的深度信息，可实现场景的三维重构。1.平行式立体视觉模型最简单的摄像机配置如图5.26所示。在水平方向平行地放置一对相同的摄像机，其中基线距B=两摄像机的投影中心连线的距离，摄像机焦距为f。前方空间内的点，分别在“左眼”和“右眼”成像，它们的图像坐标分别为，。

图5.26双目立体成像原理5.5智能机器人的视觉系统1)几何关系现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即，则由三角几何关系得到：(5.27)2)性能分析双目立体成像的视场关系如图5.27所示。图5.27双目立体成像的视场关系5.5智能机器人的视觉系统3)立体视觉测量过程从上面的简化公式可以看出，双目立体视觉方法的原理较为简单，计算公式也不复杂。立体视觉的测量过程如下。(1)图像获取。(2)相机标定。(3)图像预处理和特征提取。(4)立体匹配。(5)深度确定。4)立体视觉的关键技术视差本身的计算是立体视觉中最困难的一步工作，它涉及模型分析、摄像机标定、图像处理、特征选取及特征匹配等过程。特征匹配的本质就是给定一幅图像中的一点，寻找另一幅图像中的对应点。5.5智能机器人的视觉系统2.汇聚式立体视觉模型一般情况下，汇聚式立体视觉采用图5.28所示的任意放置的两个摄像机来组成双目立体视觉系统。图5.28汇聚式立体视觉模型3.多目立体视觉模型多个摄像机设置于多个视点，观测三维对象的视觉传感系统称为多目视觉传感系统。在生活中，人们对物体的多视角观察就是多目视感系统的一个生动实例。5.5智能机器人的视觉系统5.5.4主动视觉与被动视觉1.双目视觉实例图5.29所示是一个基于双目视觉的移动机器人系统框架图。图中的系统主要分为计算机视觉和机器人控制两部分。图5.30所示是加拿大机器人博士公司生产的

型具有2个云台式高清光学变焦摄影镜头的无线智能机器人开发平台。图5.29移动机器人系统框架图5.30

型移动机器人开发平台5.5智能机器人的视觉系统2.肢体感应器立体视觉实例肢体感应器(Kinect)开发之初是为了给Xbox360充当肢体感应器摄像机，它利用动态捕捉、影像识别等技术，让用户可以通过自己的肢体动作来控制终端完成相应的任务。(a)外观(b)内部结构(c)拆解图5.31肢体感应器外观及结构图如图5.31所示，RGB彩色摄影机最大支持1280×960分辨率成像，用来采集彩色图像。3D结构光深度感应器，由红外线发射器和红外线CMOS摄影机构成，最大支持640×480成像。5.6视觉跟踪早期机器视觉系统主要针对静态场景。移动机器人视觉技术必须研究用于动态场景分析的机器视觉系统。视觉跟踪是根据给定的一组图像序列，对图像中物体的运动形态进行分析，从而确定一个或多个目标在图像序列中是如何运动的。5.6.1视觉跟踪系统图像的动态变化可能是由物体运动、物体结构、大小或形状变化引起的，也可能是由摄像机运动或光照改变引起的。根据摄像机与场景目标的运动状态，可以分为以下4类。(1)摄像机静止/目标静止(2)摄像机静止/目标运动(3)摄像机运动/目标静止(4)摄像机运动/目标运动对常用视觉跟踪算法进行总结分类，如图5.34所示。图5.33移动机器人视觉跟踪系统流程及结构5.6.1视觉跟踪算法及性能要求对常用视觉跟踪算法进行总结分类，如图5.34所示。图5.34常用的视觉跟踪算法分类5.6视觉跟踪5.6视觉跟踪5.6.2基于对比度分析的目标追踪基于对比度分析的的目标追踪是利用目标与背景在对比度上的差异来提取、识别和跟踪目标。检测图像序列相邻两帧之间变化的最简单方法是直接比较两帧图像对应像素点的灰度值。在这种最简单的形式下，帧f(x,y,j)与帧f(x,y,k)之间的变化可用一个二值差分图像表示，如图所示。图5.35二值差分图像表示5.6视觉跟踪在差分图像中，取值为1的像素点被认为是物体运动或光照变化的结果。这里假设帧与帧之间配准或套准得很好。帧差法的处理流程如图5.36所示。图5.36帧差法处理流程5.6视觉跟踪5.6.3光流法光流法是基于运动检测的目标跟踪代表性算法。光流是空间运动物体在成像面上的像素运动的瞬时速度，光流矢量是图像平面坐标点上的灰度瞬时变化率。光流的计算是利用图像序列中的像素灰度分布的时域变化和相关性来确定各自像素位置的运动。图5.38所示的是一个非常均匀的球体，由于球体表面是曲面，因此在某一光源照射下，亮度会呈现一定的空间分布或明暗模式。图5.38光流与运动场差别示意图5.6视觉跟踪1)基本原理给图像中的每一像素点赋予一个速度向量，就形成了图像运动场。在运动的一个特定时刻，图像上某一点Pi

对应三维物体上某一点P0，这种对应关系可以由投影方程得到。如下图所示，设物体上一点P0相对于摄像机具有速度V0，从而在图像平面上对应的投影点Pi具有速度Vi。在时间间隔

t时，点P0运动了V0

t，图像点Pi运动了Vi

t。速度可由下式表示：

（5.29）图5.39三维物体上一点运动的二维投影5.6视觉跟踪2)特点光流法能够很好地用于二维运动估计，也可以同时给出全局点的运动估计，但其本身还存在一些问题：需要多次迭代，运算速度慢，不利于实时应用。5.6视觉跟踪5.6.4基于匹配的目标跟踪1.基本原理基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的过程就是特征匹配过程。目标跟踪中用到的特征主要有几何形状、子空间特征、外形轮廓和特征点等。其中，特征点是匹配算法中常用的特征。特征点的提取算法很多，如KanadeLucasTomasi(KLT)算法、Harris算法、SIFT(尺度不变特征变换)算法以及SURF算法等。2.算法步骤大多数特征跟踪算法的执行都遵循图5.40所示的目标预测—特征检测—模板匹配—更新4个步骤的闭环结构。图5.40基于特征的跟踪算法结构图5.6视觉跟踪5.6.5MeanShift目标跟踪1.基本原理MeanShift算法称为均值偏移方法，其基本思想是对相似度概率密度函数或者后验概率密度函数采用直接的连续估计。MeanShift跟踪算法采用彩色直方图作为匹配特征，反复不断地把数据点朝向Mean

Shift矢量方向移动，最终收敛到某个概率密度函数的极值点。MeanShift算法的算法原理可用下面的例子进行直观说明。对于图5.41，在完全相同的桌球分布中找出最密集的区域。(a)随机给出一感兴趣区域(b)感兴趣区域圆心移至质心(c)感兴趣区域圆心移至质心(d)感兴趣区域收敛至最密集的区域图5.41

MeanShift算法原理举例5.6视觉跟踪2.算法步骤与粒子滤波跟踪不同，MeanShift算法属于基于特征模板匹配的确定性跟踪方法。颜色分布特征对非刚体目标和目标旋转形变保持较强的鲁棒性，因此常被选择作为目标模板的描述。从起始图像开始，通过手工选择方式确定运动目标的特征模板，并计算该搜索窗口的核函数加权直方图分布。MeanShift算法基于两个分布的相似度(即Bhattacharyya系数)最大化准则，使搜索窗口沿梯度方向向目标真实位置移动。在初始时刻，确定初始帧中目标的窗口位置x0，以此窗口作为特征模板，利用上式计算其颜色直方图分布。在开始跟踪的后续各时刻，MeanShift跟踪算法迭代过程如下：第1步：以上一时刻的跟踪中心y作为当前帧候选目标区域D的中心，利用式(5.32)计算颜色直方图分布，由式(5.33)估计其与特征模板的巴氏系数。第2步：计算候选区域内各像素点的权值，公式如下。5.6视觉跟踪第3步：计算目标的新位置，公式如下。

（5.36）第4步：计算新位置的颜色直方图分布，并估计其与特征模板的Bhattacharyya系数。第5步：判断，若，则

。第6步：判断。若，则跳出循环；否则，令

，返回第1步。5.6视觉跟踪3.算法特点(1)MeanShift算法就是沿着概率密度的梯度方向进行迭代移动，最终达到密度分布的最值位置。其迭代过程本质上是最速下降法，下降方向为一阶梯度方向，步长为固定值。(2)MeanShift算法基于特征模板的直方图，假定了特征直方图足够确定目标的位置，并且足够稳健，对其他运动不敏感。该方法可以避免目标形状、外观或运动的复杂建模，建立相似度的统计测量和连续优化之间的联系。但是，该算法不能用于旋转和尺度运动的估计。5.7主动视觉5.7.1主动视觉与被动视觉机器人视觉系统可分为主动视觉和被动视觉两大类。1.被动视觉的特点2.主动视觉的特点5.7.2主动视觉的控制机构主动视觉强调与环境的动态交互与主动适应和调整。从控制机构的角度，可以对主动视觉进行如下分类。1.根据环境控制视觉传感器2.根据环境控制光源5.7主动视觉5.7.3主动视觉与传感器融合