机器人感知智能 课件 第3、4章 机器人视觉感知、机器人接近觉感知

机器人感知智能第三章机器人视觉感知3.1机器人视觉感知介绍定义机器人视觉是指使机器人具有视觉感知功能的系统，是机器人系统组成的重要部分之一。它涉及使用相机硬件和计算机算法的结合，让机器人处理来自现实世界的视觉数据，实现对外界环境的感知与理解，进而执行复杂任务。组成机器人视觉系统主要由软件和硬件两部分组成。硬件方面包括视觉传感器、图像采集卡、计算机和机器人及其附属的通信和控制模块等。软件方面则包括图像处理软件和机器人控制软件，共同协作完成图像的采集、处理与分析，以及机器人的控制指令生成。3.1.1机器人视觉感知概述-机器人视觉的族谱光学在机器人视觉中至关重要，光源选择需根据具体应用挑选，常见类型有LED环形光源、低角度光源和背光源。光学图像处理是对图像进行分析以达到特定结果的技术，而计算机视觉则侧重于模拟人类视觉功能，实现目标的识别、跟踪和测量。图像处理与计算机视觉图3.1机器人视觉的族谱3.1.1机器人视觉感知概述-机器人视觉的族谱图形识别与机器学习机器视觉用于工业自动检测、过程控制和机器人导引，侧重工程应用，使用计算机视觉和图像处理技术。机器视觉机器人视觉结合光学、图像处理、信号处理和机器学习等技术，使机器人能感知理解环境，实现复杂任务。机器人视觉信号处理在机器人视觉中用于图像的预处理、增强和分析，以提取有用信息，常见技术包括滤波、变换和特征提取。信号处理机器学习通过算法使计算机模拟人类学习行为，提升性能，在机器人视觉中用于图形识别，增强系统智能化。3.1.2机器人视觉感知系统的组成机器人视觉系统的硬件包括视觉传感器、图像采集卡、计算机和机器人模块，它们协同工作，使机器人能准确感知和响应环境。硬件系统机器人视觉系统的软件包括系统软件、视觉处理软件和机器人控制软件，共同确保系统的高效运行和精准控制。软件系统图3.2机器人视觉系统的硬件系统3.1.2机器人视觉感知系统的组成-硬件系统光电传感器含单一光感元件，而视觉传感器能捕获高分辨率图像，并与内存中的基准图像对比分析，如邦纳工程公司的某些产品可达130万像素。视觉传感器图像采集卡图像采集卡负责模拟信号到数字信号的转换，支持多相机同时工作，具备硬件压缩功能，通过PCI接口传输压缩后的数字视频，确保实时采集处理。计算机＆机器人根据系统需求选择合适的计算机及其外设和机器人或机械手及其控制器，以满足视觉信息处理和机器人控制的需要。图3.3邦纳视觉传感器P40MNI3.1.2机器人视觉感知系统的组成-软件系统计算机系统软件选用不同类型的计算机就有不同的操作系统和它所支持的各种语言、数据库等。计算机系统软件机器视觉处理软件通过计算输入图像数据得出结果，形式多样，涵盖专用和通用功能，主流软件包括OpenCV、Halcon、VisionPro、MATLAB、LabVIEW和eVision等。视觉处理软件CODESYS是一款付费的PLC软件开发工具，包括用于编程的DevelopmentSystem和运行在控制硬件上的RuntimeSystem，广泛应用于欧洲工业控制领域。机器人控制软件3.1.2机器人视觉感知系统的分类

单目视觉双目立体视觉多目视觉全景视觉混合视觉单目视觉系统成本低、易实现，但缺乏深度信息，适合物体识别和追踪；双目视觉系统通过两个摄像头利用三角测量获取深度信息，类似于人眼功能，广泛应用于机器人导航和三维重建；多目视觉系统增加额外摄像头，解决匹配多义性，提高深度信息的准确性，适用于高精度需求场景；全景视觉系统提供360度视野，适合无人机监控和安全监控等需要全方位感知的场合；混合视觉系统结合多种视觉系统的优势，提高感知的准确性和鲁棒性，适应更复杂环境，适用于多种应用场景。3.1.3机器人视觉感知发展-国外机器人视觉自20世纪初提出，1959年首台工业机器人诞生后迅速发展。90年代以来，嵌入式视觉和半导体技术的进步推动了视觉传感器的广泛应用，如康耐视的In-Sight系列。深度学习的兴起进一步提升了目标识别与检测的性能。如今，机器人视觉在工业制造、医疗、农业、交通和安全监控等领域广泛应用，显著提高了效率和安全性。图3.4康耐视IN-SIGHT2000视觉传感器（产品图）图3.5KEYENCE基恩士IV-H2000MA图像识别传感器图3.6SIMATICVS120视觉传感器图3.7德国SICK公司的Inspector视觉传感器3.1.3机器人视觉感知发展-国内1999年至2003年，中国机器视觉行业处于启蒙阶段，主要通过代理业务了解图像采集和传输，初步掌握图像品质判断。2004年至2007年，行业进入发展阶段，本土企业推出多种软硬件产品，如模拟接口和USB2.0相机及采集卡，在PCB、SMT和LCD检测等领域取得突破。自2008年起，行业进入高速发展期，核心器件研发厂商涌现，产品线扩展，技术水平显著提升，与国际先进水平的差距迅速缩小。图3.8海康威视21MPCXP-12相机图3.9VM算法开发平台3.1.3机器人视觉研究存在的问题及其未来的发展机器人视觉研究存在的问题及其未来的发展存在的问题①如何准确、高速地识别目标。②如何有效构造和组织可靠的识别算法并实现③实时性是难以解决的重要问题。④稳定性未来发展①图像特征的选择问题。②建立机器人视觉系统的专用软件库。③加强系统动态性能研究。④利用智能技术成果。⑤利用主动视觉成果。⑥多传感器融合。机器人是一种复杂的智能机电设备，它将机械、电气、控制、感知等系统集结为一体，在研究、设计和制造过程中，由以上多个系统共同协调进行。视觉感知系统在机器人众多系统中占据重要位置，它可以获取外部的感知视觉信息，相当于人类的“眼睛”。人类从外界获取的70%以上的信息都来自于视觉系统。机器人视觉感知传感器就是机器人为了模仿人类的视觉感知系统，从外部环境中获取信息进行形态和运动识别，完成一系列任务所安装的“眼睛”。3.2.机器人视觉感知传感器位置探测器PSD全称位置敏感器件（PositionSensitiveDetector），它是一种利用光敏面上的光信号转化为电信号再转化为位置信号的器件。PSD还被称为坐标光电池，它具有原理简单、外形轻便、检测灵敏、检测范围大、噪声低、分辨率高、处理速度快等优点。PSD位置探测器的实物图如图所示。3.2.1位置敏感探测器PSD图3.10

PSD实物图下左图显示了PSD的结构原理图。PSD的结构由三层构成，分别为最上层P层，最下层N层，中间层I层，形成PIN结构。I层为较厚的高阻层，它具有耗尽区宽，结电容小的特点。光照产生的载流子几乎全在该高阻层中产生。PSD位置探测器还分为一维和二维探测器。二维探测器如右图所示，有四个电极，一对为x方向，另一对为y方向。3.2.1位置敏感探测器PSD-结构与工作原理图3.11PSD结构原理图图3.12二维PSD结构原理图3.2.1位置敏感探测器PSD-PSD的特性参数PSD的主要特性参数有：感光面积、光源频率响应范围、位置检测误差、位置分辨率和线性度等。1）感光面积。在测量位置信息时，位置不同感光面上的光点也随之移动，所以感光面积与能够检测的位置范围，位移距离等同，都与PSD的长度密切相关。2）信号光源频率响应范围。PSD的输出电流随信号光源的频率变化而变化的关系称为信号光源频率响应范围。3）位置检测误差。位置检测误差是指光斑位置与检测位置的差值，在测量移动距离时，也指光斑的实际变化与两侧输出电极输出电流计算得到的移动量之间的差值。这个误差最大约为全受光面长度的2%～3%。4）位置分辨率。位置分辨率是指PSD光敏面能检测到的最小位置变化量，PSD器件的尺寸越大，其位置分辨率就越高。5）饱和光电流。3.2.1位置敏感探测器PSD-PSD的应用PSD主要用于位置检测，同时也可用来测距、测角、测位移（含角位移）、测振动体旋转体的状态、机加工零部件的定位，以及做机器人的“眼睛”等。下面为应用于直线度测量及自准直仪的示例。

图3.14PSD在直线度测量下的应用原理图图3.15PSD在自准直仪中的应用图3.13

某数控机床直线测量现场图3.2.2CCD图像传感器CCD图像传感器又称电荷耦合器件（ChargeCoupledDevice），是一种可以将信号大小转换为电荷量大小，并利用耦合方式进行信号传输的检测元件。CCD图像传感器的实物图如图所示。它的核心器件是组合成排的感光元件和电荷耦合元件，可以直接将光信号转化为电流模拟信号，并通过放大器和数模转换器件，实现对图像信息的获取、传输、储存和处理等功能。图3.16CCD图像传感器实物图3.2.2CCD图像传感器-深耗尽状态和表面势阱CCD图像传感器中最基本的单元是MOS电容器，MOS（Metal-Oxide-Semicondudor）就是金属氧化物半导体。MOS电容结构如图3.17所示，其中金属电极就是MOS结构的电极，也称为“栅极”。P型Si半导体作为衬底电极，在两电极之间加上一层SiO2绝缘体。图3.17MOS电容的结构3.2.2CCD图像传感器-结构与原理CCD的结构示意图如左图所示，CCD图像传感器的最小单元就是MOS电容器，将大量MOS电容阵列集合到同一衬底下，再加上输入和输出端就构成了CCD器件的主要组成部分。CCD的基本工作原理主要是信号电荷的产生、存储、转移和检测。下图为三相时钟控制方式CCD的工作过程。图3.19组成CCD的MOS结构图3.20电荷在三相CCD中的工作过程3.2.2CCD图像传感器的分类图3.21线型CCD图像传感器线型CCD图像传感器由一列光敏元阵列和一列CCD并行而构成。线型CCD图像传感器面型CCD图像传感器的结构是一排光敏元件与一排不透明存储单元交替排列。面型CCD图像传感器图3.22面型CCD图像传感器3.2.2CCD图像传感器的特性参数CCD器件的物理性能可以用特性参数描述，它的特性参数可以分为内部参数和外部参数两类。内部参数描述的是与CCD存储和转移信号电荷有关的性能，是器件理论设计的重要依据，外部参数描述的是与CCD应用有关的性能指标。具体参数如下：电荷转移效率与转移损失率驱动频率光谱响应分辨率电荷存储容量灵敏度暗电流3.2.2CCD图像传感器的应用CCD图像传感器在工业机器人中广泛应用，可替代人工完成高精度重复任务。基于CCD图像传感器的工业机械臂分拣系统，通过捕捉和处理图像，将物品信息传递给机器人，实现跟踪、抓取或分拣。CCD图像传感器还用于工业探测内窥镜，通过荧光屏显示清晰图像，帮助检查人员识别裂缝、应力等缺陷。其工作原理如左图所示，光源照射物体，反射光被CCD传感器捕获并处理，显示在显示器上，支持高质量图像并具有伽马校正功能。图3.23

机械臂物品分拣实物图图3.24CCD图像传感器应用原理图图3.25CCD工业探测内窥镜3.2.3CMOS图像传感器CMOS图像传感器及其主要应用实物图如图所示。CMOS中一对由MOS组成的门电路在瞬间要么PMOS导通，要么NMOS导通，要么都截至，比线性三极管的效率高得多，因此其功耗很低。与CCD不同的是，CMOS的每个像素点都有一个单独的放大器转换输出，因此CMOS没有CCD的“瓶颈”问题，能够在短时间内处理大量数据，输出高清影像，满足HDV的需求。除此之外CMOS图像传感器还适合批量生产，在低价格和摄像质量无极高要求的应用领域中占据较大的市场。图3.27CMOS图像传感器与其应用实物图3.2.3CMOS图像传感器的结构CMOS图像传感器的结构如下图所示，主要组成部分为像敏单元阵列、列放大器、多路模拟开关、输出放大器、AD转换器、接口电路和时序控制逻辑电路等。他们被集成到硅片上。像敏单元阵列有横轴和数轴两个方向排列形成方阵，其中每一个单元格又有其对应的X、Y地址，并且该地址可由地址译码器进行选择。图3.28CMOS图像传感器的组成结构图3.2.3CMOS图像传感器的工作原理CMOS图像传感器的核心是像敏单元阵列中的每个单元格，结构包括三个场效应管：VT1作为光电二极管的负载，VT2作为跟随放大器的源极，VT3作为选址模拟开关。复位脉冲使VT1导通，光电二极管复位；脉冲结束后，VT1截止，光电二极管积分光信号。VT2放大光电二极管输出的电流，选通信号使VT3导通，放大后的电流沿列方向输出，最终经输出放大器输出。像敏阵列的X轴和Y轴方向上有X移位寄存器和Y移位寄存器，光照信号出现时，Y地址译码器依次打开每行的模拟开关S，信号经X地址译码器控制传输到放大器。图3.29COMS像敏单元结构图3.30像敏单元工作时序图3.31CMOS像敏单元阵列工作原理（1）填充因子CMOS图像传感器的填充因子是指光敏面积和全部像敏面积之比。（2）像素总数和有效像素数在CMOS图像传感器中，像素分为不成像的像素和成像像素，像素总数是指这两者所有像素的总和，像素总数是衡量CMOS图像传感器的主要技术指标之一。（3）动态范围CMOS图像传感器的动态范围知识传感器的工作范围，是输出信号的最高电压和噪声电压的均方根之比。（4）噪声噪声一直是限制CMOS图像传感器占领市场的重要因素之一。噪声来源主要是光敏器件的噪声、MOS场效应晶体管中的噪声和CMOS图像传感器中的工作噪声。3.2.3CMOS图像传感器的特性参数CMOS图像传感器每个像敏单元有独立的XY地址和放大器，支持任意兴趣像素读取，读取速度快，功耗低，且易于将周边电路集成到传感器芯片中，成本低。相比之下，CCD图像传感器依赖电荷移位寄存器按序读取信号，限制了兴趣像素操作的灵活性和速度，耗电量高，约为CMOS的8到10倍。然而，CCD图像传感器的耗尽层较深，对红光和近红外光响应好，噪声低，动态范围高，更适合对噪声敏感的应用。3.2.3CMOS图像传感器与CCD图像传感器比较随机读取能力不同光谱响应范围和灵敏度不同信号读取速度不同噪声与动态范围不同耗电量不同成本不同3.2.3CMOS图像传感器的应用图3.32佳能EOSCMOS数码相机目前在应用领域，CCD凭借其低噪声、高分辨率、高灵敏度等高性能牢固占据着图像传感器的高端市场，如精密测量、军事目标探测与跟踪。CMOS图像传感器则以其高集成度、高速、小体积、低价格、低功耗、使用方便等特点在低端市场如视频通信、手机、家用摄像机、文字识别或低噪声应用等场合占据着巨大的份额。图3.34华为Mate手机摄像头图3.36自动驾驶场景图3.3机器人视觉感知先进技术3.3.1单目标跟踪概述如图所示，单目标跟踪为在有噪声的传感器测量时间序列中确定单个目标的状态，包括：位置、描述目标运动的状态量、一些其他感兴趣的特征。本质上单目标跟踪就是一个滤波问题。单目标跟踪的基本流程：输入初始帧（第一帧）并初始化目标框在下一帧中产生众多候选框（产生有可能的目标框）提取这些候选框的特征（特征提取）然后对这些候选框评分（计算候选框的置信分数）最后在这些评分中找一个得分最高的候选框作为预测的目标或者对多个预测值进行融合得到更优的预测目标。图3.37单目标跟踪3.3.1多目标追跟踪目标跟踪为在有噪声的传感器测量时间序列中确定多个目标的如下特性：动态目标的个数、每个动态目标的状态（和单目标跟踪相同）。对比单目标跟踪与多目标跟踪后发现其处理问题多了一个确定动态目标个数，如图所示。图3.38多目标跟踪3.3.1多目标跟踪-目标检测方法R-CNN＆FastR-CNN：R-CNN通过选择性搜索生成候选区域并用CNN提取特征，但时间复杂度高；FastR-CNN通过整图输入CNN和ROI池化提取候选区域特征，避免重复计算，大幅提升运行速度。YOLO：YOLO算法通过将图像分割成网格，每个网格预测边界框和置信度，实现端到端的实时目标检测，运算效率高、泛化能力强，但对小物体和非寻常比例物体的检测效果不佳。SSD：SSD算法通过多尺度特征图和不同尺寸的先验框，直接用CNN进行目标检测，提升了对小目标的检测效果和边界框的精度，相比YOLO准确度更高。3.3.1多目标跟踪-目标检测和目标跟踪的异同1）目标检测可以在静态图像上进行而目标跟踪就是需要基于录像或视频。如果对每秒的画面进行目标检测也可以实现目标跟踪。2）目标跟踪不需要目标识别可以根据运动特征来进行跟踪而无需确切知道跟踪的是什么所以如果利用视频画面之间的临时关系单纯的目标跟踪可以很高效的实现。3）基于目标检测的目标跟踪算法计算非常昂贵就如之前讲的需要对每帧画面进行检测才能得到目标的运动轨迹。而且只能追踪已知的目标这个容易理解因为目标检测算法就只能实现已知类别的定位识别。图3.39目标检测3.3.1多目标跟踪-经典跟踪算法基于目标建模的方法目标跟踪通过建模目标外观特征，如SIFT、SURF、Harris角点等，在后续帧中找到最相似的特征进行定位。基于搜索的方法传统目标跟踪算法通过建模目标外观特征和预测目标位置来减少搜索范围，如Meanshift和粒子滤波，但存在未考虑背景信息和执行速度慢的问题，易在遮挡、光照变化等情况下失败。基于相关滤波的跟踪算法基于相关滤波的跟踪算法（如MOSSE、CSK、KCF、BACF、SAMF）通过衡量信号相似度，实现高速跟踪，速度可达数百帧每秒，适用于实时跟踪系统。基于深度学习的跟踪算法深度学习在目标跟踪中的应用通过提取更强的深度特征，初期将这些特征应用于相关滤波框架，显著提升了跟踪效果。3.3.1多目标跟踪-多目标跟踪任务-传感器检测照相机照相机是多目标跟踪中常用的传感器，提供高分辨率图像和目标边界框，但受光照和遮挡影响较大，需结合其他传感器数据提高鲁棒性。雷达雷达通过发射和接收电磁波检测目标，不受光照影响，提供目标的方位和速度信息，但分辨率低，需结合其他传感器使用。激光雷达激光雷达通过发射激光脉冲构建三维点云，提供高精度目标位置和形状信息，适用于多目标跟踪，但成本高且在恶劣天气下性能受影响。3.3.1多目标跟踪-多目标跟踪类型传统多目标跟踪基于“小目标”假设，每个目标被视为独立的点，初始帧中选取有跟踪价值的点并描述其特征，在后续帧中根据特征寻找点的新位置，需解决点的选取、特征描述和位置更新三个问题。扩展目标跟踪处理形状未知且可动态变化的目标，通过递归滤波更新目标形状，适用于复杂非线性场景，如汽车形状检测，利用设备跟踪器保持目标模型。目标群跟踪将多个目标视为一组，不关注细节，只需检测大致范围，适用于障碍物躲避等场景。图3.40目标群示意图3.3.1多目标跟踪-多目标跟踪的挑战1）视场范围内多少个目标不知道每个目标的位置不知道。2）目标在视场内到处移动。3）存在旧目标离开视场或新目标进入视场涉及到目标的出现与消失术语叫“路径诞生”与“路径死亡”需要进行航迹管理。4）遮挡问题：某一帧一个目标把另外目标遮挡传感器检测不到。传感器的缺陷传感器的漏检和虚警是多目标跟踪中常见的问题，漏检可能由环境遮挡或目标特性引起，虚警可能由反射或误识别造成，这些问题需要多目标跟踪模块进行兜底处理。数据关联数据关联是多目标跟踪中的关键挑战，需在不同时间点将检测到的目标正确对应起来，避免关联错误，主要难点包括缺乏先验信息、传感器噪声影响和目标间距离过近。基于视觉的三维重建在计算机领域是一个重要的研究内容，主要通过使用相关仪器来获取物体的二维图像数据信息，然后对获取的数据信息进行分析处理，最后利用三维重建的相关理论重建出真实环境中物体表面的轮廓信息。基于视觉的三维重建具有速度快、实时性好等优点，能够广泛应用于机器人领域，具有重要的研究价值，也是未来发展的重要研究方向。3.3.2基于视觉的三维重建图3.43三维重建技术分类机器人视觉的关键技术三维重建技术在机器人视觉中至关重要，通过获取环境的三维信息，提高机器人的导航、避障和交互能力，增强其在复杂环境中的自主性。三维环境感知的重要性三维环境感知对机器人至关重要，提供丰富的环境信息和结构布局，帮助机器人做出更合理的决策和行动。3.3.2基于视觉的三维重建背景和意义三维重建技术主要通过视觉传感器来获取外界的真实信息，然后通过信息处理技术或者投影模型得到物体的三维信息（以深度图、点云、体素、网格等形式），即三维重建是一种利用二维投影恢复三维信息的技术。常见的三维重建表达方式有以下四种：深度图，其每个像素值代表的是物体到相机XY平面的距离；体素是三维空间中的一个有大小的点，一个小方块相当于是三维空间种的像素；点云是某个坐标系下的点的数据集，点包含了丰富的信息包括三维坐标（XYZ）、颜色、分类值、强度值、时间等，如图所示。3.3.2基于视觉的三维重建-三维重建的定义图3.44常见的三维重建表达方式（a）深度图（b）体素（c）点云（d）三角网格激光扫描法结构光法阴影法TOF技术雷达技术Kinect技术3.3.2基于视觉的三维重建的类型-主动视觉法图3.45激光扫描法过程图3.46结构光法示意图图3.47阴影法示意图基于主动视觉的三维重建技术：3.3.2基于视觉的三维重建的类型-被动视觉法根据视觉传感器的数量和特性单目视觉法:通过单个相机获取图像，利用明暗、纹理、光度立体、运动和轮廓等信息恢复三维形状，适用于不同场景，但精度受限。双目视觉法:利用两个相机从不同视角获取图像，通过视差计算深度信息，实现高精度三维重建，广泛应用于立体视觉系统，但需解决图像匹配难题。多目视觉法:在双目基础上增加更多摄像头，提高对复杂场景的适应性和鲁棒性，尤其在目标表面倾斜时表现更佳。根据匹配方法分类三维环境重建技术中，区域视觉法利用对极几何约束和连续性提高稠密匹配效率，而特征视觉法则通过提取图像中的角点作为特征点，利用匹配算法和三角测量原理获取深度值，从而重建物体表面的三维模型。根据应用方法三维环境重建技术中，区域视觉法利用对极几何约束和连续性提高稠密匹配效率，而特征视觉法则通过提取图像中的角点作为特征点，利用匹配算法和三角测量原理获取深度值，从而重建物体表面的三维模型。3.3.2基于视觉的三维重建的类型-单目视觉法常用方法图3.51单目视觉法结果展示（红色表示近距离蓝色表示远距离）图3.50单目视觉三维重建流程单目视觉的三维重建流程及结果展示：单目视觉中常用的方法有多种恢复形状法：A.从明暗恢复形状法B.由纹理恢复形状方法C.光度立体法D.由运动恢复形状方法E.由轮廓恢复形状方法

3.3.2基于视觉的三维重建的类型-双目视觉法流程与模块图3.52双目视觉法光路

双目视觉的工作原理来源于人类的双目视觉系统，即从不同的视角通过两个相同的相机捕获同一个位置下的左右两侧图像，然后再利用三角测量原理获取物体的深度信息通过这些深度信息重建出物体的三维模型。3.53双目视觉法流程

3.3.2基于视觉的三维重建的类型-运动恢复结构法图3.57运动恢复结构法效果（a使用传统数码相机b使用无人机c图像重建）图3.54双目视觉法结果展示多目视觉是双目视觉的一种延伸它是在双目视觉的基础上增加一台或者多台摄像机作为辅助进行测量从而获得不同角度下同一物体的多对图像。3.3.2基于视觉的三维重建的类型-统计学习法图3.58统计学习法（大型场景）图3.59统计学习法（人脸识别）需要通过不断地学习再学习的过程。该方法是以大型数据库为基础。3.3.2基于视觉的三维重建的类型-深度学习与语义法图3.61深度学习与语义法（建筑三维重建）图3.62深度学习与语义法（范围性建筑三维重建）图3.63深度学习与语义法（场景细节重建）3.3.2基于视觉的三维重建的类型-深度学习与语义法图3.63深度学习与语义法（场景细节重建）基于深度学习的三维重建最近几年取得了非常大进展是当前计算机视觉领域比较流行的方法之一。基于语义的三维重建可以运用在移动的行人或车辆等大的场景，这种方法能够精确地对环境中的目标物体进行识别，而深度学习技术也是最近几年刚刚兴起的比较有优势的识别方法。图3.61深度学习与语义法（建筑三维重建）图3.62深度学习与语义法（范围性建筑三维重建）3.3.2基于视觉的三维重建的挑战基于主动视觉的三维重建技术可用于不同环境下的三维重建。该类方法不足的是成本高昂需要购买扫描仪等专用设备如果操作稍有差错就会导致重构的结果不精确。另外，由于环境的限制主动视觉法不大可能对大规模复杂场景进行扫描导致其只能应用在小规模领域，并且其后期处理过程也较为复杂。基于被动视觉的三维重建技术法对物体的细节特征重建还不够精确。基于其他被动视觉的三维重建方法在三维重建中的时间比较长，实时性不高。应用此类方法需要相机精确的内外参数，因此在相机内外参数估计的过程上花费了较长的时间。3.3.3基于深度学习的高分辨率重建的背景和意义图像是人类获取信息的重要手段。随着计算机多媒体技术和数字图像处理技术的发展人们对数字图像的分辨率要求越来越高。高分辨率意味着图像的像素密度高能够提供更多的图像细节，在医疗、生物、遥感等诸多领域有非常广泛的应用。但是由于数字图像的分辨率受限于下面两个因素：①由于图像传感器是由像敏单元阵列组成这就从原理上决定了数字图像的空间分辨率受限于像敏单元的大小（物理因素）；②数字图像的灰度分辨率受成像系统的传递函数影响算法因素。基于深度学习的高分辨率重建应用领域如下:图片压缩医学成像遥感成像公共安防视频感知3.3.3基于深度学习的高分辨率重建技术的定义和过程超分辨率（SuperResolution,SR）重建技术是指由一些低分辨率（LowResolution,LR）模糊的图像或视频序列来估计具有更高分辨率（HighResolutionHR）的图像或视频序列同时能够消除噪声以及由有限检验器尺寸和光学元件产生的模糊是提高降质图像或序列分辨率的有效手段。深度学习近年来在图像领域发展迅猛，它的引入即基于深度学习的超分辨率重建为单张图片超分辨率重构带来了新的发展前景。图3.64基于深度学习的超分辨率重建过程3.3.3算法类型-超分辨率卷积神经网络SRCNN（Super-ResolutionConvolutionalNeuralNetwork）是首个应用于超分辨率重建的卷积神经网络模型，通过双立方插值放大低分辨率图像，利用三层卷积神经网络进行非线性映射，最终输出高分辨率图像。图3.65SRCNN网络模型示意图3.3.3算法类型-FSRCNN算法FSRCNN（FastSuper-ResolutionConvolutionalNeuralNetworks）是SRCNN的改进版，通过在最后添加反卷积层、减少网络规模和共享卷积层，实现了40倍的加速和略高的输出质量，主要步骤包括特征提取、收缩、非线性映射、扩张和反卷积。图3.66SRCNN与FSRCNN的网络结构对比图3.3.3算法类型-ESPCN算法ESPCN通过引入亚像素卷积层间接实现图像放大，避免了SRCNN中依赖粗糙高分辨率图像进行计算的问题，显著降低了计算量，提高了重建效率。图3.67ESPCN网络模型图3.68亚像素卷积原理图3.3.3算法类型-视频超分算法ESPCN（Real-TimeVideoSuper-ResolutionwithSpatio-TemporalNetworksandMotionCompensation，VESPCN）是一种SISR方法但也可以针对视频做超分（视频只不过是连续多帧的图像）。它利用亚像素卷积实现了非常高效的性能但其只能处理独立帧对视频的简单扩展未能利用帧间冗余也无法实现时间一致性。对此提出了能够利用时间冗余信息的时空亚像素卷积网络VESPCN该方法主要针对视频超分将ESPCN结构扩展成时序空间网络结构（Spatio-temporalNetwork）将时间信息加入到网络中可以有效地利用时间冗余信息提高重建精度同时保持实时速度。3.3.3算法类型-超分辨率生成对抗网络SRGAN利用生成对抗网络中的生成器和鉴别器进行对抗学习，有效解决了传统方法中因使用均方误差作为损失函数而导致的高频信息丢失问题，提升了超分辨率图像的质量。图3.69SRGAN网络模型示意图3.3.3算法类型-DRCN算法DRCN（Deeply-RecurisiveConvolutionalNetwork）通过嵌入网络、递归推理网络和重构网络三个主要组成部分，利用递归机制在超分辨率任务中实现高效的特征提取、非线性映射及最终的图像重建，同时引入了递归监督和跳过连接来优化模型性能。图3.70DRCN网络模型示意图图3.71DRCN展开推理网络示意图3.3.3算法类型-VDSR算法VDSR在SRCNN基础上进行了多项改进，通过增加网络深度来扩大感受野，加快收敛速度，并实现多尺度超分辨率。具体来说，VDSR解决了SRCNN的三个主要缺点：1）SRCNN的学习信息有限，仅有三层网络导致感受野仅为13×13；2）SRCNN收敛速度慢，训练时间长达一周；3）SRCNN无法实现统一模型的多尺度方法，每个放大倍数需要单独训练。VDSR通过这些改进显著提升了超分辨率重建的准确性和效率。3.3.3算法类型-RED算法卷积层——反卷积层结构有点类似与编码——解码结构。其网络结构是对称的每个卷积层都对应有反卷积层卷积层将输入图像尺寸减小后再通过反卷积层上采样变大使得输入输出的尺寸一样。卷积层用于提取图像的特征相当于编码的作用。而反卷积层用于放大特征的尺寸并恢复图像细节。而每一组镜像对应的卷积和反卷积有skipconnection将两部分具有同样尺寸的特征（要输入卷积层的特征和对应的反卷积层输出的特征）做相加操作（ResNet那样的操作）后再输入到下一个反卷积层。这样的结构能够让反向传播信号能够直接传递到底层解决了梯度消失问题同时能将卷积层的细节传递给反卷积层能够恢复出更干净的图片。3.3.3算法类型-DRRN算法DRRN（DeepRecursiveResidualNetwork）算法可以看作：ResNet+VDSR+DRCN的结果。DRRN中的每个残差单元都共同拥有一个相同的输入即递归块中的第一个卷积层的输出。每个残差单元都包含2个卷积层。在一个递归块内每个残差单元内对应位置相同的卷积层参数都共享。VDSR是全局残差学习。DRCN是全局残差学习+单权重的递归学习+多目标优化。3.3.3算法类型-LapSRN算法LapSRN可以看成由多级组成的分级网络每一级完成一次2倍的上采样（若要实现8倍就要3级）。在每一级中先通过一些级联的卷积层提取特征接着通过一个反卷积层将提取出的特征的尺寸上采样2倍。反卷积层后连有两个卷积层一个卷积层的作用是继续提取特征另外一个卷积层的作用是预测出这一级的残差。输入图像在每一级也经过一个反卷积层使尺寸上采样2倍再与对应级的残差相加就能重构出这一级的上采样结果。LapSRN网络结构其结构如图所示。图3.72LapSRN网络结构示意图3.3.3算法类型-SRDenseNet算法DenseNet在稠密块（denseblock）中将每一层的特征都输入给之后的所有层使所有层的特征都串联起来而不是像ResNet那样直接相加。这样的结构给整个网络带来了减轻梯度消失问题、加强特征传播、支持特征复用、减少参数数量的优点。一个稠密块的结构如下图所示。图3.73SRDenseNet网络一个稠密快结构示意图3.3.3算法类型-EDSR算法EDSR单幅图像超分辨率增强深度残差网络。EDSR最有意义的模型性能提升是去除掉了SRResNet的批量标准化（batchnormalizationBN）层。由于批量标准化层对特征进行了规范化因此通过规范化特征可以摆脱网络的范围可变性最好将其删除从而可以扩大模型的尺寸来提升结果质量。相当于SRResNet的改进。3.3.3基于深度学习的高分辨率重建的现实意义和发展空间深度学习在图像超分辨率重建领域已经展现出了巨大的潜力极大的推动了该领域的蓬勃发展发展。但距离重建出既保留原始图像各种细节信息、又符合人的主观评价的高分辨率图像这一目标深度学习的图像超分辨率重建技术仍有很长的一段路要走。主要存在着以下几个问题：1）深度学习的固有性的约束。深度学习存在着需要海量训练数据、高计算性能的处理器以及过深的网络容易导致过拟合等问题。2）类似传统的基于人工智能的学习方法深度学习预先假定测试样本与训练样本来自同一分布但现实中二者的分布并不一定相同甚至可能没有相交的部分。3）尽管当前基于深度学习的重建技术使得重建图像在主观评价指标上取得了优异的成绩但重建后的图像通常过于平滑丢失了高频细节信息。因此进一步研究基于深度学习的图像超分辨率技术仍有较大的现实意义和发展空间。3.4机器人视觉感知的发展趋势影响机器人视觉感知的关键技术图像识别与追踪技术识别即从获取的图像中找寻需要的目标信息这期间涉及到硬件设备的选取及识别追踪算法的确定。机器人定位技术定位技术是在识别技术的基础上对机器人的运动姿态进行定位控制。机器人定位技术主要包括两个方面：一方面是根据周围环境特征结合输入的环境模型对机器人的整体目标位置进行定位；另一方面是根据操作对象的特征对机器人的运动进行控制如进行分拣焊接贴片铸造等工作。视觉与机器人的关联技术直观来讲视觉与机器人的关联技术是通过将感知到的视觉信息传递能够到机器人本体使得机器人能够对相关视觉信息做出及时有效的处理与决策。3.4.1机器人视觉感知技术——识别与追踪硬件设备优化光源、视觉传感器、工业相机、图像采集卡和显示器等硬件设备，提升图像质量，对机器人视觉感知技术的发展具有重要意义，贯穿整个技术发展历程。识别与追踪算法图像信息获取后需进行成像识别与追踪算法处理，机器视觉领域经典的算法仍为主流，深度学习的结合取得了显著效果，如Caffe等开源框架因其功能完善、速度快、易用等优点成为研究者的首选工具。基于学习的目标识别方法随着计算机性能的提升，基于学习的方法，特别是基于卷积神经网络的学习，成为单目图像物体识别和姿态估计的主流方案，推动了机器人视觉感知技术的快速发展。基于深度学习的三维重建算法基于深度学习的三维重建算法通过融合深度学习和多视图几何的优势，如Deepvo、BA-Net和CNN-SLAM等方法，显著提升了三维重建的性能和精度。3.4.2机器人视觉感知技术——定位双目立体视觉通过计算两幅图像中的视差获得空间点的三维坐标，广泛应用于三维扫描和虚拟现实等领域，提高机器人感知环境的能力，机器人视觉定位包括二维和三维定位，主要依靠图像信息和其他传感器的结合。定位方式2006年前定位算法主要依赖模板匹配，计算简便但仅适用于简单物体，当前主流定位算法包括卡尔曼滤波、粒子滤波、扩展卡尔曼滤波、无迹卡尔曼滤波及基于单目视觉结合里程计的算法。定位算法3.4.3机器人视觉感知技术——视觉与机器人的关联基于图像分析的视觉技术在机器人引导相关应用中的主要作用是精确获取对象物（待抓取物体）和目标物（待组装物体）的坐标位置和角度并将图像坐标转换为机器人能识别的机器人坐标指导机器人进行纠偏和组装。因此手眼标定和定位引导是机器视觉在机器人感知系统中应用的的核心。一般手眼标定方法分为3类：标准手眼标定基于旋转运动的手眼标定及在线手眼标定。在机器人与视觉的关联方面着重于Eye-in-Hand技术的更新迭代提高机器人作业的灵活性与稳定性将进一步促进机器人视觉感知技术的发展。3.4.4机器人视觉感知技术应用及未来发展1）普及度的提升。其实机器视觉由于专业度和应用领域方面的局限性在大众认知上还存在一定陌生感不过随着市场的逐渐扩大应用逐渐从工业领域向人们日常生活深入未来机器视觉越来越“亲民”会有更多消费者了解和接受到相关产品。2）应用度会加速深化。当前随着智能化趋势的不断凸显机器视觉的应用领域将会进一步拓展和深化从工业、制药、印刷、检测等逐渐向更多新兴领域迈进。未来在智能机器人、自动驾驶、人脸识别、安防、医疗等领域的应用将会越来越多。3）竞争度会日臻激烈。随着普及度和应用度的不断变化未来进军机器视觉的企业将会越来越多那时不管是国内外企业竞争还是国内企业竞争都会加速白热化群雄逐鹿之际有可能强强联合、强弱兼并、后来居上等戏码都将上演直到新的平衡到来之前全球机器视觉市场都将是一派火热景象。3.5机器人视觉感知的实际应用3.5.1三维成像-系统硬件组成三维视觉系统分为图像采集、图像处理和运动控制三部分。图像采集部分包括相机和镜头，相机可能输出标准单色视频（RS-170/CCIR）、复合信号（Y/C）、RGB信号等，镜头焦距和光圈影响成像质量和景深。多路相机可能由图像卡切换或同步控制获取数据。工业相机镜头焦距常规有6mm、8mm、12mm、16mm、25mm、35mm、50mm、75mm，不同焦距对应不同的视角和适用距离。光圈控制通光量，影响景深。景深随光圈值、焦距和拍摄距离变化。工业相机镜头接口有C接口、CS接口、F接口、M42接口、M72接口等，C接口和CS接口的区别在于后截距不同，分别为17.5mm和12.5mm。CS接口相机可使用C口和CS口镜头，但C接口相机不能使用CS口镜头。相机视场角分为物方视场角和像方视场角，通常以矩形感光面对角线计算，也有以矩形长边尺寸计算。3.5机器人视觉感知的实际应用3.5.1三维成像-系统硬件组成图3.74三维成像系统示意图图3.75成像原理图传统的编程来执行某一动作的机器人已经很难满足现今的自动化需求了在很多应用场景下需要为机器人安装一双眼睛即机器人视觉成像感知系统使机器人具备识别物体、分析、处理等更高级功能可以正确对目标场景的状态进行判断与分析做到灵活地自行解决发生的问题。3.5.1三维成像的结构形式三维视觉系统通过图像传感技术获取目标信息，进行处理和理解，用于机器人系统的测量、检测、识别与定位等任务，手眼系统分为固定成像眼看手系统和随动成像眼在手系统，两者可混合协同工作，结合全局视场和局部高分辨率的优势。图3.79两种手眼系统的结构形式（a）眼在手系统（b）眼看手系统图3.80协同视觉系统原理图3.5.1机器人视觉三维成像方法（1）飞行时间3D成像飞行时间（TOF）相机每个像素都是利用光的飞行时间差来获取物体的深度信息。TOF成像可用于大视野、远距离、低精度、低成本的三维图像采集其特点是检测速度快、视野范围较大、工作距离远等但精度较低易受环境光干扰。（2）扫描3D成像扫描三维成像方法包括扫描测距、主动三角法和色散共焦法。扫描测距通过1D测距扫描实现高精度3D测量，色散共焦法在测量透明和光滑物体时具有独特优势，但速度慢、效率低，适合高精度测量但不适用于实时3D引导与定位。主动三角扫描适用于复杂结构面形测量，但容易产生遮挡，需合理规划机械臂路径与姿态。（3）立体视觉3D成像立体视觉通常是指从不同的视点获取两幅或多幅图像重构目标物体3D结构或深度信息通俗地将就是用一只眼睛或两只眼睛感知三维结构。3.5.1机器人视觉三维成像方法图3.81线结构光扫描三维点云生成示意图图3.82色散共焦扫描三维成像示意图图3.83立体视觉三维成像示意图3.5.2同步定位与地图构建同步定位与地图构建（SLAM）最早由HughDurrant-Whyte和JohnJ.Leonard提出，主要用于解决移动机器人在未知环境中运行时的定位导航与地图构建问题。SLAM通常包括特征提取、数据关联、状态估计、状态更新以及特征更新等部分。SLAM技术不仅适用于2D运动领域，也可应用于3D运动领域。SLAM的核心在于通过传感器数据不断更新机器人的位置估计信息，即使在复杂的环境中也能保持较高的定位精度。3.5.2同步定位与地图构建-SLAM的一般过程SLAM的一般过程包括机器人的运动估计、特征提取、数据关联、状态估计和状态更新等步骤。当机器人移动时，位置传感器会提取环境中的特征点，并通过扩展卡尔曼滤波器（EKF）将这些特征点与机器人运动前后的观测数据相结合，更新机器人的当前位置和环境信息。这一过程不断迭代，逐步优化机器人的位置估计和地图构建，确保在未知环境中实现高精度的导航和定位。图3.84SLAM的-般过程图3.85机器人当前位置和环境信息进行估计过程3.5.2同步定位与地图构建-机器人自身运动模型机器人自身运动模型是SLAM系统中的重要组成部分，通过对机器人轮胎运行圈数的估计来获取机器人的位置信息。这种估计可以作为扩展卡尔曼滤波（EKF）的初始估计数据。为了确保数据的同步性，通常采用插值方法对机器人自身位置数据进行前处理。由于机器人的运动规律是连续的，因此对机器人自身位置数据进行插值是可行的，而测距单元数据的不连续性使得其插值变得困难。3.5.2同步定位与地图构建-特征提取Spike方法Spike方法通过检测测距单元返回数据中相邻数据的显著差异来识别特征点，适用于室内环境中的静态物体检测，但对活动物体的鲁棒性较差。RANSAC方法RANSAC方法通过从激光测距数据中提取直线特征，适用于室内环境中的墙壁等直线结构，对活动物体有较好的适应性，提取的直线可用于EKF估计机器人位置和环境地图。图3.86三角几何方法3.5.2同步定位与地图构建-数据关联数据关联是将不同时刻位置传感器提取到的地标信息进行关联的过程，也称为重观察过程。在实际应用中，可能会遇到以下问题：1)上一次看到了某个地标，但下一次却没有看到；2)这次看到了地标，但之后却再也看不到这个地标；3)错误地将现在看到的某个地标与之前看到的某个地标进行关联。为了解决这些问题，通常会建立一个特征数据库，并设定规则：除非某特征已经出现了N次，否则不将其加入数据库。当新的传感器信息到来时，提取特征并与数据库中已出现N次且距离最近的特征进行关联，通过验证环节确认关联是否正确。如果验证通过，则特征出现次数加1；否则，视为新的特征并加入数据库。3.5.2SLAM技术中机器人常用的定位导航技术分类视觉定位导航超声波定位导航红外线定位导航iBeacon定位导航灯塔定位导航激光定位导航图3.87超声波定位导航原理示意图图3.88iBeacon定位导航原理示意图图3.89激光定位导航原理示意图图3.90时间飞行法原理示意图3.5.3机器人图像识别图像识别技术原理图像识别原理主要涉及处理具有一定复杂性的信息处理技术。这一技术的实现基于人类对图像识别的基本原理，通过计算机程序模拟实现。计算机图像识别与人类视觉识别类似，通过提取图像的重要特征并排除无用特征，使图像识别得以实现。计算机对特征的提取有时明显，有时普通，这直接影响图像识别的效率。图像识别技术不仅需要识别对象是什么，还需要确定其位置和姿态，这在交通、军事、安全等多个领域都有广泛应用。3.5.3机器人图像识别过程1、获取信息将声音和光等信息通过传感器向电信号转换也就是对识别对象的基本信息进行获取并将其向计算机可识别的信息转换。2、信息预处理采用去噪、变换及平滑等操作对图像进行处理基于此使图像的重要特点提高。3、抽取及选择特征指在模式识别中抽取及选择图像特征概括而言就是识别图像具有种类多样的特点如采用一定方式分离就要识别图像的特征获取特征也被称为特征抽取。4、设计分类器及分类决策设计分类器就是根据训练对识别规则进行制定基于此识别规则能够得到特征的主要种类进而使图像识别的不断提高辨识率此后再通过识别特殊特征最终实现对图像的评价和确认。3.5.3机器人图像识别常见形式图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。文字识别的研究是从1950年开始的一般是识别字母、数字和符号从印刷文字识别到手写文字识别应用非常广泛。数字图像处理和识别的研究开始于1965年。数字图像与模拟图像相比具有存储传输方便可压缩、传输过程中不易失真、处理方便等巨大优势这些都为图像识别技术的发展提供了强大的动力。物体的识别主要指的是对三维世界的客体及环境的感知和认识属于高级的计算机视觉范畴。它是以数字图像处理与识别为基础的结合人工智能、系统学等学科的研究方向其研究成果被广泛应用在各种工业及探测机器人上。3.5.3机器人图像识别-基于神经网络的图像识别技术基于神经网络的图像识别技术是一种新型的技术，以传统图像识别方式为基础，有效融合了神经网络算法。神经网络主要是指人工神经网络，即人类采用人工模拟动物神经网络方式的一种神经网络。目前，基于神经网络的图像识别技术中，遗传算法有效结合BP神经网络是最经典的一种模型，该模型在智能汽车监控、人脸识别、医学影像分析等诸多领域中得到了广泛应用。例如，在智能汽车监控中，若检测设备启动图像采集装置获取汽车正反面的特征图像，对车牌字符进行识别的过程中就采用了基于神经网络和模糊匹配的两类算法。3.5.3机器人图像识别-基于非线性降维的图像识别技术非线性降维与线性降维降维方法可以大致分为非线性降维与线性降维两类。线性降维如主成分分析（PCA）和线性奇异值分解（SVD），其特点是简单且易于理解，适用于数据集的线性结构。而非线性降维方法，如流形学习，能够更好地捕捉数据的内在结构，尤其适用于处理具有复杂非线性关系的数据集。主成分分析与线性奇异分析主成分分析（PCA）和线性奇异值分解（SVD）是最常见的线性降维方法。它们通过将高维数据映射到一个低维空间，来保留数据的主要特征，同时减少冗余信息。这种方法在处理图像数据时特别有效，因为它能显著降低计算成本，同时保持图像的关键特征，从而提高识别效率。机器人视觉感知技术，包括其概念、系统组成、发展历程，多种视觉感知传感器如PSD,CCD,CMOS先进技术:多目标跟踪、三维重建、高分辨率图像重建也展望了技术发展趋势，并探讨了其在三维成像、同步定位、图像识别等

领域的应用。总体来说，视觉感知技术对于机器人智能化进程具有关键意义。本章小结机器人感知智能第四章机器人接近觉感知4.1机器人接近觉感知的介绍4.1.1接近觉感知的定义及功能随着科学技术的发展，机器人的发展逐渐呈现智能化，这要求覆盖在机器人表面的大面积、多功能传感系统能够完美地实现交互过程中各类信息的量化。在日常生活中，接近觉感知传感器最常见的使用场景就是各个场所的自动感应装置。图4.1日常生活中接近觉感知传感器的常见使用场景常见的接近觉感知传感器光电式接近觉感知传感器光电式接近觉感知传感器种类多、用途广，能检测直径小至1mm或距离大至几米的目标，有测速度快、抗干扰能力强、测量点小、适用范围广等优点。电容式接近觉感知传感器电容式接近觉感知传感器可以检测粉末、颗粒、液体和固体形式的金属和非金属目标。电感式接近觉感知传感器电感式接近觉感知传感器由四个主要部分组成：带线圈的铁氧体磁芯，一个振荡器，一个施密特触发器和一个输出放大器。超声波式接近觉感知传感器超声波接近觉感知传感器是利用超声波的特性研制而成的传感器，超声波在碰到杂质或者是处于分界面的时候能产生显著的反射形成回波，当碰到运动的物体时会产生多普勒效应。4.1机器人接近觉感知的介绍4.1.2接近觉感知传感器的发展自1916年法国朗之万发明了世界上第一部超声波传感器到现在，超声波传感器己经完成从简单的借助回声定位到能够分析处理复杂信号的转变，其测量精度和可靠性都非常的高。超声波传感器自身的缺陷，如：镜面反射、有限的波束角

交叉相关联和正弦发生器技术应用在超声波测距系统中，将超声测距系统的分辨率进一步的提高，将超声波测距技术继续向前推进。图4.12超声系统装置的示意图4.1机器人接近觉感知的介绍4.1.2接近觉感知传感器的发展在实际应用中，电容式接近觉感知传感器具有对光线、噪音、待测物的颜色、表面纹理等不敏感、检测范围较大等优点，这使得电容式接近觉感知传感器机器人的实际操作场景下具有极大的稳定性。单一性能的传感器不能满足高性能机器人的需求，兼备触觉和接近觉感知能力的电容-电感双模式接近觉感知传感器应运而生图4.13兼具触觉与接近觉感知的传感器4.1机器人接近觉感知的介绍4.1.2接近觉感知传感器的发展随着制作工艺的提高，现有工艺可以满足更精细的加工需求。因此，采用MEMS工艺制作加工的垂直结构的双模式电容电感接近式传感器逐渐被使用。为了让具备电容式接近传感器的服务型机器人安全完成与人交互的任务，需要提高传感器的柔性。柔性的器件能够在发生碰撞时，产生减震缓冲，提高安全性，还能够在曲面、被拉伸等苛刻环境中正常工作。图4.14垂直结构的电容图4.15丝网印刷多功能传感器4.1机器人接近觉感知的介绍4.1.3接近觉感知传感器的现状在过去的几十年里，接近觉感知传感器的发展并不如力觉传感器、视觉传感器乐观，除了发展缓慢外，目前还存在一些有待于解决的问题，如光电式容易受到对象物颜色、粗糙度和环境亮度的限制。我国开展机器人接近觉感知传感器的研究时间并不长，在研究水平上与国外相比，还有一段差距。因此，我国接近觉传感器重点应放在提高现有传感器的性能稳定性、可靠性上，并将成本降低到可接受的程度。在此基础上，要进一步提高传感器的其他性能，如探测精度等，并进一步增加传感器的功能。在今后的两到三年内，随着人工智能机器人的快速发展，市场对于接近觉感知传感器的需求将达到一个新的高度。4.1机器人接近觉感知的介绍4.2.1概述和系统组成接近觉感知传感器的主要优点是无接触，而由于所有的物质都会在温度的作用下将内能转化为电磁波向外辐射能量。所以为了实现电磁波的无接触测量，红外检测传感器应运而生。红外检测技术借助红外线对温度的敏感性，实现对目标物无接触检测，成为接近觉传感器的重要分类，被广泛应用于距离测试、温度测试、气体检测、生物监测等方面。4.2红外传感器4.2.1概述和系统组成普朗克定律说明温度、能量和波长三者之间存在对应关系，红外总能量与温度呈正相关，峰值波长与温度呈负相关。它给出辐射场能量密度按频率的分布，式中T是热力学温度,k是玻耳兹曼常数。普朗克公式在高频范围hvkT的极限条件下，过渡到维恩公式4.2红外传感器4.2.1概述和系统组成在现代社会中，远距离实现目标物的检测是发展热点辐射计：主要用于检测微波辐射和光谱测量。微波辐射检测通常用于雷达和卫星通信等领域，而光谱测量则常用于化学和环境监测等领域。搜索和跟踪系统：主要用于跟踪目标并确定其位置，能够持续跟踪目标运动轨迹。热成像系统：主要用于获取目标物红外辐射的分布图像。这种传感器能够在夜间或低光照条件下检测目标物体表面的温度分布。红外测距和通信系统：主要用于无接触测距和实时通信。这种传感器可以通过红外辐射来测量距离，并能够实现短距离通信。混合系统：这种传感器结合了多种不同的传感器技术，能够实现更加复杂和精确的检测任务。图4.16红外检测传感器4.2红外传感器4.2.2传感器原理1.检测基本原理红外光作为太阳光谱的一部分其具有光热效应和辐射能量，相比于其他的光谱范围，由于大气无法吸收固定波长的红外线，所以物体的红外辐射能量产生的损耗小。所有的物体包括冰在内，均具有辐射能量，当红外光穿过介质时光能量会产生衰减，其中由于金属的固有材料损耗，使得其传播衰减很大，在液体中也存在对红外辐射吸收较大的情况。不同介质对红外辐射的吸收程度不同，而在外界环境中，大气层也对不同波长的红外光产生不同的吸收带。在现实生活中的任何物体，只要其温度在绝对零度以上，都会产生红外辐射，区别在于辐射的强度以及辐射的方式，这与介质和物体表面的粗糙程度有关。4.2红外传感器4.2.2传感器原理2.红外探测器红外探测器本质上就是指将不同的光热效应转化为电信号实现检测的装置，是整个红外测试系统的核心，其余为辅助电路。红外探测器按照检测机理可分为光电探测器和热电探测器。光电探测器主要利用的是光电效应和光电磁效应热电探测器主要利用的是热辐射效应，探测敏感元件将辐射转化为热能，表现为温度升高，探测器将其转化为可处理的信号（大部分为电信号）。4.2红外传感器4.2.3功能与目前研究实现1.温度检测温度检测在生产生活中具有十分重要的作用，从大型设备保持正常运转到农作物的正常生长以及人类生活的适宜程度都与温度息息相关。国外卫星热红外传感器国内卫星热红外传感器图4.17

AVHRR

传感器4.2红外传感器4.2.3功能与目前研究实现2.故障检测红外无损缺陷检测是利用红外辐射对材料的透过、反射、散射特性进行缺陷检测的一种方法。其机理是利用红外辐射在材料表面与内部缺陷之间的不同反射和透过特性来检测缺陷的存在和位置。当红外辐射照射到材料表面时，会红外辐射在材料表面和内部缺陷之间发生反射、透射和散射。通过检测这些反射、透射和散射的红外辐射，可以判断材料内部的缺陷情况，例如裂纹、气泡、缺陷等。图4.18卷扬机的可见光图与红外热像图4.2红外传感器4.2.3功能与目前研究实现图4.19两种红外无损检测方法4.2红外传感器2.故障检测有源红外检测法又称主动红外检测其存在外部热源，通过外部热源向待测物体发射能量，待测物体中原本的热平衡被打破，出现热流的变化，而在经过内部缺陷时，这种热流的变化会出现异常，表面温度分布区发生变化。4.2.3功能与目前研究实现图4.19两种红外无损检测方法4.2红外传感器2.故障检测无源红外检测法不附加热源对待测物体进行能量注入，仅仅依靠物体本身中的热流动异常进行检测。红外检测方法最早应用在大型仪器设备的电力行业中，近年来，随着技术的发展和进步，开始广泛应用于其他行业例如建筑业、轧钢、冶炼等等。4.2.3功能与目前研究实现3.气体检测红外成像技术能够实现危险气体的远距离非接触探测，具有灵敏度高、响应时间短、检测范围大等优点且成像动态直观，能够实现危险气体泄漏的在线实时监控，故被广泛应用于气体储运、油矿开采、工业制造等领域。红外检测传感器可以实现无接触气体检测，其中一种方式是利用红外吸收光谱技术。其具体实现方式如下：发射红外辐射：将发射器发出的红外辐射照射到被测气体中。气体吸收红外辐射：被测气体中的分子会吸收部分红外辐射，吸收量与气体浓度成正比。接收红外辐射：利用接收器接收被测气体吸收后的红外辐射。分析处理：分析接收到的红外辐射，计算出被测气体的浓度。4.2红外传感器4.2.3功能与目前研究实现3.气体检测这种无接触气体检测方式具有以下几个特点：非接触式测量，避免了接触式测量可能带来的污染和损伤等问题。可以实现实时测量，能够及时监测被测气体的浓度变化。精度高，可以检测到非常小的气体浓度变化。图4.20非分光型红外气体传感器检测原理示意图4.2红外传感器4.2.3功能与目前研究实现3.气体检测AdilShah等人提出一种NDIR甲烷气体传感器。该传感器被应用于向大气中排放甲烷气体的测试点。2019年，意大利的VincenzoSpagnolo和山西大学的董磊课题组开发了一种多通道石英光声光谱传感器，可同时检测近红外和中红外波段。光腔衰荡光谱（CRDS）技术是一种基于光腔衰荡现象的红外传感器技术，用于气体检测。图4.21NIDR传感器及无人机系统图4.22多气体QEPAS传感器图4.23基于CRDS原理的气体传感器的检测原理4.2红外传感器4.2.3功能与目前研究实现4.生物监测人体动作识别指的是对目标的动作方式进行识别。从人体散发的红外热辐射信号上寻找与人体运动和位置相关的隐含信息的方法被提出。基于PassiveInfrared（PIR）传感器的室内定位PIR（被动式红外检测技术”或“热释电传感器技术）是指通过感应人体的红外辐射来实现人体检测和控制的技术。PIR传感器可以感应静态或移动的热源，例如人体、动物、车辆等，通过检测其辐射的红外能量来判断其是否存在。基于PIR传感器的室内人体动作识别PIR传感器除了能检测到某区域的人体目标，还可以发现人体在检测区域中的运动特征信息，包括动作频率、幅度和姿态等多种信息。4.2红外传感器4.3.1概述和系统组成微波是一种电磁波，具有易于集聚成束、高度定向性以及直线传播的特性，可用来在无阻挡的视线自由空间传输高频信号。微波作为一种电磁波具有波粒二象性。微波相对于波长较长的电磁波具有下列特点：①定向辐射的装置容易制造；②碰到各种障碍物易于反射；③绕射能力较差；④传输特性良好，传输过程中受烟、灰尘、强光等的影响很小；⑤介质对微波的吸收与介质的介电常数成正比例、水对微波的吸收作用最强。4.3微波传感器4.3.2微波特点微波的基本性质通常呈现为穿透、反射、吸收三个特性。从电子学和物理学观点来看，微波这段电磁频谱具有不同于其他波段的重要特点：穿透性微波比其他用于辐射加热的电磁波，如红外线、远红外线等波长更长，因此具有更好的穿透性。选择性加热物质吸收微波的能力，主要由其介质损耗因数来决定。介质损耗因数大的物质对微波的吸收能力就强，相反，介质损耗因数小的物质吸收微波的能力也弱。热惯性小微波对介质材料是瞬时加热升温，升温速度快，消耗能量低。似光性微波波长很短，比地球上的一般物体（如飞机，舰船，汽车建筑物等）尺寸相对要小得多，或在同一量级上。使得微波的特点与几何光学相似，即所谓的似光性。4.3微波传感器4.3.3微波传感器原理1.微波传感器原理与分类微波传感器是利用微波特性来检测某些物理量，如物体的存在、运动速度、距离、浓度等信息。反射式：发生天线和接收天线位于检测物体的同一侧，反射式微波传感器通过检测微波信号从发出到接收到的时间间隔或者相位偏移来检测被测物体的位置、厚度和位移等参数。遮断式：发射天线和接受天线位于检测物体的两边，间断式微波传感器通过接收天线接收到的微波信号功率的大小，判断发射天线和接收天线之间是否有被测物体、被测物体的厚度和位置等参数信息。图4.25西门子微波物位计图4.26西门子智能雷达物位计工作原理:由微波发射器定向发出微波信号，遇到被测物体时，微波信号部分被检测物体吸收，部分则被反射，使微波功率发生变化。4.3微波传感器4.3.3微波传感器原理2.微波传感器组成与特点微波传感器通常由微波振荡器（微波发射器）、微波天线及微波检测器三部分组成。微波振荡器和微波天线是微波传感器的重要组成部分。微波振荡器是一种产生微波的装置。微波检测器：电磁波作为空间的微小电场变动而传播，所以使用电流-电压特性呈现非线性的电子元件作为探测它的敏感探头，敏感探头在其工作频率范围内必须有足够快的响应速度。作为非线性的电子元件，在几兆赫兹以下的频率通常可用半导体PN结，而对于频率比较高的可使用肖特基结。图4.27常用的微波天线4.3微波传感器4.3.4微波传感器的常见应用1.微波测距利用接收天线接收被测物反射回来的微波信号，检测其电磁参数，再由测量电路处理，就实现了微波检测。将微波发射器和微波接收器架设在相距为d的位置，当发射器发出移动功率的微波信号，该微波信号到接收器将有一部分功率损耗，微波接收天线接收到的微波功率大小即可换算出待测面和微波发射器的距离h，从而实现了微波测距。图4.28微波测距原理4.3微波传感器4.3.4微波传感器的常见应用1.微波测距雷达是微波最早的应用之一。多普勒和干涉测量雷达系统通常，多普勒雷达发出频率为f_t的单音无线电信号。当击中一个物体时，根据物体移动时的多普勒效应，相关的返回信号频率从发射频率偏移。调频连续波系统FMCW雷达能够确定系统与目标之间的绝对距离。发射信号的各种调制是可能的，发射频率能够作为正弦波、锯齿波、三角波或方波向上和向下倒转。图4.29用于位移监测的干涉测量操作图4.30FMCW操作用于距离检测4.3微波传感器4.3.4微波传感器的常见应用1.微波测距德国罗伯特-博世公司于2013年推出中程雷达，自2016年以来，该公司已向市场交付了超过1000万部毫米波雷达。德国大陆集团是全球最大的汽车零部件供应商之一。大陆集团的毫米波雷达产品涵盖24GHz和77GHz，以77GHz产品为主。森斯泰克是国内专业从事毫米波雷达和激光雷达智能传感器产品研发、生产和销售的高新技术企业。图4.31博世远程雷达传感器：LRR4图4.32德国大陆ARS411长距离毫米波雷达图4.33STA79-2近程雷达4.3微波传感器4.3.4微波传感器的常见应用1.微波测距德国ADC公司依据脉冲测距法制造出ASR1100毫米波雷达，NISSAN，Ford和Mercedes-Benz等汽车品牌公司积极研制了汽车主动避撞系统VCAS(VehicleCollisionAvoidanceSystem)和自适应巡航系统ACC(AdaptiveCruiseControl)。图4.34使用微波雷达对人行天桥及其运动进行成像4.3微波传感器4.3.4微波传感器的常见应用2.微波液位计液位是各种工业过程中的一个重要参数。液位测量方法很多，如：差压式、浮力式、磁翻转式、磁致伸缩式、射频电容式、超声波式等。微波液位计可分为天线式微波液位计和导波式微波液位计。通过天线来发射微波并接收回波，为非接触式测量，也称自由空间雷达(FreeSpaceRadar)，是微波液位计的主要形式。图4.35雷达液位计4.3微波传感器4.3.4微波传感器的常见应用3.微波探测仪微波探测仪会持续发射微波，并接收反射回的微波信号，根据时间差就可以求出物体的运动速度与位移。当探测区内的目标移动时，原发射信号与反射的信号之间会有频率差异，即触发报警，通常称为多普勒效应。图4.36微波探测仪4.3微波传感器4.3.4微波传感器的常见应用4.微波无损检测系统微波无损检测技术始于20世纪60年代，现在微波无损检测技术已经在大多数复合材料和非金属内部的缺陷检测和和各种非电量测量等方面获得了广泛的应用。微波无损检测主要有穿透法、反射法、干涉法、散射法、全息法以及CT法等。穿透法：将发射和接收天线分别放在试件的两边，通过检测接收的微波波束相位或幅值的变化，可得到被检测量的情况。反射法：发射法是指利用被检试件表面和内部所反射的微波对试件进行检测的方法。散射法：散射法是通过测试回波强度变化来确定散射特性。微波全息技术：微波干涉法与光导全息照相技术结合可以形成微波全息技术。图4.37微波检测缺陷示意图4.3微波传感器4.4.1概述和系统组成1.概述激光技