机器人视觉传感技术及应用

1、JIAXING UNIVERSITY现代测试技术课程题目机器人视觉传感器的应用姓名班级 测控122学号小组成员机器人视觉传感器的应用摘要机器人视觉技术是指机器人工作时通过视觉传感器对环境物体获取视觉信 息，让机器人识别物体来进行各种工作。本文介绍了机器人技术中所常用的视觉 传感器的种类、结构。原理和功能。介绍了弧焊机器人视觉传感技术较为前沿的 一些应用和研究，包括焊缝跟踪和获取熔池信息。简要说明了视觉技术在农业采 摘机器人方面的应用。关键词：机器人、视觉、弧焊、采摘机器人1 .绪论E3机器人视觉是使机器人具有视觉感知功能的系统。 机器人视觉可以通过视觉 传感器获取环境的一维、二维和三维图像，并

2、通过视觉处理器进行分析和解释， 进而转换为符号，让机器人能够辨识物体，并确定其位置及各种状态。机器人视 觉视觉侧重于研究以应用为背景的专用视觉系统，只提供对执行某一特定任务相 关的景物描述。机器人视觉硬件主要包括图像获取和视觉处理两部分，而图像获 取由照明系统、视觉传感器、模拟-数字转换器和帧存储器等组成。 根据功能不 同，机器人视觉可分为视觉检验和视觉引导两种，广泛应用于电子、汽车、机械 等工业部门和医学、军事领域。2. 机器人常用的视觉传感器2.1光电二极管与光电转换器件图2.1是pn型光电二级管的结构。如果让光子射入半导体的pn结边界耗尽层，就会激励起新的空穴。利用电场将空穴和电子分离到

3、两侧， 就可以的到与光 子量成比例的反向电流。Pn型元件的优点是暗电流小，所以被广泛用于照度计 和分广度计等测量装置中。图2.1 pn型光电二极管结构在高响应的发光二极管中pin结型与雪崩型。前者在pn结边界插入一个本 征半导体i层取代其耗尽层。给它施加反向偏压，可以减少结电容，获得高速响 应；而后者是在pn结上加100伏左右的反向偏置电压产生强电场，激励载流子 加速，与原子碰撞产生电子雪崩现象。 这些高速型二极管的响应速度很快，能用于高速光通信等。2.2 PSDPSD （Position Sensitive Detector;位置敏感探测器）是测定入射光位置的传 感器，由发光二级管、表面电阻

4、膜、电极组成。入射光产生的光电流通过电阻膜 到达元件两端的电极，流入各个电极的电流与电阻值存在对应关系，而电阻值又与光的入射位置及到各个电极距离成比例， 因此根据电流值就能检测到光入射的 位置。PSD元件中有一维和二维两种，它们都具有高速性，但要注意入射到开口 部分的散射光的影响。2.3CCD图像传感器电荷耦合器件(CCD： Charge Coupled Device)图像传感器是由多个光电二 极管传送储存电荷的装置。它有多个 MOS (Metal Oxide Semiconductor)结构的 电极，电荷传送的方式是通过向其中一个电极上施加与众不同的电压，产生所谓的势阱，并顺序变更势阱来实现

5、的。根据传送电荷需要的脉冲信号的个数，施加电压的方法有两相方式和三相方式。CCD图像传感器有一维形式的，是将发光二极管和电荷传送部分一维排列 制成的。此外还有二维形式的，它可以代替传统的硒化镉光导摄像管和氧化铅光 电摄像管二维传感器。二维传感器属于水平和垂直传送电荷传感器，传送方式有行间传送、帧一行间传送、帧传送及全帧传送四种方式。图2.2所示为行间传送方式，采取一维摄像区域(接收部分)与传送区域平 行布置结构的方法。接收部分多使用二极管。每一帧曝光所储蓄的电荷分别被垂 直或水平的传送，然后以图像信号的形式被取出。在CCD内部电荷传送的效率非常高，因此其具有高的灵敏度。由于整个传送区域是被遮光

6、的，所以在传送中 不会曝光。图2.2 CCD摄像器件的结构CCD 图像传感器把垂直寄存器用作单画面图像的缓存，所以可以将曝光时 间和信号传送时间分离开。 也就是说，其具有所有像素能在同一时间曝光的特点。2.4 CMOS 图像传感器CMOS 图像传感器是由接收部分（二极管）和放大部分组成的一个个单元， 然后按照二维排列。由于放大器单元之间特性的分散性大， 以至于其噪声比较大。 不过，近年来噪声消除电路的性能已经得到改善，故使 COMS 图像传感器得到 迅速普及和应用。CMOS 传感器的优点是耗电低，并利用一般半导体制造技术就可以完成 CMOS 处理器的设计和加工， 这都是有利于图像处理电路和图像

7、传感器的单片化 和低成本化。3. 弧焊机器人视觉技术焊接作为一种机械加工的重要特殊工艺手段， 在制造业中具有举足轻重的地 位，但是，传统的手工焊接力一法己经不能满足现代高新技术产品制造的要求。 囚此，保证焊接产品质量的稳定性、 提高生产效率、 减轻工人的劳动强度和改善 劳动环境己经成为现代焊接技术极待解决的问题。 随着先进制造技术的发展， 实 现焊接产品制造的自动化、柔性化与智能化己经成为必然趋势。焊接机器人具有通用性强、 工作可靠的优点， 但是无法自主获取工件定位信 息、焊缝空间位置信息、焊缝熔透信官、 ，当焊接对象改变时需要重新示教，造 成工作效率低下， 囚此智能化是焊接机器人的发展趋势。

8、 焊接机器人智能化技术 是指在焊接机器人上装配各种传感器， 使焊接机器人对外界环境具有一定的感知 能力，从而使焊接机器人可以自主地适应环境， 并根据环境的变化， 对自身下一 步操作自主调整。使用焊接传感器的日的是为了实现焊接过程的自动控制， 进而实现焊接的智 能化。焊接传感器根据原理可以分为声学、力学、电弧和光学传感器等。声学传 感器主要用于 GMAW 过程熔滴过渡的检测、等离子穿孔焊等。力学传感器能够 反映熔池振荡频率同熔池体积之间的关系， 但日前只能用于步进焊接， 无法实现 连续行走。电弧传感器由于直接检测电弧自身的特性， 不需要外加传感器及附件， 应用简单， 主要用于焊缝跟踪和熔敷控制。

9、 据统计，焊工进行手弧焊操作时获取 的信息有 80%来自视觉。 熟练的焊接工人通过观测熔池、 工件的接头、 电弧的形 状和熔滴过渡形式等来预测背而的形状和尺寸参数， 通过调节焊接参数实现熔透 的控制，保证焊接质量的稳定。 下文介绍了视觉传感技术及其在机器人焊接中的 作用。3.1 弧焊视觉传感技术的优点与传统的传感方法相比， 光学传感器具有不与焊接回路接触、 不与焊接工件 接触、信号的检测操作不影响正常的焊接过程、传感信息丰富、硬件设备简单、 易于维护的优点。 电子技术、 光学技术、 机器视觉和图像处理技术为视觉传感技 术提供了软硬件支持，如光学器件和摄像机成本下降、性能提高、可靠性改善， 图像

10、处理硬件性能改善和种类的增多为视觉传感器提供了硬件支持，机器视觉、 图像处理和软件技术的发展为视觉传感器提供了软件保障， 因此光学传感器在焊 接过程中具有非常广泛的应用前景。 光学传感器根据光学器件所工作的波段可以 分为 X 射线传感器、视觉传感器和红外传感器三种。3.2 焊接熔池视觉传感熔池形状和尺寸对于焊缝成形具有非常重要的作用， 熔池形状和尺寸的传感 是焊缝成形控制的基础，焊接过程中的声、光、电、磁、热等信急可以用来传感 熔池的形状信息。3.2.1主动式一维视觉传感技术对于连续电流GTAW，熔池连续处在强烈电弧光的笼罩下，采用常规的CCD 摄像方法很难排除弧光干扰得到清晰的熔池原始图像。

11、 有人提出了一种由高能量 密度脉冲激光器和与激光脉冲同步的电子快门频闪高速摄像机组成的“频闪视 觉”系统检测高亮度区景物的方法。辅助光源采用高密度脉冲激光或者 Xe 灯闪 烁光源在脉冲期间强度高于弧光强度，视觉传感器采用频闪高速 CCD 摄像机捕 捉瞬时清晰的熔池图像。频闪视觉方法在GMAW、GTAW、等离子弧焊（PAW）、电子束焊（EBW）、激光焊（LW）过程中均获得了清晰度和对比度都较好的熔 池图像，如图3.5所示图3.5频闪视觉熔池图像传感322被动式二维视觉传感技术图3.6是GTAW同轴检测方法的示意图。有人开发了一套放置在焊炬内部与 电极同轴观测焊接熔池的集成视觉传感系统，在TIG焊

12、熔池观察和MIG焊焊缝跟踪等方面进行了初步的研究。针对低碳钢 TIG焊辐射源中各组分发光机理及 规律进行的研究，发展了一种在电弧焊条件下获得焊接区图像的光谱传感方法， 该方法能够使电弧光谱中各组分的光强在可见光范围内得到调整和控制，从而使熔池图像质量明显提高，如图3.7所示。在连续光谱选取取像窗口，利用熔池液态 金属表面对电弧光的镜面反射及未熔化的和已凝固的工件表面对电弧光的漫反 射获取熔池图像，提高熔池图像的对比度。获取熔池正面图像时，开发了由窄带 滤光片和中性滤光片组成的复合滤光系统抑制并充分利用弧光。同时开发了一套熔池同时同幅图像传感系统，它通过两条独立的光路将同时刻的熔池正反面的图 像

13、聚焦于摄像机的CCD靶面，如图3.8所示。图3.6 GTAW同轴熔池检测方法hi U二 5图3.7光谱传感方法图3.8熔池正反面图像同时同幅传感系统323主动式三维视觉传感技术相对于二维信息而言，焊接区的三维信息在表现焊接熔池形状、焊缝成形方 面更具有优势。为了获取熔池表面的三维信息，有人设计了一套由强脉冲激光栅 格状多结构光条纹和高速电子快门摄像机组成的熔池视觉检测系统，摄像机的电子快门与激光脉冲同步，检测正面熔池的下塌量，如图3.9所示。在摄像机成像光 路系统中加了与激光波长相匹配的窄带滤光片， 有效地抑制了弧光的干扰，进- 步提高了图像的信噪比，获得了非常清晰的 TIG焊熔池表面反射图像

14、。采用一 定的图像处理算法可以提取结构光条纹的栅格框架和轮廓，进而可以计算出熔池正面的高度，建立了正面焊缝平均下塌量与反面熔宽之间关系的数学模型。图3.9结构光视觉传感焊接智能化、机器人化是焊接技术必然的发展趋势，但是焊接过程控制的 关键是信息传感。焊接过程传感信息包括光学、声学、力学、电磁学等，视觉传 感技术以其特点成为将来最有发展前景的传感技术之一。弧焊机器人中的视觉传感技术，将随着相关技术的发展，进一步推动焊接智能化技术发展。4. 机器视觉在农业机器人中的应用根据机器人视觉技术的不同层次，其在农业机器人中的应用也有所不同。一 维成像视觉技术只是通过视觉传感器对作业对象的某一个特征值进行检

15、测，如光的强度、作业对象的颜色等。一维成像的视觉技术由于简单、易于实现，因而在刚开始时得到了较多的应用。但是由于一维成像技术反馈回来的信息量少，不太全面，因此限制了它的应用范围。所以，应用越来越多的是二维成像的视觉技术。 二维成像视觉技术是由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。 在人类获取信息的感观中，视觉所得到的信息量是最大的。依靠两只眼睛，我们可 以感觉到景物的深度，而不是两张图片的简单重叠。这样的二目视觉技术如果能 够应用到计算机视觉中，将给农产品的采摘带来非常大的便利。在果实采摘机器 人中，通过二维

16、成像的视觉技术就可以对看到的图像进行分析处理，由图像轮廓的形状判断出果实所在的位置，同时对其成熟度（如颜色）进行检测，由此决定是否 采摘以及如何对果实进行采摘。Grass等人研究的机器人具有独立的可伸缩性， 安装在一个公共平台上，由液压系统支持。每一个机械臂末端安装了一个带广交 镜的小摄像机，由于从不同的视点进行获取图像，因此，用立体匹配算法计算水果 的具体位置 ,将 RGB 图像阀值化为二值图像 ,经过平滑处理和边界检测后 ,估算中 心位置 ,结果表明有 86%的检出率和 5%的误识率。郑小东等以番茄的形心为匹 配基元进行双目视觉的研究 ,通过模板匹配实现番茄图像轮廓信息的补全和修复 , 然

17、后根据轮廓特征求的形心 ,当两个摄像机都能拍摄到完整轮廓时 ,可以确定番茄 的空间位置。但该算法对图像的噪声很敏感 ,影响了精度。在对果树修枝的机器 人中 ,采用视觉传感器对果树的枝干进行二维成像 ,通过图像识别确认果树各个枝 干的生长情况 ,将其在计算机中与果树修枝的标准要求对比 ,由此来决定如何修整 果树 ,并通过视觉传感器反馈机器人手臂的动作 ,从而引导机器人用手部的剪刀将 无用的枝条剪掉。随着科技的发展 ,人们的要求也越来越高。为了更加全面地掌握作业对象的 信息,三维成像的视觉技术也开始进入了人类的研究范围。三维成像视觉技术主 要是以二维成像视觉技术为基础 ,通过用不同角度的视觉传感器

18、对作业对象进行 二维成像 ,数据送入计算机后再进行分析处理 ,最终合成作业对象在空间的三维图 像,其原理与我们人的眼睛类似。机器人根据此图像即可决定对作业对象的不同 操作。在将采摘、 检测、 分级合为一体的农业机器人中 ,通过三维成像的视觉 技术 ,机器人首先就可以判断并确定果实所在的位置、 果实的空间形状 ,并检测出 果实的大小、 成熟度等 ,然后根据分级的标准将果实放入不同的箱内。更加智能 的三维成像视觉技术将自动引导机器人在果园内行走 ,搜索、发现并识别目标 ,然 后对成熟的果实进行采摘、自动分级 ,最后再进行自动包装。如果机器人的控制 软件开发得足够丰富的话 ,则带有三维成像视觉技术的机器人将是一个全能机器 人 ,它不仅能完成果实的检