机器人视觉课件

1、机器视觉 高朋飞201520078122视觉检测技术是精密测试技术领域内最具有发展潜力的新技术，它综合运用了电子学、光电探测、图象处理和计算机技术，将机器视觉引入到工业检测中，实现对物体（产品或零件）三维尺寸或位置的快速测量，具有非接触、速度快、柔性好等突出优点，在现代制造业中有着重要的应用前景。视觉检测技术机器视觉主要由视觉传感器（如工业相机）代替人眼获取客观事物的图像，利用计算机来模拟人或再现与人类视觉有关的某些职能行为，从图像中提取信息，并进行处理与分析，最终用于实际的检测、测量与控制。33机器视觉（Machine Vision）是指光学的装置和非接触的传感器自动的接受和处理一个真实物体

2、的图像，通过分析图像获得所需信息或用于控制机器运动的装置。机器视觉系统：（1）精确性（2）重复性（3）速度（4）客观性（5）成本机器视觉44机器视觉2机器人视觉: 用于指引机器人在大范围内的操作和行动，如从料斗送出的杂乱工件堆中拣取工件并按一定的方位放在传输带或其他设备上(即料斗拣取问题)。至于小范围内的操作和行动，还需要借助于触觉传感技术。视觉的应用1检测：（1）高精度定量检测(例如显微照片的细胞分类、机械零部件的尺寸和位置测量) （2）不用量器的定性或半定量检测(例如产品的外观检查、装配线上的零部件识别定位、缺陷性检测与装配完全性检测)55机器视觉典型的机器视觉系统：光源，镜头，相机，图像

3、处理单元（图像捕获卡），图像处理软件，监视器，通信/输入输出单元等。视觉检测中图像处理流程图77相机感光芯片CCD芯片:是一种半导体器件，能够把光学影像转化为数字信号。CMOS芯片:将晶体管放在硅块上的技术88相机输出图像格式模拟相机数字相机特性输出信号形式为标准的模拟量视频信号，需要配用专用的图像采集卡才能转化为计算机可以处理的数字信息内部集成了A/D转换电路，可直接将图像信号转化为数字信号优缺点优点：通用性好、成本低不足: 分辨率低、采集速度慢，在图像传输中容易受到噪声干扰，导致图像质量下降优点：可以有效的避免图像传输路线中的干扰，对外信号的输出可以使用更加高速和灵活的数字信号协议，可以做

4、各种分辨率形式缺点：成本高像元排列方式面阵相机线阵相机适用性面阵CCD相机：拍摄速度快，对拍摄景物及光照条件无特殊要求线阵CCD相机：用于被测物体运动的场合，尤其适用于运动速度较快，分辨率要求较高的情况1010图像采集卡图像采集卡（Image Grabber),它将摄像机的图像视频信号，以帧为单位，送到计算机的内存和VGA帧存，供计算机处理、存储、显示和传输等使用。图像采集卡图像采集卡的基本组成模块1111图像预处理 图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。图像预处理图像增强空间

5、滤波均值滤波中值滤波1212边缘检测人眼视觉系统认识目标：把图像边缘与背景分离出来感知图像细节，并辨认出图像的轮廓数字图像的边缘检测 边缘检测算法：滤波(滤波器在降低噪声的同时也导致了边缘强度的损失)增强（边缘增强一般通过计算梯度幅值来完成）检测（确定那些点是梯度幅值梯度幅值阈值判据）定位（边缘位置可在子像素分辨率上估计）14图像特征提取与匹配图像匹配是通过对图像内容、特征、结构、关系、纹理以及灰度等的对应关系，相似性和一致性分析，寻求相同目标的方法。 基于灰度的特征提取与匹配（灰度在视觉中是指明度，就是由黑到白的过渡色，这些过渡色具有深浅程度）图像的高斯金字塔模型1515图像特征提取与匹配基

6、于不变矩阵的特征提取与匹配基于不变矩阵的匹配算法流程图在图像处理中，不同阶次的矩是常用的描述图像信息的统计特征，且具有一定的平移、旋转和尺度不变性。常用的三阶Hu不变矩阵具有较好的匹配适应能力，基于Hu不变矩阵对图像良好的描述特性，采用不变矩阵来描述图像之间的相似度，并且不受几何失真影响。1717摄像机标定摄像机标定分类（定标的目的是从图像点中求出物体的待识别参数）序号分类方式标定方法1是否要标定参照物传统的摄像机标定、摄像机自标定2所用模型不同线性（小孔模型）和非线性3摄像机个数单摄像机、多摄像机4求解参数的结果显式（设置具有物理意义参数）、隐式（转换矩阵元素为定标参数）5解题方法解析法、神

7、经网络、遗传算法6标定块的不同立体、平面7定标步骤两步法、三步法、四步法8内部参数是否可变可变内部参数的标定、不可变内部参数的标定9摄像机运动方式非限定运动方式摄像机标定、限定运动方式摄像机标定1818摄像机标定图像是空间物体通过成像系统在像平面上的投影其中（x,y,z）为摄像机坐标系，(XfOfYf)为视野平面，（Xw，Yw，Zw）为世界坐标系1919机器视觉工程应用工业领域：产品质量检测、产品包装、产品分类、机器人定位民用领域：智能交通、安全防范、文字识别、身份验证、医疗设备科学研究领域：材料分析、生物分析、化学分析、生命科学军事领域：航空、航天、兵器、卫星遥感系统2020视觉系统趋势机器视觉工程应用1.价格持续下降2.功能逐渐增多：计算机能力增强、更高分辨率的传感器、更快的扫描率、软件功能提高3.产品小型化：工业配件上LED成为主导光源4.集成产品增多：智能化发展2121智能相机超紧凑型智能相机实现 PC 级性能智能相机是在一个单独的盒