机器人视觉课件

机器视觉

高朋飞2015200781高朋飞22视觉检测技术是精密测试技术领域内最具有发展潜力的新技术，它综合运用了电子学、光电探测、图象处理和计算机技术，将机器视觉引入到工业检测中，实现对物体（产品或零件）三维尺寸或位置的快速测量，具有非接触、速度快、柔性好等突出优点，在现代制造业中有着重要的应用前景。视觉检测技术机器视觉主要由视觉传感器（如工业相机）代替人眼获取客观事物的图像，利用计算机来模拟人或再现与人类视觉有关的某些职能行为，从图像中提取信息，并进行处理与分析，最终用于实际的检测、测量与控制。22视觉检测技术是精密测试技术领域内最具有发展潜力的新技术，33机器视觉（MachineVision）是指光学的装置和非接触的传感器自动的接受和处理一个真实物体的图像，通过分析图像获得所需信息或用于控制机器运动的装置。机器视觉系统：（1）精确性（2）重复性（3）速度（4）客观性（5）成本机器视觉33机器视觉（MachineVision）是指光学的装置和44机器视觉2机器人视觉:用于指引机器人在大范围内的操作和行动，如从料斗送出的杂乱工件堆中拣取工件并按一定的方位放在传输带或其他设备上(即料斗拣取问题)。至于小范围内的操作和行动，还需要借助于触觉传感技术。视觉的应用1检测：（1）高精度定量检测(例如显微照片的细胞分类、机械零部件的尺寸和位置测量)（2）不用量器的定性或半定量检测(例如产品的外观检查、装配线上的零部件识别定位、缺陷性检测与装配完全性检测)44机器视觉2机器人视觉:视觉的应用1检测：（1）高55机器视觉典型的机器视觉系统：光源，镜头，相机，图像处理单元（图像捕获卡），图像处理软件，监视器，通信/输入输出单元等。视觉检测中图像处理流程图55机器视觉典型的机器视觉系统：光源，镜头，相机，图像处理单66光源光源是影响机器视觉系统图像质量的重要因素，照明对输入数据的影响至少占到30%。选择机器视觉光源时应该考虑的主要特征：亮度（当两种光源可以选择是，最佳选择是选择更亮的）光源均匀性（不均匀的光会造成不均匀的反射）光谱特征（光源的颜色及测量物体表面的颜色决定反射到摄像头的光能的大小及波长）寿命特性（光源一般要持续使用）对比度（对比度对机器视觉来说非常重要，保证需要检测的特征）66光源光源是影响机器视觉系统图像质量的重要因素，照明对输入77相机感光芯片CCD芯片:是一种半导体器件，能够把光学影像转化为数字信号。CMOS芯片:将晶体管放在硅块上的技术77相机感光芯片CCD芯片:是一种半导体器件，能够把光学影像88相机输出图像格式模拟相机数字相机特性输出信号形式为标准的模拟量视频信号，需要配用专用的图像采集卡才能转化为计算机可以处理的数字信息内部集成了A/D转换电路，可直接将图像信号转化为数字信号优缺点优点：通用性好、成本低不足:分辨率低、采集速度慢，在图像传输中容易受到噪声干扰，导致图像质量下降优点：可以有效的避免图像传输路线中的干扰，对外信号的输出可以使用更加高速和灵活的数字信号协议，可以做各种分辨率形式缺点：成本高像元排列方式面阵相机线阵相机适用性面阵CCD相机：拍摄速度快，对拍摄景物及光照条件无特殊要求线阵CCD相机：用于被测物体运动的场合，尤其适用于运动速度较快，分辨率要求较高的情况88相机输出图像格式模拟相机数字相机特性输出信号形式为标准的99镜头镜头通常与光源、相机一起构成一个完整的图像采集系统。视觉系统集成必须考虑的四个因素：可以检测物体类别和特性景深或者焦距加载和检测距离运行环境镜头的选择：（1）波长、变焦与否（2）特殊要求优先考虑（3）工作距离（4）像面大小和像质（5）光圈和接口（6）成本和技术成熟度99镜头镜头通常与光源、相机一起构成一个完整的图像采集系统。1010图像采集卡图像采集卡（ImageGrabber),它将摄像机的图像视频信号，以帧为单位，送到计算机的内存和VGA帧存，供计算机处理、存储、显示和传输等使用。图像采集卡图像采集卡的基本组成模块1010图像采集卡图像采集卡（ImageGrabber),1111图像预处理图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。图像预处理图像增强空间滤波均值滤波中值滤波1111图像预处理图像预处理的主要目的是消除图像中无关的信1212边缘检测人眼视觉系统认识目标：把图像边缘与背景分离出来感知图像细节，并辨认出图像的轮廓数字图像的边缘检测

边缘检测算法：滤波(滤波器在降低噪声的同时也导致了边缘强度的损失)增强（边缘增强一般通过计算梯度幅值来完成）检测（确定那些点是梯度幅值—梯度幅值阈值判据）定位（边缘位置可在子像素分辨率上估计）1212边缘检测人眼视觉系统认识目标：数字图像的边缘检测边1313阈值分割图像分割是用数字、文字、符号、几何图形或其组合表示图像的内容和特征，对图像景物的详尽描述和解释。阈值是在分割时作为区分物体与背景像素的门限，大于或等于阈值的像素属于物体，而其他属于物体阈值分割基本原理：通过设定不同的特征阈值，将图像像素点分为若干类灰度彩色1313阈值分割图像分割是用数字、文字、符号、几何图形或其组14图像特征提取与匹配图像匹配是通过对图像内容、特征、结构、关系、纹理以及灰度等的对应关系，相似性和一致性分析，寻求相同目标的方法。基于灰度的特征提取与匹配（灰度在视觉中是指明度，就是由黑到白的过渡色，这些过渡色具有深浅程度）图像的高斯金字塔模型14图像特征提取与匹配图像匹配是通过对图像内容、特征、结构、1515图像特征提取与匹配基于不变矩阵的特征提取与匹配基于不变矩阵的匹配算法流程图在图像处理中，不同阶次的矩是常用的描述图像信息的统计特征，且具有一定的平移、旋转和尺度不变性。常用的三阶Hu不变矩阵具有较好的匹配适应能力，基于Hu不变矩阵对图像良好的描述特性，采用不变矩阵来描述图像之间的相似度，并且不受几何失真影响。1515图像特征提取与匹配基于不变矩阵的特征提取与匹配基于不1616图像特征提取与匹配基于形状的特征提取与匹配形状特征提取方法分类形状特征可以直接由分割得到的形状边界或区域中的像素产生的原始数据获得更标准的做法是将数据压缩为一种表达方案，在表达方案的基础上获得形状特征的描述1616图像特征提取与匹配基于形状的特征提取与匹配形状特征提1717摄像机标定摄像机标定分类（定标的目的是从图像点中求出物体的待识别参数）序号分类方式标定方法1是否要标定参照物传统的摄像机标定、摄像机自标定2所用模型不同线性（小孔模型）和非线性3摄像机个数单摄像机、多摄像机4求解参数的结果显式（设置具有物理意义参数）、隐式（转换矩阵元素为定标参数）5解题方法解析法、神经网络、遗传算法6标定块的不同立体、平面7定标步骤两步法、三步法、四步法8内部参数是否可变可变内部参数的标定、不可变内部参数的标定9摄像机运动方式非限定运动方式摄像机标定、限定运动方式摄像机标定1717摄像机标定摄像机标定分类（定标的目的是从图像点中求出1818摄像机标定图像是空间物体通过成像系统在像平面上的投影其中（x,y,z）为摄像机坐标系，(XfOfYf)为视野平面，（Xw，Yw，Zw）为世界坐标系1818摄像机标定图像是空间物体通过成像系统在像平面上的投影1919机器视觉工程应用工业领域：产品质量检测、产品包装、产品分类、机器人定位民用领域：智能交通、安全防范、文字识别、身份验证、医疗设备科学研究领域：材料分析、生物分析、化学分析、生命科学军事领域：航空、航天、兵器、卫星遥感系统1919机器视觉工程应用工业领域：产品质量检测、产品包装、产2020视觉系统趋势机器视觉工程应用1.价格持续下降2.功能逐渐增多：计算机能力增强、更高分辨率的传感器、更快的扫描率、软件功能提高3.产品小型化：工业配件上LED成为主导光源4.集成产品增多：智能化发展2020视觉系统趋势机器视觉工程应用1.价格持续下降2.功能2121智能相机超紧凑型智能相机实现PC级性能智能相机是在一个单独的盒内集成处理器、镜头、光源、输入/输出装置以及以太网In-Sight®7000系列视觉系统集成的智能摄像头具有自动聚焦、快速图像捕获、集成光源和镜头，以及用于检测、色彩、字符识别应用等等的强大视觉工具芯片上的视觉系统2121智能相机超紧凑型智能相机实现PC级性能智能相机是2222谢谢观赏2222谢谢观赏机器视觉

高朋飞2015200781高朋飞2424视觉检测技术是精密测试技术领域内最具有发展潜力的新技术，它综合运用了电子学、光电探测、图象处理和计算机技术，将机器视觉引入到工业检测中，实现对物体（产品或零件）三维尺寸或位置的快速测量，具有非接触、速度快、柔性好等突出优点，在现代制造业中有着重要的应用前景。视觉检测技术机器视觉主要由视觉传感器（如工业相机）代替人眼获取客观事物的图像，利用计算机来模拟人或再现与人类视觉有关的某些职能行为，从图像中提取信息，并进行处理与分析，最终用于实际的检测、测量与控制。22视觉检测技术是精密测试技术领域内最具有发展潜力的新技术，2525机器视觉（MachineVision）是指光学的装置和非接触的传感器自动的接受和处理一个真实物体的图像，通过分析图像获得所需信息或用于控制机器运动的装置。机器视觉系统：（1）精确性（2）重复性（3）速度（4）客观性（5）成本机器视觉33机器视觉（MachineVision）是指光学的装置和2626机器视觉2机器人视觉:用于指引机器人在大范围内的操作和行动，如从料斗送出的杂乱工件堆中拣取工件并按一定的方位放在传输带或其他设备上(即料斗拣取问题)。至于小范围内的操作和行动，还需要借助于触觉传感技术。视觉的应用1检测：（1）高精度定量检测(例如显微照片的细胞分类、机械零部件的尺寸和位置测量)（2）不用量器的定性或半定量检测(例如产品的外观检查、装配线上的零部件识别定位、缺陷性检测与装配完全性检测)44机器视觉2机器人视觉:视觉的应用1检测：（1）高2727机器视觉典型的机器视觉系统：光源，镜头，相机，图像处理单元（图像捕获卡），图像处理软件，监视器，通信/输入输出单元等。视觉检测中图像处理流程图55机器视觉典型的机器视觉系统：光源，镜头，相机，图像处理单2828光源光源是影响机器视觉系统图像质量的重要因素，照明对输入数据的影响至少占到30%。选择机器视觉光源时应该考虑的主要特征：亮度（当两种光源可以选择是，最佳选择是选择更亮的）光源均匀性（不均匀的光会造成不均匀的反射）光谱特征（光源的颜色及测量物体表面的颜色决定反射到摄像头的光能的大小及波长）寿命特性（光源一般要持续使用）对比度（对比度对机器视觉来说非常重要，保证需要检测的特征）66光源光源是影响机器视觉系统图像质量的重要因素，照明对输入2929相机感光芯片CCD芯片:是一种半导体器件，能够把光学影像转化为数字信号。CMOS芯片:将晶体管放在硅块上的技术77相机感光芯片CCD芯片:是一种半导体器件，能够把光学影像3030相机输出图像格式模拟相机数字相机特性输出信号形式为标准的模拟量视频信号，需要配用专用的图像采集卡才能转化为计算机可以处理的数字信息内部集成了A/D转换电路，可直接将图像信号转化为数字信号优缺点优点：通用性好、成本低不足:分辨率低、采集速度慢，在图像传输中容易受到噪声干扰，导致图像质量下降优点：可以有效的避免图像传输路线中的干扰，对外信号的输出可以使用更加高速和灵活的数字信号协议，可以做各种分辨率形式缺点：成本高像元排列方式面阵相机线阵相机适用性面阵CCD相机：拍摄速度快，对拍摄景物及光照条件无特殊要求线阵CCD相机：用于被测物体运动的场合，尤其适用于运动速度较快，分辨率要求较高的情况88相机输出图像格式模拟相机数字相机特性输出信号形式为标准的3131镜头镜头通常与光源、相机一起构成一个完整的图像采集系统。视觉系统集成必须考虑的四个因素：可以检测物体类别和特性景深或者焦距加载和检测距离运行环境镜头的选择：（1）波长、变焦与否（2）特殊要求优先考虑（3）工作距离（4）像面大小和像质（5）光圈和接口（6）成本和技术成熟度99镜头镜头通常与光源、相机一起构成一个完整的图像采集系统。3232图像采集卡图像采集卡（ImageGrabber),它将摄像机的图像视频信号，以帧为单位，送到计算机的内存和VGA帧存，供计算机处理、存储、显示和传输等使用。图像采集卡图像采集卡的基本组成模块1010图像采集卡图像采集卡（ImageGrabber),3333图像预处理图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。图像预处理图像增强空间滤波均值滤波中值滤波1111图像预处理图像预处理的主要目的是消除图像中无关的信3434边缘检测人眼视觉系统认识目标：把图像边缘与背景分离出来感知图像细节，并辨认出图像的轮廓数字图像的边缘检测

边缘检测算法：滤波(滤波器在降低噪声的同时也导致了边缘强度的损失)增强（边缘增强一般通过计算梯度幅值来完成）检测（确定那些点是梯度幅值—梯度幅值阈值判据）定位（边缘位置可在子像素分辨率上估计）1212边缘检测人眼视觉系统认识目标：数字图像的边缘检测边3535阈值分割图像分割是用数字、文字、符号、几何图形或其组合表示图像的内容和特征，对图像景物的详尽描述和解释。阈值是在分割时作为区分物体与背景像素的门限，大于或等于阈值的像素属于物体，而其他属于物体阈值分割基本原理：通过设定不同的特征阈值，将图像像素点分为若干类灰度彩色1313阈值分割图像分割是用数字、文字、符号、几何图形或其组36图像特征提取与匹配图像匹配是通过对图像内容、特征、结构、关系、纹理以及灰度等的对应关系，相似性和一致性分析，寻求相同目标的方法。基于灰度的特征提取与匹配（灰度在视觉中是指明度，就是由黑到白的过渡色，这些过渡色具有深浅程度）图像的高斯金字塔模型14图像特征提取与匹配图像匹配是通过对图像内容、特征、结构、3737图像特征提取与匹配基于不变矩阵的特征提取与匹配基于不变矩阵的匹配算法流程图在图像处理中，不同阶次的矩是常用的描述图像信息的统计特征，且具有一定的平移、旋转和尺度不变性。常用的三阶Hu不变矩阵具有较好的匹配适应能力，基于Hu不变矩阵对图像良好的描述特性，采用不变矩阵来描述图像之间的相似度，并且不受几何失真影响。1515图像特征提取与匹配基于不变矩阵的特征提取与匹配基于不3838图像特征提取与匹配基于形状的特征提取与匹配形状特征提取方法分类形状特征可以直接由分割得到的形状边界或区域中的像素产生的原始数据获得更标准的做法是将数据压缩为一种表达方案，在表达方案的基础上获得形状特征的描述1616图像特征提取与匹配基于形状的特征提取与匹配形状特征提3939摄像机标定摄像机标定分类（定标的目的是从图像点中求出物体的待识别参数）序号分类方式标定方法1是否要标定参照物传统的摄像机标定、摄像机自标定2所用模型不同线性（小孔模型）和非线性3摄像机个数单摄像机、多摄像机4求解参数的结果显式（设置具有物理意义参数）、隐式（转换矩阵元素为定标参数）5解题方法