机器视觉基础课件

机器视觉基础知识机器视觉基础知识1机器视觉技术示意图触发信号获取图像图像处理输出DigitaloutputSerialoutEthernetI/PTCP/IPoutsensorPLCRobotFieldBus机器视觉技术示意图触发信号获取图像图像处理输出Digital2成像系统相机，光学部件，光源目标

–特征部分与“背景”形成高反差的图像校正

&比例缩放检测方法灰度分析（阀值）

&梯度分析图像增强在视场（FOV）内定位产品零件检测分析

–测量，特征点查找检测，读取等设备通讯Pass/Fail结果状态输出检测数据分析控制输出机器视觉系统概述成像系统机器视觉系统概述3基础术语相机图像传感器灰度

&彩色光学器件(镜头)标准镜头

vs.远心镜头光源基础知识技巧机器视觉系统概述基础术语机器视觉系统概述4相机-Camera图像传感器-ImageSensor镜头-Lens工作距离-WorkingDistance视场（FOV）

–FieldofView景深（DOF）

–DepthofField分辨率-Resolution示意图相机-Camera示意图5图像传感器光电探测器网格(像素阵列)转换光亮度级别成电子信号CCDvs.CMOS–转换方式不同CCD&CMOS图像传感器CCD&CMOS6灰度像素深度转换光亮度级别成可测量信号级别0–255(0–黑,255–白)部分软件使用百分比表示方法(0-100%)纯白=255纯黑=0中等灰度=128灰度灰度像素深度纯白=255纯黑=0中等灰度=1287CCDCMOS填充因数高中等系统干扰低中等响应速度中等稍快动态范围高中等建模快，质量高差速度中等偏高较高图像质量高一般耗电性能中等稍微少于CCDCCD&CMOSCCDCMOS填充因数高中等系统干扰低中等响应速度中等稍快动8分辨率焦距景深兼容芯片尺寸远心畸变镜头分辨率镜头9印刷和纸张检测镜头兼容芯片尺寸和相机芯片尺寸关系镜头印刷和纸张检测镜头兼容芯片尺寸和相机芯片尺寸关系镜头10标准镜头成本较低,尺寸较小透视误差距离的改变会引起大小的改变畸变大较大的检测对象,特征点检测,测量相对差光学器件标准镜头光学器件11远心镜头成本较高,体积较大无透视误差距离不改变大小畸变小较小检测对象,精准测量

光学器件远心镜头光学器件12光学器件光学器件13镜头镜头14标准镜头远心镜头光学器件标准镜头远心镜头光学器件15印刷和纸张检测景深镜头印刷和纸张检测景深镜头16目的将被测物体与背景尽量明显分别，获得高品质、高对比度的图像。重要性直接影响处理精度和速度，甚至系统的成败。光源目的光源17目标

–高对比图像!最明显的检测特征点最不明显的“背景”和干扰打光注意事项被检测零件的特征打光技术彩色效果光源目标–高对比图像!光源18高频荧光灯卤素灯LED灯光源高频荧光灯卤素灯LED灯光源19光源光源20光源

卤素灯泡（英文：halogenlamp），简称为卤素泡或者卤素灯，又称为钨卤灯泡、石英灯泡，是白炽灯的一个变种。

原理是在灯泡内注入碘或溴等卤素气体，在高温下，升华的钨丝与卤素进行化学作用，冷却后的钨会重新凝固在钨丝上，形成平衡的循环，避免钨丝过早断裂。因此卤素灯泡比白炽灯更长寿。

卤素灯供电电压通常分为交流220V和直流12V两种。

例子：氙气灯泡

荧光灯，传统型荧光灯即低压汞灯，是利用低气压的汞蒸气在通电后释放紫外线，从而使荧光粉发出可见光的原理发光，因此它属于低气压弧光放电光源。光源 卤素灯泡（英文：halogenlamp），简称为卤素21LED光源的优势可制成各种形状、尺寸及各种照射角度；可根据需要制成各种颜色，并可以随时调节亮度；通过散热装置，散热效果更好，光亮度更稳定；使用寿命长（约3万小时，间断使用寿命更长）；反应快捷，可在10us或更短的时间内达到最大亮度；电源带有外触发，可以通过计算机控制，起动速度快，可以用作频闪灯；运行成本低、寿命长的LED，会在综合成本和性能方面体现出更大的优势；可根据客户的需要，进行特殊设计。光源LED光源的优势光源22暗视野亮视野两种常见正向打光方式光源暗视野亮视野两种常见正向打光方式光源23两种常见正向打光方式暗视野亮视野光源两种常见正向打光方式暗视野亮视野光源24低角度光源低角度光源25前向光光源前向光光源26照明光源照明光源27背光光源背光光源28照射物白色光(混合色)蓝色其它颜色被吸收光源照射物白色光蓝色其它颜色被吸收光源29传递反射镜面反射漫反射吸收光源被检测零件特征传递反射镜面反射漫反射吸收光源被检测零件特征30明视场暗视场背光结构光Dome光同轴光光源打光技术明视场暗视场背光结构光Dome光同轴光光源打光技术31Dome光明视场光源案例Dome光明视场光源案例32白光得到各颜色单色图像RVOBYG光源彩色效果白光得到各颜色单色图像RVOBYG光源彩色效果33偏振用于减少闪烁塑料或者玻璃偏光镜交叉偏光镜滤光镜偏振偏光镜交叉偏光镜滤光镜34无滤色镜红色滤色镜绿色滤色镜滤光镜应用无滤色镜红色滤色镜绿色滤色镜滤光镜应用35相机工业相机有多种类型常见的分类方式如下黑白相机和彩色相机面阵相机和线阵相机CCD相机和CMOS相机模拟相机，数字相机，智能相机相机工业相机有多种类型36相机CameraLinkUsb2.01394a1394bGigEEthernet速度Base:1.5GbpsMedium:3.8GbpsFull:5.1Gbps480Mbps400Mbps800Mbps1000Mbps100Mbps距离10m5m4.5m4.5m100m100m优势1.带宽高2.有带预处理功能的采集设备3.抗干扰能力强1.易用2.价格低3.多相机1.易用，价格低，多相机2.传输距离远，实际线缆可达到17.5m，光纤传输可达100m3.有标准DCAM协议4.CPU占用最低1.易用，价格低，多相机2.传输距离远，线缆价格低3.标准GigEVision协议1.易用，价格低2.传输距离远，线缆价格低缺点1.价格高1.无标准协议2.CPU占用高1.长距离传输线缆价格稍贵1.CPU占用高2.对主机配置要求高3.有时存在丢包现象1.无标准协议2.带宽过低3.CPU占用过高相机CameraLinkUsb2.01394a1394bGi37相机面阵相机芯片是M*N方式排列；线阵相机芯片是1*N方式；相机面阵相机芯片是M*N方式排列；38系统组成

–相机,光学部件,软件最小可区别的特征大小系统测量精度–系统精度、重复精度影响因素分辨率

–640x480…1600x1200光学部件质量软件分辨率测量

–亚像素概念特征点

–5x5像素区域成像系统分辨率系统组成–相机,光学部件,软件成像系统分辨率39目标校正使用标准的圆点目标校正板镜头畸变补偿比例缩放–例如：在1英寸视场内有1000个像素

=0.001”/像素重新标定变化的检测必要条件。(镜头，工作距离，光源等等)比例缩放

无变形补偿值=单位值/像素

校正目标校正校正40图像黑白部分分割界限自动或者固定的阀值方法0-25%0-75%灰度（阀值）图像黑白部分分割界限0-25%0-75%灰度（阀值）41边缘检测方法灰度值的变化率梯度分析边缘检测方法梯度分析42较少多余的干扰提高被测的特征点或者边缘可能占用宝贵的检测时间方法…形态学方法

改变亮度级别二值化图像增强较少多余的干扰图像增强43全部或者部分图像可多重反复处理延长检测时间结果–改良后图像…但是…可能降低或者改变源特征降低干扰–腐蚀/膨胀/打开/关闭/数学全部或者部分图像降低干扰–腐蚀/膨胀/打开/关闭/数学44全部或者部分图像平衡亮度级别的不一致创建黑白图像结果–改良后的图像图像增强–亮度级别/二值化全部或者部分图像图像增强–亮度级别/二值化45优化工具运行速度，节约检测时间，实现精确定位检测方法…边缘定位Blob定位模式匹配优化工具运行速度，节约检测时间，实现精确定位检测46定位

–Origin工具1到

3个ROI单点中心功能结果

-X,Y,以及角度定位–Origin工具1到3个ROI47定位

–LineFind工具1个ROI(单方向)多点(求平均)中心功能结果

–直线以及角度定位–LineFind工具1个ROI(单方向)48定位

-Blob工具多特征(blob)重心以及角度结果–X,Y,以及角度定位-Blob工具多特征(blob)49定位

–PatternFind训练新的模式(作为标准模型)搜寻匹配结果-X,Y,以及角度;匹配度%.定位–PatternFind训练新的模式(作为标准模50测量工具直线/圆形测量公差

–名义值,+/-标定值(标定成图纸尺寸)方法…直线测量

直线到基准测量圆形测量测量工具直线/圆形测量51测量

–CircleGauge多点(多点形成一个圆形)离群值检测结果–圆心,同心度,ID(内径),OD（外径）,pass/fail测量–CircleGauge多点(多点形成一个圆形)52特征检测多出/缺损特征以及缺陷检测方法…灰度分析灰度百分比像素统计Blob分析灰度像素聚合通过大小以及外形过滤模式匹配模板匹配(可训练)结果

–条形码,字符读取（OCR）等特征检测多出/缺损特征以及缺陷检测53特征检测

–AverageIntensity/Contrast多个ROI通过百分比、数量检测结果

–亮度,像素数量,pass/fail特征检测–AverageIntensity/Contr54特征检测

–Blob分析多个ROI外形过滤(面积，高度，宽度等)结果

–blob序列,blob数量,pass/fail特征检测–Blob分析多个ROI55模式匹配训练理想模式查找最佳匹配结果–定位,匹配率,pass/fail模式匹配训练理想模式56模板

–Adaptive/Greyscale训练理想模式检测图像的不同部分结果–结果差异图像,blob数据,pass/fail模板–Adaptive/Greyscale训练理想模式57读取工具条形码(UPC,128,2of5,等等)数据点阵（光学字符识别）OCR训练字形库设置最小匹配率以及匹配字符结果–字符,pass/fail读取工具条形码(UPC,128,2of5,等等)58通讯工具Pass/Fail结果状态输出离散输出给机器控制理想控制(快速&直接通讯给出结果)检测数据给出过程控制（根据具体的硬件平台确定）数据

–尺寸,亮度，百分比等等串口输出以太网口输出协议TCP/IPEtherNet/IPorPCCC(ABPLC)MODBUSActiveXOPCServer通讯工具Pass/Fail结果状态输出59视觉应用建立的基本思路前期评估：拿到检测样品、要求。根据要求在实验室得

到图像做出基本思路程序以及得出可行性结果。中期制作：根据前期评估制作出项目需要的硬件不见以

及利用视觉分析软件编辑可用出可用检测程序。后期调试运行：到现场根据情况安装设备，进行后期调

试运行。视觉应用建立的基本思路前期评估：拿到检测样品、要求。根据要求60选择/设定触发方式获取图像图像检测项目确认工具原点定位检测、测量、模板对比等检测方法得到结果做出分析根据要求结果输出（数字I/0、串口、网口）编程详细思路：选择/设定触发方式编程详细思路：61机器视觉基础知识机器视觉基础知识62机器视觉技术示意图触发信号获取图像图像处理输出DigitaloutputSerialoutEthernetI/PTCP/IPoutsensorPLCRobotFieldBus机器视觉技术示意图触发信号获取图像图像处理输出Digital63成像系统相机，光学部件，光源目标

–特征部分与“背景”形成高反差的图像校正

&比例缩放检测方法灰度分析（阀值）

&梯度分析图像增强在视场（FOV）内定位产品零件检测分析

–测量，特征点查找检测，读取等设备通讯Pass/Fail结果状态输出检测数据分析控制输出机器视觉系统概述成像系统机器视觉系统概述64基础术语相机图像传感器灰度

&彩色光学器件(镜头)标准镜头

vs.远心镜头光源基础知识技巧机器视觉系统概述基础术语机器视觉系统概述65相机-Camera图像传感器-ImageSensor镜头-Lens工作距离-WorkingDistance视场（FOV）

–FieldofView景深（DOF）

–DepthofField分辨率-Resolution示意图相机-Camera示意图66图像传感器光电探测器网格(像素阵列)转换光亮度级别成电子信号CCDvs.CMOS–转换方式不同CCD&CMOS图像传感器CCD&CMOS67灰度像素深度转换光亮度级别成可测量信号级别0–255(0–黑,255–白)部分软件使用百分比表示方法(0-100%)纯白=255纯黑=0中等灰度=128灰度灰度像素深度纯白=255纯黑=0中等灰度=12868CCDCMOS填充因数高中等系统干扰低中等响应速度中等稍快动态范围高中等建模快，质量高差速度中等偏高较高图像质量高一般耗电性能中等稍微少于CCDCCD&CMOSCCDCMOS填充因数高中等系统干扰低中等响应速度中等稍快动69分辨率焦距景深兼容芯片尺寸远心畸变镜头分辨率镜头70印刷和纸张检测镜头兼容芯片尺寸和相机芯片尺寸关系镜头印刷和纸张检测镜头兼容芯片尺寸和相机芯片尺寸关系镜头71标准镜头成本较低,尺寸较小透视误差距离的改变会引起大小的改变畸变大较大的检测对象,特征点检测,测量相对差光学器件标准镜头光学器件72远心镜头成本较高,体积较大无透视误差距离不改变大小畸变小较小检测对象,精准测量

光学器件远心镜头光学器件73光学器件光学器件74镜头镜头75标准镜头远心镜头光学器件标准镜头远心镜头光学器件76印刷和纸张检测景深镜头印刷和纸张检测景深镜头77目的将被测物体与背景尽量明显分别，获得高品质、高对比度的图像。重要性直接影响处理精度和速度，甚至系统的成败。光源目的光源78目标

–高对比图像!最明显的检测特征点最不明显的“背景”和干扰打光注意事项被检测零件的特征打光技术彩色效果光源目标–高对比图像!光源79高频荧光灯卤素灯LED灯光源高频荧光灯卤素灯LED灯光源80光源光源81光源

卤素灯泡（英文：halogenlamp），简称为卤素泡或者卤素灯，又称为钨卤灯泡、石英灯泡，是白炽灯的一个变种。

原理是在灯泡内注入碘或溴等卤素气体，在高温下，升华的钨丝与卤素进行化学作用，冷却后的钨会重新凝固在钨丝上，形成平衡的循环，避免钨丝过早断裂。因此卤素灯泡比白炽灯更长寿。

卤素灯供电电压通常分为交流220V和直流12V两种。

例子：氙气灯泡

荧光灯，传统型荧光灯即低压汞灯，是利用低气压的汞蒸气在通电后释放紫外线，从而使荧光粉发出可见光的原理发光，因此它属于低气压弧光放电光源。光源 卤素灯泡（英文：halogenlamp），简称为卤素82LED光源的优势可制成各种形状、尺寸及各种照射角度；可根据需要制成各种颜色，并可以随时调节亮度；通过散热装置，散热效果更好，光亮度更稳定；使用寿命长（约3万小时，间断使用寿命更长）；反应快捷，可在10us或更短的时间内达到最大亮度；电源带有外触发，可以通过计算机控制，起动速度快，可以用作频闪灯；运行成本低、寿命长的LED，会在综合成本和性能方面体现出更大的优势；可根据客户的需要，进行特殊设计。光源LED光源的优势光源83暗视野亮视野两种常见正向打光方式光源暗视野亮视野两种常见正向打光方式光源84两种常见正向打光方式暗视野亮视野光源两种常见正向打光方式暗视野亮视野光源85低角度光源低角度光源86前向光光源前向光光源87照明光源照明光源88背光光源背光光源89照射物白色光(混合色)蓝色其它颜色被吸收光源照射物白色光蓝色其它颜色被吸收光源90传递反射镜面反射漫反射吸收光源被检测零件特征传递反射镜面反射漫反射吸收光源被检测零件特征91明视场暗视场背光结构光Dome光同轴光光源打光技术明视场暗视场背光结构光Dome光同轴光光源打光技术92Dome光明视场光源案例Dome光明视场光源案例93白光得到各颜色单色图像RVOBYG光源彩色效果白光得到各颜色单色图像RVOBYG光源彩色效果94偏振用于减少闪烁塑料或者玻璃偏光镜交叉偏光镜滤光镜偏振偏光镜交叉偏光镜滤光镜95无滤色镜红色滤色镜绿色滤色镜滤光镜应用无滤色镜红色滤色镜绿色滤色镜滤光镜应用96相机工业相机有多种类型常见的分类方式如下黑白相机和彩色相机面阵相机和线阵相机CCD相机和CMOS相机模拟相机，数字相机，智能相机相机工业相机有多种类型97相机CameraLinkUsb2.01394a1394bGigEEthernet速度Base:1.5GbpsMedium:3.8GbpsFull:5.1Gbps480Mbps400Mbps800Mbps1000Mbps100Mbps距离10m5m4.5m4.5m100m100m优势1.带宽高2.有带预处理功能的采集设备3.抗干扰能力强1.易用2.价格低3.多相机1.易用，价格低，多相机2.传输距离远，实际线缆可达到17.5m，光纤传输可达100m3.有标准DCAM协议4.CPU占用最低1.易用，价格低，多相机2.传输距离远，线缆价格低3.标准GigEVision协议1.易用，价格低2.传输距离远，线缆价格低缺点1.价格高1.无标准协议2.CPU占用高1.长距离传输线缆价格稍贵1.CPU占用高2.对主机配置要求高3.有时存在丢包现象1.无标准协议2.带宽过低3.CPU占用过高相机CameraLinkUsb2.01394a1394bGi98相机面阵相机芯片是M*N方式排列；线阵相机芯片是1*N方式；相机面阵相机芯片是M*N方式排列；99系统组成

–相机,光学部件,软件最小可区别的特征大小系统测量精度–系统精度、重复精度影响因素分辨率

–640x480…1600x1200光学部件质量软件分辨率测量

–亚像素概念特征点

–5x5像素区域成像系统分辨率系统组成–相机,光学部件,软件成像系统分辨率100目标校正使用标准的圆点目标校正板镜头畸变补偿比例缩放–例如：在1英寸视场内有1000个像素

=0.001”/像素重新标定变化的检测必要条件。(镜头，工作距离，光源等等)比例缩放

无变形补偿值=单位值/像素

校正目标校正校正101图像黑白部分分割界限自动或者固定的阀值方法0-25%0-75%灰度（阀值）图像黑白部分分割界限0-25%0-75%灰度（阀值）102边缘检测方法灰度值的变化率梯度分析边缘检测方法梯度分析103较少多余的干扰提高被测的特征点或者边缘可能占用宝贵的检测时间方法…形态学方法

改变亮度级别二值化图像增强较少多余的干扰图像增强104全部或者部分图像可多重反复处理延长检测时间结果–改良后图像…但是…可能降低或者改变源特征降低干扰–腐蚀/膨胀/打开/关闭/数学全部或者部分图像降低干扰–腐蚀/膨胀/打开/关闭/数学105全部或者部分图像平衡亮度级别的不一致创建黑白图像结果–改良后的图像图像增强–亮度级别/二值化全部或者部分图像图像增强–亮度级别/二值化106优化工具运行速度，节约检测时间，实现精确定位检测方法…边缘定位Blob定位模式匹配优化工具运行速度，节约检测时间，实现精确定位检测107定位

–Origin工具1到

3个ROI单点中心功能结果

-X,Y,以及角度定位–Origin工具1到3个ROI108定位

–LineFind工具1个ROI(单方向)多点(求平均)中心功能结果

–直线以及角度定位–LineFind工具1个ROI(单方向)109定位

-Blob工具多特征(blob)重心以及角度结果–X,Y,以及角度定位-Blob工具多特征(blob)110定位

–PatternFind训练新的模式(作为标准模型)搜寻匹配结果-X,Y,以及角度;匹配度%.定位–PatternFind训练新的模式(作为标准模111测量工具直线/圆形测量公差

–名义值,+/-标定值(标定成图纸尺寸)方法…直线测量

直线到基准测量圆形测量测量工具直线/圆形测量112测量

–CircleGauge多点(多点形成一个圆形)离群值检测结果–圆心,同心度,ID(内径),OD（外径）,pass/fail测量–CircleGauge多点(多点形成一个圆形)113特征检测多出/缺损特征以及缺陷检测方法…灰度分析灰度百分