视觉检测及其应用课件

视觉检测技术用其应用视觉检测技术用其应用1-----利用摄像机替代人眼，图像处理软件替代大脑对产品进行质量检验或识别的计算机检测技术。组成：由光源、镜头、摄像机、图像采集卡、图像处理器/软件以及必要的I/O等。具有极高的效率、重复性以及精度，在很多情况下是人眼无法替代的。机器视觉检测技术一、视觉检测技术-----利用摄像机替代人眼，图像处理软件替代大脑对产品进行21、视觉系统的一般构成光源图像卡场景摄像机计算机典型视觉系统工作原理：光→敏感元件→电（光电元件）光源光通路光电元件测量电路光光电电yx1x2传感器：1、视觉系统的一般构成光源图像卡场景摄像机计算机典型视觉系统3单目视觉：一个摄像组件（镜头+摄像机）多目视觉：多个摄像组件（镜头+摄像机）图像采集部分、图像处理部分、通信和I/O部分以及输出和执行机构图像采集系统：可视化图像或特征数据场景镜头光源摄像机图像存储体计算机输出镜头摄像机镜头摄像机控制电缆视觉系统流程图图像质量好图像处理简单、结果理想图像质量差图象处理麻烦、结果不理想由光源、镜头、摄像机、图像采集卡等构成单目视觉：一个摄像组件（镜头+摄像机）图像采集部分、图像处理4(1)CCD的种类：2、CCD摄像机①按成象器件分类：线阵CCD、面阵CCD②按颜色分类：黑白摄像机、彩色摄像机④按输出信号分类：模拟式、数字式

黑白摄像机：信息量小，时间、空间少彩色摄像机：信息量大，时间、空间多线阵CCD：一行，扫描；体积小，价格低；面阵CCD:整幅图像；直观；价格高，体积大；③按扫描方式分类：逐行扫描、隔行扫描

逐行扫描：高速运动，避免边缘模糊数字摄像机----电子快门曝光时间:1/50s、1/125s、1/250s、1/500s、1/1000s、1/2000s、1/4000s、1/8000s、1/16000s、1/32000s…⑤按形状分类：长形、短形、方块形、半球形、单板形

(1)CCD的种类：2、CCD摄像机①按成象器件分类：线阵5(2)摄像机的主要参数：①制式：②CCD芯片尺寸：PAL制式---标准为625行，50场，中国采用隔行扫描（黑白为CCIR）（西欧、亚洲、澳大利亚）NTSC制式---标准为525行，60场（黑白为EIA）（美加、日本）非标准制式---只有医疗或其它专业领域才用到

面阵CCD芯片相位交替行（PhaseAlternatingLine）---逐行倒相国家电视委员会（NationalTelevisionSystemsCommittee)(2)摄像机的主要参数：①制式：②CCD芯片尺寸：PAL制6③CCD分辨率：是CCD的主要性能指标，它决定了显示图像的清晰程度，分辨率越高，图像细节的表现越好。像素---CCD每一个元素，像素越多，图像越清晰44万（768*576）、100万（1024*1024）200万（1600*1200）、600万（2832*2128）电视线---简称线(TVLINES)，彩色摄像头一般330~500线，黑白可以达到600线。电视线与CCD和镜头有关，还与摄像头电路通道的频带宽度直接相关，通常规律是1MHz的频带宽度相当于清晰度为80线。频带越宽，图像越清晰，线数值相对越大。灰度级---灰度分辨率、色彩分辨率，1/2n位数：8位（bit）、10位、11位、12位、位数越多，图像越清晰。③CCD分辨率：是CCD的主要性能指标，它决定了显示图像的清7二、信号处理技术1.信号处理电路光电元件信号处理图像处理光电电图像3）电压/电流（V/A）转换----需要电流输出时；1）信号放大2）噪声抑制----信号淹没在噪声中；电压（mV/V）；电流（A/

mA）----运算放大电路（运算放大器）相敏检波：同步整流电路模拟滤波：低通（LPF）、高通（HPF）、带通（BPF）、带阻（BEF）、全通（APF）滤波器4）模拟/数字（A/D）转换----需要输出数字信号时二、信号处理技术1.信号处理电路光电元件信号处理图像处理光电82.图像处理技术成像—干扰等—图像降质—图像预处理灰度校正---突出特征---图像增强（锐化）滤波降噪---去除噪声---图像滤波（平滑化）灰度修正：改变灰度分布---直方图修正目标（前景）：黑的更黑、白的更白---直方图拉伸干扰（背景）：灰度模糊---直方图压缩目的：感兴趣特征—突出；不需要—衰减；不逼近1)图像增强预处理+提取、识别、计算2.图像处理技术成像—干扰等—图像降质—图像预处9(70,30)(180,230)直方图修正：(70,30)(180,230)直方图修正：10视觉检测及其应用课件11视觉检测及其应用课件12视觉检测及其应用课件132)图像滤波

图像噪声：强度随机信号高斯噪声椒盐（Salt&pepper)噪声：随机出现黑白亮度值高斯噪声：高斯/正态分布－传感器噪声模型（摄像机电子干扰噪声等）---滤波器2)图像滤波图像噪声：强度随机信号高斯噪声椒盐（Salt14原始图像高斯滤波原始图像153)边缘检测(1)边缘定义边缘：图像局部亮度变化最显著的部分分布：目标-目标、目标-背景、区域-区域、色彩-色彩(2)边缘检测算子梯度算子、Roberts算子

、Sobel算子、

Prewitt算子

、拉普拉斯算子、LoG算子、Canny算子4)图像描述与识别---提取特征参量，识别物体3)边缘检测(1)边缘定义边缘：图像局部亮度变化最显著16原始图像LOG算子Prewitt算子Roberts算子Sobel算子Canny算子r原始图像LOG算子Prewitt算子Roberts算子17离焦—不清晰、对比度不好聚焦—清晰、对比度好return离焦—不清晰、对比度不好聚焦—清晰、对18return夜晚景物图像对比夜间模式延长曝光时间光积分时间短---曝光量小---景物亮度低---对比度差光积分时间长---曝光量大---景物亮度高---对比度好return夜晚景物图像对比夜间模式延长曝光时间光积分时间短19F=8傍晚景物图像对比F=5.6F=8傍晚景物图像对比F=5.620阴天景物图像对比F=11F=5.6return阴天景物图像对比F=11F=5.6return21rr22rr23(1)零件的识别与定位领域：工业、医疗、航天、军事、农业等1、工业检测例：双目立体视觉检测系统——简单视觉的机器人系统■自动连接引线、对准芯片和封装；■自动安装部件，自动焊接或自动切割加工、自动浇注系统等。三、视觉检测技术的应用(1)零件的识别与定位领域：工业、医疗、24(2)零件尺寸的在线测量(3)零件外观及内部缺陷检测芯片定位芯片管脚检测钢板厚度的在线测量

木料检测原理例：木料检测：缺陷、体积

(4)产品分类、分组(5)产品标识、编码识别苹果分级、分色、配色商品条码、印鉴、标签(2)零件尺寸的在线测量(3)零件外观及内部缺陷检测芯片25“手-眼”定位：两个摄像机---两幅平面图像---三维场景信息用于：目标识别、道路识别、障碍物判断、主动导航、自动视觉导航无人驾驶汽车、无人驾驶飞机、无人战车、探测机器人实例：美国Sojourner系列和Rocky系列火星探测移动机器人2、机器人导航“手-眼”定位：两个摄像机---两幅平面图像---26“机遇”号火星车拍摄火星土壤的显微照片

“勇气”号火星车发回的彩色照片美国勇气号和机遇号火星探测移动机器人“机遇”号火星车拍摄“勇气”号火星车发回的彩色照片美国勇气号273、生物医学图像分析（1）医学临床诊断：X射线、B超、CT、核磁共振（MRI）医学影像融合分析细胞个数统计

CT图像自动检测：染色体切片、癌细胞切片、超声波图象3、生物医学图像分析（1）医学临床诊断：X射线、B超、C28三维人体扫描三维人体扫描29（2）生物图像分析：形状、组织切片、染色体配对、细菌、病毒、病原体外形尺寸检测、颜色识别、表面损伤检测以及组织分析叶片细胞显微放大图片

转基因大豆孢子例：水果分类；发芽土豆；杂草识别（2）生物图像分析：形状、组织切片、染色体配对、细菌、病毒、304、遥感图像分析：卫星遥感图像---气象卫星（红外成象---云图---气象状况）资源卫星（多光谱成象----地质、矿藏、森林、灾害）海洋卫星（合成孔径雷达成象---海洋、海浪、海滩）航空摄影图像---（多目成象---大地测量、测绘）交通---车辆识别、牌照识别、车型判断、车辆监视、交通流量检测安全---指纹判别与匹配、面孔与眼底识别、安全检查（飞机、海关）监视---超市、商店防盗、银行监控，停车场、电梯闭路电视6、军事与国防：5、监控、安防、交通管理：超低空雷达、超视距雷达、导弹制导、导弹导航、地形匹配、单兵作战系统、战场遥测、夜视仪、声纳成象7、办公与家电：办公设备---数码复印机、扫描仪、传真机、绘图仪家用电器---数码摄像机、数码照相机、可视电话、可视门铃4、遥感图像分析：卫星遥感图像---气象卫星（红外成象31优点：便宜，检测能力强缺点：产能低，不适合检测外层板Orion优点：便宜，检测能力强Orion32OpticalHead光头ScanLine扫描线Scanningslice扫描片段(variablewidth可变宽度)ScannedPanel被扫描的板ScanningPath-扫描路径OpticalHeadScanLineScanning33ImageProcessing-图像处理EICCCDPreprocessingCards预处理卡AnalogtoDigitalCircuitry模拟数字信号DigitaltoBinaryCircuitry数字信号二进制数字信号Analog模拟信号Digital数字信号Binary二进制ImageProcessing-图像处理EICCCDPre34Logics逻辑分析Binarystripsarecombinedandsenttothelogichardware二进制条码组合后发送到逻辑硬件进行逻辑分析OriginalPanelBinary“strips”二进制条码BinaryImage-二进制图像Logics逻辑分析Binarystripsareco35ImageAcquisitionSummary-获取图像摘要ActualPanel实际的板BinaryPicture二进制图形PURPOSE:Tocreateabinary(pixelized)picturepreciselyrepresentingthepanelbeinginspected.目的：建立一个二进制的图形描绘被检查的板ImageAcquisitionSummary-获取图像36LogicsSummary-逻辑摘要PURPOSE:ToidentifyandreportdefectsbasedonDRCandReferenceComparison.目的：通过对比参考文件可识别及发现板的缺陷ReferenceFileLogicSetupParametersLogicsSummary-逻辑摘要PURPOSE:To37四、数学工具软件简介(1)Mathematica数值和符号计算的代表性软件Matlab高性能的科技计算软件，广泛应用于数学计算、建模、仿真和数据分析处理及工程作图Maple强有力的符号处理能力，高精度的数值计算，灵活的图形显示四、数学工具软件简介(1)Mathematica38四、数学工具软件简介(1)统计软件SPSSSAS优化与规划软件LindoLingo技术图形和数据分析软件MathCADOrigin四、数学工具软件简介(1)统计软件39六、机器视觉技术的实现方式6.1硬件方式基于PC平台---高级计算机+图像采集卡+CCD摄 影机+照明系统+I/O接口+CCD摄影机+照明系统+I/O接口嵌入式系统FPGA专用机器视觉器件FPGA+DSP六、机器视觉技术的实现方式6.1硬件方式基于PC平台--406.2机器视觉技术的软件实现方式1）高级语言（如：汇编语言、VHDL， C/C++等）2）工具软件（如：OpoenCV,LabView等）6.2机器视觉技术的软件实现方式1）高级语言（如：汇编语41视觉检测技术用其应用视觉检测技术用其应用42-----利用摄像机替代人眼，图像处理软件替代大脑对产品进行质量检验或识别的计算机检测技术。组成：由光源、镜头、摄像机、图像采集卡、图像处理器/软件以及必要的I/O等。具有极高的效率、重复性以及精度，在很多情况下是人眼无法替代的。机器视觉检测技术一、视觉检测技术-----利用摄像机替代人眼，图像处理软件替代大脑对产品进行431、视觉系统的一般构成光源图像卡场景摄像机计算机典型视觉系统工作原理：光→敏感元件→电（光电元件）光源光通路光电元件测量电路光光电电yx1x2传感器：1、视觉系统的一般构成光源图像卡场景摄像机计算机典型视觉系统44单目视觉：一个摄像组件（镜头+摄像机）多目视觉：多个摄像组件（镜头+摄像机）图像采集部分、图像处理部分、通信和I/O部分以及输出和执行机构图像采集系统：可视化图像或特征数据场景镜头光源摄像机图像存储体计算机输出镜头摄像机镜头摄像机控制电缆视觉系统流程图图像质量好图像处理简单、结果理想图像质量差图象处理麻烦、结果不理想由光源、镜头、摄像机、图像采集卡等构成单目视觉：一个摄像组件（镜头+摄像机）图像采集部分、图像处理45(1)CCD的种类：2、CCD摄像机①按成象器件分类：线阵CCD、面阵CCD②按颜色分类：黑白摄像机、彩色摄像机④按输出信号分类：模拟式、数字式

黑白摄像机：信息量小，时间、空间少彩色摄像机：信息量大，时间、空间多线阵CCD：一行，扫描；体积小，价格低；面阵CCD:整幅图像；直观；价格高，体积大；③按扫描方式分类：逐行扫描、隔行扫描

逐行扫描：高速运动，避免边缘模糊数字摄像机----电子快门曝光时间:1/50s、1/125s、1/250s、1/500s、1/1000s、1/2000s、1/4000s、1/8000s、1/16000s、1/32000s…⑤按形状分类：长形、短形、方块形、半球形、单板形

(1)CCD的种类：2、CCD摄像机①按成象器件分类：线阵46(2)摄像机的主要参数：①制式：②CCD芯片尺寸：PAL制式---标准为625行，50场，中国采用隔行扫描（黑白为CCIR）（西欧、亚洲、澳大利亚）NTSC制式---标准为525行，60场（黑白为EIA）（美加、日本）非标准制式---只有医疗或其它专业领域才用到

面阵CCD芯片相位交替行（PhaseAlternatingLine）---逐行倒相国家电视委员会（NationalTelevisionSystemsCommittee)(2)摄像机的主要参数：①制式：②CCD芯片尺寸：PAL制47③CCD分辨率：是CCD的主要性能指标，它决定了显示图像的清晰程度，分辨率越高，图像细节的表现越好。像素---CCD每一个元素，像素越多，图像越清晰44万（768*576）、100万（1024*1024）200万（1600*1200）、600万（2832*2128）电视线---简称线(TVLINES)，彩色摄像头一般330~500线，黑白可以达到600线。电视线与CCD和镜头有关，还与摄像头电路通道的频带宽度直接相关，通常规律是1MHz的频带宽度相当于清晰度为80线。频带越宽，图像越清晰，线数值相对越大。灰度级---灰度分辨率、色彩分辨率，1/2n位数：8位（bit）、10位、11位、12位、位数越多，图像越清晰。③CCD分辨率：是CCD的主要性能指标，它决定了显示图像的清48二、信号处理技术1.信号处理电路光电元件信号处理图像处理光电电图像3）电压/电流（V/A）转换----需要电流输出时；1）信号放大2）噪声抑制----信号淹没在噪声中；电压（mV/V）；电流（A/

mA）----运算放大电路（运算放大器）相敏检波：同步整流电路模拟滤波：低通（LPF）、高通（HPF）、带通（BPF）、带阻（BEF）、全通（APF）滤波器4）模拟/数字（A/D）转换----需要输出数字信号时二、信号处理技术1.信号处理电路光电元件信号处理图像处理光电492.图像处理技术成像—干扰等—图像降质—图像预处理灰度校正---突出特征---图像增强（锐化）滤波降噪---去除噪声---图像滤波（平滑化）灰度修正：改变灰度分布---直方图修正目标（前景）：黑的更黑、白的更白---直方图拉伸干扰（背景）：灰度模糊---直方图压缩目的：感兴趣特征—突出；不需要—衰减；不逼近1)图像增强预处理+提取、识别、计算2.图像处理技术成像—干扰等—图像降质—图像预处50(70,30)(180,230)直方图修正：(70,30)(180,230)直方图修正：51视觉检测及其应用课件52视觉检测及其应用课件53视觉检测及其应用课件542)图像滤波

图像噪声：强度随机信号高斯噪声椒盐（Salt&pepper)噪声：随机出现黑白亮度值高斯噪声：高斯/正态分布－传感器噪声模型（摄像机电子干扰噪声等）---滤波器2)图像滤波图像噪声：强度随机信号高斯噪声椒盐（Salt55原始图像高斯滤波原始图像563)边缘检测(1)边缘定义边缘：图像局部亮度变化最显著的部分分布：目标-目标、目标-背景、区域-区域、色彩-色彩(2)边缘检测算子梯度算子、Roberts算子

、Sobel算子、

Prewitt算子

、拉普拉斯算子、LoG算子、Canny算子4)图像描述与识别---提取特征参量，识别物体3)边缘检测(1)边缘定义边缘：图像局部亮度变化最显著57原始图像LOG算子Prewitt算子Roberts算子Sobel算子Canny算子r原始图像LOG算子Prewitt算子Roberts算子58离焦—不清晰、对比度不好聚焦—清晰、对比度好return离焦—不清晰、对比度不好聚焦—清晰、对59return夜晚景物图像对比夜间模式延长曝光时间光积分时间短---曝光量小---景物亮度低---对比度差光积分时间长---曝光量大---景物亮度高---对比度好return夜晚景物图像对比夜间模式延长曝光时间光积分时间短60F=8傍晚景物图像对比F=5.6F=8傍晚景物图像对比F=5.661阴天景物图像对比F=11F=5.6return阴天景物图像对比F=11F=5.6return62rr63rr64(1)零件的识别与定位领域：工业、医疗、航天、军事、农业等1、工业检测例：双目立体视觉检测系统——简单视觉的机器人系统■自动连接引线、对准芯片和封装；■自动安装部件，自动焊接或自动切割加工、自动浇注系统等。三、视觉检测技术的应用(1)零件的识别与定位领域：工业、医疗、65(2)零件尺寸的在线测量(3)零件外观及内部缺陷检测芯片定位芯片管脚检测钢板厚度的在线测量

木料检测原理例：木料检测：缺陷、体积

(4)产品分类、分组(5)产品标识、编码识别苹果分级、分色、配色商品条码、印鉴、标签(2)零件尺寸的在线测量(3)零件外观及内部缺陷检测芯片66“手-眼”定位：两个摄像机---两幅平面图像---三维场景信息用于：目标识别、道路识别、障碍物判断、主动导航、自动视觉导航无人驾驶汽车、无人驾驶飞机、无人战车、探测机器人实例：美国Sojourner系列和Rocky系列火星探测移动机器人2、机器人导航“手-眼”定位：两个摄像机---两幅平面图像---67“机遇”号火星车拍摄火星土壤的显微照片

“勇气”号火星车发回的彩色照片美国勇气号和机遇号火星探测移动机器人“机遇”号火星车拍摄“勇气”号火星车发回的彩色照片美国勇气号683、生物医学图像分析（1）医学临床诊断：X射线、B超、CT、核磁共振（MRI）医学影像融合分析细胞个数统计

CT图像自动检测：染色体切片、癌细胞切片、超声波图象3、生物医学图像分析（1）医学临床诊断：X射线、B超、C69三维人体扫描三维人体扫描70（2）生物图像分析：形状、组织切片、染色体配对、细菌、病毒、病原体外形尺寸检测、颜色识别、表面损伤检测以及组织分析叶片细胞显微放大图片

转基因大豆孢子例：水果分类；发芽土豆；杂草识别（2）生物图像分析：形状、组织切片、染色体配对、细菌、病毒、714、遥感图像分析：卫星遥感图像---气象卫星（红外成象---云图---气象状况）资源卫星（多光谱成象----地质、矿藏、森林、灾害）海洋卫星（合成孔径雷达成象---海洋、海浪、海滩）航空摄影图像---（多目成象---大地测量、测绘）交通---车辆识别、牌照识别、车型判断、车辆监视、交通流量检测安全---指纹判别与匹配、面孔与眼底识别、安全检查（飞机、海关）监视---超市、商店防盗、银行监控，停车场、电梯闭路电视6、军事与国防：5、监控、安防、交通管理：超低空雷达、超视距雷达、导弹制导、导弹导航、地形匹配、单兵作战系统、战场遥测、夜视仪、声纳成象7、办公与家电：办公设备---数码复印机、扫描仪、传真机、绘图仪家用电器---数码摄像机、数码照相机、可视电话、可视门铃4、遥感图像分析：卫星遥感图像---气象卫星（红外成象72优点：便宜，检测能力强缺点：产能低，不适合检测外层板Orion优点：便宜，检测能力强Orion73OpticalHead光头ScanLine扫描线Scanningslice扫描片段(variablewidth可变宽度)ScannedPanel被扫描的板ScanningPath-扫描路径OpticalHeadScanLineScanning74ImageProcessing-图像处理EICCCDPreprocessingCards预处理卡AnalogtoDigitalCircuitry模拟数字信号