视觉检测及其应用

1、视觉检测技术用其应用视觉检测技术用其应用-利用摄像机替代人眼，图像处理软件替代大脑对产品进行质量检验或识别的计算机检测技术。组成：由光源、镜头、摄像机、图像采集卡、图像处理器/软件以及必要的I/O等。具有极高的效率、重复性以及精度，在很多情况下是人眼无法替代的。机器视觉检测技术机器视觉检测技术一、视觉检测技术一、视觉检测技术1、视觉系统的一般构成、视觉系统的一般构成光源图像卡场景摄像机计算机典型视觉系统典型视觉系统工作原理：工作原理： 光光 敏感元件敏感元件 电电 （光电元件）（光电元件） 光源光源光通路光通路光电元件光电元件测量电路测量电路光光光光电电电电yx1x2传感器：传感器：单目视觉：

2、一个摄像组件（镜头单目视觉：一个摄像组件（镜头+摄像机）摄像机）多目视觉：多个摄像组件（镜头多目视觉：多个摄像组件（镜头+ +摄像机）摄像机）图像采集部分、图像处理部分、通信和图像采集部分、图像处理部分、通信和I/O部分以及输出和执行机构部分以及输出和执行机构图像采集系统：可视化图像或特征图像采集系统：可视化图像或特征数据数据场景场景镜头镜头光源光源摄像机摄像机图像存储体图像存储体计算机计算机输出输出镜头镜头摄像机摄像机镜头镜头摄像机摄像机控制控制电缆电缆视觉系统流程图视觉系统流程图图像质量好图像质量好 图像处理简单、结果理想图像处理简单、结果理想图像质量差图像质量差 图象处理麻烦、结果不理想

3、图象处理麻烦、结果不理想由由光源、镜头、摄像机、图像采集卡等构成光源、镜头、摄像机、图像采集卡等构成(1) CCD(1) CCD的种类的种类：2 2、CCDCCD摄像机摄像机按成象器件分类：线阵按成象器件分类：线阵CCD、面阵、面阵CCD按颜色分类：黑白摄像机、彩色摄像机按颜色分类：黑白摄像机、彩色摄像机按输出信号分类：模拟式、数字式按输出信号分类：模拟式、数字式 黑白摄像机：信息量小，时间、空间少黑白摄像机：信息量小，时间、空间少彩色摄像机：信息量大，时间、空间彩色摄像机：信息量大，时间、空间多多线阵线阵CCD：一行，扫描；：一行，扫描；体积小，价格低；体积小，价格低；面面阵阵CCD: 整幅

4、图像；直观；价格高，体积大；整幅图像；直观；价格高，体积大；按扫描方式分类：逐行扫描、隔行扫描按扫描方式分类：逐行扫描、隔行扫描 逐行扫描：高速运动，避免边缘模糊逐行扫描：高速运动，避免边缘模糊 数字摄像机数字摄像机 - 电子快门电子快门 曝光时间曝光时间: 1/50s1/50s、1/125s1/125s、1/250s1/250s、1/500s1/500s、1/1000s1/1000s、1/2000s1/2000s、1/4000s1/4000s、1/8000s1/8000s、1/16000s1/16000s、1/32000s1/32000s 按形状分类：长形、短形、方块形、半球形、单板形按形状

5、分类：长形、短形、方块形、半球形、单板形 (2)(2)摄像机的主要参数摄像机的主要参数：制式：制式：CCD芯片尺寸芯片尺寸 ：PALPAL制式制式 - - 标准为标准为625625行，行，5050场，中国采用隔行扫描（黑白为场，中国采用隔行扫描（黑白为CCIRCCIR） （西欧、亚洲、澳大利亚）（西欧、亚洲、澳大利亚） NTSCNTSC制式制式 - - 标准为标准为525525行，行，6060场（黑白为场（黑白为EIAEIA）（）（美加、日本美加、日本）非标准制式非标准制式 - - 只有医疗或其它专业领域才用到只有医疗或其它专业领域才用到 面阵面阵CCDCCD芯片芯片相位交替行（相位交替行（P

6、hase Alternating Line）- 逐行倒相逐行倒相国家电视委员会国家电视委员会（National Television Systems Committee)CCDCCD分辨率：分辨率：是是CCDCCD的主要性能指标，它决定了显示图像的清晰程度，的主要性能指标，它决定了显示图像的清晰程度，分辨率越高，图像细节的表现越好。分辨率越高，图像细节的表现越好。 像素像素 - CCD- CCD每一个元素，像素越多，图像越清晰每一个元素，像素越多，图像越清晰 4444万（万（768768* *576576）、）、100100万（万（10241024* *10241024） 200200万（万（

7、16001600* *12001200）、）、600600万（万（28322832* *21282128）电视线电视线 - - 简称线简称线(TV LINES)(TV LINES)，彩色摄像头一般，彩色摄像头一般330500330500线，线， 黑白可以达到黑白可以达到600600线。电视线与线。电视线与CCDCCD和镜头有关，和镜头有关， 还与摄像头电路通道的频带宽度直接相关，通还与摄像头电路通道的频带宽度直接相关，通 常规律是常规律是1MHz1MHz的频带宽度相当于清晰度为的频带宽度相当于清晰度为8080线。线。 频带越宽，图像越清晰，线数值相对越大。频带越宽，图像越清晰，线数值相对越大。

8、 灰度级灰度级 - - 灰度分辨率、色彩分辨率，灰度分辨率、色彩分辨率， 1/21/2n 位数：位数：8 8位（位（bitbit）、）、1010位、位、1111位、位、1212位、位、 位数越多，图像越清晰。位数越多，图像越清晰。 二、信号处理技术二、信号处理技术1.1.信号处理电路信号处理电路光电元件光电元件信号处理信号处理图像处理图像处理光光电电电电图像图像3）电压）电压/电流（电流（V/A）转换）转换 - 需要电流输出时；需要电流输出时；1）信号放大）信号放大2）噪声抑制）噪声抑制 - 信号淹没在噪声中；信号淹没在噪声中；电压（电压（mV/ V）；电流（）；电流（ A/ mA）- 运算放

9、大电路（运算放大器）运算放大电路（运算放大器）相敏检波：同步整流电路相敏检波：同步整流电路模拟滤波：低通（模拟滤波：低通（LPF）、高通（）、高通（HPF）、带通（）、带通（BPF）、）、 带阻（带阻（BEF）、全通（）、全通（APF）滤波器）滤波器 4）模拟）模拟/数字（数字（A/D）转换）转换 - 需要输出数字信号时需要输出数字信号时2.2.图像处理技术图像处理技术成像成像 干扰等干扰等 图像降质图像降质 图像预处理图像预处理灰度校正灰度校正-突出特征突出特征 - 图像增强（锐化）图像增强（锐化）滤波降噪滤波降噪-去除噪声去除噪声 - 图像滤波（平滑化）图像滤波（平滑化） 灰度修正：改变灰

10、度分布灰度修正：改变灰度分布 -直方图修正直方图修正目标（前景）：黑的更黑、白的更白目标（前景）：黑的更黑、白的更白 - 直方图拉伸直方图拉伸 干扰（背景）：灰度模糊干扰（背景）：灰度模糊 - 直方图压缩直方图压缩 目的目的：感兴趣特征感兴趣特征 突出；不需要突出；不需要 衰减；不逼近衰减；不逼近预处理预处理+提取、识别、计算提取、识别、计算(70, 30)(180, 230)直方图修正：直方图修正： 图像噪声：强度随机信号图像噪声：强度随机信号高斯噪声高斯噪声椒盐（椒盐（Salt & pepper)噪声：噪声： 随机出现黑白亮度值随机出现黑白亮度值高斯噪声：高斯高斯噪声：高斯/正态分布正态分

11、布 传感器噪声模型（摄像机电子干扰噪声等）传感器噪声模型（摄像机电子干扰噪声等）- 滤波器滤波器原始图像原始图像 高斯滤波高斯滤波 3) 边缘检测边缘检测(1) 边缘定义边缘定义 边缘：图像局部亮度变化最显著的部分边缘：图像局部亮度变化最显著的部分 分布：目标分布：目标-目标、目标目标、目标-背景、区域背景、区域-区域区域 、 色彩色彩-色彩色彩(2) (2) 边缘检测算子边缘检测算子 梯度算子、梯度算子、 Roberts算子算子 、 Sobel算子、算子、 Prewitt算子算子 、拉普拉斯算子、拉普拉斯算子、 LoG算子、算子、 Canny算子算子4) 图像描述与识别图像描述与识别- 提取

12、特征参量，识别物体提取特征参量，识别物体原始图像原始图像LOG 算子算子Prewitt 算子算子Roberts 算子算子Sobel 算子算子Canny 算子算子 离焦离焦 不清晰、对比度不好不清晰、对比度不好 聚焦聚焦 清晰、对比度好清晰、对比度好夜晚景物图像对比夜晚景物图像对比夜间模式夜间模式延长曝光时间延长曝光时间光积分时间短光积分时间短 - 曝光量小曝光量小 - 景物亮度低景物亮度低 - 对比度差对比度差光积分时间长光积分时间长 - 曝光量大曝光量大 - 景物亮度高景物亮度高 - 对比度好对比度好F=8傍晚景物图像对比傍晚景物图像对比F=5.6阴天景物图像对比阴天景物图像对比F=11F=

13、5.6(1) (1) 零件的识别与定位零件的识别与定位领域：工业、医疗、领域：工业、医疗、 航天、军事、农业等航天、军事、农业等1 1、工业检测、工业检测例：双目立体视觉检测系统例：双目立体视觉检测系统 简单视觉的机器人系统简单视觉的机器人系统 自动连接引线、对准自动连接引线、对准芯片和封装；芯片和封装； 自动安装部件，自动焊自动安装部件，自动焊接或自动切割加工、自接或自动切割加工、自动浇注系统等。动浇注系统等。 三、视觉检测技术的应用三、视觉检测技术的应用(2) (2) 零件尺寸的在线测量零件尺寸的在线测量(3) (3) 零件外观及内部缺陷检测零件外观及内部缺陷检测芯片定位芯片定位芯片管脚检

14、测芯片管脚检测钢板厚度的在线测量钢板厚度的在线测量 木料检测原理木料检测原理例：木料检测：缺陷、体积例：木料检测：缺陷、体积 (4) (4) 产品分类、分组产品分类、分组(5) (5) 产品标识、编码识别产品标识、编码识别苹果分级、分色、配色苹果分级、分色、配色商品条码、印鉴、标签商品条码、印鉴、标签“手手-眼眼”定位：定位： 两个摄像机两个摄像机 - 两幅平面图像两幅平面图像 - 三维场景信息三维场景信息 用于：目标识别、道路识别、障碍物判断、主动导航、自动视觉导航用于：目标识别、道路识别、障碍物判断、主动导航、自动视觉导航 无人驾驶汽车、无人驾驶飞机、无人战车、探测机器人无人驾驶汽车、无人

15、驾驶飞机、无人战车、探测机器人实例：美国实例：美国Sojourner系列和系列和Rocky系列火星探测移动机器人系列火星探测移动机器人2 2、机器人导航、机器人导航“机遇机遇”号火星车拍摄号火星车拍摄火星土壤的显微照片火星土壤的显微照片 “勇气勇气”号火星车号火星车发回的彩色照片发回的彩色照片美国勇气号和机遇号火星探测移动机器人美国勇气号和机遇号火星探测移动机器人3、生物医学图像分析、生物医学图像分析（1）医学临床诊断）医学临床诊断 ： X射线、射线、B超、超、CT、核磁共振（、核磁共振（MRI）医学影像融合分析医学影像融合分析 细胞个数统计细胞个数统计 CT图像图像 自动检测：染色体切片、癌

16、细胞切片、超声波图象自动检测：染色体切片、癌细胞切片、超声波图象三维人体扫描三维人体扫描（2）生物图像分析：形状、组织切片、染色体配对、细菌、病毒、）生物图像分析：形状、组织切片、染色体配对、细菌、病毒、 病原体外形尺寸检测、颜色识别、表面损伤检测以及组织分析病原体外形尺寸检测、颜色识别、表面损伤检测以及组织分析叶片细胞显微放大图片叶片细胞显微放大图片 转基因大豆孢子转基因大豆孢子例：水果分类；发芽土豆；杂草识别例：水果分类；发芽土豆；杂草识别 4 4、遥感图像分析：、遥感图像分析：卫星遥感图像卫星遥感图像 - 气象卫星（红外成象气象卫星（红外成象 - 云图云图 - 气象状况）气象状况） 资源

17、卫星（多光谱成象资源卫星（多光谱成象 - 地质、矿藏、森林、灾害）地质、矿藏、森林、灾害） 海洋卫星（合成孔径雷达成象海洋卫星（合成孔径雷达成象 - 海洋、海浪、海滩）海洋、海浪、海滩） 航空摄影图像航空摄影图像 - （多目成象（多目成象 - 大地测量、测绘）大地测量、测绘）交通交通 - 车辆识别、牌照识别、车型判断、车辆监视、交通流量检测车辆识别、牌照识别、车型判断、车辆监视、交通流量检测安全安全 - 指纹判别与匹配、面孔与眼底识别、安全检查（飞机、海关）指纹判别与匹配、面孔与眼底识别、安全检查（飞机、海关）监视监视 - 超市、商店防盗、银行监控，停车场、电梯闭路电视超市、商店防盗、银行监控

18、，停车场、电梯闭路电视6、军事与国防：军事与国防：5、监控、安防、交通管理：监控、安防、交通管理：超低空雷达、超视距雷达、导弹制导、导弹导航、地形匹配、超低空雷达、超视距雷达、导弹制导、导弹导航、地形匹配、单兵作战系统、战场遥测、夜视仪、声纳成象单兵作战系统、战场遥测、夜视仪、声纳成象7、办公与家电：办公与家电：办公设备办公设备 - 数码复印机、扫描仪、传真机、绘图仪数码复印机、扫描仪、传真机、绘图仪家用电器家用电器 - 数码摄像机、数码照相机、可视电话、可视门铃数码摄像机、数码照相机、可视电话、可视门铃优点：便宜，检测能力强优点：便宜，检测能力强缺点：产能低，不适合检测外层板缺点：产能低，不

19、适合检测外层板OrionOptical Head光头光头Scan Line扫描线扫描线Scanning slice扫描片段扫描片段 (variable width可变宽度可变宽度)Scanned Panel被扫描的板被扫描的板Scanning Path-扫描路径扫描路径Image Processing-图像处理图像处理CCDAnalogto DigitalCircuitry模拟模拟 数字信号数字信号Digital toBinary Circuitry数字信号数字信号 二进制数字信号二进制数字信号Analog模拟信号模拟信号Digital数字信号数字信号Binary二进制二进制Original PanelBinary “strips”