机器视觉基础知识课件

中国大恒（集团）有限公司北京图像视觉技术分公司主讲人：陈欣机器视觉系统概述中国大恒（集团）有限公司北京图像视觉技术分公司主讲人：陈欣机提纲机器视觉系统概述照明光源镜头工业摄像机提纲机器视觉系统概述机器视觉系统机器视觉是一门技术，该技术被广泛应用在生产制造等行业。可用来保证产品质量、控制生产流程、感知环境等。机器视觉系统是基于机器视觉技术为机器或自动化生产线建立的一套视觉系统。机器视觉系统机器视觉是一门技术，该技术被广泛应用在生产制造等机器视觉vs人类视觉人类视觉机器视觉适应性适应性强，可在复杂及变化的环境中识别目标适应性差，容易受复杂背景及环境变化的影响智能具有高级智能，可运用逻辑分析及推理能力识别变化的目标，并能总结规律虽然可利用人工智能及神经网络技术，但智能很差，不能很好地识别变化的目标彩色识别能力对色彩的分辨能力强，但容易受人的心理影响，不能量化受硬件条件的制约，目前一般的图像采集系统对色彩的分辨能力较差，但具有可量化的优点灰度分辨力差，一般只能分辨64个灰度级强，目前一般使用256灰度级，采集系统可具有10bit、12bit、16bit等灰度级机器视觉vs人类视觉人类视觉机器视觉适应性适应性强，可在机器视觉vs人类视觉人类视觉机器视觉空间分辨力分辨率较差，不能观看微小的目标目前有4K×4K的面阵摄像机和12K的线阵摄像机，通过备置各种光学镜头，可以观测小到微米大到天体的目标速度0.1秒的视觉暂留使人眼无法看清较快速运动的目标快门时间可达到10微妙左右，高速像机帧率可达到1000以上，处理器的速度越来越快感光范围400nm-750nm范围的可见光从紫外到红外的较宽光谱范围，另外有X光等特殊摄像机环境要求对环境温度、湿度的适应性差，另外有许多场合对人有损害对环境适应性强，另外可加防护装置机器视觉vs人类视觉人类视觉机器视觉空间分辨力分辨率较差机器视觉系统作用机器视觉技术功能缩短产品进入市场时间100%检测100%质量保证提高产量集成化生产精确测量改进生产流程及时过程监控机器视觉系统作用机器视觉技术缩短产品100%检测100%质量机器视觉应用领域高速检测精确机器人导航定位及配准装配检测PCB检测表面检测纹理分析遥感医学图像分析测量一维码读取OCR&OCV匹配印刷检测Blob分析机器视觉应用领域高速检测医学图像分析机器视觉应用领域光学行业纸制品药物照相学和遥感印刷铁路运输监控航空宇航造船无线通信交通木材等等半导体汽车制造制陶业化学业电子部件及设备食品业玻璃业生命科学医学钢铁矿业机器视觉应用领域光学行业半导体机器视觉系统构成——模拟相机光源CCD/CMOS图像传感器镜头被测物体模拟视频流摄像机图像采集卡图像内存中数字图像应用结果孔半径1233.147mm3.052mm2.785mm机器视觉软件FGI/O机器视觉系统构成——模拟相机光源CCD/CMOS图像传感器镜机器视觉系统构成——数字摄像机光源CCD/CMOS图像传感器镜头被测物体图像数据数字摄像机（USB/1394a/1394b/GigE/CameraLink）图像内存中数字图像应用结果孔半径1233.147mm3.052mm2.785mm机器视觉软件FGI/O机器视觉系统构成——数字摄像机光源CCD/CMOS图像传感器机器视觉系统构成——智能摄像机光源CCD/CMOS图像传感器镜头被测物体模拟图像数据智能摄像机图像内存中数字图像应用结果孔半径1233.147mm3.052mm2.785mm机器视觉软件FGI/O机器视觉系统构成——智能摄像机光源CCD/CMOS图像传感器机器视觉市场机器视觉系统中部件包括：光源、工业摄像机、图像采集卡、镜头、图像处理设备等。机器视觉市场包括:部件生产商代理商系统集成商机器视觉市场机器视觉系统中部件包括：机器视觉系统组件——照明光源照明光源机器视觉系统组件——照明光源照明光源机器视觉系统——照明光源分类高频荧光灯卤素灯LED灯机器视觉系统——照明光源分类高频荧光灯卤素灯LED灯机器视觉系统——照明光源对比机器视觉系统——照明光源对比LED光源特点可制成各种形状、尺寸及各种照射角度；可根据需要制成各种颜色，并可以随时调节亮度；通过散热装置，散热效果更好，光亮度更稳定；使用寿命长（约3万小时，间断使用寿命更长）；反应快捷，可在10us或更短的时间内达到最大亮度；电源带有外触发，可以通过计算机控制，起动速度快，可以用作频闪灯；运行成本低、寿命长的LED，会在综合成本和性能方面体现出更大的优势；可根据客户的需要，进行特殊设计。LED光源特点可制成各种形状、尺寸及各种照射角度；光源选型对成像影响实例光源选型对成像影响实例照明技术：亮视野与暗视野暗视野亮视野杂散光杂散光直射光直射光照明技术：亮视野与暗视野暗视野亮视野杂散光杂散光直射光直射光照明技术：低角度照明常应用于检测平滑表面上变化的部分

如：划痕、刀痕、边缘照明技术：低角度照明常应用于检测平滑表面上变化的部分

如：划低角度照明应用实例低角度照明应用实例照明技术：前向光直射照明照明技术：前向光直射照明前向光直射照明示例前向光直射照明示例照明技术：前向光漫射照明照明技术：前向光漫射照明前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例照明技术：背光照明照明技术：背光照明背光照明示例TCLTCLTCI背光照明示例TCLTCLTCI照明技术：颜色与补色照射物白色光(混合色)蓝色其它颜色被吸收照明技术：颜色与补色照射物白色光蓝色其它颜色被吸收颜色与补色示例白光红光蓝光绿光颜色与补色示例白光红光蓝光绿光照明技术：偏光技术应用偏光板偏光镜片光源A光源B照明技术：偏光技术应用偏光板偏光镜片光源A光源B偏光技术应用实例偏光技术应用实例照明技术：防外乱光技术应用照明技术：防外乱光技术应用机器视觉系统组件——镜头镜头机器视觉系统组件——镜头镜头成像尺寸成像尺寸焦距与视场角焦距与视场角焦距与视场角例如：使用HV1303UM拍摄视野为440mm*330mm拍摄距离为2500mm焦距与视场角例如：常用公式放大率物距像距焦距物高像高常用公式放大率镜头分辨率分辨率单位：lp/mm影响因素：

镜头结构、材质、加工精度

镜头的相对孔径越大，分辨率越高

光波长度，波长越短分辨率越高

视场中心较边缘分辨率高

同档次的固定焦距镜头较变焦镜头分辨率高

短焦镜头一般边缘分辨率较中心低，长焦镜头一般中

心较边缘分辨率低。理想光学系统的最小分辨距离b=(0.61λ)/nsinωmax其中，λ为光的波长n为像空间介质折射率ωmax为像方孔径角当镜头对无限远成像，且像方为空气时（近似计算公式）

b=1.22λF其中，F为光圈数镜头分辨率分辨率单位：lp/mm远心镜头远心镜头镜头选型分辨率焦距光圈景深成像尺寸视场角远心畸变镜头选型分辨率机器视觉系统组件——工业摄像机工业摄像机机器视觉系统组件——工业摄像机工业摄像机工业摄像机分类按不同芯片类型划分：1、CCD摄像机2、CMOS摄像机工业摄像机分类按不同芯片类型划分：CCDSensor—FullFrameArraySensorOutput(Amplifier)Serialreadoutregister优点：填充因子(fillfactor)可以达到非常高，甚至达到100%。这样Sensor灵敏度非常大。缺点：由于传输和读出使用的时钟相同，因此Sensor上面的部分曝光时间比下面的长，这会造成Smear现象。为了解决这个问题，必须使用机械快门或闪光灯。CCDSensor—FullFrameArraySCCDSensor—FrameTransferSensor解决了FullFrameArraySensor发生Smear现象的问题从感光部分转移到屏蔽存储区域的时间约为500us优点：在曝光时间较长的情况下，Smear现象比FullFrameArraySensor小很多缺点：由于需要两个Sensor，因此成本非常高LightsensitiveCCD-sensorShieldedmemoryareaReadoutregister...............................CCDSensor—FrameTransfeCCDSensor—InterlineTransferSensors转移时间约为1us，因此完全不存在Smear现象。优点：由于转移时间非常短，因此不需要使用机械快门或闪光灯缺点：由于屏蔽区占用了Sensor的部分面积，因此使得此种传感器填充因子只能在20%~70%添加微镜头可以增加填充因子HorizontalshiftregistersverticalshiftregisterShielded(Photodiodes)SensorelementsOutput(Amplifier)CCDSensor—InterlineTraElectronicshutter&MicroLensesOverflowDrain主要用来消除CCDSensor的Blooming现象它也被用来实现电子快门通过MicroLenses可以将传感器的填充因子提高。CCD可以从80%提高到约100%CMOS可以从30%提高到约80%Electronicshutter&MicCMOSSensorCMOSSensorAOI由于CMOS可直接访问单个像素，因此在AOI非常小的情况下，CMOS与CCD相比，帧率上有较大的优势。CMOS

Sensor甚至可以将A/D转换集成到每个像素中去，在不使用AOI时帧率上也有优势AOI由于CMOS可直接访问单个像素，CCDvsCMOSCCDCMOS优1.图像质量高2.灵敏度高3.对比度高1.体积小2.片上数字化3.很多片上处理功能4.低功耗5.没有Blooming现象6.直接访问单个像素7.高动态范围（120dB）8.帧率可以更高劣1.Blooming2.不能直接访问每个像素3.没有片上处理功能1.一致性较差2.光灵敏度差3.噪声大CCDvsCMOSCCDCMOS优1.图CCDvsCMOSCCDCMOS串行处理并行处理，可直接访问单像素线性度好高动态范围低噪声存在固定模式噪声功耗一般功耗较低集成度较低高集成度，芯片上集成了很多功能CCDvsCMOSCCDCMOS串行处理InterlacedScanvsProgressiveScanInterlacedScanProgressiveScanInterlacedScanvsProgRollingShuttervsGlobalShutterRollingShutterGlobalShutterRollingShuttervsGlo

彩色摄像机1.Bayer2.3CCD3.3Lines4.…………彩色摄像机1.Bayer

彩色摄像机效果对比3CCDRawImageBayerDifference彩色摄像机效果对比3CCDRawImageBa工业摄像机接口类型模拟接口CameraLink1394a1394bUsb2.0GigEEthernet……工业摄像机接口类型模拟接口工业摄像机接口类型CameraLinkUsb2.01394a1394bGigEEthernet速度Base:1.5GbpsMedium:3.8GbpsFull:5.1Gbps480Mbps400Mbps800Mbps1000Gbps100Mbps距离10m5m4.5m4.5m100m100m优势1.带宽高2.有带预处理功能的采集设备3.抗干扰能力强1.易用2.价格低3.多相机1.易用，价格低，多相机2.传输距离远，实际线缆可达到17.5m，光纤传输可达100m3.有标准DCAM协议4.CPU占用最低1.易用，价格低，多相机2.传输距离远，线缆价格低3.标准GigEVision协议1.易用，价格低2.传输距离远，线缆价格低缺点1.价格高2.线中不带供电1.无标准协议2.CPU占用高1.长距离传输线缆价格稍贵1.CPU占用高2.对主机配置要求高3.有时存在丢包现象1.无标准协议2.带宽过低3.CPU占用过高工业摄像机接口类型CameraLinkUsb2.01394aPCIvsPCI-EPCI-32PCI-64PCI-Express速度133MBps266MBps1x266MBps2x266*2MBps4x266*4MBps8x16x32x8.25GBpsPCIExpress采用的是点对点通信机制，各个插槽都将通过各自独享的通道发送和接受数据，这样就可以避免出现不同设备同时争抢系统和CPU资源的情况。PCIvsPCI-EPCI-32PCI-64PCI-Ex同步采集vs异步采集同步采集vs异步采集工业摄像机选型1.根据摄像机拍摄的视野以及系统需要达到的精度选择分辨率2.根据拍摄对象运动与否选择合适相机3.根据生产线速度选择合适帧率4.根据相机接口类型以及相机数量选择合适的采集卡例如：某视觉检测系统需要两个检测工位拍摄过程中工件不停止。两个工位视野相同，均为400mm*300mm。要求检测精度达到0.4mm以上。检测速度大于每分钟1000工件。工业摄像机选型1.根据摄像机拍摄的视野以及系统需要达到的精度回顾简单介绍了机器视觉系统以及机器视觉系统中几个重要的组成部分，包括光源、镜头和摄像机。后面的培训中将按照产品类型进行详细介绍。并且将细致地介绍与某产品类型相关的技术细节。如模拟相机、1394传输协议、GigE传输协议、各种光源选型、HALCON功能介绍等等。回顾简单介绍了机器视觉系统以及机器视觉系统中几个重要的组成部ThankYouForYourAttention!机器视觉基础知识课件中国大恒（集团）有限公司北京图像视觉技术分公司主讲人：陈欣机器视觉系统概述中国大恒（集团）有限公司北京图像视觉技术分公司主讲人：陈欣机提纲机器视觉系统概述照明光源镜头工业摄像机提纲机器视觉系统概述机器视觉系统机器视觉是一门技术，该技术被广泛应用在生产制造等行业。可用来保证产品质量、控制生产流程、感知环境等。机器视觉系统是基于机器视觉技术为机器或自动化生产线建立的一套视觉系统。机器视觉系统机器视觉是一门技术，该技术被广泛应用在生产制造等机器视觉vs人类视觉人类视觉机器视觉适应性适应性强，可在复杂及变化的环境中识别目标适应性差，容易受复杂背景及环境变化的影响智能具有高级智能，可运用逻辑分析及推理能力识别变化的目标，并能总结规律虽然可利用人工智能及神经网络技术，但智能很差，不能很好地识别变化的目标彩色识别能力对色彩的分辨能力强，但容易受人的心理影响，不能量化受硬件条件的制约，目前一般的图像采集系统对色彩的分辨能力较差，但具有可量化的优点灰度分辨力差，一般只能分辨64个灰度级强，目前一般使用256灰度级，采集系统可具有10bit、12bit、16bit等灰度级机器视觉vs人类视觉人类视觉机器视觉适应性适应性强，可在机器视觉vs人类视觉人类视觉机器视觉空间分辨力分辨率较差，不能观看微小的目标目前有4K×4K的面阵摄像机和12K的线阵摄像机，通过备置各种光学镜头，可以观测小到微米大到天体的目标速度0.1秒的视觉暂留使人眼无法看清较快速运动的目标快门时间可达到10微妙左右，高速像机帧率可达到1000以上，处理器的速度越来越快感光范围400nm-750nm范围的可见光从紫外到红外的较宽光谱范围，另外有X光等特殊摄像机环境要求对环境温度、湿度的适应性差，另外有许多场合对人有损害对环境适应性强，另外可加防护装置机器视觉vs人类视觉人类视觉机器视觉空间分辨力分辨率较差机器视觉系统作用机器视觉技术功能缩短产品进入市场时间100%检测100%质量保证提高产量集成化生产精确测量改进生产流程及时过程监控机器视觉系统作用机器视觉技术缩短产品100%检测100%质量机器视觉应用领域高速检测精确机器人导航定位及配准装配检测PCB检测表面检测纹理分析遥感医学图像分析测量一维码读取OCR&OCV匹配印刷检测Blob分析机器视觉应用领域高速检测医学图像分析机器视觉应用领域光学行业纸制品药物照相学和遥感印刷铁路运输监控航空宇航造船无线通信交通木材等等半导体汽车制造制陶业化学业电子部件及设备食品业玻璃业生命科学医学钢铁矿业机器视觉应用领域光学行业半导体机器视觉系统构成——模拟相机光源CCD/CMOS图像传感器镜头被测物体模拟视频流摄像机图像采集卡图像内存中数字图像应用结果孔半径1233.147mm3.052mm2.785mm机器视觉软件FGI/O机器视觉系统构成——模拟相机光源CCD/CMOS图像传感器镜机器视觉系统构成——数字摄像机光源CCD/CMOS图像传感器镜头被测物体图像数据数字摄像机（USB/1394a/1394b/GigE/CameraLink）图像内存中数字图像应用结果孔半径1233.147mm3.052mm2.785mm机器视觉软件FGI/O机器视觉系统构成——数字摄像机光源CCD/CMOS图像传感器机器视觉系统构成——智能摄像机光源CCD/CMOS图像传感器镜头被测物体模拟图像数据智能摄像机图像内存中数字图像应用结果孔半径1233.147mm3.052mm2.785mm机器视觉软件FGI/O机器视觉系统构成——智能摄像机光源CCD/CMOS图像传感器机器视觉市场机器视觉系统中部件包括：光源、工业摄像机、图像采集卡、镜头、图像处理设备等。机器视觉市场包括:部件生产商代理商系统集成商机器视觉市场机器视觉系统中部件包括：机器视觉系统组件——照明光源照明光源机器视觉系统组件——照明光源照明光源机器视觉系统——照明光源分类高频荧光灯卤素灯LED灯机器视觉系统——照明光源分类高频荧光灯卤素灯LED灯机器视觉系统——照明光源对比机器视觉系统——照明光源对比LED光源特点可制成各种形状、尺寸及各种照射角度；可根据需要制成各种颜色，并可以随时调节亮度；通过散热装置，散热效果更好，光亮度更稳定；使用寿命长（约3万小时，间断使用寿命更长）；反应快捷，可在10us或更短的时间内达到最大亮度；电源带有外触发，可以通过计算机控制，起动速度快，可以用作频闪灯；运行成本低、寿命长的LED，会在综合成本和性能方面体现出更大的优势；可根据客户的需要，进行特殊设计。LED光源特点可制成各种形状、尺寸及各种照射角度；光源选型对成像影响实例光源选型对成像影响实例照明技术：亮视野与暗视野暗视野亮视野杂散光杂散光直射光直射光照明技术：亮视野与暗视野暗视野亮视野杂散光杂散光直射光直射光照明技术：低角度照明常应用于检测平滑表面上变化的部分

如：划痕、刀痕、边缘照明技术：低角度照明常应用于检测平滑表面上变化的部分

如：划低角度照明应用实例低角度照明应用实例照明技术：前向光直射照明照明技术：前向光直射照明前向光直射照明示例前向光直射照明示例照明技术：前向光漫射照明照明技术：前向光漫射照明前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例照明技术：背光照明照明技术：背光照明背光照明示例TCLTCLTCI背光照明示例TCLTCLTCI照明技术：颜色与补色照射物白色光(混合色)蓝色其它颜色被吸收照明技术：颜色与补色照射物白色光蓝色其它颜色被吸收颜色与补色示例白光红光蓝光绿光颜色与补色示例白光红光蓝光绿光照明技术：偏光技术应用偏光板偏光镜片光源A光源B照明技术：偏光技术应用偏光板偏光镜片光源A光源B偏光技术应用实例偏光技术应用实例照明技术：防外乱光技术应用照明技术：防外乱光技术应用机器视觉系统组件——镜头镜头机器视觉系统组件——镜头镜头成像尺寸成像尺寸焦距与视场角焦距与视场角焦距与视场角例如：使用HV1303UM拍摄视野为440mm*330mm拍摄距离为2500mm焦距与视场角例如：常用公式放大率物距像距焦距物高像高常用公式放大率镜头分辨率分辨率单位：lp/mm影响因素：

镜头结构、材质、加工精度

镜头的相对孔径越大，分辨率越高

光波长度，波长越短分辨率越高

视场中心较边缘分辨率高

同档次的固定焦距镜头较变焦镜头分辨率高

短焦镜头一般边缘分辨率较中心低，长焦镜头一般中

心较边缘分辨率低。理想光学系统的最小分辨距离b=(0.61λ)/nsinωmax其中，λ为光的波长n为像空间介质折射率ωmax为像方孔径角当镜头对无限远成像，且像方为空气时（近似计算公式）

b=1.22λF其中，F为光圈数镜头分辨率分辨率单位：lp/mm远心镜头远心镜头镜头选型分辨率焦距光圈景深成像尺寸视场角远心畸变镜头选型分辨率机器视觉系统组件——工业摄像机工业摄像机机器视觉系统组件——工业摄像机工业摄像机工业摄像机分类按不同芯片类型划分：1、CCD摄像机2、CMOS摄像机工业摄像机分类按不同芯片类型划分：CCDSensor—FullFrameArraySensorOutput(Amplifier)Serialreadoutregister优点：填充因子(fillfactor)可以达到非常高，甚至达到100%。这样Sensor灵敏度非常大。缺点：由于传输和读出使用的时钟相同，因此Sensor上面的部分曝光时间比下面的长，这会造成Smear现象。为了解决这个问题，必须使用机械快门或闪光灯。CCDSensor—FullFrameArraySCCDSensor—FrameTransferSensor解决了FullFrameArraySensor发生Smear现象的问题从感光部分转移到屏蔽存储区域的时间约为500us优点：在曝光时间较长的情况下，Smear现象比FullFrameArraySensor小很多缺点：由于需要两个Sensor，因此成本非常高LightsensitiveCCD-sensorShieldedmemoryareaReadoutregister...............................CCDSensor—FrameTransfeCCDSensor—InterlineTransferSensors转移时间约为1us，因此完全不存在Smear现象。优点：由于转移时间非常短，因此不需要使用机械快门或闪光灯缺点：由于屏蔽区占用了Sensor的部分面积，因此使得此种传感器填充因子只能在20%~70%添加微镜头可以增加填充因子HorizontalshiftregistersverticalshiftregisterShielded(Photodiodes)SensorelementsOutput(Amplifier)CCDSensor—InterlineTraElectronicshutter&MicroLensesOverflowDrain主要用来消除CCDSensor的Blooming现象它也被用来实现电子快门通过MicroLenses可以将传感器的填充因子提高。CCD可以从80%提高到约100%CMOS可以从30%提高到约80%Electronicshutter&MicCMOSSensorCMOSSensorAOI由于CMOS可直接访问单个像素，因此在AOI非常小的情况下，CMOS与CCD相比，帧率上有较大的优势。CMOS

Sensor甚至可以将A/D转换集成到每个像素中去，在不使用AOI时帧率上也有优势AOI由于CMOS可直接访问单个像素，CCDvsCMOSCCDCMOS优1.图像质量高2.灵敏度高3.对比度高1.体积小2.片上数字化3.很多片上处理功能4.低功耗5.没有Blooming现象6.直接访问单个像素7.高动态范围（120dB）8.帧率可以更高劣1.Blooming2.不能直接访问每个像素3.没有片上处理功能1.一致性较差2.光灵敏度差3.噪声大CCDvsCMOSCCDCMOS优1.图CCDvsCMOSCCDCMOS串行处理并行处理，可直接访问单像素线性度好高动态范围低噪声存在固定模式噪声功耗一般功耗较低集成度较低高集成度，芯片上集成了很多功能CCDvsCMOSCCDCMOS串行处理InterlacedScanvsProgressiveScanInterlacedScanProgressiveScanInterlacedScanvsProgRollingShuttervsGlobalShutterRollingShutterGlobalShutterRollingShuttervsGlo

彩色摄像机1.Bayer2.3CCD3.3Lines4.…………彩色摄像机1.Bayer

彩色摄像机效果对比3CCDRawImageBayerDiffere