《机器视觉技术及其应用》课件-模块1项目2 机器视觉系统硬件的认识与选型

09:231工业相机的认识与选型任务1工业相机任务2工业镜头任务3机器视觉光源09:232任务1工业相机09:233工业相机最本质的功能就是通过CCD或CMOS成像传感器将光信号转变为有序的电信号，并将这些信息通过相应接口传送到计算机。

一、认识工业相机工业相机不带图像存储的接口，不能外接SD卡工业相机不带有观察窗或液晶显示屏工业相机的机身不带有集成的镜头工业相机不带有自动对焦/变焦功能接口。工业相机的结构简单，形状小巧，稳定性强，而且工业相机使用的是电子快门工业相机往往采用电信号控制触发拍照，实时输出数据单反相机工业相机一体式数码相机认识工业相机09:234

工业相机内部的功能模块主要由五大部分构成，分别为镜头接口，图像传感器，参数控制模块，数据传输接口以及供电、IO信号接口。认识工业相机相机内部结构图示工业相机智能相机板级工业相机09:235下图是一种基于计算机和工业相机（简称为PCBase）的机器视觉系统。PCBase架构的优势是可以拓展性强，灵活度高。计算机可以接入多个工业相机，实现多视场、多工位、多功能的应用组合。认识工业相机（PCBASE）工件传感器LED光源产线PCPLC

执行机构工业相机镜头

光源控制器工业相机视觉系统（PCBase）09:236下图是典型的基于智能相机的机器视觉系统。该系统与基于工业相机与计算机的视觉系统不同之处的在于，图像处理在相机端直接完成，并将判断结果传输给PLC。与PCBase系统相比，基于智能相机的系统更简洁稳定。认识工业相机（智能相机）工件传感器LED光源产线PLC

执行机构智能相机镜头

光源控制器智能相机视觉系统09:237根据图像传感器参数和特性的不同，可以将工业相机分为多种类别，如下表所示。二、工业相机的分类传感器类型CCD相机CMOS相机传感器结构面阵相机线阵相机传感器色彩输出黑白相机彩色相机09:238工业相机中负责感光及成像的核心器件为图像传感器。

最常见的图像传感器的芯片类型有两种，分别是CCD（Charge-coupledDevice，电荷耦合器件）和CMOS（ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体）。

这两种图像传感器的结构虽然不同，但是工作原理类似。当光照射在感光芯片的每个像素上时，因光电效应在每个像素上激发电子，经过AD转换之后，电流模拟信号变成二进制数字信号，从而生成图像。工业相机的主要类型（按芯片类型）相机成像芯片工作原理09:239CCD工作示意图感光像元电荷输出输出放大器CCD读出寄存器工业相机的主要类型（按芯片类型）09:2310CCD的基本感光单元为的MOS（金属-氧化物-半导体）电容。CCD的工作过程分为四个阶段，分别是电荷的生成、电荷的收集、电荷的转移、电荷的测量。CCD芯片的电荷收集及转移、测量是在像元外部完成。CMOS工作示意图工业相机的主要类型（按芯片类型）09:2311在CMOS传感器中，每个像素都有自己的电压转换，传感器通常还包括放大器、噪声校正和数字化电路。因CMOS每个像元独立完成AD转换，将会导致其输出图像均匀性较低。但因AD转换是大规模并行处理的，所以CMOS能达到更高的输出总带宽。CMOS与CCD对比表格

CCDCMOS优点噪声小；成像均匀性好；灵敏度高；芯片集成度高；制造难度低；帧率高；缺点芯片集成度低；制造难度高；帧率低；噪声大；成像均匀性差；灵敏度低；工业相机的主要类型（按芯片类型）09:2312CMOS和CCD的对比：CMOS的结构更简单，制造成本更低，CMOS逐渐成为工业相机中主要用的图像传感器。CCD更多应用在天文、生物、军事等高端领域。工业相机的主要类型（按芯片结构）a面阵相机图像输出b线阵相机图像输出09:2313按照传感器中像元的排列，可以将工业相机分为面阵相机和线阵相机两种。面阵相机的传感器像素排列是矩形的，面阵相机分辨率为其横向和纵向像元的个数，如1920*1080。线阵相机的传感器是线形的，线阵相机的分辨率为横向像元数乘以像元的行数，如4096*1。面阵相机每次获取的是一个面的信息，如图a所示。线阵相机每次获取的是一条线的信息，如果线阵相机要成像，需要将输出的每行像素拼接起来，如图b所示。线阵相机1409:23面阵相机1509:23人的肉眼感光是主要分为三个通道，蓝色通道B，绿色通道G，以及红色通道R。工业相机的主要类型（按色彩输出）09:2316基于分光结构的彩色工业相机成本较高，分辨率有限，目前只在印刷行业等色彩检测要求较高的场景中有应用。

目前市面上的彩色相机大都采用BAYER阵列的彩色CCD/CMOS传感器采集的颜色信息是插值得到的，严格意义上来说是不精确的，采集到图像边缘的对比度会比黑白相机差。三、工业相机的光学接口镜头C接口感光芯片镜头与相机的成像示意图09:2317相机的镜头接口有多种类型，镜头接口与相机必须互相匹配，镜头才能安装在相机上并且清晰成像。相机的图像传感器在1英寸以下时，往往都会采用C接口。镜头参数中标注的靶面尺寸2/3英寸，指的就是使用该镜头的相机芯片最大不得超过2/3英寸。在进行相机及镜头选型时，需要注意阅读相机及镜头参数，应参照其参数表，进行接口匹配选型。常见的四种镜头接口参数：工业相机的光学接口序号接口类型螺纹法兰后截距（mm）卡环直径（mm）1C口P=0.7517.52625.42CS口P=0.7512.525.43F口/46.5474M72P=0.7531.87209:2318C接口和CS接口是工业相机最常见的国际标准接口，C型接口和CS型接口的螺纹连接是一样的，区别在于C型接口的后截距为17.5mm，CS型接口的后截距为12.5mm。F接口镜头是尼康镜头的接口标准，所以又称尼康口，一般工业相机靶面大于1英寸时需用F口的镜头。M72接口具有更大的卡环直径与法兰后截距，可以匹配大靶面像素相机成像。C接口相机与C接口镜头工业相机的光学接口F接口镜头与F接口相机M72接口相机与M72接口镜头09:2319四、工业相机的接线相机背部结构图6pin相机及IO接口定义09:2320在相机的后端，是相机的数据传输接口与供电、IO信号接口。如果工业相机采用的传输协议不带供电，则需要通过外接电源实现相机供电。USB3.0协议因本身带有供电，所以USB3.0相机可以不用外接供电电源。如左图所示是一个千兆网相机背部的结构图，分别为6pin电源及I/O接口，数据接口，以及指示灯。如右图所示，千兆网相机需要对相机进行供电接线，将管脚序号1接入12v直流电源，将管脚序号6接入GND。如果需要对相机进行外触发，就要将触发正信号输入接入管脚序号2，将IOGND接入管脚序号5。

工业相机因机身不带图像算法处理功能，所以需要将采集到的图像数据通过协议传输到处理平台，不同图像数据传输协议采用的物理接口样式和结构不同。

常见的几种相机传输协议为USB2.0、USB3.0、千兆网、CameraLink、CoaXPress几种，他们各自有不同的特性，如下表所示。工业相机的接线接口类型带宽距离特点USB3.04.8Gbps5m常见，低成本，多相机扩展容易，传输速率高；GigE1000Mbps100m常见，低成本，多相机组网，传输距离远；CameralinkLinkBase/Medium/Full/Full+255/510/680/850（MBps）10m抗干扰能力强，传输带宽高，需配专用采集卡，配件成本高；CoaXPress6.25Gbps*N40m传输速率高，传输距离长，需配专用采集卡，配件成本高；09:2321GigE千兆网接口相机与线缆工业相机的接线USB3.0接口相机与线缆Coaxpress接口相机与线缆Mini-Cameralink接口相机与线缆09:2322分辨率：由横向分辨率和纵向分辨率两个参数构成，表示在图像传感器上，横向与纵向像素点的数量。五、工业相机的主要参数88*77分辨率359*319分辨率09:2323像元：指的是图像传感器上每一个像素点的尺寸，像元尺寸越大，则单个像素点感光越强。工业相机的主要参数单个尺寸4um*4um长度方向5像素，宽度方向5像素芯片尺寸为20um*20um09:2324快门：分为全局快门与卷帘快门，其主要差别在于，拍摄快速运动物体，采用卷帘快门的相机输出的图像会有运动形变工业相机的主要参数09:2325帧率：每秒钟相机采集图像的最大张数，相机帧率越高，每秒钟可采集图像的最大数量越多。工业相机的主要参数09:2326工业相机的主要参数动态范围：以8bit位深的图像为例，动态范围是指图像里灰度值为255的像元中电子数与灰度值为1像元中电子数的比例，动态范围越大，意味着像元之间采样的差异越大，也就是说明暗度的细节更多，对于户外成像应用，如自动驾驶，一般要求相机动态范围越大越好。09:2327工业相机的主要参数位深：将传感器像素感应到的电流信号转换为模拟信号时，要对其进行AD转换，所采用的二进制位数，就是位深。位深越高，那么其蕴含的信息细节越多，但是也意味着要处理的数据越大。一般工业相机都采8/10比特位深。09:2328信噪比：英文名称叫做SNR或S/N（SIGNAL-NOISERATIO)，指的是图像中有用信号与噪声的比例，计算方法位10lg(Ps/Pn)，Ps和Pn分别代表有像素灰度值与噪声灰度值。信噪比越高，则意味着噪声抑制越好。09:2329工业相机的主要参数09:2330传感器尺寸（靶面）：在相素不变的情况下,相机传感器尺寸越大,噪点控制能力越强。芯片大小标称参数使用对角线长度，1英寸=16mm工业相机的主要参数工作距离(WorkingdistanceWD)：

镜头第一个工作面到被测物体的距离视野范围(FieldofView,FOV)：

相机实际拍到区域的尺寸光学放大倍数：CCD/FOV09:233109:2332视野大小可以设定为80mm*60mm（考虑每次机械定位的误差，将视野比物体适当放大），假如能够取到很好的图像（比如可以打背光），那么我们需要的相机分辨率就是：80/(0.1/2)=1600pixcel

60/(0.1/2)=1200pixcel因此相机的分辨率至少需要1600*1200，帧率在10帧/秒，因此选择分辨率为1600*1200像素，帧率在10帧/秒以上的相机。检测要求：检测任务：尺寸测量产品大小：60mm*50mm精度要求：0.1mm流水线作业检测速度：10件/秒六、工业相机选型注：通常情况，图像采集很难达到理想状态，所以往往取精度（0.1）的1/2、1/3、甚至1/10进行相机分辨率的估算。3309:23工业镜头远心镜头任务2工业镜头09:2334一、工业镜头成像原理照相机运用的就是凸透镜的成像规律，镜头成像原理如图上所示，镜头就是一个凸透镜，要照的景物就是物体，胶片就是屏幕；物距、像距的关系通凸透镜成像规律一样。

工业镜头与单反镜头及电影镜头不同。如图所示，工业镜头不像单反镜头或电影镜头（图c）带有机身马达及对焦功能接口，工业镜头需要手动调节聚焦位置与光圈，而且焦距固定。工业镜头的优点是耐冲击性好，寿命长，成像畸变小。09:233509:2336二、相机与镜头的接口镜头接口分螺纹口和卡口。螺纹口主要是C口、CS口、M42、M50、M72等，卡口主要是F口、V口卡口：大靶面（分辨率）面阵相机和线阵相机常用卡扣镜头。F口是尼康镜头的接口标准，又称尼康口，适合大靶面相机。V口：施耐德镜头接口标准，适合大靶面相机。M42口：直径42mm，FB=45.5mm，螺纹距0.75mm。M50口：直径50mm，FB=45.5mmM72口：直径72mm，FB=45.5mmT2口：直径42mm，螺纹距离1mm09:2337工业镜头——常用接口C口&CS口接圈09:2338三、工业镜头的参数视野（FOV）：镜头所能拍摄的实际物理范围。

工作距离(WD)：镜头前端到拍摄平面的距离u。视场角（θ）：标准镜头视场角45°左右，一般焦距越短的镜头视场角越大。景深（DOF）：聚焦平面前后任然有一段可以清晰成像的距离，这段距离叫做景深。镜头的主要参数靶面尺寸：镜头成像的本质，是将物方的圆形视野聚焦，并在像方成一个圆形像，这个像圆的直径，在镜头参数中叫做靶面尺寸。如图所示，如果镜头靶面与图像传感器尺寸匹配（前者大于等于后者），那么成像为正常图像。假如镜头的成像圆小于相机的芯片对角线，那么会出现图示中类似于暗访画面的效果，即四个角出现黑边。09:2339镜头的主要参数光圈：光圈值是用以描述镜头通光量的参数，光圈越大，镜头通光量越多。镜头的光圈值F与镜头中孔径光阑的直径D以及焦距f有关，F=f/D，镜头的孔径光阑是可以调节的，它可以扩大或者缩小，从而改变光圈值和光通量，如图所示。09:2340镜头的主要参数镜头的聚焦范围和景深：镜头距离物体有效工作距离的范围称为聚焦范围，超出该范围则不能清晰成像。

镜头的景深是指在摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。镜头的景深与光圈、工作距离相关：光圈越大，工作距离越近，景深越小；光圈越小，工作距离越远，景深越大。如图，聚焦在某个目标时，光圈设置越大，景深范围越小，光圈设置越小，则聚焦目标前后的物体也变得清晰可见，景深即是越大。09:2341镜头的主要参数分辨率：定义为在像面处镜头在单位毫米内能够分辨开的黑白相间的条纹对数，右图表示的就是线对黑白条纹。

一个线对就是一条黑线与一条白线，100线对/毫米意思是在1个mm之内，存在100条黑白线。像元分辨率定义为单位毫米内像素单元数的一半，则如果像元尺寸为5um，则其像元分辨率为1/2*0.005=100lp/mm。

工业上为了便于镜头选型，标称镜头分辨率按照匹配的相机分辨率来表述。镜头标称分辨率百万像素二百万像素五百万像素镜头线对分辨率90lp/mm110lp/mm160lp/mm09:2342镜头的畸变：现实中因为设计和加工的原因，拍摄物体时是会产生形变的。被摄物平面内的主轴外直线，经光学系统成像后变为曲线，则此光学系统的成像误差称为畸变。畸变像差只影响成像的几何形状，而不影响成像的清晰度。畸变可以分为枕形畸变与桶形畸变。a正常图像b枕形畸变c桶形畸变相机标定板09:2343四、镜头的选型计算（普通镜头）假定物体成的像像长度为y'，物体的实际长度为y，镜头的焦距为f，镜头前端距离物体距离（工作距离）为WD，y'/y=f/WD给定要拍摄的物体是正方形，尺寸为100mm×100mm。相机分辨率为1920×1200，像元尺寸为4.8um，则图像传感器大小为9.2mm×5.8mm，因相机芯片为长方形，而物体为正方形，那么需要相机的短边罩住物体投影的像，才能对整个物体成像。如果指定工作距离为500mm，根据计算公式f=WD×y'/y，带入实际值，可以算出f=29mm。09:234409:2345视野大小可以设定为80mm×60mm（考虑每次机械定位的误差，将视野比物体适当放大）；假设工作距离为：450mm检测要求：检测任务：尺寸测量产品大小：60mm×50mm相机靶面：5.7mm×4.8mm工作距离：小于500mm工业镜头选型

选择焦距为35mm的定焦镜头，并适当增大工作距离；

定倍镜头：定焦镜头：09:2346五、工业镜头——远心镜头

远心镜头与普通镜头的根本差异在于远心镜头可以消除透视差，普通镜头的成像规律是近大远小，远心镜头成像规律是无论远近，大小一致。远心镜头的工作距离是恒定的，镜头前端到物体的距离不能改变，常见为远心镜头的工作距离为65mm及110mm。a普通镜头的成像效果b远心镜头的成像效果工业镜头——远心镜头09:234748任务3机器视觉光源一、光源的作用1）照亮目标，提高目标亮度。2）形成最有利于图像处理的成像效果。3）克服环境光干扰，保证图像的稳定性。4）用作测量的工具或参照。在工业案例中，实现稳定高效的光照意味着系统成功了一半。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要设计相应的照明装置，以达到最佳效果。Dome光明视场光源案例50二、工业光源的种类

常见的机器视觉光源，主要有荧光灯，卤素灯，LED光源等三种，他们各自有其优缺点。最初期的机器视觉系统，通常采用卤素灯。随着照明技术的发展，逐渐荧光灯也使用在视觉系统中。工业LED光源成本的降低极大地促进了机器视觉技术的普遍应用，因为LED光源可以更实现更灵活的结构和颜色设计实现，这也就意味着可以让出射光线的角度和颜色可以被灵活定制。而LED光源优点还不止于此，他的亮度可控，而且可以频闪，亮度大而且频谱丰富。因此LED光源的普及极大地增强了相机获得到的图像对比度，使得机器视觉系统可以更稳定，更高效。光源的种类高频荧光灯光纤卤素光源LED光源52三类光源的特点对比分析萤光灯卤素灯+光纤导管LED灯源价格低高中亮度低高中稳定性低中高闪光装置无无有使用寿命中低高光线均匀度高中低多色光无无有复杂设计低中高温度影响中低高53LED光源的分类根据LED光源颗粒的排列，可以将LED光源分为环形光源、背光源、同轴光源、AOI光源等。环形光源：环形光源指的是环状外观结构的LED光源，是最常见的光源种类之一，成本低，维护简单，根据照明的角度，可以将环形光源分为高角度环形光源及低角度环形光源。a高角度环光照明示意图b光源安装示意图c打光前后效果图55背光源：又称面光源，背光源的LED颗粒装在水平基板上，均匀朝上发光。它的特点是发光为一个面，对于透明物体，背光可以穿透；对于不透明物体，光线无法穿透，物体的形状轮廓将与背光形成对比，从而极易测量/检测。背光源照射下齿轮图片LED光源的分类LED光源的分类同轴光源：指的是光源的入射与反射为同轴的。半透半反镜的作用原理是让一半的光通过，一半的光反射。直接通过的光照射在黑色的基板上，无法进入相机视野内。而一半的光垂直向下反射到物体表面，再垂直向上进入相机中，因为光线入射与反射是同轴，所以称为同轴照明。LED光源的分类AOI光源：利用不同颜色以不同角度照射到物体表面，因物体表面的高度起伏不同，从而其反射的光线颜色和光路产生较大差异，从而使相机看到不同高度的颜色有很大差异，进而得到可检测的图像信息。相机红色LED绿色LED蓝色LED点位A点位B点位C58穹顶光源：又称碗光源、Dome灯、球形光源，外观上为半球形设计，是一种空间360度的无影光源，LED发出的光线经球面形成漫反射效果，照射到观测物表面的光线在均匀性和平滑性方面优于其他类型光源。09:2359点光源：结构紧凑，能够使光线集中照射在一个特定距离的小视场范围。09:2360点光源应用传递反射镜面反射漫反射吸收原理61三、光源的选型与打光技术照射物白色光(混合色)蓝色其它颜色被吸收明视场暗视场背光结构光Dome光同轴光光源打光技术62亮视野暗视野两种常见正向打光方式63暗视野亮视野低角度暗场照明64前向光明场照明65高角度照明光源照射方式：亮场——最直接的照明66各种光源的特征低角度照明光源照射方式：暗场——适合光滑表面的照明67各种光源的特征光源照射方式：背光——测量系统的最佳选择68各种光源的特征三维深度信息激光或线性光源固定角度照射光源照射方式：结构光——最简便的三维测量方法69各种