机器视觉-相机

1、机器视觉中的图像采集技术机器视觉中的图像采集技术（硬件基础知识）（硬件基础知识）第二讲第二讲第二讲：机器视觉中的图像采集技术硬件基础知识第二讲：机器视觉中的图像采集技术硬件基础知识 基本结构基本结构 基本概念基本概念 分类与发展趋势分类与发展趋势 数字工业相机的传数字工业相机的传输接口输接口第一节第一节 工业相机工业相机第二节第二节 工业相机工业相机内容提要内容提要第二讲：机器视觉中的图像采集技术硬件基础知识第二讲：机器视觉中的图像采集技术硬件基础知识一、工业相机的基本结构一、工业相机的基本结构Digital Image Processing Module数字图像处理模块 Lens Mount

2、IR FilterImage SensorDrive Circuit驱动电路 Transmitting Controller 发射控制器 Video Signal视频信号 Channel to control the camera 通道控制 相机 第二节第二节 工业相机工业相机第二讲：机器视觉中的图像采集技术硬件基础知识第二讲：机器视觉中的图像采集技术硬件基础知识二、工业相机的基本概念（二、工业相机的基本概念（1）q 传感器的尺寸传感器的尺寸 图像传感器感光区域的面积大小。这个尺寸直图像传感器感光区域的面积大小。这个尺寸直接决定了整个系统的物理放大率。如：接决定了整个系统的物理放大率。如：1/

3、3“、1/2”等。绝大多数模拟相机的传感器的长宽比例等。绝大多数模拟相机的传感器的长宽比例是是4：3 (H：V)，数字相机的长宽比例则包括多，数字相机的长宽比例则包括多种：种：1：1，16：9，3：2 etc。第二节第二节 工业相机工业相机线扫描相机：线扫描相机： 用像素的一条线来成像，像在这条线的垂直方向移动。传感器获取一行数据，读用像素的一条线来成像，像在这条线的垂直方向移动。传感器获取一行数据，读出后再获取另一行数据。像的运动就提供了一个二维空间。线扫描相机可以有几出后再获取另一行数据。像的运动就提供了一个二维空间。线扫描相机可以有几K个像个像素，因此可提供高分辨率的像。许多线扫描相机能

4、够有较高的数据速率。这种相机和素，因此可提供高分辨率的像。许多线扫描相机能够有较高的数据速率。这种相机和采集卡的缺点是价钱较高。线扫描相机最多用在网状探测中，这里网连续的在相机的采集卡的缺点是价钱较高。线扫描相机最多用在网状探测中，这里网连续的在相机的成像视场中移动。成像视场中移动。线扫描相机具有灵敏度高，动态范围大，性价比高等特点。线扫描线扫描相机具有灵敏度高，动态范围大，性价比高等特点。线扫描CCD相机的主相机的主要优点是：要优点是： 在高分辨率应用中，低成本提高分辨率在高分辨率应用中，低成本提高分辨率 100%的填充因子（感光面积与整个像素面积之比的填充因子（感光面积与整个像素面积之比

5、） 动态范围高动态范围高 拍摄高速运动的物体时无需附加复杂的快门装置就能实现无拍摄高速运动的物体时无需附加复杂的快门装置就能实现无 smear输出输出线扫描相机系统的重点元素线扫描相机系统的重点元素 运动平稳运动平稳 速度跟踪精度高速度跟踪精度高 光源强度要求高光源强度要求高 二、工业相机的基本概念（二、工业相机的基本概念（2）第二讲：机器视觉中的图像采集技术硬件基础知识第二讲：机器视觉中的图像采集技术硬件基础知识二、工业相机的基本概念（二、工业相机的基本概念（3）q 相机扫描方式相机扫描方式 隔行扫描（隔行扫描（ Interlace ），模拟相机一般都是隔行），模拟相机一般都是隔行扫描。扫描

6、。请问如果是拍运动物体的话，会出现什么情请问如果是拍运动物体的话，会出现什么情况？怎么解决况？怎么解决?35246第二节第二节 工业相机工业相机第二讲：机器视觉中的图像采集技术硬件基础知识第二讲：机器视觉中的图像采集技术硬件基础知识二、工业相机的基本概念（二、工业相机的基本概念（4）q 相机扫描方式相机扫描方式 逐行扫描（逐行扫描（ Progressive scan ）,数字相机一般都逐数字相机一般都逐行扫描，行扫描，CCD和和COMS芯片在运动拍摄会出现什么情况？芯片在运动拍摄会出现什么情况？35241第二节第二节 工业相机工业相机第二讲：机器视觉中的图像采集技术硬件基础知识第二讲：机器视觉

7、中的图像采集技术硬件基础知识二、工业相机的基本概念（二、工业相机的基本概念（5）q 物理放大率物理放大率 传感器感光面积于视野的比值，整个参数基本传感器感光面积于视野的比值，整个参数基本取决于镜头取决于镜头q 系统放大率系统放大率 最后显示环节上目标的尺寸于实际目标尺寸的最后显示环节上目标的尺寸于实际目标尺寸的比值。系统放大率取决于物理放大率和显示系统比值。系统放大率取决于物理放大率和显示系统的阐述。对于自动测量和检测系统而言，物理放的阐述。对于自动测量和检测系统而言，物理放大率具有关键的意义。系统放大率仅仅对于需要大率具有关键的意义。系统放大率仅仅对于需要人机交互进行检测的系统有意义人机交互

8、进行检测的系统有意义第二节第二节 工业相机工业相机1.SENSORSENSOR:图像传感器；2.CMOSCMOS（Complementary Metal Oxide SemiconductorComplementary Metal Oxide Semiconductor）: : 互补型金属氧化物半导体；3.CCDCCD（Charge Coupled DeviceCharge Coupled Device）:电荷耦合器件；4.像素像素：感光器件上的基本感光单元，也是一幅图像的基本单元；5.5. 像素尺寸像素尺寸(pixel size):(pixel size):感光像元的大小，像元越大，敏感度越

9、高。如：10.6um*10.6um；6.分辨率分辨率(Number of Pixels)(Number of Pixels)：感光器件/图像的水平和垂直方向的像素数（1024X1024）； 7.信噪比信噪比：输出信号中有用信号和噪声的比（dB） ；8.帧帧/ /场场： 相机输出的完整的一幅图像为一帧，隔行信号一帧分为两场 时差20MS。帧率：相机每秒中能够输出图像的帧数，对于模拟制式相机，这个频率是固定值，对于数字相机，是个可变的值。二、工业相机的基本概念（二、工业相机的基本概念（6）9.Binning9.Binning：将几个像素联合起来作为一个像素使用，提高灵敏度，输出速度，降低分辨率 ；

10、10.快门速度快门速度：每帧图像的曝光时间； CCD/CMOS相机多数采用电子快门，通过电信号脉冲的宽度来控制传感器的光积分（曝光）时间。对于一般性能的的相机快门速度可以达到1/10000-1/100000秒。11.光谱响应：光谱响应：感光器件在不同波段的感光程度；12.量子效率：量子效率：光子转化成电子的效率（以%表示）；13.快门方式（快门方式（Shutter type)Shutter type)： Rolling（滚动）快门：逐行曝光方式，多数CMOS图像传感器上使用的快门，其特征是逐行曝光，每一行的曝光时间不一致，拍摄高速运动物体时出现拖尾。 Global（全帧）快门：CCD传感器和极

11、少数CMOS传感器采用的快门，传感器上所有像素同时刻曝光。全帧曝光方式，不会出现拖尾；14.AOI14.AOI（Area Of InterestArea Of Interest）：）：感兴趣区域；二、工业相机的基本概念（二、工业相机的基本概念（7）15.15.灵敏度灵敏度(Sensitivity):(Sensitivity):灵敏度是用来衡量传感器探测光照能力的 指标。灵敏度越高，探测光的能力越强，越能探测到很弱的光；最低照度，又称灵敏度，衡量相机对光线敏感程度的指标。通常情况下是指相机获得30最大输出值时候所需的照度。单位是Lux。16.16.满阱容量满阱容量(full well capac

12、ity):(full well capacity): 传感器是通过光电效应来积累电子进而输出电压。积累的电子存储在势阱中，势阱越深，存储的电子越多，能接受的光通量越大。满阱容量用势阱中能存储的电子数来计量，满阱容量越大，则相机的动态范围越大，抗噪能力越强，但同时灵敏度也降低了，因为需要更多的光子才能够输出； 17.增益增益：通过放大器对信号及噪声的放大 ；18.18.物镜接口方式（物镜接口方式（objective mount):objective mount): 工业相机物镜常用的两种接口方式，即C接口和CS接口。C接口的相机可以安装C和CS接口的物镜，而CS接口的相机只能安装同样接口的物镜；

13、19.19.动态范围动态范围 (Dynamic range ):(Dynamic range ): 动态范围等于满阱电容量与读出噪声的比值，二者的单位都是“电子”，相除就约去了，因此动态范围这个参数没有量纲的；动态范围表示图像中所包含的从“最暗”至“最亮”的范围。动态范围越大，所能表现的层次越丰富，所包含的色彩空间也越广。它能同时记录的暗部细节和亮部细节越丰富。二、工业相机的基本概念（二、工业相机的基本概念（8）20.20.白平衡（白平衡（White BalanceWhite Balance）: :在各种不同的光线状况下，目标物的色彩会产生变化。在这方面，在各种不同的光线状况下，目标物的色彩会

14、产生变化。在这方面，白色物体变化得最为明显：在室内钨丝灯光下，白色物体看起来白色物体变化得最为明显：在室内钨丝灯光下，白色物体看起来会带有橘黄色色调，在这样的光照条件下拍摄出来的景物就会偏会带有橘黄色色调，在这样的光照条件下拍摄出来的景物就会偏黄；但如果是在蔚蓝天空下，则会带有蓝色色调。在这样的光照黄；但如果是在蔚蓝天空下，则会带有蓝色色调。在这样的光照条件下拍摄出来的景物会偏蓝。为了尽可能减少外来光线对目标条件下拍摄出来的景物会偏蓝。为了尽可能减少外来光线对目标颜色造成的影响，在不同的色温条件下都能还原出被摄目标本来颜色造成的影响，在不同的色温条件下都能还原出被摄目标本来的色彩，这就需要摄像

15、机进行色彩校正，以达成正确的色彩平衡，的色彩，这就需要摄像机进行色彩校正，以达成正确的色彩平衡，就称为白平衡调整。就称为白平衡调整。二、工业相机的基本概念（二、工业相机的基本概念（9）21.21.伽玛纠正技术是一项被在实际显示中非线性响应特征中被伽玛纠正技术是一项被在实际显示中非线性响应特征中被广泛使用的技术。换句话说如果你传寄出一个广泛使用的技术。换句话说如果你传寄出一个“2 2”的亮度信的亮度信息至显示器上，那么最终这个像素并不会显示出相当于两个息至显示器上，那么最终这个像素并不会显示出相当于两个“1 1”的亮度，这就需要由的亮度，这就需要由GammaGamma曲线响做一些的纠正，使色彩曲

16、线响做一些的纠正，使色彩值看起来更加的自然。值看起来更加的自然。二、工业相机的基本概念（二、工业相机的基本概念（10）第二讲：机器视觉中的图像采集技术硬件基础知识第二讲：机器视觉中的图像采集技术硬件基础知识二、工业相机的基本概念（二、工业相机的基本概念（11）补充）补充q 分辨率(Resolution) 模拟制式相机的分辨率取决于传感器上像素的数目以及后期处理电路的质量，数字相机的分辨率则直接取决与传感器上像素的数目。感光器件上图像的水平和垂直方向的像素数（1024X1024）； 480768640480760574美制美制 RS RS 170 Norm 170 Norm欧制欧制 CCIR -

17、 NormCCIR - Norm第二节第二节 工业相机工业相机第二讲：机器视觉中的图像采集技术硬件基础知识第二讲：机器视觉中的图像采集技术硬件基础知识二、工业相机的基本概念（二、工业相机的基本概念（12）补充）补充q 传感器的光谱传感器的光谱下面是一个典型的CCD图像传感器对于不同光谱的响应曲线。第二节第二节 工业相机工业相机ACEGBDFHScan & transferab cd efghefghBinning 2*2相临4个像素的电荷相临2像素的电荷Binning 的作用，在于，把相临几个像素所积累的电荷累加起来。作为一个电荷进行转换。这样做的效果，相当于把几个像素拼成了一个大像素

18、使用。优点，速度快。缺点，分辨率降低。二、工业相机的基本概念（二、工业相机的基本概念（13）补充）补充ACEGBDFHScan & transferab cd efghVertical Binninggh这部分的电荷累积并不能节省时间，所以Vertical binning和 binning 2*2具有相同的速度优势二、工业相机的基本概念（二、工业相机的基本概念（14）补充）补充第二讲：机器视觉中的图像采集技术硬件基础知识第二讲：机器视觉中的图像采集技术硬件基础知识二、工业相机的基本概念（二、工业相机的基本概念（15）补充）补充q 信号格式模拟图像信号的格式包括：复合视频信号，Y/C分离

19、信号，RGB分量信号。绝大多数周边设备都能够兼容这些信号格式。通常情况下对于彩色视频信号，Y/C分离传输的方式优于复合视频传输的方式，RGB分量传输的方式又优于Y/C分离传输方式。 数字相机的信号传输格式更为复杂，目前普遍应用的包括： *IEEE-1394(Fire Wire) *USB2。0 *CameraLink *Ethernet，包括传输未经压缩影像的千兆协议和传输经过压缩影像的百兆协议。 上述数字相机的传输方式无论是在机械上还是在电气上都是不兼容的。第二节第二节 工业相机工业相机GAIN 通过调节电压放大环节调节图像亮度SNR 对于同等光照条件 SNR=A * T * C增大像素尺寸

20、、binning、长时间积分GAIN 增大，SNR会变小二、工业相机的基本概念（二、工业相机的基本概念（16）补充）补充按成像色彩划分 彩色工业相机 黑白工业相机按感光芯片工艺划分 COMS工业相机 CCD工业相机按信号输出类型划分 数字工业相机 模拟工业相机按感光芯片类型划分 线阵工业相机 面阵工业相机三、工业相机分类（三、工业相机分类（1）彩色形成，需要同一点的R/G/B三原色的数值。用空间叠放的三片CCD，分别感R，G，B光，并在感光后过滤掉相应色光。利用棱镜，将光线折射成三部分。在R，G，B三束光线 的方向上分别帖上三片感光片，各自感光。 利用BAYER滤光片，让相临四个像素分别只能接

21、收R， G,G，B光。每个像素输出的信息只是相应色光的灰度值。之后，通过软件合成为彩色。这样，每个像素的彩色信息其实是不独立的，依赖于相临像素的信息。SUPER CCD ，一个蜂窝型的CCD感光片，每个像素被使用3次，相当于增大了有效像素数量。工业相机分类（工业相机分类（1）补充：色彩的形成）补充：色彩的形成 许多系统分析师本能的选择彩色相机，因为他们觉得一幅黑白图象要比彩色图象要差，这是错误的。 黑白相机输出灰阶图象 ，每个象素点会根据光通量来赋予一个数值，每个象素产生的信息只与亮度有关，与颜色无关 。为了检测颜色，需要一个马赛克虑光片，这样就限制了感光芯片的分辨率。结果，黑白相机一般会比同

22、类的单芯片彩色相机的分辨率要高10。黑白相机有较高的分辨率，较好的信噪比，增强的光灵敏度，对比度也会比同类的彩色相机要高 。 彩色的图象需要更多的处理时间，但并不会产生更多关于物体的有用信息 工业相机分类（工业相机分类（1）补充：色彩的形成）补充：色彩的形成第二讲：机器视觉中的图像采集技术硬件基础知识第二讲：机器视觉中的图像采集技术硬件基础知识q 按输出信号区分 模拟信号相机模拟信号相机从传感器中传出的信号，被转换成模拟电压信号，即普通视频信号，后再传到图像采集卡中。 数字信号相机数字信号相机信号自传感器中的像素输出后，在相机内部直接数字化并输出。第二节第二节 工业相机工业相机工业相机分类（工

23、业相机分类（1）补充：信号分类）补充：信号分类 CCD/CMOSCCD/CMOS感光元件的核心感光元件的核心都是一个感光二极管，该二极管在接受光线照射之后能够产生输出电流，而电流的强度则与光照的强度对应。 周边组件：周边组件： CCD：感光二极管和一个用于控制相邻电荷的存储单元 。 CMOS：感光二极管和放大器与模数转换电路 。 结论： CMOS有效感光比率低，感光元件所能捕捉到的光信号就 明显小于CCD元件，灵敏度较低；体现在输出结果上，就是CMOS传感器捕捉到的图像内容不如CCD传感器来得丰富，图像细节丢失情况严重且噪声明显 。 工业相机分类（工业相机分类（1）补充：）补充：COMS和和C

24、CD比较比较工业相机分类（工业相机分类（1）补充：）补充：COMS和和CCD比较比较信号放大：信号放大： CMOS：每个像素都有模拟放大器，每个像素捕获的光电子都经过独立的有模拟放大器进行放大，其放大比率并不一致，导致图像噪音大。 CCD：光元件生成的电信号实在太微弱了，无法直接进行模数,CCD 有专门的放大器进行统一转换工作，其放大比率一致，因而成像效果非常不错；功耗：功耗： CMOS：感光二极管所产生的电荷直接由晶体管放大输出，这种做法虽然导致严重的噪声，但也令CMOS传感器拥有超低功耗的优点。 CCD：必须借助外来电压才能让每个感光元件中的电荷移动，这个外加电压的强度通常都达到12-18

25、V，这导致耗费较多的能源（最高可达同规模CMOS传感器的十倍之多），发热量也明显高于CMOS产品。由于需要外来电压，CCD传感器也就需要包括Power IC在内的电源管理电路，设计难度也远高于CMOS产品。 工业相机分类（工业相机分类（1）补充：）补充：COMS和和CCD比较比较制造工艺制造工艺 CMOS：采用标准的CMOS半导体芯片制造技术，很容易实现大批量生产，加之 CMOS的每个感光元件相互独立，即便有若干个元件出问题，也不会影响传感器的完整性。 CCD：采用电荷传递的方式传送电信号，只要有其中的一个感光元件无法工作，信号传输将无法继续，一整排的图像信号将因此缺失，情况严重的话将导致整枚传感器芯片因此报废。由于制造工艺不同，CCD传感器本体与周边电路无法整合 ，无法实现整个模块小型化 。结论：CMOS的成品率要比CCD高出许多，这就决定了CMOS在制造成本方面拥有绝对的优势 。 CMOS优势：制造成本、功能集成、功耗特性等三方面对 于CCD有一定的优势。CCD优势：捕光灵敏度、像素规模及噪声控制等方面优于CMOS。 CMOS传感器领域出现的新技术 ： 1.通过增大传感器尺寸，增强相机的光学输入能力，成功解决了CMOS传感器捕光灵敏度弱和分辨率较低的难题虽然大尺