视觉测量技术(一)_视觉系统构成

1、视觉测量技术（一）（一） 视觉系统组成视觉系统组成丁雅斌丁雅斌、什麽是机器视觉？、什麽是机器视觉？人类的眼睛人类的眼睛机器视觉传感器机器视觉传感器以以光电传感器和计算机光电传感器和计算机为核心组成的能够为核心组成的能够模拟模拟人类视觉人类视觉而完成某项工作的方法及装备而完成某项工作的方法及装备 通过两维图像建立三维或高维真实世界的模型通过两维图像建立三维或高维真实世界的模型2、机器视觉应用、机器视觉应用 目标目标识别与定位识别与定位2、机器视觉应用、机器视觉应用 质量检测质量检测2、机器视觉应用、机器视觉应用 几何量测量几何量测量高速检测连续冲孔的高速检测连续冲孔的冲压零部件。冲压零部件。滚轴

2、的外观检测滚轴的外观检测可使用可使用2 2台线型相机台线型相机高精度检测长尺的高精度检测长尺的金属滚轴表面缺陷金属滚轴表面缺陷零件外观检测零件外观检测轴承的外观检测轴承的外观检测曲面外观检测曲面外观检测Rocky 7 火星车2、机器视觉应用、机器视觉应用 导航导航 Rocky7视觉系统获取的立体图象对视觉系统获取的立体图象对(a) 深度图象深度图象 (b)障碍物探测示意图障碍物探测示意图Rocky7 视觉系统对场景的深度恢复视觉系统对场景的深度恢复 2、机器视觉应用、机器视觉应用 导航导航2、机器视觉应用、机器视觉应用 其他应用其他应用智能交通监控三维重建 遥感图像分析（植被分析、考古发掘）遥

3、感图像分析（植被分析、考古发掘） 医学图像分析（骨骼定位）医学图像分析（骨骼定位） 安全鉴别、监视与跟踪（门禁系统、视频监控）安全鉴别、监视与跟踪（门禁系统、视频监控） 国防系统（目标自动识别与目标跟踪）国防系统（目标自动识别与目标跟踪） 文物保护（数字博物馆）文物保护（数字博物馆） 其他（游戏、动画、体育、人机交互）其他（游戏、动画、体育、人机交互） 机器视觉的一些基本概念机器视觉的一些基本概念1.1.平面视觉（平面视觉（Planar VisionPlanar Vision）：被测对象处在平面内，只对目标：被测对象处在平面内，只对目标在平面的信息进行测量的视觉测量与控制。在平面的信息进行测量

4、的视觉测量与控制。2.2.立体视觉（立体视觉（Stereo VisionStereo Vision）：对目标在三维笛卡尔空间内的信：对目标在三维笛卡尔空间内的信息进行测量的视觉测量与控制。息进行测量的视觉测量与控制。3.3.结构光视觉（结构光视觉（Structured Light VisionStructured Light Vision）：利用特定光源照射：利用特定光源照射目标，形成人工特性，由摄像机采集这些特征进行测量。结构光视目标，形成人工特性，由摄像机采集这些特征进行测量。结构光视觉可简化图像处理中的特征提取，大幅度提高图像处理速度。觉可简化图像处理中的特征提取，大幅度提高图像处理速度

5、。4.4.主动视觉（主动视觉（Active VisionActive Vision）：对目标主动照明或者主动改变摄：对目标主动照明或者主动改变摄像机参数的视觉系统。像机参数的视觉系统。5.5.被动视觉（被动视觉（Passive VisionPassive Vision）：如双目视觉。：如双目视觉。机器视觉的一些基本概念机器视觉的一些基本概念6.6.视觉测量（视觉测量（Vision Measure/Visual MeasureVision Measure/Visual Measure）：根据摄像机获：根据摄像机获得的视觉信息对目标的位置和姿态进行的测量。得的视觉信息对目标的位置和姿态进行的测量。

6、7.7.手眼系统（手眼系统（Hand-Eye SystemHand-Eye System）：摄像机和机械手构成的机器人：摄像机和机械手构成的机器人视觉系统。视觉系统。 . .Eye-in-HandEye-in-Hand：摄像机安装在机械手末端并随机械手一起运动：摄像机安装在机械手末端并随机械手一起运动 的视觉系统。的视觉系统。 Eye-to-HandEye-to-Hand：摄像机不安装在机械手末端，不随机械手运动：摄像机不安装在机械手末端，不随机械手运动 的视觉系统。的视觉系统。8.8.视觉控制（视觉控制（Vision Control/Visual ControlVision Control/

7、Visual Control）：根据视觉测量：根据视觉测量获得目标的位置和姿态，将其作为给定或者反馈对机器人的位置和获得目标的位置和姿态，将其作为给定或者反馈对机器人的位置和姿态进行的控制。姿态进行的控制。9.9.视觉伺服（视觉伺服（Visual Servo/Visual ServoingVisual Servo/Visual Servoing）：利用视觉信息对：利用视觉信息对机器人进行的伺服控制，是视觉控制的一种。机器人进行的伺服控制，是视觉控制的一种。3、 机器视觉检测系统的构成机器视觉检测系统的构成1 被测物体被测物体4 光照系统光照系统2 摄像机摄像机5 摄像机摄像机-计算机接口计算机

8、接口3 计算机计算机6 控制机构控制机构3.1 摄像机摄像机镜头 Lens（工业）摄像机 Camera聚焦光线生成图像摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机- Sensor 摄像机的作用：将通过镜头聚焦于像平面的光将通过镜头聚焦于像平面的光 线生产图像。线生产图像。 摄像机最重要的部件：数字传感器数字传感器CCD CCD （charge-coupled devicecharge-coupled device）电荷耦合元件CMOSCMOS（complementary metal-oxide semiconductorcomplementary metal-oxide semicon

9、ductor）互补金属氧化物半导体摄像摄像机机照照 明明接接 口口 CCD CCD （charge-coupled devicecharge-coupled device）电荷耦合元件 也称为CCD图像传感器。CCD是一种半导体器件，能够把光学影像转化为数字信号。 CCD上植入的微小光敏物质称作像素（Pixel）。一块CCD上包含的像素数越多，其提供的图像分辨率也就越高。 摄像摄像机机照照 明明接接 口口面阵线阵3.1 摄像机摄像机- Sensor 摄像摄像机机照照 明明接接 口口CMOSCMOS（complementary metal-oxide semiconductorcomplemen

10、tary metal-oxide semiconductor）互补金属氧化物半导体3.1 摄像机摄像机- Sensor 摄像摄像机机照照 明明接接 口口 CCD Vs CMOS CCD Vs CMOS CCD CMOS灵敏度灵敏度 高低成本成本高低分辨率分辨率高低抗噪声抗噪声好一般功耗功耗高低速度速度低高3.1 摄像机摄像机- Sensor 摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机-CCD 传感器传感器-尺尺寸寸CCD的尺寸，是说感光器件的的尺寸，是说感光器件的面积大小。面积大小。 主要有主要有2/3英寸、英寸、1/2英寸、英寸、1/3英寸、英寸、1/4英寸等。英寸等。面积越大，捕

11、获的光子越多，感光性能越好，信噪比越低。面积越大，捕获的光子越多，感光性能越好，信噪比越低。 2/3英寸的英寸的300万像素相机效果通常好于万像素相机效果通常好于1/2英寸的英寸的400万像素万像素相机相机(后者的感光面积只有前者的后者的感光面积只有前者的53%)。 而相同尺寸的而相同尺寸的CCD，像素越多，图像质量越好。价格越高。，像素越多，图像质量越好。价格越高。摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机-CCD 传感器传感器-尺尺寸寸 摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机 - 镜头镜头 - Lens镜头是一种光学设备，用于聚焦光线在镜头是一种光学设备，用于聚焦光

12、线在摄像机内部成像。镜头的作用是收集光摄像机内部成像。镜头的作用是收集光线，产生锐利的图像，以得到被测物体线，产生锐利的图像，以得到被测物体的细节。的细节。通常由一块或者多块光学玻璃或通常由一块或者多块光学玻璃或塑料组成的透镜组，基本单元为塑料组成的透镜组，基本单元为凹透镜、凸透镜，或其组合凹透镜、凸透镜，或其组合摄像摄像机机照照 明明接接 口口瞳孔瞳孔视网膜视网膜晶状体晶状体虹膜虹膜虹膜调节瞳孔的大小，对光线大小虹膜调节瞳孔的大小，对光线大小进行控制。进行控制。光线通过焦距光线通过焦距20的晶状体，在视网的晶状体，在视网膜上成像。膜上成像。3.1 摄像机摄像机 - 镜头镜头 Vs. 人眼人眼

13、摄像摄像机机照照 明明接接 口口保证通光量保证通光量Lens尺寸尺寸 Sensor尺寸尺寸3.1 摄像机摄像机 - 镜头镜头 型号型号摄像摄像机机照照 明明接接 口口控制进光量控制进光量F2.2、F2.8、F4.光圈光圈F值愈小，在同一值愈小，在同一单位时间内的进光量便单位时间内的进光量便愈多愈多由于光学原理和制造由于光学原理和制造成本的限制，摄影镜头成本的限制，摄影镜头在全开光圈时的像质并在全开光圈时的像质并不是最佳的，通常在收不是最佳的，通常在收缩光圈后，像质有明显缩光圈后，像质有明显的改善。的改善。每个摄影镜头都有每个摄影镜头都有一个或者多个最佳光圈，一个或者多个最佳光圈，在这些最佳光圈

14、下，画在这些最佳光圈下，画面的质量达到最好，分面的质量达到最好，分辨率高、反差均衡等。辨率高、反差均衡等。3.1 摄像机摄像机 - 镜头镜头 型号型号摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机 - 镜头镜头 型号型号摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机 - 镜头镜头 型号型号薄透镜原理薄透镜原理f: 透镜焦距长度透镜焦距长度F: 透镜焦点透镜焦点z: 摄像机常数摄像机常数 1z-1z=1f摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机 - 镜头镜头 焦距焦距摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机 - 镜头镜头 焦距焦距摄像摄像机机照照 明明接接 口

15、口3.1 摄像机摄像机 几种专业术语几种专业术语 分辨率分辨率 Resolution:被检测物体的最小特征被检测物体的最小特征尺寸尺寸像素像素 Pixel像素分辨率像素分辨率 Pixel resolution:图像上需要表达被测物图像上需要表达被测物体所需的最小像素个数体所需的最小像素个数 视野视野 Field of view物体可被检测到的区域，物体可被检测到的区域， 换言之换言之,它是物体填满传它是物体填满传感器图象的区域感器图象的区域 工作距离工作距离 Working distance 从镜头前端到被检测物从镜头前端到被检测物体表面的距离体表面的距离摄像摄像机机照照 明明接接 口口3.1

16、 摄像机摄像机 几种专业术语几种专业术语景深景深 Depth of field:在整个聚焦范围内，能在整个聚焦范围内，能够维持清楚成像对应的够维持清楚成像对应的最大物体的深度；最大物体的深度；也可定义为在允许聚焦也可定义为在允许聚焦的范围内，允许物体移的范围内，允许物体移动的范围。动的范围。图像图像 Image传感器尺寸传感器尺寸 Sensor size传感器的有效面积传感器的有效面积,典型典型的指标是水平尺寸的指标是水平尺寸摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机 选型步骤选型步骤1 1 明确被测物体的测量精明确被测物体的测量精度要求，选择适合的度要求，选择适合的CCDCCD尺寸

17、和像素数目尺寸和像素数目关注的要素：关注的要素：视野视野CCDCCD尺寸尺寸像素分辨率像素分辨率基本要求：被测物体基本要求：被测物体在某一方向上尽量充在某一方向上尽量充满摄像机的视野满摄像机的视野摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机 选型步骤选型步骤基本要求：被测物体在某一方向上尽量充满摄像机的视野基本要求：被测物体在某一方向上尽量充满摄像机的视野w wfovfov是摄像机视野在是摄像机视野在X X方向的尺寸，方向的尺寸，h hfovfov是是Y Y方向的尺寸方向的尺寸w w是物体是物体X X方向上的最小特征，方向上的最小特征，h h是是Y Y方向上的最小特征方向上的最小特征则

18、所需最小像素分辨率为则所需最小像素分辨率为2,2maxhhwwfovfov摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机 选型步骤选型步骤根据被测物体尺寸确定视野大小，根据被测物体尺寸确定视野大小，进而确定所需进而确定所需CCD CCD 的尺寸的尺寸CCDCCD上的像素数目上的像素数目最小像素分辨率最小像素分辨率数目数目摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机 选型步骤选型步骤1 1 明确被测物体的测量精明确被测物体的测量精度要求，选择适合的度要求，选择适合的CCDCCD尺寸和像素数目尺寸和像素数目2 2 确定相机的接口类型确定相机的接口类型3 3 确定镜头的焦距确定镜头的焦

19、距关注的要素：关注的要素：工作距离工作距离CCDCCD尺寸尺寸视野视野景深景深C or CS or F摄像摄像机机照照 明明接接 口口3.1 摄像机摄像机 选型步骤选型步骤焦距焦距=（CCD尺寸尺寸工作距离）工作距离）/ 视野视野如果工作距离不变，可选择定焦镜头如果工作距离不变，可选择定焦镜头如果工作距离时变，可选择变焦镜头如果工作距离时变，可选择变焦镜头如果被测物体本身高度变化大，即需要测量如果被测物体本身高度变化大，即需要测量的景深大，根据最大、最小距离都可清晰成的景深大，根据最大、最小距离都可清晰成像选择焦距范围像选择焦距范围3.2 照明照明摄像摄像机机照照 明明接接 口口1 1 光源类

20、型光源类型2 2 光照技术光照技术目的：使被测物体的目的：使被测物体的重要特征显现，抑制重要特征显现，抑制不重要的特征不重要的特征名称名称成本成本亮度亮度稳定性稳定性寿命寿命温度温度荧光灯荧光灯低低低低低低一般一般一般一般卤素灯卤素灯高高高高一般一般低低高高LEDLED光源光源一般一般一般一般高高高高低低光源类型光源类型摄像摄像机机照照 明明接接 口口光照技术光照技术摄像摄像机机照照 明明接接 口口利用有效照明使被测特征对比度最大化利用有效照明使被测特征对比度最大化用环型光照皱折物体失败用环型光照皱折物体失败用连续漫射光照皱折物体成功用连续漫射光照皱折物体成功光照技术光照技术-反射类型反射类型

21、摄像摄像机机照照 明明接接 口口镜面反射镜面反射对角直接反射光线对角直接反射光线漫射反射漫射反射所有方向漫射光线所有方向漫射光线光照技术光照技术-照明的方向照明的方向摄像摄像机机照照 明明接接 口口背光照射背光照射入射光照射入射光照射光源在摄像机对面光源在摄像机对面 光源在摄像机一方光源在摄像机一方 光照技术光照技术-背光照射背光照射摄像摄像机机照照 明明接接 口口形状测量形状测量 半透明物体测量半透明物体测量 增强被测工件的边缘轮廓增强被测工件的边缘轮廓 看到半透明物体的透光性看到半透明物体的透光性（相对障碍物光的通（相对障碍物光的通过特性）过特性） 观察出物体表面的光洁度、颜色、发射光观察

22、出物体表面的光洁度、颜色、发射光和不明显的高度变化和不明显的高度变化光照技术光照技术-背光照射背光照射的效的效果果摄像摄像机机照照 明明接接 口口用环型光照的灯丝用环型光照的灯丝Lamp filament with ring light用背光光照的灯丝用背光光照的灯丝Lamp filament with backlight光照技术光照技术-背光照射图像比较背光照射图像比较摄像摄像机机照照 明明接接 口口 通过塑料连接器的金属针通过塑料连接器的金属针Metal pins through plastic connector光照技术光照技术-背光照射图像比较背光照射图像比较摄像摄像机机照照 明明接接

23、 口口光照技术光照技术-入射光照入射光照摄像摄像机机照照 明明接接 口口入射光照射入射光照射光源在摄像机一方光源在摄像机一方 1 1、普通用途的光照、普通用途的光照( (明场或暗场明场或暗场 ) )General Purpose - Bright or Dark FieldGeneral Purpose - Bright or Dark Field2 2、关于光轴的漫射光照（区域照射）、关于光轴的漫射光照（区域照射） DOAL - Diffused On-Axis LightDOAL - Diffused On-Axis Light 3 3、均匀光的漫（散）射、均匀光的漫（散）射 （同轴照射）

24、（同轴照射） DOMEDOME入射光照入射光照-明场、暗场明场、暗场摄像摄像机机照照 明明接接 口口了解了解 “ “ W W ”反射光与光源角度相同。反射光与光源角度相同。明场：光线反射后进入摄像机。明场：光线反射后进入摄像机。暗场：光线反射后未进入摄像机。暗场：光线反射后未进入摄像机。入射光照入射光照-明场、暗场明场、暗场摄像摄像机机照照 明明接接 口口对形成高对比度有益，但反光表对形成高对比度有益，但反光表面会生成镜面反射面会生成镜面反射光源范围应在照相机透镜视野的光源范围应在照相机透镜视野的两倍处两倍处漫射光被反射进入照相机但镜面漫射光被反射进入照相机但镜面反射光线被反射离开反射光线被反

25、射离开光源在光源在“W”W”之外之外除有纹理的表面和凸高变化的表除有纹理的表面和凸高变化的表面之外，光线被反射而不进入照面之外，光线被反射而不进入照相机相机入射光照入射光照-明场、暗场明场、暗场摄像摄像机机照照 明明接接 口口入射光照入射光照-明场、暗场明场、暗场摄像摄像机机照照 明明接接 口口摄像摄像机机照照 明明接接 口口入射光照入射光照-明场、暗场明场、暗场摄像摄像机机照照 明明接接 口口入射光照入射光照-明场、暗场明场、暗场入射光照入射光照-明场、暗场明场、暗场摄像摄像机机照照 明明接接 口口入射光照入射光照-均匀光的漫（散）均匀光的漫（散）射射摄像摄像机机照照 明明接接 口口Obje

26、ctLight source(off-axis)入射光照入射光照-均匀光的漫（散）均匀光的漫（散）射射摄像摄像机机照照 明明接接 口口用区域光照的加工表面用区域光照的加工表面用用DOME光照的加工表面光照的加工表面入射光照入射光照-均匀光的漫（散）均匀光的漫（散）射射摄像摄像机机照照 明明接接 口口入射光照入射光照-关于关于光轴的漫射光照光轴的漫射光照 摄像摄像机机照照 明明接接 口口光源Light source物体Object漫散射器Diffuser光分束器BeamSplitter入射光照入射光照-关于关于光轴的漫射光照光轴的漫射光照 摄像摄像机机照照 明明接接 口口Courtesy of

27、RVSI/NER突出光洁表面与纹理表面反射光的不同突出光洁表面与纹理表面反射光的不同Emphasize Finish/Texture (reflection) Differences纹理表面光照纹理表面光照入射光照入射光照-关于关于光轴的漫射光照光轴的漫射光照 摄像摄像机机照照 明明接接 口口缺针的连接器缺针的连接器入射光照入射光照-关于关于光轴的漫射光照光轴的漫射光照 摄像摄像机机照照 明明接接 口口Courtesy of RVSI/NER金属轴上的激光码金属轴上的激光码入射光照入射光照-关于关于光轴的漫射光照光轴的漫射光照 摄像摄像机机照照 明明接接 口口倾角光照倾角光照突出倾角的变化突出

28、倾角的变化90% 机器视觉应用的成功案例来机器视觉应用的成功案例来自于恰当的照明自于恰当的照明.摄像机并不能看到物体；只能看摄像机并不能看到物体；只能看到从物体表面反射过来的光。到从物体表面反射过来的光。如果摄像机无法看到部件和标记，如果摄像机无法看到部件和标记，也就无法读取和检测。也就无法读取和检测。你应该知道：你应该知道：摄像摄像机机照照 明明接接 口口摄像机摄像机-计算机接口计算机接口摄像摄像机机照照 明明接接 口口图像采集卡是将模拟摄像图像采集卡是将模拟摄像机的图像信号经过机的图像信号经过A/DA/D转换，转换，或将数字摄像机的输出信或将数字摄像机的输出信号，通过计算机总线传输号，通过

29、计算机总线传输到计算机内存或显存，使到计算机内存或显存，使计算机能对摄像机拍摄到计算机能对摄像机拍摄到的现场图像进行实时处理、的现场图像进行实时处理、存储和显示的硬件设备。存储和显示的硬件设备。摄像机摄像机-计算机接口计算机接口摄像摄像机机照照 明明接接 口口模拟信号经A/D转换，传输至内存的图像相机“看”到的图像摄像机摄像机-计算机接口计算机接口摄像摄像机机照照 明明接接 口口v传统数字信号（传统数字信号（RS-422, LVDS)vCamera LinkvIEEE1394(Firewire)vUSBvGigabit Ethernet数字接口数字接口-LVDS摄像摄像机机照照 明明接接 口口

30、优点：高速，可靠性高，传输距离远，支持多相机连接。缺点：管脚定义不统一，兼容性差，电缆成本高。v LVDS 是一个低波动、差分I/O技术的高速接口。v 每线对最大传输率为655Mb/s。数字接口数字接口-Camera Link摄像摄像机机照照 明明接接 口口v 13对线（其中有 6线对数据线），使得接插件的尺寸更加的小巧。允许相机设计的体积更小。v 更高的传输速率。采用Channel Link芯片组( 支持速率达2.3Gb/s )满足对数据传输速率越来越高的要求。v 集成有串口通讯协议。数字接口数字接口-USB摄像摄像机机照照 明明接接 口口v 接口是4芯，其中2根为电源线、2根为信号线，接口体积小，可热拔插，可真正实现即插即用，适合传送多媒体数据的传送模式，连接方便。v USB 2.0向下兼容USB 1.1、USB 1.0，数