机器视觉技术与应用课件：3D视觉技术与应用

机器视觉技术应用CHAPTER

08061007

机器视觉测量应用

机器视觉软件二次开发应用

深度学习技术与应用

机器视觉引导应用093D视觉技术与应用Section节9.13D视觉技术9.23D视觉技术应用1、3D视觉技术TASK任务任务一、3D视觉及其相机二、3D视觉成像原理三、3D数据表示四、3D几何测量五、3D视觉应用案例一、3D视觉及其相机3D视觉技术分类一、3D视觉及其相机需要一个特殊的光学投射器来产生一定的光模式基于一幅或多幅图像中来获取物体三维形状信息,对光源没有严格的要求工业3D传感器类型一、3D视觉及其相机常见的工业领域3D传感器类型二、3D视觉成像原理3D视觉成像方法有很多种，其原理和实现过程也不尽相同，这里以TOF技术、单目视觉、双目立体视觉和结构光为例详细说明各自的成像原理二、3D视觉成像原理iTOF成像原理示意式中c=2.9979×108m/s，为光速，fm为光波频率。iTOF虽然工作原理复杂，但实现过程简单且依赖的额外硬件单一、成本较低。飞行时间(TOF)技术可分为直接TOF（简称dTOF）和间接TOF（简称iTOF）。TOF相机的每个像素利用光飞行的时间差来获取物体的深度。iTOF相机工作时，从发射极向目标发射近红外（~850nm或940nm）的脉冲波，遇到目标后反射，由于光在空气中的传播速度是不变的，通过发射和接收的光波的相位偏移Δφ确定目标的距离，进而确定产生的深度信息3D视觉成像方法有很多种，其原理和实现过程也不尽相同，这里以TOF技术、单目视觉、双目立体视觉和结构光为例详细说明各自的成像原理二、3D视觉成像原理对dTOF相机成像而言，探测器系统在发射光脉冲的同时启动探测接收单元进行计时，当探测器接收到目标反射的光回波时，探测器直接存储往返时间Δt，则目标距离可表示为dTOF测距方式为直接，原理简单易懂，抗干扰性好，在复杂环境、远距离场景下表现较好，但相机的分辨率较低，随机误差较高，通常会有厘米级的抖动单目视觉系统是指使用一台摄像机进行三维重建。其常见的实现方法为X恢复形状法(shapefromX)，这里的X包含图像的一些二维特征如明暗度、纹理、焦点、轮廓或者相机的运动。下面以运动法和调焦法为例介绍单目视觉成像原理二、3D视觉成像原理运动法可从静态目标场景的有序或无序图像集合估计相机运动轨迹并恢复三维场景结构，如图9.4所示。求解运动恢复结构问题主要包含三个阶段：图像特征提取与匹配、根据特征匹配关系估计相机运动、结合相机运动与特征匹配重建三维结构调焦法简称SFF(Shapefromfocus)，这种方法通过分析相机的光圈、焦距和拍摄图像的清晰度之间的关系获取物体表面的深度信息，从而重建出物体的三维模型。双目视觉重建过程双目立体视觉系统基于视差原理，由三角法原理进行三维信息的获取，即由两个相机的图像平面和被测物体之间构成一个三角形。已知两个相机的位置关系，便可以获取两个相机公共视场内物体的特征点三维坐标二、3D视觉成像原理根据两个相机安装位置的不同可分为两种双目视觉系统，一种称为平行式光轴双目视觉系统，另一种被称为汇聚式光轴双目视觉系统。为获取更大的视场，通常将左右相机分别绕光心顺时针和逆时针旋转一定角度形成汇聚式双目视觉系统双目视觉成像原理双目视觉重建过程双目视觉重建过程结构光的成像技术包括点结构光、线结构光和面结构光二、3D视觉成像原理结构光法根据投射光束的形态不同分为点结构光法、线结构光法和面结构光法，其实现过程主要通过观察物体表面结构光图案的形变程度来计算对应的三维形状和深度信息点结构光线结构光面结构光三、3D数据表示双目视觉重建过程深度图三、3D数据表示深度图深度图：深度图是表征场景中物体与3D相机之间的空间距离的图像。因为深度图包含三维场景下的深度信息，可以利用深度图的这一特点，结合相机内参数，完全解出图像中每一像素点在相机坐标系下的三维坐标，从而得到物体或者场景的三维点云模型。深度图比普通的RGB图像多出的一维空间信息更有助于构建物体的空间几何结构，因此深度图在机器视觉研究领域中具有重要地位双目视觉重建过程点云图三、3D数据表示点云：用来描述物体特征的3D空间中点的集合，每个点具有特定的位置信息(x,y,z)并且还会包含一些被测物体属性信息，如激光反射强度可以反映物体表面反射率，有利于区别被测物体表面材质；RGB颜色信息可以反映物体表面纹理，还有回波信息可以反映物体表面穿透能力。点云按照特征点的密度可分为稀疏点云和稠密点云两种。稀疏点云中特征点数量较少，可用于表示物体的几何结构如平面、路径等。稀疏点云的数据量小、可快速生成和处理，常被用于快速加载空间的结构信息，例如自动驾驶、扫地机器人等领域。稠密点云中特征点的数量较多，能够精细的表示物体的形状和外观，可实现三维场景或物体的全貌构建，这类基于点云的三维重建技术，被广泛应用于数字化城市建设、虚拟增强现实、古文物复原、医学研究等领域点云图双目视觉重建过程体素三、3D数据表示体素：体素是体积像素的简称，是3D空间中量化的、大小固定的点，相当于三维空间中的最小单位体素化的主要思想都是将物体切割划分，并与空白数据加以区分，只要分辨率足够大（即把目标物体分割的足够细密），物体的细节和体积都会完整的呈现在体素数据中体素双目视觉重建过程网格三、3D数据表示网格：网格是点云的细化分割的一种呈现形式，可实现将多面体表示为顶点与面片的集合，包含了物体表面的拓扑信息，在机器视觉中为了快速处理数据用三角形居多。三角形网格在计算机中存储表示为一个顶点数据和一个三角形数组，其中顶点数组包含顶点的坐标、法向量、颜色和纹理坐标等信息，三角形数组则存储着三角形顶点数组中的索引点云数据的稠密化过程需要在网格化的基础上完成，由于Delaunay三角剖分法进行细分时对网格曲面的细节进行了较好的控制同时遵循了严格的数学基础，因此该方法形成的网格为最佳网格网格四、3D几何测量双目视觉重建过程激光扫描系统的构成四、3D几何测量3D几何测量的点云可以通过激光扫描系统进行采集，激光扫描系统一般由激光发射器、成像系统、运动机构组成，线激光发射器与移动平台垂直，相机和激光器呈一定夹角，扫描时物体沿着Y轴方向移动在3D空间中，X方向分辨率是沿着激光线方向各测量点之间的水平距离，这个值和相机分辨率和视野大小有关，越靠近传感器，X方向分辨率越高；Z方向分辨率指示各点处可检测的最小高度差，即被测物高度的测量精度。被测物位于固定位置时，任意给定时刻各点上的高度值的变化限制了Z方向分辨率。这种变化由相机和传感器电子元件造成。双目视觉重建过程激光三角测量法原理四、3D几何测量激光三角法的原理是根据被测物体表面高度不同，激光光斑在图像上的位置也不同，根据激光发射器、相机和被测点之间的三角关系来计算出被测点距离和图像位置的关系五、3D视觉应用案例3D视觉应用案例五、3D视觉应用案例曲面屏测量食品缺陷检测连接器测量汽车装配检测3D视觉应用案例五、3D视觉应用案例AGV小车祝融号火星车刷脸支付刷掌支付3D视觉技术的发展趋势五、3D视觉应用案例3D视觉系统底层元器件、核心算法等技术的快速发展使得成像分辨率不断提高、图像采集速度和传输可靠性明显增强，丰富了工业视觉系统的应用场景。高性能和多场景智能化和实时性集成化和融合化随着人工智能、大数据和云计算等新技术的引入，工业3D视觉系统将变得更智能化、实时化。工业3D视觉系统也将朝着集成化、小型化的方向发展，各种模组（如光学模组、通信模组和计算模组等）会逐渐集成在一个设备中2、3D视觉技术应用TASK任务任务一、3D取像工具二、3D视觉测量及应用一、3D取像工具V+平台软件可方便使用者快速进行3D视觉方案的制作和实施，其取像工具的说明如下一、3D取像工具V+平台软件可方便使用者快速进行3D视觉方案的制作和实施，其取像工具的说明如下一、3D取像工具（1）3D取像工具：该工具实现从3D传感器或本地3D数据获取图像的功能（2）Z转CogImage16Range工具：从3D取像工具获取的图像需要经过该工具格式转换为高度图，方可在工具块中进行图像处理V+平台软件可方便使用者快速进行3D视觉方案的制作和实施，其取像工具的说明如下一、3D取像工具源：可选择相机或者本地图像设备：选择已连接的3D传感器图像模式：可选择灰度或者彩色保存：勾选保存即在取像完成后并保存路径：设置图像的存储路径，可选择指定文件夹或链接前置工具拼接的路径文件名：自定义所取像的名称行数：需要和“批处理点数”保持一致超时（s）：取像工具最长运行时间3D取像工具V+平台软件可方便使用者快速进行3D视觉方案的制作和实施，其取像工具的说明如下一、3D取像工具inputImage：默认链接前置工具的输出图像，可选择本地文件夹图像imagewidth：默认链接前置工具的输出宽度，可输入参数imageHeight：默认链接前置工具的输出高度，可输入参数xScale：X轴方向的分辨率，由传感器型号决定yScale：Y轴方向的分辨率与xScale保持一致zScale：Z轴方向的分辨率，该分辨率为16位图像中的参数，故等于传感器的Z轴高度值/65536Z转CogImage16Range工具二、3D视觉测量及应用3D测量技术指利用各种方法对被测物体进行全方位测量，在V+平台软件中能实现的3D测量功能如下二、3D视觉测量及应用常见的3D测量工具平面夹角测量工具测高工具平面提取工具体积测量工具在测量高度时，其测量流程为：首先，要使用平面提取工具确定测高的基准平面，其次，使用测高工具确定被测平面并完成高度测量二、

3D视觉测量及应用平面提取工具在使用过程中需要如下配置：（1）平面拟合算法选择（2）拟合算法所需参数设置在测量高度时，其测量流程为：首先，要使用平面提取工具确定测高的基准平面，其次，使用测高工具确定被测平面并完成高度测量二、

3D视觉测量及应用测高工具在使用过程中需要如下配置：（1）设定高度的正方向（2）选择需要测高的平面采用深视智能(SSZN)8060型号的激光线扫相机，其X方向分辨率为0.012mm，Z轴高度为18mm，对样品进行高度测量二、3D视觉测量及应用待测样品及其高度SSZN8060传感器采用深视智能(SSZN)8060型号的激光线扫相机，其X方向分辨率为0.012mm，Z轴高度为18mm，对样品进行高度测量二、

3D视觉测量及应用1.新建项目9解决方案，并保存为“项目9-任务2-3D视觉技术应用-XXX”2.单击“菜单”→“设备”→“3D相机”，双击“深视”3.参照左图设置“深视”传感器参数采用深视智能(SSZN)8060型号的激光线扫相机，其X方向分辨率为0.012mm，Z轴高度为18mm，对样品进行高度测量二、3D视觉测量及应用1.添加“001_内部触发”工具2.双击或拖出“图像”工具包中的“3D取像”工具，并链接至“001_内部触发”工具采用深视智能(SSZN)8060型号的激光线扫相机，其X方向分辨率为0.012mm，Z轴高度为18mm，对样品进行高度测量二、3D视觉测量及应用1.双击或拖出“Cognex”工具包中的“Z转CogImage16Range”工具2.同理，添加“004_ToolBlock”并链接至“Z转CogImage16Range”工具采用深视智能(SSZN)8060型号的激光线扫相机，其X方向分辨率为0.012mm，Z轴高度为18mm，对样品进行高度测量二、

3D视觉测量及应用1.“002_取像”工具属性配置：源：相机设备：深视1图像模式：彩色保存：勾选路径：根路径下的“Images”文件名：3D_Data文件类型：ZMAP行数：8700超时（s）：202.单击①处运行取像采用深视智能(SSZN)8060型号的激光线扫相机，其X方向分辨率为0.012mm，Z轴高度为18mm，对样品进行高度测量二、

3D视觉测量及应用“003_Z转CogImage16Range”工具属性配置：inputImage：链接“002_3D取像”工具的输出“Data”imageWidth：链接“002_3D取像”工具的输出“Width”imageHeight：链接“002_3D取像”工具的输出“Height”xScale：0.012yScale：0.012zScale：0.000275采用深视智能(SSZN)8060型号的激光线扫相机，其X方向分辨率为0.012mm，Z轴高度为18mm，对样品进行高度测量二、

3D视觉测量及应用“ToolBlock”工具配置：1.添加输入项为“003_Z转CogImage16Range”工具2.添加平面提取和测高工具3.将“Input1”依次链接至两个3D工具的输入图像即⑤和⑥处采用深视智能(SSZN)8060型号的激光线扫相机，其X方向分辨率为0.012mm，Z轴高度为18mm，对样品进行高度测量二、

3D视觉测量及应用“Cog3DRangeImagePlaneEstimat