计算机视觉三维测量与建模 课件 【ch01】绪论

第一章计算机视觉三维测量与建模绪论南京航空航天大学研究生教育教学改革专项（优质教学资源建设）项目资助01数字影像物理世界的物体针对不同频段的电磁波具有不同的辐射、吸收和透射特性。通常数字影像的成像过程是传感器将接收到的辐射、反射或透射的电磁波，从光信号转换为电信号，再转换为数字信号的过程。辐射量是从光源流出能量的总量，通常用瓦特度量。由于传感器的感光元件是众多离散化的单元，由此形成了影像对场景的离散化表达。数字影像一幅二维影像存储在硬件介质中的核心数据是一个二维数据矩阵，数据矩阵的每个元素被称为像素或像元(Pixel)。每个像素对应在矩阵中的位置具有整数型的行坐标和列坐标。在像平面坐标系下，像素对应位置的坐标可以记作[x,y]^T。每个像素记录了采样量化得到的光信号强度值，称为强度或亮度(ntensity)。因此，一幅影像可以表达为一个二维的高散函数I=f(x,y)。数字影像】9像素是影像的基本元素，下面以常见的电荷男合元器件(Charge-CoupledDevices,

CCD感光传感器组成的成像平面为例。CCD是一种半导体器件，能够把光信号转换为电信号，通过阵列式的排列，获得对连续场景的光场的离散化采样，形成数字影像。数字影像】9一幅影像所记录的观测场景的尺寸与观测距离和视场角有关。以影像宽度为例，一个像素所能显示的物理对象尺寸可以从几纳米到几千米变化，这称为空间分辦率，如透射电子显微镜的分辨率为0.20m，而遥感卫星的影像分辦率通常在米级甚至几十米。数字影像常见的彩色影像的每个像素位置记录了红、绿、蓝三个颜色图层的亮度值，通过三个值的组合来表达彩色信息。此时矩阵的每个像素实际对应一个包含三个亮度参量的向量[RGB]^T。可见光覆盖电磁波谱波长为380~760nm，用来描达彩色光源质量的三个常用的基本量是辐射量、光强和亮度。数字影像灰度影像指的是影像只有一个颜色亮度图层，此时每个像素仅包含一个亮度值。每个图层的每个元素可以取值的范围和亮度分辦率直接相关。计算机采用二进制设计原理，最常采用一字节(Byte)来记录一个亮度值。二值影像是灰度影像的一个特例，二值影像的灰度级仅包含。和1两个值。二值影像常被应用于分割、分类或掩模处理中，因为二进制取值可以用来代表阳性（Positive）和阴性(Negative)两种判断。数字影像深度图影像是在计算机视觉和摄影测量中常见的一种空间数据表达方式。深度图影像的像素记录的数值是从视点到观测场景的表面的深度信息，对应了一个乙值（深度值）。多光谱影像的每个像素包含在多个电磁频谱带内的采集到的能量信息，每个频带信息都是一幅灰度影像。每个像素的频谱亮度都可以组成一个亮度矢量，这个矢量是利用多光谱影像进行地物分类解析的重要基础特征。数字影像】9各种影像类型的示意如图1.1所示。数字影像02射影几何学基础提供了一个统一的框架来表示几何图元，点、线和平面。可以在无穷远处以直接的方式操作点、线和平面。为许多几何操作（如构造、交集和变换）提供了线性表示方式。010203射影几何学也叫投影几何学，在经典几何学中，射影几何处于一个特殊的地位，通过它可以把其他一些几何学联系起来。在射影几何学中，把无穷远点视为“理想点”。使用射影几何进行数学表达优点包括：射影几何学基础射影几何学基础射影几何学基础射影几何学基础02射影变换在平面空间中，二次曲线（Conics）也被称为圆锥曲线，有3种类型，分别是双曲线、椭圆和抽物线。这了类曲线都是不同方向的平面与三维的圆锥相交产生的截线。如果平面只与圆锥顶点一点相交，则是一种退化了的二次曲线。其中，二次曲线系数矩阵C是一个对称矩阵，它的元素为:二维射影变换（也称为二维单应变换）是指二维平面上的单应变换，可以表示为R^2。R^2→R’^2的单应转换矩阵被称为单应矩阵，用H表示。二次曲线射影几何学基础射影几何学基础】9二维仿射变换(AfineTransformation在射影几何变换的基础上增加了一条更严格的平行不变性约束，所有的射影变换性质都符合仿射变换性质。仿射变换是射影变换的一个特例，仿射变换是投影中心在无穷远处，从而使投影射线平行。仿射变换是通过一系列原子变换复合实现的，这些原子变换包括：平移、缩放、旋转和错切，如图1.2所示。射影几何学基础】9如图1.3所示，在三维空间中，有以下几点。射影几何学基础03欧氏空间坐标转换欧氏空间坐标转换欧氏空间坐标转换04成像模型与成像系统中的坐标系】9光学透镜成像系统中较常用的摄像机模型是小孔成像模型，除非明确指出，本书中讨论涉及的成像模型都是基于小孔模型展开的。当光线通过小孔时，在像平面上会呈现出物体清晰的影像。在实际的情况下，小孔总是有一定物理尺寸的，因此像平面的一点能够接收到锥形区域内的所有光线。图1.8描绘了成像模型中的各组成结构的几何元素及其关系。C点表示光心(Optical

Center)，又被称为摄影中心，它是在空间中介于三维场景和二维像平面之间的一个点。成像平面（焦平面）位于光心的后方且呈现倒置，但通常为了直观表示，将成像平面描述在负焦距的方向上。成像模型与成像系统中的坐标系123世界坐标系它是一种三维坐标系，可以运用欧氏空间理论中的内积运算来计算角度值，使用模运算来计算长度值。像空间辅助坐标系它类似于摄影测量学中的像空间辅助坐标系，是以摄像机为分析基准的坐标系，也是从三维空间转换到二维空间的一个桥梁。像平面坐标系这是一个二维坐标系。影像数据矩阵的行、列两个维度形成了理想的正交关系，因此可以直接定义坐标轴的方向。成像模型与成像系统中的坐标系成像模型与成像系统中的坐标系05常见的三维成像方式】9人工输入方法是一种最直接的获取三维模型的方式之一。该方法利用计算机辅助设计(ComputerAidedDesign,CAD）类软件工具（如AutodeskAutoCAD、Autodesk3DMax、GoogleSketchUp和UnigraphicsNX等）通过人工输入的方式确立模型的几何位置信息，并进行交互式的手工建模和渲染。这一类软件系统能够为用户的产品设计及加工过程提供数字化的外形观察和验证。熟练的操作员可以利用这种方法得到精细的场景模型和逼真的外观渲染，在过去很长一段时间内它都是三维建筑模型构建的主要技术手段。在前期没有测量数据或设计蓝图的情況下，人工建模的方法需要采用人眼视觉判断作为操作定位的标准而非物理测量值的精准定位，重建的几何位置结果缺乏准确性，无法精确地反映现实场景。常见的三维成像方式12飞行时间(TimeOfFlight,TOF)扫描仪TOF类型的扫描仪通过测量从发射端发出的辐射波到目标表面的往返时间来计算目标表面点的距离。相移扫描仪相移扫描仪利用正弦调制的强度随时间变换的激光束进行测量。通过观测发射信号和反射信号的相位差，计算目标与传感器之问的往返距离，如图1.12（b）所示。常见的三维成像方式3主动三角测量扫描仪主动三角测量系统从一个方向发出连贯的或不连贯的光模式，然后在另一个方向进行观测。常见的三维成像方式立体视觉测量这类系统对两幅或两幅以上的观测影像进行处理，找到空间点在多幅影像上的同名投影点，根据三角测量原理解算像点的空间坐标。由阴影恢复结构由阴影恢复结构算法首先确定目标反射模型以及观测时的光照方向，然后通过近似求解辐照度方程从而得到影像对应的观测目标三维信息。由剪影恢复结构这类系统从不同的角度来测量物体的轮廓信息，其中典型的扫描方式所使用的设备包括一个旋转的托台、统一的背景色和一个独立摄像机。010203被动式扫描通常具有采集设备价格低、采集操作简单灵活等优点，然而在获取密集的空问信息时算法的计算复杂度也会相应提高。常见的三维成像方式由纹理恢复结构该方法的主要步骤包括抽取重复纹理模式或者测量局部频率，以计算局部仿射变形，然后推测局部表面方向。由聚焦恢复结构通过判断同一区域的频率内容强度，来识别该区域在哪一幅影像上获得最佳的聚焦。通常情况下，这类重建精度取决于采样设置和实际的镜头的视场深度，整体而言难以做出非常精确的重建。0405被动式扫描通常具有采集设备价格低、采集操作简单灵活等优点，然而在获取密集的空问信息时算法的计算复杂度也会相应提高。常见的三维成像方式06三维计算机视觉的应用12工业测量在工业测量领域中，对工业部件的三维形状的测量方式可以分为接触式和非接触式两种。接触式技术可能是破坏性的，如切片，通过将对象剖切成连续组装在一起的二维形状来减小分析的尺寸。它也可以是非破坏性的，如关节臂，缓馒但准确地探测三维点。三维测绘遥感基于影像的三维重建系统或三维激光扫描设备可以获得大型空间目标的三维模型数据。在测绘遥感领域中，对桥梁、道路、地形和建筑物进行三维测量是许多工程的必要任务。此外，在文物古迹保护、数字化城市绘图和深空探测行星制图等方面，也需要进行测绘以获得三维信息。三维计算机视觉的应用3机器人导航定位在机器人导航定位领域中，三维视觉系统是一种十分重要的环境感知工具。基于视觉影像的定位技术具有成本低、精度高、无须对场景现有结构进行改动等优势。无人系统获取视觉影像后，处理器构建出机器人所处环境的三维地图，进而服务于避障、导航和定位抓取目标等任务。三维计算机视觉的应用测量范围。视场范围。01

工作距离。0203三维计算机视觉测量系统的常见技术指标参数包括以下几个：

分辨率。04重复精度。07测量频率/帧率。05

测量精度。06三维计算机视觉的应用】9三维计算机视觉是与摄影测量学具有同宗同源特点的一门三维测量学科。摄影测量学属于测绘学科的一个分支，至今已有百年的发展历史。它经历了从模拟信号处理到解析处理，再到数字化处理的发展阶段。计算机视觉三维测量技术与数字近景摄影测量的许多基础原理是一脉相承的，但关注的应用重点有所区别，偏重的技术也有所差异。两者的主要差异在于以下几点。第一点，计算机视觉三维测量主要使用齐次坐标表示点的转换，注重使用矩阵的性质(比如矩阵分解）来计算摄像机参数和结构参数。另外，两者对坐标系统的定义方式有所区别，这主要是因为摄影测量学要服务于测绘应用的目的，会尽量将其定义的坐标系与大地坐标系的坐标轴指向一致。三维计算机视觉的应用尽管计算机视觉理论在许多应用领域中都取得了突破性的进展，然而当人们动手开发一套面向具体应用的视觉系统时会发现，这样的一套系统会面临各种各样的现