




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第一章计算机视觉三维测量与建模绪论南京航空航天大学研究生教育教学改革专项(优质教学资源建设)项目资助01数字影像物理世界的物体针对不同频段的电磁波具有不同的辐射、吸收和透射特性。通常数字影像的成像过程是传感器将接收到的辐射、反射或透射的电磁波,从光信号转换为电信号,再转换为数字信号的过程。辐射量是从光源流出能量的总量,通常用瓦特度量。由于传感器的感光元件是众多离散化的单元,由此形成了影像对场景的离散化表达。数字影像一幅二维影像存储在硬件介质中的核心数据是一个二维数据矩阵,数据矩阵的每个元素被称为像素或像元(Pixel)。每个像素对应在矩阵中的位置具有整数型的行坐标和列坐标。在像平面坐标系下,像素对应位置的坐标可以记作[x,y]^T。每个像素记录了采样量化得到的光信号强度值,称为强度或亮度(ntensity)。因此,一幅影像可以表达为一个二维的高散函数I=f(x,y)。数字影像】9像素是影像的基本元素,下面以常见的电荷男合元器件(Charge-CoupledDevices,
CCD感光传感器组成的成像平面为例。CCD是一种半导体器件,能够把光信号转换为电信号,通过阵列式的排列,获得对连续场景的光场的离散化采样,形成数字影像。数字影像】9一幅影像所记录的观测场景的尺寸与观测距离和视场角有关。以影像宽度为例,一个像素所能显示的物理对象尺寸可以从几纳米到几千米变化,这称为空间分辦率,如透射电子显微镜的分辨率为0.20m,而遥感卫星的影像分辦率通常在米级甚至几十米。数字影像常见的彩色影像的每个像素位置记录了红、绿、蓝三个颜色图层的亮度值,通过三个值的组合来表达彩色信息。此时矩阵的每个像素实际对应一个包含三个亮度参量的向量[RGB]^T。可见光覆盖电磁波谱波长为380~760nm,用来描达彩色光源质量的三个常用的基本量是辐射量、光强和亮度。数字影像灰度影像指的是影像只有一个颜色亮度图层,此时每个像素仅包含一个亮度值。每个图层的每个元素可以取值的范围和亮度分辦率直接相关。计算机采用二进制设计原理,最常采用一字节(Byte)来记录一个亮度值。二值影像是灰度影像的一个特例,二值影像的灰度级仅包含。和1两个值。二值影像常被应用于分割、分类或掩模处理中,因为二进制取值可以用来代表阳性(Positive)和阴性(Negative)两种判断。数字影像深度图影像是在计算机视觉和摄影测量中常见的一种空间数据表达方式。深度图影像的像素记录的数值是从视点到观测场景的表面的深度信息,对应了一个乙值(深度值)。多光谱影像的每个像素包含在多个电磁频谱带内的采集到的能量信息,每个频带信息都是一幅灰度影像。每个像素的频谱亮度都可以组成一个亮度矢量,这个矢量是利用多光谱影像进行地物分类解析的重要基础特征。数字影像】9各种影像类型的示意如图1.1所示。数字影像02射影几何学基础提供了一个统一的框架来表示几何图元,点、线和平面。可以在无穷远处以直接的方式操作点、线和平面。为许多几何操作(如构造、交集和变换)提供了线性表示方式。010203射影几何学也叫投影几何学,在经典几何学中,射影几何处于一个特殊的地位,通过它可以把其他一些几何学联系起来。在射影几何学中,把无穷远点视为“理想点”。使用射影几何进行数学表达优点包括:射影几何学基础射影几何学基础射影几何学基础射影几何学基础02射影变换在平面空间中,二次曲线(Conics)也被称为圆锥曲线,有3种类型,分别是双曲线、椭圆和抽物线。这了类曲线都是不同方向的平面与三维的圆锥相交产生的截线。如果平面只与圆锥顶点一点相交,则是一种退化了的二次曲线。其中,二次曲线系数矩阵C是一个对称矩阵,它的元素为:二维射影变换(也称为二维单应变换)是指二维平面上的单应变换,可以表示为R^2。R^2→R’^2的单应转换矩阵被称为单应矩阵,用H表示。二次曲线射影几何学基础射影几何学基础】9二维仿射变换(AfineTransformation在射影几何变换的基础上增加了一条更严格的平行不变性约束,所有的射影变换性质都符合仿射变换性质。仿射变换是射影变换的一个特例,仿射变换是投影中心在无穷远处,从而使投影射线平行。仿射变换是通过一系列原子变换复合实现的,这些原子变换包括:平移、缩放、旋转和错切,如图1.2所示。射影几何学基础】9如图1.3所示,在三维空间中,有以下几点。射影几何学基础03欧氏空间坐标转换欧氏空间坐标转换欧氏空间坐标转换04成像模型与成像系统中的坐标系】9光学透镜成像系统中较常用的摄像机模型是小孔成像模型,除非明确指出,本书中讨论涉及的成像模型都是基于小孔模型展开的。当光线通过小孔时,在像平面上会呈现出物体清晰的影像。在实际的情况下,小孔总是有一定物理尺寸的,因此像平面的一点能够接收到锥形区域内的所有光线。图1.8描绘了成像模型中的各组成结构的几何元素及其关系。C点表示光心(Optical
Center),又被称为摄影中心,它是在空间中介于三维场景和二维像平面之间的一个点。成像平面(焦平面)位于光心的后方且呈现倒置,但通常为了直观表示,将成像平面描述在负焦距的方向上。成像模型与成像系统中的坐标系123世界坐标系它是一种三维坐标系,可以运用欧氏空间理论中的内积运算来计算角度值,使用模运算来计算长度值。像空间辅助坐标系它类似于摄影测量学中的像空间辅助坐标系,是以摄像机为分析基准的坐标系,也是从三维空间转换到二维空间的一个桥梁。像平面坐标系这是一个二维坐标系。影像数据矩阵的行、列两个维度形成了理想的正交关系,因此可以直接定义坐标轴的方向。成像模型与成像系统中的坐标系成像模型与成像系统中的坐标系05常见的三维成像方式】9人工输入方法是一种最直接的获取三维模型的方式之一。该方法利用计算机辅助设计(ComputerAidedDesign,CAD)类软件工具(如AutodeskAutoCAD、Autodesk3DMax、GoogleSketchUp和UnigraphicsNX等)通过人工输入的方式确立模型的几何位置信息,并进行交互式的手工建模和渲染。这一类软件系统能够为用户的产品设计及加工过程提供数字化的外形观察和验证。熟练的操作员可以利用这种方法得到精细的场景模型和逼真的外观渲染,在过去很长一段时间内它都是三维建筑模型构建的主要技术手段。在前期没有测量数据或设计蓝图的情況下,人工建模的方法需要采用人眼视觉判断作为操作定位的标准而非物理测量值的精准定位,重建的几何位置结果缺乏准确性,无法精确地反映现实场景。常见的三维成像方式12飞行时间(TimeOfFlight,TOF)扫描仪TOF类型的扫描仪通过测量从发射端发出的辐射波到目标表面的往返时间来计算目标表面点的距离。相移扫描仪相移扫描仪利用正弦调制的强度随时间变换的激光束进行测量。通过观测发射信号和反射信号的相位差,计算目标与传感器之问的往返距离,如图1.12(b)所示。常见的三维成像方式3主动三角测量扫描仪主动三角测量系统从一个方向发出连贯的或不连贯的光模式,然后在另一个方向进行观测。常见的三维成像方式立体视觉测量这类系统对两幅或两幅以上的观测影像进行处理,找到空间点在多幅影像上的同名投影点,根据三角测量原理解算像点的空间坐标。由阴影恢复结构由阴影恢复结构算法首先确定目标反射模型以及观测时的光照方向,然后通过近似求解辐照度方程从而得到影像对应的观测目标三维信息。由剪影恢复结构这类系统从不同的角度来测量物体的轮廓信息,其中典型的扫描方式所使用的设备包括一个旋转的托台、统一的背景色和一个独立摄像机。010203被动式扫描通常具有采集设备价格低、采集操作简单灵活等优点,然而在获取密集的空问信息时算法的计算复杂度也会相应提高。常见的三维成像方式由纹理恢复结构该方法的主要步骤包括抽取重复纹理模式或者测量局部频率,以计算局部仿射变形,然后推测局部表面方向。由聚焦恢复结构通过判断同一区域的频率内容强度,来识别该区域在哪一幅影像上获得最佳的聚焦。通常情况下,这类重建精度取决于采样设置和实际的镜头的视场深度,整体而言难以做出非常精确的重建。0405被动式扫描通常具有采集设备价格低、采集操作简单灵活等优点,然而在获取密集的空问信息时算法的计算复杂度也会相应提高。常见的三维成像方式06三维计算机视觉的应用12工业测量在工业测量领域中,对工业部件的三维形状的测量方式可以分为接触式和非接触式两种。接触式技术可能是破坏性的,如切片,通过将对象剖切成连续组装在一起的二维形状来减小分析的尺寸。它也可以是非破坏性的,如关节臂,缓馒但准确地探测三维点。三维测绘遥感基于影像的三维重建系统或三维激光扫描设备可以获得大型空间目标的三维模型数据。在测绘遥感领域中,对桥梁、道路、地形和建筑物进行三维测量是许多工程的必要任务。此外,在文物古迹保护、数字化城市绘图和深空探测行星制图等方面,也需要进行测绘以获得三维信息。三维计算机视觉的应用3机器人导航定位在机器人导航定位领域中,三维视觉系统是一种十分重要的环境感知工具。基于视觉影像的定位技术具有成本低、精度高、无须对场景现有结构进行改动等优势。无人系统获取视觉影像后,处理器构建出机器人所处环境的三维地图,进而服务于避障、导航和定位抓取目标等任务。三维计算机视觉的应用测量范围。视场范围。01
工作距离。0203三维计算机视觉测量系统的常见技术指标参数包括以下几个:
分辨率。04重复精度。07测量频率/帧率。05
测量精度。06三维计算机视觉的应用】9三维计算机视觉是与摄影测量学具有同宗同源特点的一门三维测量学科。摄影测量学属于测绘学科的一个分支,至今已有百年的发展历史。它经历了从模拟信号处理到解析处理,再到数字化处理的发展阶段。计算机视觉三维测量技术与数字近景摄影测量的许多基础原理是一脉相承的,但关注的应用重点有所区别,偏重的技术也有所差异。两者的主要差异在于以下几点。第一点,计算机视觉三维测量主要使用齐次坐标表示点的转换,注重使用矩阵的性质(比如矩阵分解)来计算摄像机参数和结构参数。另外,两者对坐标系统的定义方式有所区别,这主要是因为摄影测量学要服务于测绘应用的目的,会尽量将其定义的坐标系与大地坐标系的坐标轴指向一致。三维计算机视觉的应用尽管计算机视觉理论在许多应用领域中都取得了突破性的进展,然而当人们动手开发一套面向具体应用的视觉系统时会发现,这样的一套系统会面临各种各样的现实困难和挑战(如图1.15所示)。为了应对这些困难,工程师需要不断地调整方案、改进设计和增加限制性约束。这些工作往往占据了系统开发的大多数工作量,需要做大量的实践经验积累,而且真正使得系统能够产业化并且具备优势的关键都在这些微妙的处理中。三维计算机视觉的应用07小结三维计算机视觉测量的一种重要原始数据是数字影像,了解数字影像处理技术是学习计算机视觉技术的前提条件。此外,要掌握三维计算机视觉测量的原理与方法,需要对射影几何学有深刻的认识和理解。小结感谢观看第二章计算机视觉三维测量与建模摄像机的几何标定南京航空航天大学研究生教育教学改革专项(优质教学资源建设)项目资助01摄像机标定参数】9在透视投點成像的过程中,摄德机使用饼头来提高进入成像平面的光亮度,滅小了光线传输所需的能量。如图2.1所示,在实际应用的摄像机中,镇头由名个透镜组成,因此透镜的成像效果不会像小孔成像那样完全待合线性模型的特点。摄像机标定参数】9有了摄像机的焦距和主点等参数,以及镜头的畸变参数,就可以得到完整的摄像机的周有几何参数,即摄像机的内参数。内参数包含摄像机模型的几何参数和镜头畸变参数。在对畸变进行定义时,人们通常把其分为两类:径向畸变和切向畸变,如图2.2所示。摄像机标定参数切向畸变通常是由透镜安装位置不良造成的。当透镜没有与像平面保持完全平行时,镜头主光轴偏向使其与像平面不完全垂直,就会产生切向畸变。图2.3举例给出了一组实验测定的径向畸变和切向畸变的分量在影像中的分布情况。畸变校正的工作就是使影像的这些失真变形得到纠正,如图2.4所示。摄像机标定参数】9外参数是像空间辅助坐标系在观测目标所在的世界坐标系下的转换关系参数,通常用一组旋转角和平移向量表达。摄像机的标定技术可以是对内参数和外参数分别进行标定,也可以是将内外参数模型进行绑定,统一标定内外参数。摄像机标定参数传统标定法需要借助具有已知坐标点的参照物,通过建立参照点与影像上的同名像素点之间的对应关系,由特定算法来完成标定,获得摄像机的内参数和外参数。01传统标定法摄像机标定方法包含传统标定法、自标定法和主动视觉标定法等。摄像机标定参数自标定法是不需要已知坐标参照物的一种标定法。这种方法从影像上自动或半自动地提取特征点来作为控制点,仅仅依靠未标定的影像之间的几何关系确定摄像机参数。摄像机标定方法包含传统标定法、自标定法和主动视觉标定法等。主动视觉标定法借助摄像机本身的已知的或可控的运动信息进行标定。采用这种标定法不需要参照物,只需运动摄像机本身就可以做标定。02自标定法03主动视觉标定法摄像机标定参数02摄像机内参数标定摄像机内参数标定摄像机内参数标定摄像机内参数标定摄像机内参数标定摄像机内参数标定摄像机内参数标定摄像机内参数标定摄像机内参数标定03静态场景多视角下摄像机系统的自标定静态场景多视角下摄像机系统的自标定静态场景多视角下摄像机系统的自标定静态场景多视角下摄像机系统的自标定静态场景多视角下摄像机系统的自标定静态场景多视角下摄像机系统的自标定123此时,绝对双二次曲线的度量自标定过程如下:静态场景多视角下摄像机系统的自标定迄今为止所描述的自标定方法需要大量采集的影像之间的点对应关系。在某些场景中,尤其是那些包含诸如建筑物等人造物体的场景,从所采集的影像中提取线条而不是明确定义的点可能会更方便,如图2.6所示。场景中的平行线隐含了一组射影关系,它为影像标定提供了一种完全不同于之前算法的标定思路。迄今为止所描述的自标定方法需要大量采集的影像之间的点对应关系。在某些场景中,尤其是那些包含诸如建筑物等人造物体的场景,从所采集的影像中提取线条而不是明确定义的点可能会更方便,如图2.6所示。场景中的平行线隐含了一组射影关系,它为影像标定提供了一种完全不同于之前算法的标定思路。静态场景多视角下摄像机系统的自标定迄今为止所描述的自标定方法需要大量采集的影像之间的点对应关系。在某些场景中,尤其是那些包含诸如建筑物等人造物体的场景,从所采集的影像中提取线条而不是明确定义的点可能会更方便,如图2.6所示。场景中的平行线隐含了一组射影关系,它为影像标定提供了一种完全不同于之前算法的标定思路。场景中的两条平行线在无穷远处相交。在投影影像上,这些线通常不是平行的,并且在具有明确定义的影像坐标的影像点,处相交,这样的点称为“灭点”,如图2.7所示。图2.8给出了两个灭点的夹角的示意图,静态场景多视角下摄像机系统的自标定静态场景多视角下摄像机系统的自标定02射影变换在平面空间中,二次曲线(Conics)也被称为圆锥曲线,有3种类型,分别是双曲线、椭圆和抽物线。这了类曲线都是不同方向的平面与三维的圆锥相交产生的截线。如果平面只与圆锥顶点一点相交,则是一种退化了的二次曲线。其中,二次曲线系数矩阵C是一个对称矩阵,它的元素为:二维射影变换(也称为二维单应变换)是指二维平面上的单应变换,可以表示为R^2。R^2→R’^2的单应转换矩阵被称为单应矩阵,用H表示。二次曲线静态场景多视角下摄像机系统的自标定04摄像机系统的半自动标定】9Bouguet在2007年提出的标定装蛋由一个平面棋盘格图案组成,可以用激光打印机制作。该装置的部件将表示如下:“方形”表示装置的黑色或白色区域,不需要严格要求是方形的,也可以是矩形的;“角点”是四个方格接触的点,而“装置角”表示一个大方形和三个方格接触的最外面的四个角。该标定装置搭建起来非常简单,但不提供定位,这对于未按照标准几何图形排列的摄像机系统是必需的。对于由没有锋利边缘的无记号标记组成的改进装置,即使只有一部分装置可见,也可以获得定位。图2.9给出了Bouguet的原始标定装置和Kruger等人在2004年提出的标定裝置。摄像机系统的半自动标定】9典型的重投影误差的均方根误差(RootMeanSquareError,RMSE)应该是亚像素,理想情况下小于0.5像素。从棋盘格标定板中提取角点的像素坐标有一套相对成熟的流程。首先,对影像进行必要的滤波增强,减小噪声的干扰,并增大棋盘格亮度的对比度。然后,使用亮度加权运算将影像转换为灰度影像,并利用Canny边缘检测算子提取边缘像素。此时,在理想情况下,应该可以把棋盘格的黑白过渡的边缘线检测到。对检测的边缘进行直线拟合,获得直线方程。摄像机系统的半自动标定摄像机系统的半自动标定02圆形定向反光标志编码标志通过一定的明暗区间排列组合,在靶标上进行编码。在获得不同的观测影像后,分别对靶标区域的像素进行解码。从不同的影像之间找到相同解码值的靶标点,就能够直接获得点的匹配对应关系。编码标志的类型通常有3种:点分布型、同心圆环型和马赛克组合型,还包括这三种方式的混合设计。定向反光标志常以圆形定向反光标志(RRT,RetroReflectiveTarget)的形式呈现,其特点是反射亮度比漫射白色标志高出数百甚至上千倍,可以轻松使目标物的影像“消隐”而将RRT标志的影像突出。编码标志摄像机系统的半自动标定03圆形标志中心的提取摄像机系统的半自动标定05摄像机与激光雷达的联合标定123影像相关的数据融合处理通常分为三个不同的层次。像素级融合。合并关于同一场景的多个传感器的观测影像,生成复合影像。采用逐像素的采样方法,获得复合影像的像素亮度值。特征级融合。从原始影像中分别提取感兴趣的特征,然后对特征信息进行综合分析和处理,这是中等层次的融合。典型的特征信息有边缘特征、纹理特征和相似景深区域等。决策级融合。在进行融合处理前,先对原影像分别进行场景识别或判决,建立对同一目标或事件的初步判决。然后,对不同数据源的决策信息进行融合处理,获得最终的联合判决。摄像机与激光雷达的联合标定各传感器由于存在观测的着重点不同、性能有差异、工作环境不同等多方面的因素,使得各传感器观测同一目标获得的测量数据也不一定同步。因此,不能将获得的测量数据直接发送到融合中心进行融合处理,需要将不同传感器在不同时刻、不同空间获得的目标采集数据转换到统一的融合时刻和空间,即进行时空配准。多传感器融合的感知测量方案必须要解决不同传感器的时间同步和空间同步问题。时间同步配准是指多传感器在进行数据采集时,由于传感器本身的特性以及人为操作的原因,导致这些采集信息不同步,不能直接进行融合处理,需要对这些不同步的信息进行统一化处理使其同步。摄像机与激光雷达的联合标定影像传感器和激光雷达传感器可以融合起来使用,此时一个精准的外参数就很重要。首先,分别标定出摄像机和LDAR的各自内参数后,再进行联合标定,算法总体上分为参数初值估计和结果优化两部分。摄像机的内参数标定可以使用本章前面介绍的几何标定完成。联合标定就是要求出摄像机坐标系与激光雷达坐标系之间的坐标转换关系。摄像机与激光雷达的联合标定06应用举例为了从影像中提取控制点的影像坐标,MATLAB软件提供了摄像机标定工具包,该工具包在计算机视觉工具箱里提供应用程序和功能,以执行摄像机标定工作流中的所有基本任务:棋盘校准模式的全自动检测和定位,包括亚像素精度的角点检测;所有内参数和外參数的估计;镜头的径向和切向畸变系数的计算:影傲的畸变校正,支持校准标准、鱼眼镜头和立体视觉摄像机影像。它允许用户交互式地选择校准图像,设置失真系数,然后估计可以导出到MATLAB格式的摄像机参数。应用举例多源传感器融合模式下的数据鲁棒性和准确度都高于单一传感器工作模式。图2.16给出了两种图像与深度传感器组合工作的举例。应用举例应用举例07小结基于影像的三维重建技术高度依赖于摄像机的几何标定参数的准确性。标定既是一项成熟的技术,因为有很多工具可以使用,是一项不完全成熟的技术,因为在面临很多应用问题时,人们都需要单独设计标定方法或操作流程。小结感谢观看第三章计算机视觉三维测量与建模影像特征提取表达南京航空航天大学研究生教育教学改革专项(优质教学资源建设)项目资助01影像特征的基本概念】9影像的特征通常有多种表达方式,这些方式从各自不同的角度刻画了该特征的某些性质。影像问的像素点级别的匹配任务可以大致分为以特征点为对象的稀疏匹配和逐像素关联的密集匹配两类。在像素点级别之上,还有高级特征匹配,比如线特征匹配和面特征匹配。最后,语义型的对象级别匹配则是在关联上下文情境的基础上实现的一种高级匹配。影像特征的基本概念】9通常一个典型的特征匹配过程可以概括为三步:特征提取、特征描述和特征匹配。特征提取的目的是找到每一幅影像中具有特殊性质可以独立辨识的点、线或面等元素。针对点和线的提取算子有很多,而对于面特征的提取和表达研究则相对较少。影像特征的基本概念01特征提取的基本要求特异性,即特征点所在的位置应该呈现出区别于非特征点的明显特性,比如影像中的目标物边缘像素具有较大的亮度梯度变化的位置。可关联性,即在不同视角的影像中,对应同一个场景点的特征点应该能被重复检测到,并具备在影像之间相互匹配关联的能力。稳定性,这主要是指特征点的提取位置精度以及其在影像中的分散程度在数学上具有稳定的可表达能力。123影像特征的基本概念02特征描述的基本要求特征描述子应满足的基本要求包括:唯一性,即不同位置的特征点的描达结果应显著不同,否则在进行特征匹配时,很容易形成匹配歧义。独立性,即当使用高维向量作为描述子的数学表达时,其特征向量的各个维度间应该保持非相关的独立性,否则可以用降维算法对特征向量进行降维。影像特征的基本概念02特征描述的基本要求稳定性,即在不满足光照恒常或刚性结构等预设的假设条件时,特征描述子仍能够保证获得相似的结果。不变性,即在不同影像中,同名点对应的特征描述子能够适应尺度、平移、旋转等变换,反映出相同或相似的数值。影像特征的基本概念】9影像的局部特征的内涵是影像局部统计,即使是一些全局特征表达的算法,也需要使用局部统计信息作为算法的基础组成。局部统计的前提是需要定义一个局部的信息分析区域,即像素邻域范围。像素的邻域是一个紧凑的、简单连通的影像平面空间域子集,如图3.1所示。影像特征的基本概念02边缘和线特征提取01Roberts交叉算子边缘和线特征提取Prewitt算子02边缘和线特征提取Sobel算子03边缘和线特征提取Laplacian算子04边缘和线特征提取(1)Roberts交叉算子由于是交叉梯度算子,它对边缘正、负45°较多的影像提取边缘较为明显,但像素的定位准确率较差。(2)Prewitt算子对灰度渐变的影像边缘的提取效果较好,然而缺乏对距离权重的考感。(3)Sobel算子考虑了距离权重的影响,对噪声较多的图像的处理效果更好。Sobel算子的计算速度比Roberts交叉算子慢,但其较大的卷积核使翰入影像更平滑,从而降低了算子对噪声的敏感度。与Roberts交叉算子相比,Sobel算子通常也会为类似的边缘生成更高的输出值。(4)Laplacian算子对噪声比较敏感,由于其算法可能会出现双像素边界,因此常用来判断边缘像素位于图像的明区还是暗区。梯度算子应用的对比举例05边缘和线特征提取首先对待处理的影像进行高斯滤波平滑处理,去除影像中的高斯噪声,有效抑制高斯噪声这样的高频分量。高斯°波就是对整幅影像进行加权平均的过程,每个像素点的值都由其本身和邻域内的其他像素灰度值经过加权平均后得到。例如,使用3x3的高斯模板加权平均公式如下:01Canny算法的具体实現过程如下。02在高斯滤波后,计算像素的梯度幅值和具体方向。该步骤可选用的算子包括Sobel算子、Prewitt算子、Roberts交叉算子等。通常使用较多的是Sobel算子。边缘和线特征提取进行非极大值抑制。沿着梯度方向对幅值进行非极大值抑制,对提取出的梯度幅值进行网值过滤。具体采用双阈值技术进行边缘迟滞,设立高、低双阅值,对应进行强边缘和弱边缘像索的初步划分。Canny算法的具体实現过程如下。用双网值算法检测。选取系数高网值在和低值左,比率为2:1或3:1。对边缘点像素使用8连通区域进行进一步确认。如果存在连续临接的强边缘像素,则将其确定为输出边缘;如果弱边缘与强边缘临接,则弱边缘同样被输出为边缘;如果弱边缘像素或强边缘像素是孤立存在的,则抛弃这些边缘像素。030405边缘和线特征提取Snake(ActiveContourModels)边缘提取模型是KassM于1987年提出的。它可以从比较复杂的影像中提出感兴趣的目标轮廓,并且能高效地跟踪目标区域或者物体的运动,因此在医学领域中得到广泛应用。如式(3.16)所示,在处理局部间断的边缘时,提取效果比传统轮廓提取方法的效果好。边缘和线特征提取边缘和线特征提取边缘和线特征提取霍夫变换直线检测的完整步骤如下。影像预处理,包括将彩色影像转换为灰度图,使用一定的平滑滤波器对高频噪声进行滤波去噪。进行边缘像素提取,可以使用Laplacian算子、Canny算子或者Sobel算子等方法,然后对边缘提取的像素影像进行二值化。二值化的影像的非零点映射到霍夫变换参数空间,在参数空间中记录并存储落在参数位置的点的个数。根据统计网值进行判断,当某一参数位登的落入点个数大于某个國值时,这里即为潜在的直线参数。使用非极大值抑制方法在局部范围内取极大值,过滤干扰直线。边缘和线特征提取03点特征提取】9Harris角点是一种基于灰度影像的角点检测算法,因此在检测之前要将彩色影像转换为灰度影像。Harris算法对角点做了一个合理的定义,即在一个固定大小的窗口内对窗口内的像素求和,如果在向任何方向移动后像素值都发生较大变化,则该位置即为角点。如果只在一个方向上发生巨大变化,那么它很可能是一个直线的边緣,只有当它在所有方向变化巨大时才能被认为是角点,那么变化多大才能算是巨大变化,这决定了检测出的角点质量。点特征提取】9Harris角点提取的流程为:(1)将原始图像转换为灰度影像。(2)应用高斯滤波器来乎滑噪声。(3)应用Sobel算子寻找灰度图像中每个像素的×方向和,方向的梯度值。(4)对于灰度图像中的每个像素力,考虑其周围有一个3x3的窗口,并计算角点强度函数,称之为Harris分数。(5)查找超过某个國值并且是某个窗口中的局部最大值的像素(以防止重复特征)。(6)对于满足第(5)条标准的每个像素,计算一个特征描述符。点特征提取FAST角点提取算法具有速度快、点数目丰富、精度高的优点,成为近年来备受关注的基于模板和机器学习的角点检测方法。FAST角点提取的主要算法步骤如下:
以目标像素力为中心,在半径为了的圆上提取出16个像素点的亮度值
(p1,p2,-,pl6)
定义一个國值。计算小p9、p5、p13与中心的亮度值的差,若它们的绝对值有至少了个超过亮度國值,则将p当作候选角点,再进行下一步考察;否则,排除其是角点的可能性。点特征提取点特征提取01SIFT特征提取算法首先在像素尺度空间计算像素点上的交度值的梯度影像;然后,提取出具有独立性和稳定性的特征点,并以SIFT描还符进行特征编码,来适应影像的空间尺度变化和旋转变化等影响。下面阐达SIFT特征提取算法的实现步骤。首先构建尺度空间。点特征提取02为了检测D(X,Y,Z)的局部最大值和最小值,将每个采样点与当前影像中的8个邻居以及上下比例中的9个邻居(共26个邻居)进行比较。特征点定位03特征点过游特征点过滤就是将第2步检测到的特征点中曲率不对称的点和对比度低、不稳定的点过洁掉,这样做的目的是提高特征点的抗噪性能和匹配的稳定性。04确定特征点的方向点特征提取特征描述符的生成大致有三个步骤:①校正旋转主方向,确保旋转不变性。②生成特征描述子,最终形成一个128维的特征向量。③归一化处理,将特征向量长度进行归一化处理,进一步去除光照的影响。特征描述。02点特征提取SURF特征提取算法是在SIFT特征提取算法的基础上加以改进的一种特征提取算法,SURF特征提取的步骤如下。点特征提取SURF特征提取算法是在SIFT特征提取算法的基础上加以改进的一种特征提取算法,SURF特征提取的步骤如下。将经过Hessian矩阵处理的每个像素点与二维影像空间和尺度空间邻域内的26个点进行比较,初步定位出关键点,再经过滤除能量比较弱的关键点以及错误定位的关键点,筛选出最终的稳定特征点。点特征提取在SURF特征提取算法中,也需要给每个特征点分配一个主方向,这样才能确保特征点具有旋转不变性。采用的是统计特征点园形邻域内的Haar小波特征。以特征点为中心,计算半径为6s(s为特征点所在的尺度值)的圆形邻域内的点在x、y方向的Haar小波(Haar小波的边长取4s)响应。特征点主方向分配点特征提取SURF特征描述子。在SIFT算法中,提取特征点周围4×4个区域块,统计每小块内的8个梯度方向,用这4×4×8=128维向量作为SIFT特征的描述子。BRIEF特征描述子。由于通过二进制位的异或操作(XOR运算)和位计数,可以非常有效地计算汉明距离,因此在计算速度方面,BRIEF特征描达方法很容易胜过其他描述符。点特征提取12oFAST特征提取ORB的特征提取算法称为OFAST,顾名思义,就是在FAST算法的基础上加入方向信息,简单来说就是先用FAST算法检测出特征点,再给该特征点定义一个方向,从而实现特征点的旋转不变性。rBRIEF特征描述在找到关键点并为其分配方向后,使用修改后的BRIEF版本创建特征向量,无论对象的方向如何,它都可以为关键点创建相同的向量,使得ORB算法具有旋转不变性,意味着它可以在朝着任何角度旋转的影像中检测到相同的关键点。点特征提取非线性尺度空间的构建主要基于非线性扩散滤波原理,非线性扩散滤波的基本公式是:特征点定位与SIFT算法也非常相似,先计算各点在本层、上层和下层3×3×3的立方体空间邻域内响应值是否为极值,之后去掉重复点,最后得到亚像素级别的精确位置。所用的特征点主方向计算方法与SURF算法相似,在此不再赘述。01非线性尺度空间构建02特征点定位03计算特征点的主方向点特征提取光流问题是指尝试找出一幅影像中的点在第二幅影像中移动的位置,通常针对视频序列数据处理。点特征提取近些年随着卷积神经网络的推广,使用CNN进行特征提取和表达的技术也得到了发展(如图3.23所示)。CNN网络的卷积层和池化层可以提取图像特征,经过反向传播最终确定卷积核参数,得到最終的特征。点特征提取04纹理特征表达】9纹理是一种反映影像中同质现象的视觉特征,是影像的重要性质,它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性,如图3.24中的举例所示。纹理特征具有三个特点:某种局部序列性不断重复;排列具有一定的随机性;纹理区域内大致具有一定的统计特性。纹理特征表达01统计型纹理特征基于GICM的纹理特征提取方法主要包括影像预处理、灰度级量化和计算特征值3个步骤。(1)影像预处理。(2)交度级量化。(3)计算特征值。纹理特征表达02模型型纹理特征(1)随机场模型方法:试图以概率模型来描述纹理的随机过程,它们对随机数据或随机特征进行统计运算,进而估计纹理模型的参数,然后对一系列模型参数进行聚类,形成和纹理类型数一致的模型参数。(2)分形模型方法:分形维作为分形的重要特征和度量,把影像的空间信息和灰度信息简单而有机地结合起来,因而在影像处理中备受人们的关注。分形维在影像处理中的应用以两点为基础:①自然界中不同种类的形态物质一般具有不同的分形维②自然界中的分形与影像的灰度表示之间存在着一定的对应关系。纹理特征表达信号处理型纹理特征:建立在时域、频域分析与多尺度分析基础之上,对纹理影像中某个区域内实行某种变换之后,再提取保持相对平稳的特征值,以此特征值作为特征表示区域内的一致性以及区域间的相异性。结构型纹理特征:提取LBP特征向量的步骤如下,(1)将检测窗口划分为16×16的小区域(Cell),对于每个Cell中的一个像素,将其环形邻域内的8个点进行顺时针或逆时针比较,如果中心像素值比该邻点大,则将邻点赋值为1,否则赋值为0,这样每个点都会获得一个8位二进制数(通常转换为十进制数)。纹理特征表达(2)计算每个Cell的直方图,即每个数宇(假定是十进制数)出现的频率,然后对该直方图进行归一化处理。(3)将得到的每个Cell的统计直方图进行连接,就得到了整幅图的LBP纹理特征,然后便可利用支持向量机或者其他机器学习算法进行分类了。纹理特征表达】9下面介绍一种方向性纹理纺织物疵点的检测方法。纺织物疵点检测的方法有很多,其中与人视觉功能相似的小波和Gabor滤波器是近年来提出的两种重要的方法,两者都有多尺度、多分辦率的特性,适用于针对不同特征的疵点检测。Gabor滤波器作为一种方向性滤波器,在时域和频域都有着很好的局部性,适合用于具有方向的纹理检测。纹理特征表达05应用举例粒子滤波(ParticleFilter)跟踪算法是一种基于粒子分布统计的算法。在跟踪问题中,首先对兴趣目标的特征进行建模,并定义一种相似度度量,确定粒子与目标的匹配程度。均值漂移(Meanshift)算法是一种基于概率密度分布的跟踪方法,使目标的搜索一直沿着概率梯度上升的方向,迭代收敛到概率密度分布的局部峰值上。利用深度学习训练网络模型,得到的卷积特征的输出表达能力更强。01粒子滤波跟踪算法02均值漂移算法03基于深度学习的跟踪技术应用举例全景拼接是将对同一场景拍摄的多幅影像根据其空间对应关系,拼接成一幅大覆盖范围的影像。其中,特征提取和匹配技术是投影变换和像素拼接步骤的关键,具体操作如下。(1)在具有重叠观测区域的多幅影像之间,使用点特征提取算法,分别检测提取特征点,并建立特征描述符。(2)根据影像之间的特征描述符的匹配关系,找到同名像素的对应关系。应用举例(3)使用一些误匹配剔除技术(如RANSAC算法),获得稳健的特征对应,基于特征对应计算单应转换矩阵。(4)根据计算的每幅影像的单应转换矩阵,将影像进行重采样,把像素投影到一个统一的成像平面上,获得拼接图像。(5)对重叠区域的像素进行亮度值的均衡化,可以使用直方图均衡化技术实现,获得色调和谐的全景拼接影像。应用举例06小结特征提取属于许多视觉处理任务中的一个初级处理,它通常是场景三维重建、目标跟踪定位和语义识别等处理的先决条件。优良的特征提取技术需要对光照、遮挡、尺度差异和变形等干扰问题具有一定的适应性。小结感谢观看第四章计算机视觉三维测量与建模由运动恢复结构南京航空航天大学研究生教育教学改革专项(优质教学资源建设)项目资助01对极几何】9在基于影像的三维重建处理之前,参考影像上的像素点m对应的三维空间点M在场景中的准确位置是未知的,但它必然在一条通过摄影中心C且与成像平面相交于班点的直线(视线)上。直线,在待匹配的影像的像平面上的投影是线l’,那么在这个像平面上的对应的投影点班'也要在这条线上。更进一步,所有位于C、C’和雅三点所确定的平面上的空间点,在两幅影像上的投影都会落在直线l和l’上。可知,每个点的对应点都在l’上,反之亦然。对极几何对极几何基础矩阵F有一些重要的特性(1)如果西是一对摄像机矩阵(P,P’)的基础矩阵,则五是按相反顺序对(P',P)的基础矩阵。(2)对于第一幅影像中的任意点班,对应在另一幅影像上的极线为l’=Fm。类似地,I=F^Tp'表示与第二幅影像中的m'对应于第一幅影像的极线。(3)对于任何点班(e除外),极线l’=Fm包含第二幅影像中的极点e'。因此,对于所有点m,e满足e’^T(Fmi)=0,总有(e^T)=0,因此eTF=0,即e'是万的左零向量。类似地,Fe=0,即e是田的右零向量。对极几何本质矩阵E(EssentialMatrix)是由摄像机的外参数确定的,与摄像机的内参数元素无关。本质矩阵就是在归一化影像空间坐标条件下的基础矩阵的特例,基础矩阵是本质矩阵在不考虑摄像机内参标定矩阵的推广。与基础矩阵相比,本质矩阵西具有较小的自由度和附加的性质。对极几何02影像的单应变换】9影像的单应变换影像的单应变换03求解二视图的基础矩阵01八点算法基础求解二视图的基础矩阵以用八点算法求解二视图的基础矩阵有两个步骤:建立线性方程4f=0,由系数短阵A的最小奇异值对应的奇异向量f求出初始线性解区。根据奇异性约束,使Frobenius范数1取得最小值的作为最终的解。八点算法的优点是容易实现,且线性求解的运行速度快;然而缺点也很明显,即该算法对噪声敏感。12求解二视图的基础矩阵02归一化八点算法在实践中,将方程组归一化非常重要。系数矩阵A的元素是由影像像素坐标计算而来的,数值变换区间相差多个数量级。这种情況下SVD分解极易受坐标值测量噪声的干扰,而使结果不稳定。03非线性最小二乘算法八点算法最小化的误差是一个代数错误,然而理想的最小化目标函数是一个几何意义上的标量。可以采取的误差测量是点与外极线之间的距离D(m,l)。假设每个特征点上的噪声都是独立的零均值高斯,所有点的标准差都相同,则以下形式的最小化会产生最大似然解。求解二视图的基础矩阵求解二视图的基础矩阵首先对待处理的影像进行高斯滤波平滑处理,去除影像中的高斯噪声,有效抑制高斯噪声这样的高频分量。高斯°波就是对整幅影像进行加权平均的过程,每个像素点的值都由其本身和邻域内的其他像素灰度值经过加权平均后得到。例如,使用3x3的高斯模板加权平均公式如下:01Canny算法的具体实现过程如下。02在高斯滤波后,计算像素的梯度幅值和具体方向。该步骤可选用的算子包括Sobel算子、Prewitt算子、Roberts交叉算子等。通常使用较多的是Sobel算子。求解二视图的基础矩阵01随机抽样一致性检验RANSAC下面总结了二视图的对极几何求解过程。在两幅影像上分别使用特征提取算法提取特征点,并且对两幅影像的特征点进行特征匹配,获得初始匹配点对。从所有的匹配点对中,随机抽样选取7组匹配点对,根据7组点对,计算一个基础矩阵F并统计能够满足F的正常值,inlier)个效。求解二视图的基础矩阵01随机抽样一致性检验RANSAC统计inlier的比例,如果满足式(4.25)中的F>95%,则继续下一步;否则,跳回第(2)步。使用所有的inlier,重新计算一个优化的F。根据开寻找新的匹配点对。再一次使用所有的匹配点对,优化F。求解二视图的基础矩阵02RANSAC举例使用鲁棒算法能够根据两幅影像的像点特征对应,求解二视图的基础矩阵卫。根据RANSAC算法剔除误匹配可以有效地改善卫的求解效率和精度。图4.5给出了一组检验RANSAC算法的实验图,图片内容为北京市密云区古北水镇景区的复古建筑照片,两幅影像分别为在进行RANSAC验证前、后的特征匹配对应结果。求解二视图的基础矩阵两个视图射影几何的计算要求匹配点对所对应的内容是在三维场景中的,并且运动不仅仅是纯旋转。如果观察到的三维场景只覆盖一个平面区域,则基础矩阵最多只能确定三个自由度。当摄像机的运动是纯旋转时也是奶此。只有一个投影中心,是不能观测到深度信息的。在没有噪声的情况下,对这些退化情况的检测不会太困难。但实际采集的数据是存在噪声的,方程中剩余的自由度是由噪声决定的,此时估计退化问题就显得更加困难。求解二视图的基础矩阵可以用与4.3节中介绍的二视图几何计算类似的方式确定三视图或四视图儿何。由于满足三视图或四视图几何的结构点肯定也会满足二视图几何的结构,因此可以采用级联的方式进行匹配。求解二视图的基础矩阵04摄像机位置姿态和场景结构恢复摄像机位置姿态和场景结构恢复摄像机位置姿态和场景结构恢复对于每一幅新添加的影像视图,首先确定它在现有重建结构中的位置姿态参数,然后更新重建结构,如图4.8所示。摄像机位置姿态和场景结构恢复关联三个点是恢复影像的姿态所需条件最少的情况,称为透视三点(Perspective-3-Point,P3P)问题。扩展到更多的点,此时问题被称为PnP(Perspective-n-Point)。PnP描述了己知n个三维空间点以及它们的对应匹配影像上的像点坐标时,如何求解影像的位姿。如图4.9所示,实际上,最少3组不共线的匹配点对就可以估计一幅影像的位置姿态。摄像机位置姿态和场景结构恢复05光束法平差】9摄像机拍照的时候,三维空间点投影到影像上的过程是实际投影。根据影像的肉外参数和像平面点的匹配信息,可以用三角测量重建三维空间点坐标。将重建得到的三维空间点按照影像的投影矩阵进行再次虛拟投影,会得到在影像上的第二次投影的像素坐标,即重投影。图4.10表示了一个简单的SfM光束法平差中的空间点和像平面点的对应关系。光束法平差是以一个投影光束作为平差计算的基本单元,以透视投影的成像方程作为数学模型的基本方程。光束法平差】9最小二乘(LeastSquares,LS)法是对过拟合模型的一种最优解估计方法,它是应用最为广泛的一种凸优化求解方法。过拟合的情形也可以称为超定系统(Overdetermined
System)。在一组包含未知数的方程组中,如果方程的数量大于未知数的数量,那么这个系统就是一个超定系统。超定方程组一般是没有解析解的,只能求近似解。最小二乘法就是求超定方程组近似解的一种方法。在高斯白噪声的假设条件下,最小二乘解等价于极大仙然估计解。光束法平差在非线性最小二乘法中,高斯——牛顿(Gauss-Newton,GN)算法具有收敛速度快的特点,因此被广泛采用。光束法平差列文伯格-马奎特(Levenberg-Marguardt,LM)算法是一种带有阻尼项的改化GN算法。通过阻尼项的调节作用,该算法在初始解远离最优解时,有最速下降法的特点;在当前解靠近最优解时,收敛速率较快,相当于GN算法。列文伯格——马奎特(Levenberg-Marguardt,LM)算法是一种带有阻尼项的改化GN算法。通过阻尼项的调节作用,该算法在初始解远离最优解时,有最速下降法的特点;在当前解靠近最优解时,收敛速率较快,相当于GN算法。光束法平差光束法平差光束法平差光束法平差06应用举例目前,关于改进和完善SIM技术的研究主要集中在两个方面:(1)实时性,同时计算多个摄像机的欧氏重建,即实时在线地估计摄像机的位置姿态参数,甚至在未知摄像机参数的情况下估计内参数,这类研究在增强现实应用中具有重要的作用:(2)规模性,研究奶何有效地重构出涵盖更长的摄像机拍照轨迹,获得更大、更复杂的三维场景结构,这类研究主要面向城市类型的大规模建模应用。目前,关于改进和完善SIM技术的研究主要集中在两个方面:(1)实时性,同时计算多个摄像机的欧氏重建,即实时在线地估计摄像机的位置姿态参数,甚至在未知摄像机参数的情况下估计内参数,这类研究在增强现实应用中具有重要的作用;(2)规模性,研究奶何有效地重构出涵盖更长的摄像机拍照轨迹,获得更大、更复杂的三维场景结构,这类研究主要面向城市类型的大规模建模应用。应用举例07小结早期的SfM工作主要集中在刚性场景假设下的二视图和三视图的几何重建。要使影像重建三维结构正常工作,需要多幅影像从多幅视点观测同一场景。尽管观测影像的数目最小值为两幅影像。小结但有时候为了保证处理方法的魯棒性,需要至少三幅影像来观察每个场景三维点。SIM的重要发展之一是使用RANSAC技术在存在噪声的情况下,能够在两个或三个视图之间稳健地恢复出外极几何。小结感谢观看第五章计算机视觉三维测量与建模双目立体视觉南京航空航天大学研究生教育教学改革专项(优质教学资源建设)项目资助01标准形式的双目系统】9如果已知一对摄影机的内参数,就可以通过畸变校正算法,去除影像的几何畸变影响。然后利用对极几何关系,对两幅影像进行极线校正,得到标准形式的二视图关系,即极线方向与影像的行扫描线方向平行。接下来就能够用立体匹配算法进行密集像素匹配,标准立体匹配流程图如图5.1所示。标准形式的双目系统02匹配基础给定两幅影像,本章分别约定为参考影像(左影像)工和目标影像(右影像),立体匹配的目标是找到工,中的像素在中的同名点对应。极线校正的一种简单表示方法是将两个像空间坐标系旋转,使它们的光轴平行,且垂直于光心连线,如图5.3所示。极线校正之后,两幅影像上的视差只发生在x方向上,在y方向上没有视差。由此将两幅影像的同名点匹配搜索过程从二维像空间缩减到了一维空间上,从而提高匹配的准确性和计算速度。匹配基础常用的立体影像极线校正的方法是采用的Bouguet算法,该算法已经被集成到OpenCV库中,可以方便地调用它来完成二视图的极线校正。Bouguet算法是将求解出来的旋转矩阵R分解成左、右摄像机各旋转一半的旋转矩阵。分解的原则是使得左、右影像重投影造成的畸变最小,左、右视图的共同面积最大,主要步骤如下。将右影像平面相对于左影像平面的旋转矩阵分解成两个矩阵民和R,叫作左、右摄像机的合成旋转矩阵。匹配基础将左、右摄像机各旋转一半,使得左、右摄像机的光轴平行。此时左、右摄像机的成像面平行,但是基线与像平面不平行。构造变换矩阵Rrect使得基线与像平面平行。构造的方法是通过右摄像机相对于左摄像机的偏移矩阵t来完成的。匹配基础通过合成旋转矩阵与变换矩阵相乘获得左、右摄像机的整体旋转矩阵。左、右摄像机坐标系乘以各自的整体旋转矩阵就可使得左、右摄像机的主光轴平行,且像平面与基线平行。通过上述的两个整体旋转矩阵,就能够得到理想的平行配置的双目立体影像。校正后根据需要对影像进行裁剪,需重新选择一个影像中心和影像边缘,从而让左、右叠加部分最大。匹配基础通常影像数据在采集时刻会存在高频噪声的影晌,通过一个高斯卷积可以明显改善噪声的影响。因此在匹配之前进行匹配预处理十分必要。设一帧二维影像为f0(x,y),预处理过程就是为获得新的影像匹配基础视差图(DisparityMap)和深度图(DepthMap)是在立体匹配基础上得到的一组反眏空间二维和三维对应关系的二维图像。如图5.6所示,影像上像素位置的視差值对应着空间结构到成像光心连线(沿垂直于像平面的方向)的距离,即深度(Depih)。在极线校正后的影像上,每个目标像素点对应深度的计算公式为匹配基础03传统立体匹配算法】9BM算法首先构造一个小窗口,类似于卷积核。窗口的大小可以为3×3~21×21,通常情况下窗口的宽度是奇数确定窗口大小后,以待匹配的像素为中心,用窗口框选参考影像的区域内的所有像素点,同样用相同窗口框选目标影像并选出像素点。用两个窗口范围内的对应像素计算匹配代价函数。传统立体匹配算法对于纹理缺三的影像区域,极易出现误匹配或无法匹配的情况。01但是,该类以窗口匹配为基础的算法存在以下不足:02对由光照条件的变化所引起的纹理畸变较为敏感。03对摄像机的位置和姿态变化及场景深度变化所引起的纹理畸变比较敏感。传统立体匹配算法在纹理重复的区域中,可能会出现多个相关的峰值,这会导致误匹配的产生。04但是,该类以窗口匹配为基础的算法存在以下不足:05对遮挡情况没有很好的处理机制。传统立体匹配算法匹配算法都需要对像素进行匹配代价函数设计,不同的代价函数会对应形成不同的匹配代价度量。在众多匹配代价度量的算法中,围绕方差和相关性展开设计较为普遍。方差匹配的直观理解就是两幅影像的“距离”,也就是它们之间差别大小的量化概念;相关性则以模板与检测影像各个像素值相乘后得到的相关度为基础。传统立体匹配算法传统立体匹配算法代价聚合的目的是让代价度量的值可以较为精确地反映像素之间的相关性,单纯的代价匹配计算只考志单一路径以及局部区共的相关性。同时,在视差不连续的区域与纹理偏弱或重复纹理的区域,代价值很有可能无法反映左、右像素点的相关性,最直接的表现就是自动匹配的同名像点的代价并不是视差搜索范團内最优的值。传统立体匹配算法01唯一性检测传统立体匹配算法02左右一致性检测传统立体匹配算法连通域检测八点算法最小化的误差是一个代数错误,然而理想的最小化目标函数是一个几何意义上的标量。可以采取的误差测量是点与外极线之间的距离D(m,l)。假设每个特征点上的噪声都是独立的零均值高斯,所有点的标准差都相同,则以下形式的最小化会产生最大似然解。03传统立体匹配算法】9动态规划(DynamicPrograrnming,DP)算法应用在立体匹配中,是一种比较高效的全局匹配优化算法,整体精度相对可革。20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程(MultistepDecisionProcess)的优化问题时,提出了著名的最优性原理。同时,Bellman把多阶段过程转化为一系列单阶段问题,利用各阶段之间的关系逐个求解,创立了解决多阶段决策问题的优化方法——动态规划法。传统立体匹配算法传统立体匹配算法04图割优化匹配算法图割优化匹配法图割优化匹配法】9图割优化匹配法】9图割优化匹配法本节介绍一种简单线性迭代聚类(SimpleLinearIterativeClustering,SLIC)算法来进行超像索分割操作,它是在区均值聚类分割(K-means)算法的基础上进行的优化算法。下面介绍算法的具体实施步骤。进行分割中心初始化,利用规则化的格网将影像像素区间进行原始划分,格网的尺寸根据
计算获得。采样中心初始化在各个格网的中心,然后在3x3的格网邻域区间内移动寻找影像梯度变化最小的位置,这样做可以避免分割中心落在梯度大的边缘位置。图割优化匹配法对每个像素找到其所属的初始分割区间。每个像素仅与最邻近的聚类中心联系在一起,每个聚类中心联系的像素范围为2S×2S,仅当像素落在一个聚类中心的覆盖区域内时才与该中心进行分析。
迭代更新直至残差收敛。SLIC分割算法是一种改化的K-Means分类方法,它具有以下两大特点:(1)通过约束与超像素尺才成正比的搜索空间大小,优化过程的距离测度计算涉及的像素被大大减少,因此计算复杂度是与像素个数N成正比的线性复杂度O(N);(2)加权相似性测度西数是一个包含颜色和位置属性的函数,它可以控制超像素分割后的各像素块的尺度和紧凑度。图割优化匹配法图割优化匹配法Middlebury发布的第二版本测试数据包括tsukuba、venus、teddy三组立体影像,三组图像的最大视差的取值范围分别为16像素、32像素、64像素,所以具有较好的代表性,图5.16列出了三组影像的标准数据集图像(上)以及对应的真实视差图(下)。图割优化匹配法05结构光三维扫描如图5.18所示,空间变化的二维结构照射由特殊投影仪或由空问光调制器控制的光源产生。一个任意目标的三维表面被结构光投射图案所照射,该例的结构光的模式图案是空问变化的。成像传感器获取目标在结构光照射下的表面影像。改变三维曲面的几何形状,成像传感器捕获的影像也会发生相应的变化。结构光三维扫描结构光三维扫描使用连续变化的结构光图案的技术。01进一步可以将单点拍摄技术分为三大类:02使用一维编码方案的技术(条带索引)。03使用二维编码方案(网格索引)的技术。结构光三维扫描二进制编码使用黑白条带形成一系列投影图案,使得每个点都有唯一的二进制代码,该代码不同于其他任何不同点的代码。结构光三维扫描相移法是一种著名的三维表面成像的条带投影方法,它投射一组正弦图家到物体表面(图5.23),在相邻光平面之间插值,每幅影像的像素获得亚像素级别的条带值。投影三个相移正弦模式,三个投影条带图的每个像素(x,y)的强度都可以描述为:结构光三维扫描相移技术主要存在的问题是相位展开方法只提供相对展开,而不能求解绝对相位。如果两个表面的不连续性大于2元,则基于相位展开的任何方法都无法正确地展开这两个互相关联的表面之间的关系。这些通常被称为“整周期模糊度”的问题,可以通过结合使用灰度码投影技术和相移技术来解决。结构光三维扫描12光度立体法它从同一视点拍摄,通过改变光照射的方向,使用目标表面的影像序列来估计局部表面方向。它通过使用多幅影像解决了传统的SFS方法中的不适定问题。彩虹三维摄像机图5.28展示了利用彩虹带模式的三维摄像机的基本概念,前提假设是场景不会改变投影仪打出的光颜色。相比于必须从一对立体影像中提取相应特征以计算深度值的传统立体视觉,彩虹三维摄像机可将空间变化的波长照射投影到物体表面。结构光三维扫描34伪随机二进制阵列一种网格索引的方法,是在网格位置上使用的随二进制阵列(Pseudo-Random
BinaryArray,PRBA),产生点或其他图案标记,使任何子窗口的编码图案是唯一的。DeBruiin编码DeBruijn编码是应用了DeBruijn序列的结构光编码方法。n个字母m阶的序列是一个长度为n的圆形字符串,其中长度为m的各子串出现一次。结构光三维扫描】9结构光三维扫描06立体视觉标定】9摄像机标定过程建立了二维影像上的像素与物体点所在的三维空间中的摄影关系,并且考虑了镜头的喂变失真。在大多数应用中,标定技术可以使用简化的摄像机模型和一组内参数来表示这个关系。有几种方法和相应的工具箱可用,这些过程需要不同角度拍摄的照片和已知的标定对象的尺度信息。平面棋盘格是一种常用的标定对象,因为它的制作非常简单,可以用标准的打印机打印出来,并且有很容易被检测到的明显的角点。具体的原理和实现可以参见第2章中的技术方法。立体视觉标定02投影仪的强度标定此逆模型使得将二维影像上的像素与三维空间中的直线坐标的关联问题变得困难。寻找方法建立这种关联对应关系,就可以使用摄像机标定算法对投影仪进行标定。为了提高对比度,投影仪的强度曲线通常随着伽马变换而改变。当在三维成像系统中作为主动光源使用时,标定的目标是恢复照射强度的线性度。投影仪的几何标定立体视觉标定式中,d是视差的标准偏差。该方程表明,深度不确定度随深度呈二次暴增长。因此,标注双目立体视觉系统通常只能在有限的距离范围内工作。如果目标距离较大,则深度估计变得更不确定。立体视觉标定07应用举例实验数据。算法实现。精度评定。010203这些设各设施直接验证了月球车对地外星体探测的能力,为定量地分析各类算法精度和效率提供了可靠的支持与保障。应用举例08小结双目立体视觉技术涵盖了前面章节的许多基础知识,包括对极几何、摄像机标定、特征提取与匹配的理论。双目立体视觉无论是设备搭建还是程序开发实现,都是比较容易入手的。小结感谢观看第六章计算机视觉三维测量与建模点云滤波与分割南京航空航天大学研究生教育教学改革专项(优质教学资源建设)项目资助01采样点云特性】9随着数据采集设备的不断更新发展,三维点云的获取变得越米越便捷,采集数据的设备包括数码摄像机、结构光扫描仪、LiDAR扫描仪以及彩色深度(RGBD)摄像机等,然而数据获取方式的差异也使采样点云具有不同的属性,同时包括各种潜在的数据缺陷,是表面重建工作需要面临的重要挑战。接下来概括描达采样点云通常存在的一些典型问题,如图6.1所示,以一个点云片段的截面为例。采样点云特性嗓音(Noise)点云噪声通常是指数据点随机分布在靠近真实表面位置的情况典型的噪声受以下因素的影响:传感器的系统性问题、观测目标的材料散射特性、深度值测量质量、传感器与目标之间的距离等。0102外点(Outliers)外点也叫作异常值或者野值,它是指远商真实表面的采样点。小点的产生通常是由于在数据采集的过程中出现了结构性的错误。主要表现为随机地分布生真实表面周團的离散点,通常这部分点的密度低于正常采样数据的密度。外点也可以是戏群存在的,比如以较高密度点集群存在于远离真实表面的位置。03采样缺失(Missing)采样缺失是由于在扫描过程中传感器的采样范围有限、目标具有高吸收特性、目标形状遮挡等因素造成的。这使得部分目标表面没有采样数据,主采样密度为零的区域。采样点云特性密度不均(UnevenDensity)对目标物表面进行扫描采样时,点云在对应物体表面约密度分布被理解为采样密度。三维扫描产生的点云通常会具有采样密度不均匀的特点,这可能是由于采样目标与扫描仪的距离变化、扫描仪摄影方向变换、采样目标的自身形态特征等因素引起的。0405配准错位(Misalignment)有时数据采集不是一次性完成的,而是利用多角度或者多频次的采样拼接得到整个目标场景的点云数据的。采样点云特性采样点云特性】9从程序实现的角度出发,将待估计距离直接用平方项进行比较,避免开平方运算的消耗,可大大提高算法效率。几乎所有的ANN方法都基于对全空间的划分,迅速找到查询点所在的子空间,并将查询点与子空间内的数据点进行比较计算。对于具体的应用而言,邻域查询还被分为两种类型的查询,即:找到离查询点p,最近的k个点,不考虑这些点的分布范围;找到距p,小于半径r的至多k个点,此时查询结果的个数可能小于k个。采样点云特性在这些结构当中,八叉树和KD树是三维点云数据组织中应用最为广泛的两种。八叉树数据结构是由二维空间的四叉树数据结构推广到三维空间而形成的,它是种树形结构,在空间分解上具有很强的优势。采样点云特性KD树是一种用于组织&维空间中离散数据点的数据结构,它是一种二叉搜索树,在最邻近搜索上具有非常高的效率。采样点云特性02点云滤波增强】96.1节所述的建模算法对扫描点云的采样密度、表面法向量和噪声分布等特性都有一定的要求,虽然许多隐式建模算法都可以容忍一定程度的点云密度的稀疏分布和法向量的方向翻转错误的情况,但当存在大面积连续的法向量估计错误时,表面重建结果会有显著的缺陷。因此,准确的法向量估计以及优化的点云空间结构,对于表面建模工作具有十分重要的意义。在本节中,将介绍与点云结构增强相结合的法向量估计优化算法,可以提高离散点云数据质量。点云滤波增强点云的法向量信息对于采样点云的平面拟合、特征提取、表面分割、表面建模以及信息提取等研究来说有极其重要的作用。光滑表面在每一点上的法向量都有唯一的定义,即垂直于该点的空间切面的方向,在一个给定的点上切面空间的直观表示是一个局部表面近似。表面法向量可以是有向的,其中每个法向量始终指向表面的内侧或外侧;法向量估计的结果也可能是无向的,即具体指向不确定。有向的法向量为重建算法提供了非常有用的线索,然而如果与点云相关的某些信息是不存在的,那么要得到一个方向明确的法向量是非常困难的。点云滤波增强主成分分析算法确定法向量的指向点云滤波增强最小生成树(MST)算法使用Kruskal算法生成MST的方法可以称为“加边法”,初始最小生成树的边数为0,每迭代一次就选择一条满足条件的最小代价边,加入最小生成树的边集合里。具体步骤如下:(1)把图中的所有边按代价从小到大排序;(2)把图中的n个顶点视为独立的由n棵树组成的森林;(3)按权值从小到大选择边,所选的边连接的两个顶点应属于两棵不同的树,则成为最小生成树的一条边,并将这两棵树合并为一棵树;(4)重复上一步,直到所有顶点都在一棵树内或者有1-1条边为止。点云滤波增强一点的局部欧氏坐标系点云滤波增强01基于统计学的方法一种简单的基于统计学方法的原理是假设点云里的所有点到其邻域点的平均距离值的概率服从高斯分布,其形状由均值和标准差决定。在算法处理时,首先将输入点云数据中的每一个点到其邻近点的距离分布情况进行计算,得到各点到它所有邻近点的平均距离。然后,将平均距离在标准差范園之外的点定义为离群点,进而将这些离群点从点云中删除。02基于表面重采样的方法经典的表面重采样方法从计算机图形研究领域被推广到了三维点云处理领域。基于表面重采样的方法将点投影到估计的局部曲面。点云滤波增强03基于深度学习的方法它通过将点斑投影到一个基于学习得到的局部框架下,并在有监咨的环境中使用卷积神经网络(ConvolutionalNeuralNetwork,CNN)将点斑移动到曲面上来,达到去噪的效果。另一种方法使用PCPNet将噪声点云投影映射到一个千净的点云曲面。此外,也有学者以人造目标为对象,研究用基于深度学习的方法提取边特征,然后在保持边特征的前提下对点云进行重采样。点云滤波增强异常值(Outliers)检测在许多领域都被应用,比如统计分析、机器学习、模式识别和数据压缩等。采样点云数据通常具有不同的点密度,此外测量误差会引起稀疏的异常值和退化的结果。点云滤波增强主成分分析(PrincipalComponentAnalysis,PCA)算法是典型的协方差矩阵估计算法,它对观测噪声十分饭感,当噪声强烈或有异常点存在时,所计算的结果会存在严重误差。因此,下面提出了基于局部优化投影采样算法的点云增强算法来滅小噪声和异常点给法向量估计带来的不利影响。点云滤波增强】9点云滤波增强03点云超体素分割】9点云分割的目的是将点云集合中的点分割成具有感知意义的符合目标边界划分性质的若干区域子集。在同一个区域中的点应该拥有相同的性质。该技术在机器视觉中有很多应用,例如,智能交通、现代测绘和自动导航。超体素(SuperVoxel)是一种集合,超体素聚类分割的目的不是完整地分割出某种特定目标,而是对点云实施一种过分割(OverSegmentation)。点云超体素分割】9依据马尔可夫随机场或条件随机场条件,基于图的算法将点云内部的上下文关系与对象级的类别先验知识合并在一起,近些年来获得了广泛的研究应用。虽然这些技术的使用取得了显著的进展,但有一个缺点,即在这些图上进行推理的计算成本通常会随肴图的节点数量的增加而急剧增大。这意味着求解以每个点为一个节点的图变得非常困难,这限制了算法在需要实时分割的应用中的使用。点云超体素分割超体素分割可以提供超体素过分割形式的节点,代替原始的点,减少了进行推理时必须考虑的节点数量,从而减小了后续处理算法的计算成本。基于超体素的后续分割或建模算法必须考虑重构数量,并且信息损失最小。点云超体素分割分割方法利用了观测数据点之间的三维几何关系,有时也包含附加的投影颜色或深度信息,分段区域内必须具有空间连接性的约束。点云的体素类型包含规则格网化的体素,这类体素可以认为是一种对空间规则划分的具有等尺寸的立方体。另一类体素是不规则的过分割形式的体素,在本节讨论的超体素指的就是不规则的过分割超体素。点云超体素分割】9首先考虑相似性度量,通常它是以法向量、曲率和离散度等属性信息构成的特征空间中的特征向量来进行计算的,当点云数据的附加信息中具有影像纹理亮度时,亮度参数也被包含到点的特征向量中。下一步
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- GB 2536-2025电工流体变压器和开关用的未使用过的矿物绝缘油
- 教育行业2025年数字化营销与招生策略在创业培训领域的应用报告
- 二零二五年度电网建设电气安装工程分包合同
- 二零二五年度物联网设备采购及集成服务合同范本
- 二零二五年度木门行业电商平台合作协议
- 2025版办公楼水电设备安装与系统集成承包合同
- 二零二五年花卉种子种植技术培训与购销合同
- 二零二五年度住宅室内外装饰设计施工合同
- 二零二五年度OEM食品加工委托合作合同模板
- 2025版物流运输行业劳务派遣用工服务协议范本
- 交管12123驾驶证学法减分练习题库(1000题版)
- 预防艾滋病梅毒和乙肝母婴传播实施方案
- 《眼内炎患者的疾病》课件
- 《石油和化工行业产品碳足迹核算指南》
- 临时厕所施工方案
- 《工会基础知识》考试题库300题(含答案)
- 昆明理工大学《大学物理》2021-2022学年第一学期期末试卷
- 足浴城租赁合同范例
- 国际货物运输管理制度
- 《安全监察概论》课件
- 智能物业管理大数据应用方案
评论
0/150
提交评论