D感知与目标位姿计算ppt课件

1、Chapter 10 3D Sensing and Object Pose Computation 第十章 3D感知与目的位姿计算.举例多摄像机丈量系统经过计算机视觉来识别目的并确定目的位置.经过立体视觉求深度放置两台摄像机，使它们的X轴重合，Y轴和Z轴分别相互平行。Y轴垂直于纸面。右侧摄像机的原点或投影中心的偏移量为b，b是立体视觉系统的基线(baseline)。目的点P在左图像中对应点为Pl，在右图像中对应点为Pr，可以确定点P位于光线LPl和RPr的交点处。根据类似三角形：.经过立体视觉求深度由于坐标yl和yr一样。所以点P的两个未知坐标x和z可以表示为：d=xl-xr定义：当同一个3D

2、点投影到不同的两台摄像机图像上时，对应点在图像上的位置差称为视差(disparity)。留意：到点P的间隔随着视差的减小而添加，随着视差的增大而减小。随着视差趋近零时，间隔趋近无穷。.建立对应关系1交叉相关 对于知图像I1(立体图像对中的第一幅图像)中的点P1，假设在图像I2(立体图像对中第二幅图像)中存在某个固定区域，在该区域中一定可以找到与P1对应的点P2. 区域的大小由拍摄这些图像的摄像机设备信息决议。对于图像I1的像素P1，搜索I2上的选定区域，对P1和P2的邻域进展交叉相关运算，把交叉相关影响最大的像素，作为P1的最正确匹配点，并用该像素寻觅对应3D点的深度。.2图符匹配和相关约束

3、在一幅图像中寻觅与另一幅图像特征相匹配的特征。典型特征有衔接类型、线段或区域。 可以采用一致性标志寻觅匹配。部件集合P是第一幅图像I1中的特征集合。标志集L是第二幅图像I2的特征集合。P上的空间关系RP要与L上的空间关系RL一样。建立对应关系采用衔接点关系对特征进展匹配图中的L衔接和箭头衔接是能够的匹配点。普通防止运用T衔接，由于它们通常是遮挡的结果，而不是3D构造的实践特征。.2图符匹配和相关约束 存在问题： 1) 并非第一幅图像中一切特征都可以在第二幅图像中检测到. 2) 从第一幅图像特征到第二幅图像特征映射后，衔接点的对应关系产生的是一个稀疏深度映射，不能完全表示三维信息. 处理方法：

4、1) 允许出现一定的误差，寻觅一种最小误差映射，或利用延续松弛法得到近似解. 2) 在求得的稀疏深度映射点上进展线性插值运算，使稀疏深度映射变得稠密.建立对应关系.3)外极线约束 两图像面位于同一平面并且与基线平行。知图像I1中的点P1=(x1,y1)，那么图像I2中的对应点P2=(x2,y2)将与P1位于一样的扫描线上，也就是y1=y2。这对图像为规范图像对。建立对应关系规范图像对的外极线几何。3D点P在图像I1中的投影为P1，在图像I2中的投影为P2，二幅图像位于同一平面，与两摄像机间的基线平行。光轴垂直于基线并相互平行。.3)外极线约束 建立对应关系定义：包含3D点P、两个光心(或摄像机

5、)C1和C2，以及P在两幅图像中的投影点P1和P2的平面称为外极面(epipolar plane).定义：外极面与两幅图像平面I1和I2的交线e1和e2称为外极线(epipolar line).定义：立体图像对的外极点(epipole)就是一切外极线的交点.4顺序约束知场景中两个点和它们在两幅图像中的投影点。假设这两点位于场景中的延续外表上，那么在每幅图像中，它们以一样的顺序位于外极线上。5误差与场景覆盖场景覆盖与计算深度误差间寻求平衡。假设基线很短，确定图像点P1和P2的位置时误差就较小，但在计算3D点P的深度时误差就较大。增大基线可以改良搜索精度，但随摄像机彼此远离，图像点之间的对应关系将

6、丧失。建议两台摄像机光轴间最好是45度角。建立对应关系.普通体视构造两台摄像机C1和C2察看一样的3D任务区。工件上的点P在第一幅图像中的投影为1P，在第二幅图中的投影为2P。两台摄像机察看任务台上一样的工件区时，任务台就是一个完好的3D世界，并且有本人的世界坐标系W。任务区中3D点wP=wPx, wPy, wPz的位置，可以经过两条投影线wP1O和wP2O的交点确定。.为了进展立体视觉计算，需求知以下条件：要知道摄像机C1在任务区W中的位姿，以及摄像机的一些内部参数，如焦距。这些信息用摄像机矩阵(camera matrix)来表示，对每个图像点1P经过该矩阵确定3D空间中的一条光线。要知道C

7、2在任务区W中的位姿以及它的内部参数。要找出3D点与两个2D图像点(wP,1P,2P)之间的对应关系。要有公式来计算两条投影线wP1O和wP2O的交点wP。普通体视构造.基于多摄像机的3D点计算根据两个像点r1,c1和r2,c2算出未知的3D点x,y,z，两个像点由标定好的两台摄像机摄取。去掉齐次坐标s和t,可以得到含3个未知数的4个线性方程。4个方程中恣意3个联立都可以求出未知点x,y,z，但求出的坐标值会产生微小的差别。.问题：由于摄像机模型和图像点的近似误差，两台摄像机的投影线并没有在数学的3D空间相交于一点。处理方案：计算这两条空间斜交投影线之间的最短间隔，也就是计算它们公垂线段的长度

8、。 假设公垂线比较短，就取公垂线的中点作为两条投影线的交点。假设公垂线比较长，就要断定在进展像点对应计算时出现了问题。基于多摄像机的3D点计算P1和P2是一条直线上的两个点，而Q1和Q2是另外一条直线上的两个点。u1和u2是沿两条直线的单位向量。向量V=P1+a1u1-Q1+a2u2就是延续两条直线的最短间隔向量，其中a1和a2是两个要确定的比例系数。.利用两空间斜交线与公垂线正交这一约束条件，可以得到2个含未知数a1和a2的线性方程：利用消元法或者行列式法可以很容易解出a1和a2。假设sV小于某个阈值，就以为两条直线相交于点x,y,zt=(1/2)(P1+a1u1)+(Q1+a2u2)。基于

9、多摄像机的3D点计算.3D目的重建目的建模的过程可分为四个步骤： 13D数据获取 普通需求8-10张不同角度的视图来获得一系列物体外表的深度数据。 2图像配准 将深度数据转换到一个3D坐标系的过程为图像配准过程。 3外表重建 将3D点云用3D网格及格点间联络表示；用一组3D体素表示目的的整个体积。 4优化 平滑外表等过程.视图配准问题提出：为了覆盖物体的整个外表，必需根据多幅视图得到深度数据。处理方法：视图1到视图2的变换，要么经过准确的机械运动得到，要么经过图像对应求出。从图像对应求取：相当于完成从一幅视图映射到另一幅视图的刚性变换。将其转换到同一坐标系下。 1可以借助3D特征如角点和线段特

10、征自动完成，基于特征得到3D-3D的对应点，从而计算出变换关系。 2利用交互方式，允许用户在一对目的图像上选择对应点。.视图配准(左上)对两组深度数据进展配准(右上)用户交互选取4个对应点(右下)存在少量偏向的初始变换(左下)几次迭代后，两组深度数据得到很好的对齐最近点迭代法：得到初始变换，经过迭代方法，使对应3D点之间的间隔之和最小化。.外表重建目的：希望重建目的与实践物体在外形上尽能够类似并且坚持其拓扑构造。(a)配准的椅子深度数据(b)重建过程出现的问题(c)具有正确拓扑构造的粗略网格模型.图片: 可以作为建模的灵感来源。网络图片，单视角基于单幅图片的三维重建.根本流程.部件一致性分割

11、Xu et al. 2021Input model setModels in part correspondence预分析候选模型集.形变控制单元 Zheng et al. 2021控制单元: 长方形和广义圆柱体相互关系: 对称, 衔接, etc.预分析候选模型集.第一步:模型驱动的图像空间构造分析基于单幅图片的三维重建.检索代表模型模型驱动的标号分割图割法模型驱动的特征空间构造分析.基于单幅图片的三维重建第二步:候选模型检索.QueryTop 5 retrieved results全局描画子检索候选模型检索.QueryTop 5 retrieved results部件级描画子 候选模型也可恣

12、意选择候选模型检索.关键第三步:轮廓驱动的构造坚持形变基于单幅图片的三维重建.轮廓对应初始控制重构控制优化潜质几何形变轮廓驱动的构造坚持形变.轮廓对应初始控制重构控制优化潜质几何形变轮廓对应.轮廓对应初始控制重构控制优化潜质几何形变轮廓对应.轮廓对应初始控制重构控制优化潜质几何形变轮廓对应.轮廓对应初始控制重构控制优化潜质几何形变轮廓驱动的构造坚持形变.轮廓驱动的构造坚持形变轮廓对应初始控制重构控制优化潜质几何形变.轮廓对应初始控制重构控制优化潜质几何形变Before optimizationAfter optimization轮廓驱动的构造坚持形变.轮廓对应初始控制重构控制优化潜质几何形变B

13、efore optimizationAfter optimizationFinal geometry轮廓驱动的构造坚持形变.Initial controller reconstructionFront-view构造优化.单独控制对称交互控制对称临近约束最初构造iterative最终构造构造优化.结果.?结果.原始数据噪声点云数据未分割有遮挡工具: Microsoft Kinect实时提供深度和图像信息 小而廉价42数据获取.学习: 利用多角度拍摄结果学习根本模型translationalrotational43室内场景重构识别: 用学习到的模型在场景中识别物体.44室内场景重构-学习阶段学习:

14、 利用多角度拍摄结果学习根本模型 用不同基元进展根本模型表示.基元长方体、圆柱体、辐射状构造连通性刚性旋转平移附属关系位置信息contacttranslationalrotational45根本模型表示.地平面和书桌物体单独聚类部件经过一致性分类分割与其类似，后面还需修正46点云数据分层表示.初始分配部件 vs. 基元简单的对比高度，法矢量，大小鲁棒的形变低漏报精细分配部件 vs. 模型迭代的处理位置、形变和分割低漏报parts47室内场景重构-识别阶段.初始分配部件 vs. 基元节点精细分配部件 vs. 模型Input pointsInitial objectsModels matchedRefined objectsobjectspartsmatched48室内场景重构-识别阶段.Recognition s