三维运动重建研究报告

1、三维运动重建研究报告一. 简介计算机视觉主要是通过摄像机拍摄的二维图像来获取包括三维场景的形态 的和运动识别等真实世界中的信息。计算机视觉是近年來发展十分迅速的一个科 研领域，该研究领域主要分为人工智能和感知能力两个方向，研究的重点是利用 计算机或者人工系统从图像或者图像序列屮获得所需要的信息，包括运动口标的 三维结构的恢复和运动相机参数的获取，帮助系统做出正确的决定。所以三维运 动重建屈于计算机视觉领域的一个非常重要的课题。而三维运动重建就是根据从 这些连续的图像序列中的特征点來恢复运动场景和相应的运动参数。在现实生活中，计算机视觉的应用越來越广阔，从人脸识别到车牌识别，从 人物检测到人物跟

2、踪，从特征点提取到运动重建，计算机视觉对人们的日常生活 影响越来越大。而三维运动重建的研究对于计算机视觉方面的进步有重大的促进 作用，具冇重要的研究意义。二. 刚体与非刚体在三维运动重建的早期研究过程中，基本上都是将三维运动重建的目标当作 刚性物体来求解，其原因在于刚体的结构比较单一，计算简单。即使对于i些部 分非刚性的物体，也会将其假设为刚体，或者将其分解成刚性物体的线性组合。 但是这种方法虽然方便，却也存在许多弊端，最大的缺点就是可能会忽略许多细 节，不能如实地反映出物体的真实运动状态，特别是对于非刚性很强的物体。然 而在现实世界的物体真实运动中，犬多数运动都是非刚性的运动，例如身体的伸

3、展、手臂的挥舞、人的脸部表情、舞蹈动作或者体育运动等。因而非刚体的三维 运动重建成为了三维运动重建的重中之重，越来越受人们的重视。但是同时由于 非刚体运动形式多变，结构复杂，这些都注定了对于非刚性物体进行三维运动重 建的研究会是一个难点，有许多难题需要被解决。现冇的非刚体三维运动重建算法主要是对一些形变冇一定规律的非刚体进 行重建，比如人的跑步运动、起立和下蹲动作、说话吋的表情动作以及取东西吋 手的动作等。这些规律性的动作是非刚体三维运动重建的重点。三. 形状基和轨迹基在非刚体的三维运动重建的早期，都是假设重建目标的真实结构是由一系列 不同的基木形状线性组合得來的，也就是形状基的方法。重建fi

4、标在每一帧的憐 吋结构都可以用由形状基描述的形状空间屮的一个点表示，这个点的坐标代表了 重建时用到的形状基的系数。但是非刚体的运动是多样的，运动目标的形状也是 多样化的，这就使得每次对不同类型的运动目标进行重建时都需要重新定义形状 基。换个角度考虑这个问题，假如从连续帧中每个特征点的变化在时间轴上形成 曲线出发考虑，把每个特征点在时间轴上的运动轨迹曲线通过轨迹基的线性组合 表示出来，从而用轨迹基构成的轨迹空间屮的一个点来表示重建口标的某一个特 征点的运动轨迹，这种方法的优势在于，曲线相对于形状是比较简单的，并口轨 迹基一般是可以通用的，可以通过一些变换函数预先定义岀来。另外，轨迹基方 法比形状

5、基方法的求解过程中的未知参数的个数要少，这就使得计算更加简单， 同时重建结果也更加稳定。四. 因式分解方法由于因式分解方法较好的鲁棒性并口其对物体的三维信息重建效果良好，因 此现冇的对非刚体三维运动重建的研究大部分都是基于因式分解的方法进行的。 这类方法都是以无先验模型为研究基础，整个重建的步骤可以分为冃标物体特征 点提取、目标物体特征点匹配以及目标物体运动结构重建三个部分变化來获取运 动重建的一些重要信息，因此在进行重建吋必须要确保图像特征点和非刚体之间 的对应关系准确，而这种对应关系的精确程度也直接影响到了非刚体重建的精度。在用因式分解方法解决非刚体三维运动重建问题的过程屮，首先捉出了形状

6、 基模型的理论，通过一组预先定义的形状基的线性组合來恢复非刚体的真实三维 结构和运动状态。在这种理论对非刚体运动进行三维重建的过程中，各帧图像中 的口标物体特征点的二维坐标构成了初始的观测矩阵，观测炬阵是由口标物体的 真实结构矩阵，经过相机旋转矩阵对其进行变换得到的，而目标物体的真实结构 形成的三维坐标矩阵被表示成了形状基矩阵及英系数矩阵的乘积，然后通过正交 约束的条件估计出该过程中涉及到的未知参数。整个非刚体三维运动重建的过 程其实就是通过观测矩阵求解相机旋转矩阵和耳标物体的真实坐标矩阵的过程。 然而由于运动形式的多样性，故而非刚体运动重建的约束条件很难被确定，所以 这个求解过程是比较困难的

7、。在形状基模型方法的基础之上，选用了正交约束的模型，因而都是对正交约束的投影计算冇很好的效果，但是却也会带来一些问题， 其中最大的问题就是可能会产生解的不确定性。xiao等人在研究中也证明了这 一观点，他们的研究表明仅仅通过正交约朿是不能确定唯一的旋转矩阵的，继而 提岀了通过基约束来解决这种不确定性问题，并且他们引入了矫正矩阵这一概念。 到此三维运动重建问题的形状基模型求解的研究已经比较完善。因式分解方法是 从刚体的三维重建到非刚体三维运动重建的演变过程中的一个重大的扩展，并且 起着很重要的作用。问题描述：假设非刚体的第丿个特征点的真实坐标表示为xj可勺，兀,z/f ,其在透视投影 模型下投影

8、到第i帧图像屮得到的观测坐标表示为©。则这种映射关系可用公式(1)表示，即:= (1)其中，歼表示投影的深度，k,而表示相机标定矩阵，尺表示相机旋转矩阵,7；表示投影过程屮的平移向量。在这种情况下，可以移除易，从而公式(2)被 简写为：0100对进步优化，将观测坐标减去位移量s则可以得到下式:x，y =xij t： = rjxj(1)刚体中的因式分解法根据相机投影的原理，我们知道，相片屮的图像坐标是对三维物体的坐标进行正交投影，然后加上一定的图像位移量得到的。所以相片中获取的物体特征点的二维坐标和真实世界屮的三维坐标存在如下的关系：fi '2 x12x3 3x1记f为相片的帧

9、数，p为选定的特:征点数，x表示物体三维坐标，x表示观测到 的二维处标，t为图像的位移量。接着我们用一点小技巧，把三维坐标点的屮心做为物体的原点，同吋把二 维坐标点的中心做为相片的原点，这样做就可以消去图像位移量。因为在一帧图像屮，相机投影矩阵是不变的，所以一帧图像屮的p个特征点 的二维坐标和物体真实的三维坐标存在如卜的关系：x£ x,2 xip = x x2 xp 2 x p2x33x p再进一步，可以得到f帧图像屮p个特征点二维坐标和物体真实三维坐标的关 系如下：xux12xip ri '*22r2xi x2 xpxf1xf2 rf 2fx p2fx33x r而对于仿射投

10、影模型下，根据上节屮的公式，可以得到刚体三维运动重建屮的映射关系如下:上式可以写成二险xsssxn，其屮w'表示测量矩阵，r表示旋转矩阵,s表示目标物体真实结构坐标矩阵。测量矩阵是己知的，对刚体进行三维运动重建的过程就是求旋转矩阵和目标物体真实坐标矩阵的过程，又因为旋转矩阵的秩 为3,所以测量矩阵的秩也为3,对测量矩阵进行奇异值分解(svd),并且保证 它的秩为3,但是由于存在任意一个非奇异的矩阵h.3使得wf = (rhxh-s)f 因此满足这个条件的解是不唯一的。(2)非刚体重建中的因式分解方法非刚体三维运动重建屮的因式分解和刚体屮的因式分解方法类似，在形状基空间中，其映射关系如公

11、式所示:b、bk上式可写成w2fxn=m2fx3kb3kxn，其屮m表示运动矩阵，而b表示非刚体的 形状基矩阵。和上面的刚体运动重建的求解类似，由于旋转矩阵的秩最大为3k , 所以测量矩阵的秩最大也为3k,而当对测量矩阵进行奇异值分解时，也会存在 一个非奇异的矩阵h3kx3k ,这个矩阵也被成为矫正矩阵。在上而的公式屮，&、 知和非刚体的真实结构坐标矩阵s,都可以根据运动矩阵和形状基矩阵求得，但 是这里面的矫正矩阵的求解方法要比刚体运动重建过程中的矫正矩阵的求法更 加困难的多。形状基方法：非刚体三维运动重建屮的因式分解和刚体屮的因式分解方法类似，在形状基空间中，其映射关系如公式(1)所

12、示:_ r苻k rfsf. 。尸7?尸a fkrfbk(1)匕式可写成w2fxn=m2fx3kb.kxn9 -k中m表示运动矩阵，而b表示非刚体的形状基矩阵。和上面的刚体运动重建的求解类似，由于旋转矩阵的秩最大为3k , 所以测量矩阵的秩最犬也为3k,而当对测量矩阵进行奇异值分解时，也会存在 一个非奇异的矩阵gw 这个矩阵也被成为矫正矩阵。在公式(1)中，尺、勺和非刚体的真实结构坐标矩阵®都可以根据运动矩阵和形状基矩阵求得，但是这里 而的矫正矩阵的求解方法要比刚体运动重建过程屮的矫正矩阵的求法更加困难 的多。轨迹基方法：在轨迹空间中，非刚体的毎一个特征点在连续帧中的变化可以看成是一条

13、在 吋间轴上的运动轨迹曲线，若把这n个特征点在某一时刻/吋的三维坐标放在一 个矩阵中，则可以表示为：九x：s(/)=诊纭 _乙乙所以，在f个连续帧中的结构可以表示为：s = s(1)卩s(2)js(f)t，重新 排列矩阵s,得到新的矩阵形式&如下：冷x、n怡%知zjq . 2 丿_x f xfn f yfn zfl_矩阵s'的每一行也代表了每一帧所在的形状空间想对应，每一列代表了一 个特征点在某一方向上的轨迹曲线，故可以用轨迹的集合表示如下：%) = 7；(孑7；(況 7；丫其中，人二空小心丄兀珂沧加込二込.,/表示非刚休的第 i个特征点分别在x,y,z三个方向上的轨迹集合。根据曲线拟合的思想，这些特 征点的轨迹曲线可以通过一些函数变换产生的曲线线性组合表示出來，表示方式 如下：kkktq二工,卩卫)=工竹少，=iii其中，"表示函数变换生成的轨迹基，而j(i)宀和心代表了轨迹基 线性组合时的系数，因而可以得到s3fx3n=0.fx3k3kxn，式中，0 1 . 0 r fukl_ 61.(1)訓)0 = qfkl玉ak(n)这里0表示通过函数变换宜接得到的基。前而已经捉到，观测矩阵是汕刚体的结构矩阵通过相机旋转矩阵的映射得到 的，用公式表示就是w = rs,其中/?代表了旋转矩阵，是一个2fx3f的矩