三维运动重建研究报告

三维运动重建研究报告一.简介计算机视觉主要是通过摄像机拍摄的二维图像来获取包括三维场景的形态的和运动识别等真实世界中的信息。计算机视觉是近年来发展十分迅速的一个科研领域，该研究领域主要分为人工智能和感知能力两个方向，研究的重点是利用计算机或者人工系统从图像或者图像序列中获得所需要的信息，包括运动目标的三维结构的恢复和运动相机参数的获取，帮助系统做出正确的决定。所以三维运动重建属于计算机视觉领域的一个非常重要的课题。而三维运动重建就是根据从这些连续的图像序列中的特征点来恢复运动场景和相应的运动参数。在现实生活中，计算机视觉的应用越来越广阔，从人脸识别到车牌识别，从人物检测到人物跟踪，从特征点提取到运动重建，计算机视觉对人们的日常生活影响越来越大。而三维运动重建的研究对于计算机视觉方面的进步有重大的促进作用，具有重要的研究意义。二.刚体与非刚体在三维运动重建的早期研究过程中，基本上都是将三维运动重建的目标当作刚性物体来求解，其原因在于刚体的结构比较单一，计算简单。即使对于一些部分非刚性的物体，也会将其假设为刚体，或者将其分解成刚性物体的线性组合。但是这种方法虽然方便，却也存在许多弊端，最大的缺点就是可能会忽略许多细节，不能如实地反映出物体的真实运动状态，特别是对于非刚性很强的物体。然而在现实世界的物体真实运动中，大多数运动都是非刚性的运动，例如身体的伸展、手臂的挥舞、人的脸部表情、舞蹈动作或者体育运动等。因而非刚体的三维运动重建成为了三维运动重建的重中之重，越来越受人们的重视。但是同时由于非刚体运动形式多变，结构复杂，这些都注定了对于非刚性物体进行三维运动重建的研究会是一个难点，有许多难题需要被解决。现有的非刚体三维运动重建算法主要是对一些形变有一定规律的非刚体进行重建，比如人的跑步运动、起立和下蹲动作、说话时的表情动作以及取东西时手的动作等。这些规律性的动作是非刚体三维运动重建的重点。三.形状基和轨迹基在非刚体的三维运动重建的早期，都是假设重建目标的真实结构是由一系列不同的基本形状线性组合得来的，也就是形状基的方法。重建目标在每一帧的瞬时结构都可以用由形状基描述的形状空间中的一个点表示，这个点的坐标代表了重建时用到的形状基的系数。但是非刚体的运动是多样的，运动目标的形状也是多样化的，这就使得每次对不同类型的运动目标进行重建时都需要重新定义形状基。换个角度考虑这个问题，假如从连续帧中每个特征点的变化在时间轴上形成曲线出发考虑，把每个特征点在时间轴上的运动轨迹曲线通过轨迹基的线性组合表示出来，从而用轨迹基构成的轨迹空间中的一个点来表示重建目标的某一个特征点的运动轨迹，这种方法的优势在于，曲线相对于形状是比较简单的，并且轨迹基一般是可以通用的，可以通过一些变换函数预先定义出来。另外，轨迹基方法比形状基方法的求解过程中的未知参数的个数要少，这就使得计算更加简单，同时重建结果也更加稳定。四.因式分解方法由于因式分解方法较好的鲁棒性并且其对物体的三维信息重建效果良好，因此现有的对非刚体三维运动重建的研究大部分都是基于因式分解的方法进行的。这类方法都是以无先验模型为研究基础，整个重建的步骤可以分为目标物体特征点提取、目标物体特征点匹配以及目标物体运动结构重建三个部分变化来获取运动重建的一些重要信息，因此在进行重建时必须要确保图像特征点和非刚体之间的对应关系准确，而这种对应关系的精确程度也直接影响到了非刚体重建的精度。在用因式分解方法解决非刚体三维运动重建问题的过程中，首先提出了形状基模型的理论，通过一组预先定义的形状基的线性组合来恢复非刚体的真实三维结构和运动状态。在这种理论对非刚体运动进行三维重建的过程中，各帧图像中的目标物体特征点的二维坐标构成了初始的观测矩阵，观测矩阵是由目标物体的真实结构矩阵，经过相机旋转矩阵对其进行变换得到的，而目标物体的真实结构形成的三维坐标矩阵被表示成了形状基矩阵及其系数矩阵的乘积，然后通过正交约束的条件估计出该过程中涉及到的未知参数。整个非刚体三维运动重建的过程其实就是通过观测矩阵求解相机旋转矩阵和目标物体的真实坐标矩阵的过程。然而由于运动形式的多样性，故而非刚体运动重建的约束条件很难被确定，所以这个求解过程是比较困难的。在形状基模型方法的基础之上，选用了正交约束的

模型，因而都是对正交约束的投影计算有很好的效果，但是却也会带来一些问题，其中最大的问题就是可能会产生解的不确定性。Xiao等人在研究中也证明了这一观点，他们的研究表明仅仅通过正交约束是不能确定唯一的旋转矩阵的，继而提出了通过基约束来解决这种不确定性问题，并且他们引入了矫正矩阵这一概念。到此三维运动重建问题的形状基模型求解的研究已经比较完善。因式分解方法是从刚体的三维重建到非刚体三维运动重建的演变过程中的一个重大的扩展，并且起着很重要的作用。问题描述：假设非刚体的第j个特征点的真实坐标表示为Xj=[xj,yj,Zj]T,其在透视投影模型下投影到第i帧图像中得到的观测坐标表示为不=[uj,Vj]T。则这种映射关系可用公式(1)表示，即：册Xj=K」R,Ti]Xj(1)其中，入表示投影的深度，Ki而表示相机标定矩阵，R表示相机旋转矩阵,I表示投影过程中的平移向量I表示投影过程中的平移向量在这种情况下，可以移除九°,从而公式(2)被简写为:Uij11=1%」-ri1Uij11=1%」-ri12ri3Ji4riri7ri8ri9riti

ti

tiyjZj(2)又t(2)进一步优化，将观测坐标减去位移量ti,则可以得到下式:Xijj=Xj-ti=RXj(1)刚体中的因式分解法根据相机投影的原理，我们知道，相片中的图像坐标是对三维物体的坐标进行正交投影，然后加上一定的图像位移量得到的。所以相片中获取的物体特征点的二维坐标和真实世界中的三维坐标存在如下的关系：

=RXj-Pk2=RXj-Pk2rxt2x1记F为相片的帧数，P为选定的特征点数，X表示物体三维坐标，x表示观测到的二维坐标，t为图像的位移量。接着我们用一点小技巧，把三维坐标点的中心做为物体的原点，同时把二维坐标点的中心做为相片的原点，这样做就可以消去图像位移量。因为在一帧图像中，相机投影矩阵是不变的，所以一帧图像中的P个特征点的二维坐标和物体真实的三维坐标存在如下的关系:XilXX2…Xp]XilX3XP再进一步，可以得到F帧图像中P个特征点二维坐标和物体真实三维坐标的关系如下:Xt2xXt2x22RiR?Xix3X/P]而对于仿射投影模型下，根据上节中的公式，可以得到刚体三维运动重建中的映射关系如下:X11X1NIR1I■=-〔Xi,…Xn]FnJ艮」

上式可以写成W2F期=R2F冲00，其中W'表示测量矩阵，R表示旋转矩阵,建的过程就是求旋转矩阵和目标物体真实坐标矩阵的过程，又因为旋转矩阵的秩为3,所以测量矩阵的秩也为3,对测量矩阵进行奇异值分解(SVD),并且保证它的秩为3,但是由于存在任意一个非奇异的矩阵H3>3使得W，=(RH)(H'S),因此满足这个条件的解是不唯一的。S表示目标物体真实结构坐标矩阵S表示目标物体真实结构坐标矩阵测量矩阵是已知的，对刚体进行三维运动重(2)非刚体重建中的因式分解方法非刚体三维运动重建中的因式分解和刚体中的因式分解方法类似，在形状基空间中，具映射关系如公式所示：「R1sli「a「R…aiKR］「B/aa+aaW=：=：：,RFSF-aF1RF…aFKRF_BK-上式可写成W2f上=M2F>3kB3K小，其中M表示运动矩阵，而B表示非刚体的形状基矩阵。和上面的刚体运动重建的求解类似，由于旋转矩阵的秩最大为3K,所以测量矩阵白^秩最大也为3K,而当对测量矩阵进行奇异值分解时，也会存在一个非奇异的矩阵H3K邓，这个矩阵也被成为矫正矩阵。在上面的公式中，R、a0和非刚体的真实结构坐标矩阵S都可以根据运动矩阵和形状基矩阵求得，但是这里面的矫正矩阵的求解方法要比刚体运动重建过程中的矫正矩阵的求法更加困难的多。形状基方法:非刚体三维运动重建中的因式分解和刚体中的因式分解方法类似，在形状基RiSiW=RiSiW=:：RfSfJaFiRfaikRiBi-I-(DaFKRf-_Bk-上式可写成W2f十=M2f>skB3K>N，其中M表示运动矩阵，而B表示非刚体的形状基矩阵。和上面的刚体运动重建的求解类似，由于旋转矩阵的秩最大为3K,所以测量矩阵白^秩最大也为3K,而当对测量矩阵进行奇异值分解时，也会存在一个非奇异的矩阵H3K>3K,这个矩阵也被成为矫正矩阵。在公式(i)中，R、aj和非刚体的真实结构坐标矩阵S都可以根据运动矩阵和形状基矩阵求得，但是这里

面的矫正矩阵的求解方法要比刚体运动重建过程中的矫正矩阵的求法更加困难的多。轨迹基方法：在轨迹空间中，非刚体的每一个特征点在连续帧中的变化可以看成是一条在时间轴上的运动轨迹曲线，若把这N个特征点在某一时刻t时的三维坐标放在一-Xti…X/S(t)=Yti…Ytn-Xti…X/S(t)=Yti…Ytn(2):Zt1…乙n」S=[S(i)TS(2)T・，,S(F)T]T,重新Yii…YinZii…ZinI9+99+a:,・::,・:⑶YfiYfnZfiZfn所以，在F个连续帧中的结构可以表示为：排列矩阵S,得到新的矩阵形式s,如下：X…X1NS=:•:_Xf1…XFN矩阵S.的每一行也代表了每一帧所在的形状空间想对应，每一列代表了一个特征点在某一方向上的轨迹曲线，故可以用轨迹的集合表示如下：T(i)=[Tx⑴TTy(i)，(i)T]T(4)其中，Tx(i)=[Xii,…XFi],Ty(i)=[Yii,…YFi],Tz(i)=[Zii,…ZM表示非刚体的第i个特征点分别在X,Y,Z三个方向上的轨迹集合。根据曲线拟合的思想，这些特征点的轨迹曲线可以通过一些函数变换产生的曲线线性组合表示出来，表示方式如下：TOC\o"1-5"\h\zKKKTx(i)=£axi(i)9',Ty(i)=£ayi(i)9',Tz(i)=Zazi(i)0'(5)lll其中，e'表示函数变换生成的轨迹基，而axi(i),ayi(i)和azi⑴代表了轨迹基线性组合时的系数，因而可以得到S3F>3N=©3F>3kA3KXN,式中，「gl…除I]-ai(1)…ai(N)10=：三'a=：(6)PfiI….kI_|®(1)…3k(N)J这里9i表示通过函数变换直接得到的基。前面已经提到，观测矩阵是非刚体的结构矩阵通过相机旋转矩阵的映射得到的，用公式表示就是W=RS,其