基于lm-icp的三维立体图像配准方法

基于lm-icp的三维立体图像配准方法

1基于3d-2d和3d配准的方法近年来，随着三维扫描技术的发展和成本的降低，人们可以快速有效地获得真实场景的三维数据。软件算法的研究主要集中在如何根据大规模、无组织的点云进行3D重建,较少考虑纹理特征,而在文化遗产的保护,地形漫游等领域中对照片级真实感的三维重建有很高的要求,从而建构精确的三维几何模型与纹理图像之间的映射关系,即2D-3D的配准,是实现真实感三维重建技术的关键。文献利用多视图几何(structure-from-motion)得到稀疏点云、三维模型和二维图像三者之间的关系,这种方法通过场景中的平行线提取消失点进行配准,而这种平行线和矩形特征主要出现于建筑物上,大大限制了该方法的应用范围。文献利用同步扫描图像作为中介得到高分辨率图像与三维模型的关系,重建出文物钟琴的三维模型。由于需要进行2D-3D和2D-2D的配准,累加误差影响配准的精度。文献基于立体像对匹配点集与三维扫描点云的最近邻迭代配准对武汉大学老图书馆进行三维重建。该方法首先基于影像间的同名点匹配,所以立体像对匹配点的精度会影响最后的配准结果,而且基于立体像对重建三维点云需要大量的计算,针对以上算法中配准精度低,计算量大的问题,本文提出一种改进的LM-ICP2D和3D配准算法,将ICP算法应用于3D-2D配准中,首先人工标记多组对应点初始化几何模型和纹理图像的对应关系即投影矩阵,然后通过法向量内积加权的最近点迭代过程动态更新特征对应,最后通过LM算法优化投影矩阵。最近点迭代更新特征对应可以消除人工标记过程中人为误差的影响,得到准确的对应关系,再通过LM算法优化投影矩阵可以实现高精度的配准。通过法向量内积加权对不同的特征对应加以限制可以提高算法的鲁棒性,同时由于该算法直接进行3D和2D的对应,大大减小了计算量。2投影矩阵的建立配准是指同一区域内以不同成像手段所获得的不同图像图形的地理坐标的匹配。对于点云模型和纹理图像间的配准就是找到几何模型中3D点在纹理图像中对应的2D点,通过研究图像的拍摄成像过程,发现它实际上是将三维空间的点转化成二维空间的点,2D-3D点之间满足透视投影数学模型,所以可以用投影矩阵来表示它们之间的关系,只要找到这个投影矩阵就完成了配准工作,而这一关系可通过相机成像模型的研究得到。对于针孔相机模型,设物体几何模型上一点P的世界坐标为(x,y,z),点P在纹理图像上对应点的坐标为(u,v),(u,v)和(x,y,z)成为一组特征对应,它们之间的关系用齐次坐标写成矩阵形式为:s⎛⎝⎜uv1⎞⎠⎟=M⎛⎝⎜⎜⎜xyz1⎞⎠⎟⎟⎟(1)其中M=⎛⎝⎜m11m21m31m12m22m32m13m23m33m14m24m34⎞⎠⎟为投影矩阵,s为常数。由式(1)可以得到两个方程:⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪m11x+m12y+m13z+m14−m31xu−m32yu−m33zu−m34u=0m21x+m22y+m23z+m24−m31xv−m32yv−m33zv−m34v=02)也就是说,对于每一对对应点,可以得到关于M的两个方程,只要确定出六组以上的对应点,就可以得到M的所有参数。本文根据Faugeras提出的方法计算投影矩阵。求出投影矩阵后,遍历几何模型上所有点,对每一个点求出其在二维纹理图像上的对应点,并取出该对应点的RGB值作为三维点的纹理值,完成纹理映射。3icp算法中特征对应的动态更新目前对3D和2D之间对应点对一般通过手工选取的办法获得。对于人工标记出的特征点对,利用投影矩阵,可以把这些特征中的三维点很好地对应到相应的二维点,但是这样得到的对应关系只是将把给定的特征对应起来,由于人工标记会引入人为的误差,使得特征对应本身不太精确,本文将ICP算法应用于3D和2D的配准中,在计算过程中动态更新特征对应,使之越来越准确。3.1深度图像配准中的等优点迭代最近点(IterativeClosestPoint,ICP)算法最初由Besl和Mckey提出,通过最小化两个点集中最近点的距离平方和使两个点集达到最优匹配的过程。ICP算法有着配准精度高,算法与曲面表示方法独立等优点,在深度图像配准中得到了广泛的应用。对于进行ICP迭代的两个点集,模型点集和数据点集分别用{mi}和{di}表示,配准工作是确定变换T,从而得到最好的模型和数据。亦即最小化误差函数:E(a,φ)=∑i=1Nwiε2(|mφi−T(a,di)|)(3)其中p阶向量a为变换T的参数,φ(i)表示模型点和数据点间的对应关系,通常在ICP算法中φ(i)是基于使模型和数据间的距离最小化这点来选择的,结果误差函数变为:E(a)=∑i=1Nwiminjε2(|mj−T(a,di)|)(4)最后,围绕参数a的最小化给出最优的配准估计:aˆ=argminj∑i=1Nwiminjε2(|mj−T(a,di)|)(5)3.2基于投影方向的特征点确定将ICP算法应用于几何模型与纹理图像的3D-2D配准,主要包括以下几个步骤:1)通过人工选取的特征点对,计算投影矩阵,给出ICP迭代的初始值;2)利用已有的投影矩阵,计算出三维特征点的投影位置,对每一个三维特征点,在图像上寻找与其投影位置距离最近的二维特征点,并作为特征对应记录下来,为每一个三维特征点找到最近点的方法如图1所示,其中红点表示二维特征点,蓝点表示三维特征点在当前投影矩阵下的投影,绿点表示某二维特征点周围的一个邻域,黄点表示一次迭代后得到的最近点位置;3)依据这些新的特征对应,重新求解投影矩阵,重复步骤2)确定新的特征对应,将ICP迭代下去;4)当特征对应满足一定的要求时,停止ICP迭代,并对新的投影矩阵进行LM优化。3.3纹理图像特征点ptv根据手工选定的特征点对,可以给出投影矩阵的初始化值,对于每一个三维特征点Vi(x,y,z),在该投影矩阵下的映像为T(a,Vi),其中参数a对应于投影矩阵M,对应纹理图像上特征点pi(u,v),则定义误差函数:E(a)=||e||2=1n∑i=1nwi||pi−T(a,Vi)||2(6)这里e=(e1,e2,…en)T,wi为对应特征点对的权值。3.4wi的值的计算由于在匹配过程中,每个数据点的信息都很重要,不应轻易抛弃,因此,通过对数据点在计算中的权重wi∈加以改变。对于那些法线夹角较小的特征点对,认为有很高的可信度,对这些点赋予较大的权值;而对于那些法线夹角较大的特征点对,可以适当减小它们的权值,因此,采用三维特征点的法线与纹理图像法线的内积来确定wi的值,即:wi=nv·np(7)nv和np分别为三维特征点Vi(x,y,z)和对应图像特征点pi(u,v)的法线。对应图像的法线通过投影矩阵求解摄像机外参数矩阵来确定。三维特征点Vi(x,y,z)的法线根据其相邻三角面的法线做平均归一化得到。三角面的法向量由三个顶点v1、v2、v3的外积求得。3.5基于lm的步长更新LM算法结合高斯-牛顿法和梯度下降法来最小化误差函数,其每次迭代的目标是对现有的ak进行更新,使得ak+1=ak+x,来减小误差E,将E(a+x)在参数a处进行泰勒展开,有:E(a+x)=E(a)+(∇E(a)⋅x)+12!((∇2E(a)⋅x)⋅x)+h.o.t(8)这里,E(a)=eTe(9)∇E(a)=2(∇e)Te(10)∇2E(a)=2(∇2e)e+2(∇e)T∇e(11)用J来表示n×p阶雅克比矩阵∇e,其中Jij=∂Ei/∂aj,根据高斯-牛顿近似,(∇2e)e≈0,得到:E(a+x)≈eTe+2xTJTe+xTJTJx(12)每次迭代的任务是确定步长x,使E(a+x)最小,对上式求x的导数并令结果为0,得:∇xE(a+x)=2JTe+2JTJx=0(13)解方程求x得到Levenberg-Marquardt更新,并完成LM-ICP的一次迭代:1)计算余数向量e(ak),根据a的分量导出J的n×p矩阵;2)计算更新x=-(JTJ+λI)-1JTe;3)使ak+1=ak+x。LM算法每次迭代更新的步长结合了高斯-牛顿法和梯度下降法,其中较大的λ值对应了较小幅度的梯度下降法,而较小的λ值则对应了快速收敛的高斯-牛顿法。运用LM优化方法,关键是在每步迭代后对因子入作出适当的调整,使其保证甚至在高斯-牛顿近似值不好的地方也能快速推进。4基于lm-icp迭代算法的重投影误差检测本文采用3DSS-STD-II型结构光三维扫描仪对兵马俑头塑进行扫描,得到的点云模型几何精度达到0.03mm,然后使用三维建模工具GeomagicStudio对点云模型进行后续处理,建构文物的网格模型,在OpenGL中渲染出来,效果如图2所示。同时由canonA1100相机拍摄得到纹理图像,分辨率为1024×1024。对几何模型和纹理图像利用本文算法进行配准,其中算法流程如图3所示。通过人工提取几何模型和纹理图像的特征对应点对,计算初始投影矩阵,利用对应点对法向量内积加权的ICP算法对对应关系进行更新,并对投影矩阵进行LM优化,如图4所示为经过LM-ICP迭代优化前后三维特征点投影与二维特征点对应关系,其中红色的点表示提取的二维特征点,蓝色的点表示三维特征点的投影,白色的点表示三维模型点的投影,其中,在初始投影矩阵下重投影均方根误差为4.593个像素,经过法向量内积加权LM-ICP迭代后重投影均方根误差降为0.911个像素,进行LM-ICP迭代过程中重投影误差的变化如图5所示。最后将配准的纹理图像的颜色信息赋给投影的三维几何模型,在OpenGL窗口中绘制出来,效果如图6所示。5实验结果和分析针对文物三维重建中几何模型与纹理图像对应点的配准问题,本文研究实现了一种改进的LM-ICP