一种多屏拼接几何校正技术

一种多屏拼接几何校正技术

随着科学技术的快速发展和信息的快速扩张，人们对显示技术的要求越来越高。由于分辨率低、动态分析能力低等优点，单个普通投影无法满足市场的需求。虽然单光刻的分辨率和高动态记录能力很差，但很难推广。这是因为它太高了，无法普及。因此，多段重叠技术已经深入研究和开发，并在可视化、虚拟现实和通信等领域得到了广泛应用。这种多段叠加技术是一种通用的高检测技术，该技术是一种应用于3d滤波和高检测技术的一部分。通过这种低分析率的多段投影，我们可以在图像上形成完整的重叠图像。实现多台投影仪的拼接显示主要存在以下2个问题:1)由于多台投影仪的拼接问题以及投影仪透镜扭曲等问题,引起投影显示图像的几何不连续、枕形失真、图像的边缘呈现非矩形等现象;2)由于各台投影仪的内部参数或者质量问题,引起投影显示图像重叠区域偏亮,各投影仪间颜色不一致等明显的不匹配问题.多年来,国内外学者针对上述2个问题做了大量的分析与研究,主要提出了2类解决办法,即几何校正和颜色校正.由于几何校正技术是多屏拼接技术的基础环节和关键步骤,直接决定了显示系统的有效性,因此本文亦将重点集中于此.基于数码相机的几何校正技术作为近年来的研究热点,得到了国内外学者的广泛关注,其主要是利用数码相机获得投影仪坐标系与幕布坐标系的对应关系,进而预校正投影仪的图像,使得投影显示的结果呈现规则的矩形形状,且投影仪间的拼接呈现几何连续性.目前,公认的经典算法主要可以分为三大类:线性校正方法、分段线性校正方法和非线性校正方法.文献提出的线性几何校正方法将多台投影仪分别投影水平方向和竖直方向的特征线,然后利用数码相机拍摄图片,对特征线求交获得特征点,进而获得投影仪坐标系和幕布坐标系的对应关系,最终预校正投影仪中的图像以实现多屏的无缝拼接显示.由于投影仪凹凸不平的透镜会造成投影显示图像的非线性扭曲,而传统的线性方法无法克服这种非线性扭曲,因此文献提出了矩形分块的分段线性校正方法,即将投影图像分成若干矩形片段,分别预校正每个投影图像片段,进而提高了多投影显示的精度.文献提出了更为精确的分段线性校正方法,即通过三角剖分的方式将投影图像采样为若干的三角面片,通过计算三角面片在数码相机和投影仪之间的对应关系,以获得多投影显示的结果.然而,分段线性几何校正方法只是将问题细化,并没有从根本上解决投影仪透镜的非线性扭曲.文献提出了一种用于逼近投影仪透镜非线性扭曲的有理Bézier曲面函数的方法.该方法充分利用有理Bézier曲面函数的仿射不变性和透视不变性等好的性质,综合了非有理Bézier曲面函数和单应性矩阵技术,有效地逼近了投影仪透镜的非线性扭曲,获得了较好的实验效果.但是,高密度采样以及大量的计算增加了该方法的复杂度.本文在基于数码相机的几何校正过程中发现,数码相机的透镜扭曲亦是影响多屏显示结果非线性扭曲的重要原因.因此,综合考虑了多屏拼接的效率以及复杂度等问题,本文在传统的线性几何校正技术的基础上,提出一种新的基于相机参数还原的多屏拼接几何校正技术.在几何校正过程中,首先利用数码相机对标准的国际象棋棋盘进行拍摄,获取图片,并通过计算获得相机的预校正参数;在求取特征点过程中,利用预校正参数还原数码相机拍摄的图片,以更准确地获得投影仪和幕布的对应关系;最终实现多投影仪在几何上的无缝拼接.在颜色校正过程中,则采用了传统的类余弦曲线函数对相邻投影仪的重叠区域进行颜色校正处理.对高分辨率图像进行多屏拼接显示的实验结果表明,本文方法有效地克服了数码相机透镜所造成的显示结果的非线性扭曲,提高了几何校正的精度,而且时间复杂度得到了有效的控制,具有很强的实用性.1多机联合网络校正在解决投影结果非线性扭曲问题的过程中,经典的几何校正方法通常只强调投影仪透镜的非线性扭曲,而忽略了数码相机透镜的非线性扭曲.本文通过设置透镜扭曲系数的实验发现,数码相机透镜的非线性扭曲是显示结果呈非线性扭曲的重要原因之一.因此,在分析了文献的数码相机的非线性扭曲的基础上,本文利用数码相机对标准的国际象棋棋盘进行拍摄获取采样图片,然后利用文献中提出的迭代计算方式获得相机的预校正参数.1.1径向扭曲模型为了还原数码相机透镜的非线性扭曲,首先对数码相机的校正模型进行分析.透镜的非线性扭曲模型主要由两部分独立构成,即径向扭曲与切向扭曲.径向扭曲模型为{xr=(1+k1r2+k2r4+k3r6)x=x+ρxyr=(1+k1r2+k2r4+k3r6)y=y+ρy{xr=(1+k1r2+k2r4+k3r6)x=x+ρxyr=(1+k1r2+k2r4+k3r6)y=y+ρy;其中,r=x2+y2−−−−−−√r=x2+y2;ki为径向扭曲系数,1≤i≤3.同理,切向扭曲模型为{xt=x+2p1xy+p2r2+2p2x2=x+τxyt=y+2p2xy+p1r2+2p1y2=y+τy{xt=x+2p1xy+p2r2+2p2x2=x+τxyt=y+2p2xy+p1r2+2p1y2=y+τy;其中r=x2+y2−−−−−−√r=x2+y2;pi为切向扭曲系数,1≤i≤2.由于透镜的径向扭曲和切向扭曲是2个相互独立的过程,因此可以将2个扭曲过程合并构成整体的扭曲模型为{xd=x+ρx+τxyd=y+ρy+τy.{xd=x+ρx+τxyd=y+ρy+τy.通过对文献对透镜的非线性扭曲模型的分析,并按照上文所获得的非线性模型可知,透镜的非线性扭曲程度主要是由k1,k2,k3,p1和p2这5个分量共同作用而产生的.通过设置如表1所示的扭曲参数,即设置不同的k1,k2,k3,p1,p2分量,获得了3组扭曲参数.根据这3组扭曲参数,通过对标准网格进行扭曲处理,获得了对应的3幅扭曲网格图像,如图1所示.从图1中可以看出,由切向扭曲系数和径向扭曲系数的5个分量直接决定了图像的非线性扭曲程度.因此,若要恢复图像,就必须通过大量的采样实验预先计算出扭曲系数,进而对图像进行还原处理.1.2多机联合采样实验误差分析为了能够有效地获得校正参数,本文对标准的国际象棋棋盘进行拍照和采样实验,经过对采样图像提取角点、计算、校正、误差分析、迭代等步骤来获取数码相机的扭曲参数,具体的过程参见相机校正工具包1.图2所示为标准国际象棋棋盘的采样图像,图3所示为角点获取的采样图像,图4所示为对它们校正前后的误差分析.利用上述方法对每幅采样图像重复地进行角点获取和误差分析,最终经过迭代计算获得数码相机的焦距、主中心点坐标、偏斜系数,以及校正后与原始图像的误差,本文实验的数码相机参数如表2所示.在反复求解影响透镜非线性扭曲系数过程中,由于图像样本不断优化,因此获得校正图像的误差逐渐减小,扭曲参数的获取也更加准确.1.3种新的多屏拼接技术利用第1.2节获得的扭曲参数对原国际象棋棋盘的图像进行还原,如图5所示.图5所示为图像样本与其经过相机参数恢复后得到的图像.通过对比可以明显得出,校正后的图像更接近国际棋盘的真实形状,进而验证了通过数码相机恢复初始图像的有效性,为本文所提出一种新的基于相机参数还原的多屏拼接技术提供了依据.2种基于摄像机参数还原的几何校正方法本文通过对数码相机透镜的非线性扭曲的分析与验证发现,普通数码相机拍摄图像的非线性扭曲比较明显,是多屏拼接系统显示结果非线性扭曲的重要原因之一.因此,本文利用国际象棋棋盘实验并求取数码相机的校正参数,进而提出了一种新的基于相机参数还原的几何校正方法.该方法在传统的线性校正的基础上,对数码相机拍摄获取的图像均按照已经求得的相机校正参数对其进行预校正,有效地降低了由于数码相机透镜的非线性扭曲而引起的误差,具有很强的实用性,具体的过程如下.2.1基于图像特征的测线在特征点提取的过程中,本文采用对投影直线求交点的算法求取特征点,即在数码相机位置保持固定的前提下,每台投影仪分别投影显示水平特征线和垂直特征线,图6所示为左上角投影仪分别投影水平特征线和垂直特征线的实例图像及其经相机校正参数恢复后的图像.其中,图6a,6b所示为左上角投影仪投影水平特征线和垂直特征线经数码相机拍摄后获得的图像,而图6c,6d则分别是经相机校正参数校正后的图像.通过比较可以得出,校正后的图像有效地克服了数码相机透镜的非线性扭曲,获得了准确的投影特征线.进而,通过直线求交的算法求出水平特征线与垂直特征线的交点,即需要的特征点.2.2多屏拼接系统投影区域的确定为了获得多屏拼接系统的有效显示区域,每台投影仪分别投影全白图像,利用数码相机拍摄并进行相机校正处理,进而获得各个投影仪显示图像的角点坐标,最终通过计算获得重叠区域的信息和最大投影区域.图7中,中间标准的矩形边框所表示的区域便是多屏拼接系统的有效投影区域,即4台投影仪投影图像的最大内接矩阵.4个不规则的四边形边框所表示的区域即不同投影仪投影的区域,而线条比较粗的边框所表示的区域则是左上角投影仪应该投影的区域.2.3xy1由于投影仪摆放的位置和投影的方向是任意的,若要形成规则的矩形显示和无缝拼接,必须对投影的图像进行校正,具体过程如下:Step1.根据第2.1节中获得的数码相机中特征点的坐标与投影仪帧缓存中的已知坐标的对应关系,建立线性方程组,求解得出大小为3×3的单应性矩阵M.求解的公式为⎛⎝⎜xwyww⎞⎠⎟=⎛⎝⎜p1p4p7p2p5p8p3p6p9⎞⎠⎟⎛⎝⎜XY1⎞⎠⎟(xwyww)=(p1p2p3p4p5p6p7p8p9)(XY1);其中,(x,y)是每台投影仪的特征点坐标,(X,Y)是与其对应的数码相机中特征点的坐标,向量P=(p1,p2,p3,…,p9)即为单应性矩阵M.Step2.根据第2.2节中每台投影仪在有效投影区域中所占的比例将待显示图像分成4块,分配到每台投影仪的帧缓存中.Step3.通过单应性矩阵M的逆矩阵M-1,利用每台投影仪有效显示区域的角点坐标,预扭曲投影仪帧缓存中的图像,如图8所示.图8中,四边形区域P1P2P3P4是左上角投影仪在投影幕布上的最大投影区域,而四边形区域Q1Q2Q3Q4是其有效投影区域,通过逆矩阵M-1计算获得投影仪帧缓存中的预扭曲区域Q′1Q′2Q′3Q′4.对每台投影仪均进行此操作,便可获得多屏拼接系统在各个投影仪中的预扭曲图像.2.4多投影显示图像在本文所应用的多投影显示系统中,对计算机集群采用了分布式的操作方法.即在拼接显示的过程中,集群各机分别在本地存放并读取待显示的图像与配置参数,主机控制集群进行同步绘制,最终得出多投影显示图像.相对于传统的集中式操作方法,分布式操作有如下的优点:1)对网络的带宽要求较低;2)主机的负担较小;3)实时性比较强.但随之而来有如下的缺点:1)所有集群都需存储信息,浪费了空间资源;2)对集群的同步性要求较高.而在硬件高速发达的科技社会中,集群分布式操作更有利于多投影仪的拼接显示.3实验结果与分析在本文实验的多屏拼接系统中,投影仪阵列是由4台Toshiba普通型号、最大分辨率为1024×768的投影仪构成的2×2阵列;数码相机的型号为Cannon400D,18mm～55mm的镜头,最大分辨率为3888×2592;集群是由16台2.6GHzCPU,512MB显存的单机组成;投影幕布则是采用7m×4m的背投幕.利用上述硬件设备,采用本文提出的相机参数还原的算法对多屏拼接系统进行几何校正,进而采用类余弦函数对相邻投影仪的重叠区域进行颜色校正,获得如图9,10所示的实验结果.通过图9可以看出,传统方法本文获得的标准网格呈现明显的非线性扭曲,且几何位置明显不连续;采用本文方法所获得的标准网格,不仅呈现矩形显示,而且基本上消除了透镜非线性对投影结果的影响.图10所示为真实图像的投影结果,可以明显看出,采用本文方法所获得的投影结果相对于传统方法几何位置显示标准,边界呈现良好的矩形表示,获得了较为理想的投影结果.而且,由于本文方法是在线性方法的基础上实施的,因此时间复杂度和空间复杂度都能够满足市场的要求,具有较强的实用性.4多屏拼接校