一种基于网格的图像纠正拼接算法

一种基于网格的图像纠正拼接算法

1基于网格的温度一致性技术图像连接是对多个图像序列的空间匹配对重叠的图像进行区域匹配的过程。在重复采用后，形成一个具有不同图像序列信息的新图像，包括一个场景，一个完整的场景和一个清晰的新图像。图像拼接技术的核心是图像配准技术,目前对于不同类型的图像和数据存在多种图像配准方法,其中最常用的方法是基于图像特征的方法,该方法在特征提取后得到的特征点的数量将会大大减少,因此可以提高配准的速度,但其配准的效果很大程度上还取决于特征点的提取精度以及特征点匹配的准确度。文献提出用最近邻接点之间的距离原则来确定一个点集中点与另一个点集中点之间的匹配对应关系,并引入一个参数来控制出界点效果,但是随着噪声的增加,这种算法逐渐变得不可靠,同时在优化时极易陷入局部最小化。文献提出了定义两个特征点集之间的Hausdorff距离,通过使其最小化来寻找图像之间变换参数,但试验结果表明Hausdorff距离随着空间变换参数的变化并不是平滑的。为了提高图像拼接的质量,本文提出一种基于网格的数码相机数字化图像拼接算法。该算法首先计算经过数码相机拍摄后的标准网格中每个网格的变形参数,利用这些参数对放在标准网格上用数码相机数字化的文档图像进行快速的畸变纠正、拼接。试验表明,该算法提高了图像配准的精度,对数码相机扫描的文档类图像能进行批量拼接,具有拼接速度快,效果好等优点,为采用数码相机数字化文档等工作提供了一定的技术支持。2图像拼接技术随着数字图书馆建设步伐的不断加快,对包括档案在内的各种文档资料进行数字化势在必行。原始的将纸制文档通过高速扫描变成图像文档存放在计算机中的数字化方法容易毁坏文档且效率低。由于数码相机具有操作方便,灵巧等优点,从而使得采用数码相机对文档类文件进行数字化成为一种趋势。数码相机拍摄图像的质量与很多因素有关,如物距、焦距、像素、镜头、环境等,特别是镜头,任何数码相机的镜头都会造成几何畸变,这样导致数码相机拍摄的图像质量不如扫描仪扫描的图像质量好,变形较大,给图像纠正拼接带来一定的困难。为了克服这种畸变给拼接造成的影响,本文采用一种基于网格的拼接算法,先计算标准网格的每个网格变形参数,利用这些参数对在网格上数字化后的图像进行纠正拼接。图像拼接技术主要包括两个关键环节,图像配准和图像融合,而图像配准又是整个图像拼接技术的核心部分。本文所提出的图像拼接算法中,主要有以下两个关键环节需要进行优化:统一坐标系和图像配准。2.1图像坐标系的统一图像配准是整个图像拼接技术的核心部分,而图像配准中最重要的就是坐标系的统一。如果拼接过程中各个子帧图像(每帧图像对应一张任意尺寸幅面的文档资料。超过A4大小的幅面的文档资料将被划分开来采集图像,该文档资料的每一个分幅图像称为一个子帧)的坐标系不统一,则会造成拼接时出现裂隙或者丢失像素。坐标系的统一,首先保证原点的统一。在图像处理过程中,首先确定每个子帧图像在大图像中的位置,然后确定其对于坐标原点的偏移量,根据偏移量就可以将所有子帧图像统一到同一坐标系内,除了偏移量之外,还必须统一单位长度。在纠正过程中,计算出每幅子帧图像的分辨率,然后将其平均,计算出平均分辨率,将其赋给每个子帧图像。这样就统一了各个子帧图像的单位长度。2.2图形特征配准算法目前对于不同类型的图像和数据存在多种图像配准算法,其中最常用的算法是基于图像特征的算法。基于图形特征的配准算法首先是要尽可能准确地提取图形的特征点,而尽可能地选择高精度的提取算法一直是这方面研究的重点和难点。为了提高配准的精度,在本文提出的基于网格的图像纠正拼接算法中,在选择提取图形的特征点时,采用最小二乘法对标准网格进行优化,减少匹配网格数量的同时又能提高匹配的精度。1匹配算法及必须使用的原则模板匹配是一种最原始、最基本的模式识别算法。研究某一特定对象物的图案位于图像的什么地方,进而识别对象物,这就是一个匹配的问题。当对象物的图案以图像的形式表现时,根据该图案与一幅图像的各部分的相似度判断其是否存在,并求得对象物在图像中位置的操作叫做模板匹配。匹配过程中相关系数的计算公式如下:R(i,j)=∑m=1Μ∑n=1Ν[Si,j(m,n)×Τ(m,n)]∑m=1Μ∑n=1Ν[Si,j(m,n)]2∑m=1Μ∑n=1Ν[Τ(m,n)]2(1)注:上式中M表示待匹配的源图像(Source)的栅格数,N代表匹配模板图像(Template)的栅格数。匹配的精度与纠正参数的精度直接相关,直接影响到最后的图像纠正结果。因而在匹配的过程中,需要选择合适的经验值,本文的匹配算法包括以下四个经验值:①相关系数阈值:该值用来过滤所有点的相关系数,当待匹配点的相关系数小于该阈值时,将此匹配点过滤掉,所有过滤剩下的点放入一个链表中;②距离阈值:过滤链表时,设置的过滤半径。距离阈值用来辅助过滤上一步中产生的链表。具体操作:搜索链表时,先找到链表中所有点的相关系数最大值的点,然后删除这个最大值点在这个距离阈值周围所有的点;③粗匹配的像素的间隔:在搜索标志圆时,不是逐点进行匹配,而是先间隔一定像素来计算相关系数,此阈值就是间隔像素;④范围距离阈值:在搜索标志圆时,使用此阈值,给定一个点,指定一个范围距离半径,在此范围中逐个像素精确计算相关系数进行匹配。在这四个阈值中,相关系数阈值最为重要。相关系数选择过大容易丢失待目标点,选择过小,则会加大计算量,降低图像处理的效率。所以改阈值必须谨慎选择。2几何畸变纠正算法仿射变换(AffineTransform)是一种几何变换,它可以按比例放大或缩小图形,使图形旋转或位移,也可以使图形产生畸变。一般来说,它包含缩放、偏移、旋转,但不包含投影。图像处理中,仿射变换一般用来校正各种变形,是使用得比较多的一种几何纠正方式。本文采用仿射变换来纠正扫描图像的几何畸变,式(2)和式(3)即为该算法采用仿射变换公式的代数表达式和矩阵表达式:{x′=a11x+a12y+a1y′=a21x+a22y+a2(2)(x′y′)=(a11a12a21a22)(xy)+(a1a2)(3)确定仿射变换参数至少需要3个控制点,如果有更多的控制点,可以采用最小二乘原理来确定变换参数。所谓最小二乘原理就是对所给的数据点,寻找一条曲线,使得在同一坐标点xi处,曲线上的点与实测的数据之间的误差平方和最小,以这种度量算法确定拟合曲线称为最小二乘原理。在本文提出的算法中采用最小二乘原理来选定控制点,使仿射变换达到最佳效果。2.3融合网络化技术将两幅图像配准之后,接下来的工作就是图像融合。图像融合就是指将配准后的图像序列在空间进行叠加,从而增加图像信息量的过程。本文经过试验比较,采用的是Szeliski提出的一种加权平均的融合算法来使图像平滑。2.4准理想图像的匹配算法1)读入标准图纸的各项参数,包括标准图纸单位圆坐标数组,标准图纸单位长度,十字丝的行列数,单元格的行列数,为下面的变形参数的计算做准备。这里的标准图纸是指用绘图仪制作的图纸。画有纵横交错的单元格的,大小大约2×3个A4的幅面(可以根据实际需要调整),每个A4幅面的四个角上都有黑色的实心黑点,如图1所示。2)用数码相机对标准图纸进行拍摄,并将数码相机拍摄的彩色图像转换成灰度图像,为接下来的匹配做准备。3)用匹配算法找到原始图像上标志圆点,确定其坐标。4)根据原始图像上的标志圆点的坐标,计算原始图像的分辨率。5)根据分辨率和标准图纸的相应参数计算出理想图像的标志圆和坐标(十字丝是指在标准图纸上单元格中间的纵横交叉点)。6)计算整体仿射变换参数。7)生成准理想图像,根据整体仿射变换参数对原始图像进行仿射变换,得到结果图像就是准理想图像。8)用匹配算法检测准理想图像的十字丝坐标。首先用程序生成十字丝模板,然后用该模板对准理想图像进行匹配,找到准理想图像的十字丝。9)依据准理想图像的十字丝坐标和整体仿射变换参数解求原始图像的十字丝坐标。10)由原始图像的十字丝,理想图像的十字丝,计算每个单元格的仿射变换参数。11)不改变数码相机的相关参数,继续拍摄其他的文档资料。12)根据得到的变换参数,逐个单元格对所拍摄文档资料的图像进行纠正、拼接。13)对于大幅面(超过A4幅面)的文档资料,逐个单元格进行纠正,然后拼接。为了提高该算法的计算速度,在设计算法的过程中需要注意以下几点:①相关系数计算简化,即对于标志圆,由于圆形的特殊对称性质(竖直方向和水平方向轴对称以及对于圆心中心对称),我们在计算相关系数的时候,不需要考虑每个像元的像素值,而只需要计算八个方向上的像素即可;②快速寻找标志圆:用匹配算法寻找标志圆时,不是逐个像素寻找,而是先跳像素进行匹配运算,找到标志圆的大致位置,运算完毕之后。根据大致位置,再逐个像素进行精确的匹配运算,找到标志圆的确切位置;③利用先验知识:在对准理想图像进行十字丝匹配的时候,逐个像素进行匹配,效率太低。本文利用先验知识,即每个十字丝之间的距离是相等的这一条来进行优化匹配算法,提高效率。在找到第一个和第二个十字丝的时候,根据第二个十字丝的坐标和第一、第二两个十字丝之间的距离,估算第三个十字丝的大致位置,然后在该位置附近寻找十字丝,大大提高了效率。运用了该算法进行计算之后,计算变形参数的时间只有应用该算法之前的五分之一。4系统纠正后的图像效果本算法的开发平台是MicrosoftVC++6.0,在试验过程中本文选择了一个开源的图像库CxImage来支持算法。试验效果图如下:1)用数码相机拍摄的带有单元格的标准图纸,可以看到有明显的变形,主要是枕形畸变。图像的中央部分变形很小,而靠近图像边缘的地方,直线明显弯曲成曲线,向外凸出,如图2所示。经过系统纠正后的图像如图3所示,可以看到图像边缘上的曲线都已经被纠正成直线了。2)拼接效果本文以两个A4幅面大小的文档为例,演示一下,经过纠正拼接的图像的最终结果。纠正前的两幅单独的图像如图4所示。纠正后拼接的结果如图5所示。5基于网格的图像纠正、拼