案例9 图像拼接和图像融合

案例9图像融合和拼接崔丽对来自多个传感器的多源信息进行多级别、多方面和多层次的处理和综合，从而获得更丰富、更准确、更可靠的有用信息。信息融合是一种多层次、多方面的处理过程，这个过程对多源信息进行检测、结合、相关、估计和组合，以达到精确的状态估计和身份估计记忆完整、及时的态势估计和威胁估计。——J.LlinasandW.Edward信息融合（InformationFusion）图像融合是将两个或两个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息加以综合，以生成新的有关此场景解释的信息处理过程。图像融合是是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率。图像融合（ImageFusion）图像融合是以图像为研究对象的信息融合，它把对同一目标或场景的用不同传感器获得的不同图像，或用同种传感器以不同成像方式或在不同成像时间获得的不同图像，融合为一幅图像，在一幅融合图像中能反应多重原始图像的信息，已达到对目标和场景的综合描述，使之更适合视觉感知或计算机处理。它综合了传感器、信号处理、图像处理和人工智能等技术的新兴学科。多源图像多传感器图像：成像机理不同的独立传感器获得的图像（不包括遥感图像）如前视红外图像和可见光图像CT图像和MRI图像前视红外线图像和毫米波雷达图像融合图像源分类多源图像遥感多光源图像：成像机理不同的传感器或同种传感器不同工作模式获得的遥感图像如:SPOT卫星的多光谱图像和全色图像QuickBird卫星的多光谱图像和全色图像多源图像多聚焦图像：光学传感器的不同成像方式（指不同聚焦点）获得的图像多源图像时间序列（动态）图像：同种图像传感器以相同成像方式在离散时刻拍摄的图像图像配准、图像融合、特征提取、识别与决策图像融合分三个层次：像素级严格配准的条件下，直接进行信息综合。基于数据层面，主要完成多源图像中目标和背景信息的直接融合。最低层次的图像融合，准确性最高，能够提供其他层次处理所具有的细节信息。处理的信息量较大。特征级与处理和特征提取后获得的景物信息如边缘，形状，纹理和区域等信息进行综合与处理。中间层次信息融合，即保留了足够数量的重要信息，有可对信息进行压缩，有利于实时处理决策级根据一定的准则以及每个决策的可信度做出最优决策。最高层次的信息融合，实时性好，并且具有一定的容错能力。基于认知模型的方法，需要大型数据库和专家决策系统进行分析、推断、识别。图像融合的处理过程1.图像增强空间域增强点运算：线性变换，非线性变换，直方图均衡化，归一化。邻域运算：图像平滑，锐化频域增强塔式分解增强，Fourier变换增强，滤波彩色增强伪彩色增强，假彩色增强，彩色变换图像代数运算插值法，比值法，混合运算法，分辨率融合多光谱图像增强主成分分析，K-T变换图像融合预处理2.图像矫正和配准基于灰度信息的图像配准基于灰度的一些统计信息来度量图像的相似度。优点简单易行，缺点计算量大，对噪声敏感。三种方法互相关法序贯相似度检测匹配交互信息法基于变换域图像配准方法图像间的平移，旋转，缩放在频域上有对应，对抗噪声有一定的鲁棒性2.图像矫正和配准基于特征的图像配准方法基于灰度和变换域有如下不足：受光照影响大，对灰度变换敏感搜索空间会出现很多局部极值点，涉及到阈值的设定处理信息量大，计算复杂度高对旋转，尺度变换以及遮掩等敏感基于特征的方法图像中特征数较少，特征间的匹配度量岁位置变动很大，可以利用图像轮廓特征间的几何约束关系，对干扰变形等有较强的适应能力——比如指纹中的特征点匹配，纹线匹配步骤：1）特征提取：特征点（角点，高曲率点），直线段，边缘，轮廓，闭合区域，特征结构以及统计特征，矩不变量，重心等2）特征匹配3）图像转换——完成图像整理变换互相关法：

它是一种匹配度量，通过计算模板图像和搜索窗口之间的互相关值，来确定匹配的成都，互相关最大时的搜索窗口决定了末班图像在待匹配图像中的位置。

对图像I和一个尺寸小于I的模板T，归一化二维交叉相关函数定义如下：C(u,v)表示了模板在图像上位移(u,v)位置的相似成都简单介绍几种图像匹配算法基于变换域的图像配准1.平移检测clear;I=imread('cameraman.tif');%参数[25,30]可以修改，修改后平移距离对应改变

,得到图像平移后图像TIse=translate(strel(1),[3525]);TI=imdilate(I,se);imshow(TI);%Fourier变换FI=fft2(I);FTI=fft2(TI);%相关量hgl=FI.*conj(FTI)./(abs(FI.*conj(FTI)));%逆Fourier变换得到deta函数deta=abs(ifft2(hgl));%显示突变点x=1:size(I,1);y=1:size(I,2);mesh(x,y,deta);%求出平移变换点[x0,y0]=find(deta==max(max(deta)));Matlab程序（变换域的配准）2.旋转变化子函数：极坐标转化functionPI=Car2PIm(I)%I=imread('standard_lena.bmp');[MI,NI]=size(I);M2=MI/2;N2=NI/2;PMax=round(sqrt(M2^2+N2^2))+1;PMin=sqrt(2);PI=zeros(PMax,361);fori=1:M2forj=1:N2p=sqrt(i^2+j^2);theta=atan(j/i);p=round(p)+1;%360*/PMaxtheta=round(theta*180/pi)+1;PI(p,theta)=I(i+M2,N2-j+1);PI(p,180-theta)=I(M2-i+1,N2-j+1);PI(p,180+theta)=I(M2-i+1,j+N2);PI(p,360-theta)=I(i+M2,j+N2);endend%imshow(PI,[]);%imwrite(PI,'Lena_cui.tif');clear;I=imread('cameraman.tif');%TI=imrotate(I,-30,'crop');%imwrite(TI,'RT.tif');TI=imread('RT.tif');TI=TI(:,:,1);%MFI=abs(fft2(I));%MFTI=abs(fft2(TI));PMFI=Car2PIm(I);PMFTI=Car2PIm(TI);hgl=fft2(PMFI).*conj(fft2(PMFTI))./(abs(fft2(PMFI)).*conj(fft2(PMFTI)));deta=abs(ifft2(hgl));x=1:size(PMFI,1);y=1:size(PMFI,2);%mesh(x,y,deta);[x0,y0]=find(deta==max(max(deta)));有问题拼接图像边缘的融合艺术照片的效果照片做旧老照片翻新纹理映射电脑设计搞怪多光谱图像融合问题图像尺寸融合位置确定时域和频域的处理选择图像融合实际需要，大长照片拍摄和制作问题拼接位置定位算法——识别边界是否有平移旋转，要去掉这些带来的影响对于变形的处理，视点不同带来的影响，能否从图像中获取拼接后的边界融合选择合适的滤波器进行模糊化处理进而锐化处理，突出边缘，采用图像局部增强方法拼接图像大小处理是否涉及到图像的缩放图像拼接预处理待融合图像局部大小统一，确定融合位置小波分解获得各个频段的信息对各个频段进行融合处理将处理后的频段，进行小波逆变换，重构图像——完成图像融合关键是融合函数的设计基于小波的图像融合小波系数，高频逼近系数，低频融合决策改进，比如把点改为区域的，把单小波改为多小波。融合策略工具箱实现imagefusionDemo演示Matlab实现loadmask;X1=X;loadbust;X2=X;[XFUS,TXFUS,TX1,TX2]=wfusimg(X1,X2,'db2',5,'max','max','plot');subplot(1,3,1)imshow(X1,[]);subplot(1,3,2);imshow(X2,[]);subplot(1,3,3)imshow(XFUS,[]);Matlab代码实现低通如何融合高通如何融合设计融合函数找寻有趣图像进行融合尝试各种融合策略例1.图像拼接-周安琪（10级）%读入彩色图片im=imread('照片007.jpg');im1=imread('照片008.jpg');%变灰度图片imm=rgb2gray(im);imm1=rgb2gray(im1);%格式转换f=double(imm);g=double(imm1);%第二幅图的第一列g1=g(:,1);%第一幅图的每一列与第二幅图的第一列求距离，此处用的是列各点差的和fori=1:size(g,2)d(i)=sum(abs(f(:,i)-g1));end%求出最小距离者，即为对应最为相似的列m=min(d);%找出最相似列标a=find(d==m);%取出拼接相叠加的部分图像x=imm(:,a:size(imm,2));y=imm1(:,1:(size(imm,2)-a+1));figureimshow(x);figureimshow(y);主程序%模极大值找边缘，分别对两个待拼接图像的重叠部分进行求边缘运算。[ed,tang]=waveedge(x,0.1);[ed1,tang1]=waveedge(y,0.1);h=tang-tang1;theat=hist(h);%求拼接部分角度差的众数%z=mode(mode(theat));%进行旋转z=7;rotate=imrotate(imm1,z);%重新规划图像大小r=imresize(rotate,1/4);%z由角度变弧度z=z/360*(2*pi);[m,n]=size(g);%图像矫正——旋转fori=1:mforj=1:nA(i,j)=round(abs(i*cos(z)-j*sin(z)));B(i,j)=round(abs(i*cos(z)-j*sin(z)));endend

%旋转后的拼接过程fori=1:mforj=1:nifA(i,j)==0x=1;elseifA(i,j)>=mx=m;elsex=A(i,j);endendifB(i,j)>=ny=n;elseifB(i,j)==0y=1;elsey=B(i,j);endendF(i,j)=g(x,y);endendF=uint8(F);F=imresize(F,1/4);figure;imshow(F)

rotate=[];fori=1:size(g,1)forj=1:size(g,2)

rotate(i,j)=[cos(z)-sin(z);sin(z),cos(z)]*([g(i,j)])';endendimshow(uint8(rotate));

%小波变换检测法，输入变量I为原始图像，T为阈值%返回值：ed为边缘，tang为边缘点的角度记录。function[ed,tang]=waveedge(I,T)X=double(I);s1=size(X,1);s2=size(X,2);%多尺度m=1.0;dt=2^m;%构造高斯函数的一阶导数N=20;%高斯滤波器长度，支集范围A=-1/sqrt(2*pi);%幅度fori=1:N;forj=1:N;x=i-(N+1)/2;y=j-(N+1)/2;fx(i,j)=A*(x/dt^2).*exp(-(x.*x+y.*y)/(2*dt^2));fy(i,j)=A*(y/dt^2).*exp(-(x.*x+y.*y)/(2*dt^2));endend;%能量归一化fx=fx/norm(fx);fy=fy/norm(fy);%对图象做小波变换Gx=conv2(X,fx,'same');Gy=conv2(X,fy,'same');G=sqrt((Gx.*Gx)+(Gy.*Gy));%求梯度%%确定梯度方向ang=zeros(s1,s2);%角度子函数：小波变换边缘检测fori=1:s1;forj=1:s2if(abs(Gx(i,j))>eps*100)%x的绝对值足够大p=atan(Gy(i,j)/Gx(i,j))*180/pi;%反正切求角度值(1,4象限)if(p<0)%负的幅角（2、4象限）p=p+360;end;if(Gx(i,j)<0&p>180)%2象限的特殊处理p=p-180;elseif(Gx(i,j)<0&p<180)%3象限的特殊处理p=p+180;endelse%90或270度if(Gy(i,j)>0)p=90;elsep=270;endendang(i,j)=p;%幅角endend;ed=zeros(s1,s2);%%寻找各个方向极值点fori=2:s1-1forj=2:s2-1if((ang(i,j)>=(-22.5)&ang(i,j)<=22.5)|...(ang(i,j)>=(180-22.5)&ang(i,j)<=(180+22.5)))%0/180if(G(i,j)>G(i+1,j)&G(i,j)>G(i-1,j))ed(i,j)=G(i,j);endelseif((ang(i,j)>=(90-22.5)&ang(i,j)<=(90+22.5))|...(ang(i,j)>=(270-22.5)&ang(i,j)<=(270+22.5)))%90/270if(G(i,j)>G(i,j+1)&G(i,j)>G(i,j-1))ed(i,j)=G(i,j);endelseif((ang(i,j)>=(45-22.5)&ang(i,j)<=(45+22.5))|...(ang(i,j)>=(225-22.5)&ang(i,j)<=(225+22.5)))%45/225if(G(i,j)>G(i+1,j+1)&G(i,j)>G(i-1,j-1))ed(i,j)=G(i,j);endelse%135/215if(G(i,j)>G(i+1,j-1)&G(i,j)>G(i-1,j+1))ed(i,j)=G(i,j);endendendendME=max(max(ed).');%最大幅值ed=ed/ME;%%确定边缘form=1:s1forn=1:s2if(ed(m,n)>T)ed(m,n)=1;elseed(m,n)=0;endendend%绘制图像figuresubplot(1,2,1)imshow(I)title('原图像')subplot(1,2,2)imshow(ed)title('小波边缘')%求特征点的角度l=size(ed,1);w=size(ed,2);tang=zeros(l,w);%角度fori=1:l;forj=1:wifed(i,j)==1if(abs(Gx(i,j))>eps*100)%x的绝对值足够大p=atan(Gy(i,j)/Gx(i,j))*180/pi;%反正切求角度值(1,4象限)if(p<0)%负的幅角（2、4象限）p=p+360;end;if(Gx(i,j)<0&p>180)%2象限的特殊处理p=p-180;elseif(Gx(i,j)<0&p<180)%3象限的特殊处理p=p+180;endelse%90或270度if(Gy(i,j)>0)p=90;elsep=270;endendtang(i,j)=p;%幅角endendend;不旋转直接小波分解拼接小波边缘提取旋转匹配过程水平平移过程1.图片矫正过程中大小的变化过程如何纠正？简单补零操作。2.步骤如下：图像配准融合方案——小波分解融合在得到融合图像之后，对图像进行直方图均匀化及裁剪，使图像更加美观。后处理拼接结果例2.艺术图片制作——预处理图像分析，对于彩色图像进行分通道显示，并通过直方图进行灰度值分析。RGB通道，HSI通道或者YUV通道等。实现图像类型转换函数见RGb2hsi.m函数。观察直方图和各通道图像，选取适用于背景分离的图像通道，即待分离图像和背景图像的灰度值区分度大的图像通道。如何提取前景感兴趣区域确定阈值T，一般可选择图像均值作为阈值，也可以参考图像方差，对阈值进行修正。这里也可以加一些直观的限制，以达到更好获得感兴趣的区域。Matlab均值函数和方差函数分别为mean2和var2。具体方式为：Y=mean2(X)，X为输入矩阵，Y为矩阵X的均值Theta=std2(X)，X为输入矩阵，Y为矩阵X的均方差。对所选通道图像进行阈值化处理，化为二值图像，1为前景图像白色，0为背景图像黑色。对获得的前景图像进行修复，包括形态学的开闭运算，填补漏洞处理等。Matlab形态学运算可通过bwmorph实现，图像填补漏洞函数imfill。具体方式为：bwmorph是对二值图像的形态学算子。形态学方法在图像处理领域有着重要应用。BW2=bwmorph(BW1,OPERATION)表示对二值图像BW1作用上某一个形态学运算。BW2=BWMORPH(BW1,OPERATION,N)表示对二值图像BW1作用上某一个形态学运算N次。若N为inf，表示重复该运算直到图像不再变化为止。OPERAT