图像拼接算法

图像拼接算法第1页，共19页，2023年，2月20日，星期五图像拼接简介第2页，共19页，2023年，2月20日，星期五图像拼接简介图像拼接中的几个主要问题：使用图像数据和摄像机模型对几何失真进行校正。使用图像数据及摄像机模型进行图像对齐。消除拼接图像中的接缝。第3页，共19页，2023年，2月20日，星期五摄像机运动模型在拍摄过程中由于摄像机镜头的运动，使得拍摄到的相邻两幅图像中的景物会出现几何形变。通过寻找能够恰当地将一幅图像与另一幅图像对准的几何变换来将两幅图像对齐。这些变换被称为对应(homography)。换句话说，这些几何变换是一种映射， 两幅有重叠区域的图像，其中一幅图像重叠区域中的一个点经过这种几何变换将被映射到另外一幅图像重叠区域中的某个点上。这样这两个点形成了对应关系。在固定位置拍摄的条件下，我们通常使用8-参数运动模型以及其简化形式来概括或计算这些几何变换。第4页，共19页，2023年，2月20日，星期五摄像机运动模型homography第5页，共19页，2023年，2月20日，星期五摄像机的8-参数运动模型常见的几种几何变换：平移（translation)旋转(rotation)水平切变(horizontalshear)投影(projection)第6页，共19页，2023年，2月20日，星期五8-参数运动模型假设和分别是一个象素点的新旧坐标，一个二维仿射变换可以写为： 或是

尺度和旋转 垂直切变 水平切变

第7页，共19页，2023年，2月20日，星期五8-参数运动模型仿射变换在统一坐标系下可以用一个矩阵相乘的形式来表示：

当引进尺度参数W后，就得到了8-参数模型： 第8页，共19页，2023年，2月20日，星期五8－参数运动模型平移、刚体、仿射以及透视变换对应的变换矩阵M的形式：第9页，共19页，2023年，2月20日，星期五图像对齐图像对齐找出两幅图像之间最优的空间位置和色彩之间的变换关系，使一幅图像中的点最优地映射到另一幅图像中。它是图像拼接过程中的主要任务。第10页，共19页，2023年，2月20日，星期五图像对齐方法所使用的图像特征特征点频域灰度值优化算法非线性最小二乘傅立叶变换小波变换动态规划遗传算法第11页，共19页，2023年，2月20日，星期五对齐算法流程投影到统一坐标系初始变换矩阵M最终变换矩阵M图像合成非线性最小二乘法进行优化第12页，共19页，2023年，2月20日，星期五初始变换矩阵的获取初始变换矩阵M可以通过提取特征点或者在频域上计算两幅图像的相位相关等方法来得到。MATLAB中内建有cpselect函数，该函数允许用户在将要拼接的两幅图像的重叠区域中手工选取一定数量的匹配特征点对然后自动给出两幅图像之间的初始变换矩阵。第13页，共19页，2023年，2月20日，星期五优化目标函数假设I‘(x’,y‘)和I(x,y)是两幅需要对齐的图像。这种方法就是要使I(x,y)和I‘(x’,y‘)的重叠区域中所有相应象素i的强度值之差的平方和最小，即：第14页，共19页，2023年，2月20日，星期五L-M非线性最小二乘算法1.对于未对齐图像中（x,y）处的象素点，（a）计算它在基准图像中的位置第15页，共19页，2023年，2月20日，星期五L-M非线性最小二乘算法（cont.）（b）计算误差梯度（c）计算Hessian矩阵A和加权梯度向量b,其中第16页，共19页，2023年，2月20日，星期五L-M非线性最小二乘算法（cont.）2.求解方程并且更新变换矩阵3.检查误差E的变化，如果增大，则适当地增加λ，重新计算一个△m，然后重复步骤2；如果减小，则适当地减小λ，重新计算△m，然后重复步骤2。4.不断进行迭代计算直到强度差E低于某一门限或执行完一定的次数为止。第17页，共19页，2023年，2月20日，星期五拼接实验(1)第18页，共19页，2023年，2月20日，星期五后续工作改进图像对齐算