第5章数字影像与特征提取

1、数字摄影测量Digital Photogrammetry第5章 数字影像与特征提取n5.1 数字影像采样与重采样n5.2 点特征提取算法n5.3 线特征提取算法n5.4 定位算子光学影像:可以看成是一个二维的连续光密度通过率函数，相片上的密度随x、y变化而变化，是一条连续的曲线，密度函数非负且有限。数字影像：是一个二维的离散光密度函数，数字影像处理要比光学影像简捷快速，而且可以完成一些光学处理方法所无法完成的各种特殊处理，成本低，具有普遍性。5.1.1 数字采样5.1 5.1 数字影像的采样与重采样数字影像的采样与重采样继续怎样才能将光学影像变成数字影像? 把一个连续的光密度函数变成一个离散的

2、光密度函数，对于航空摄影像片，一般使用光学扫描仪进行图像数字化，包括图像采样（空间坐标数字化），灰度级量化过程处理（灰度数字化）。空间域图像与频率域图像的关系和不同点:空间域图像是以空间坐标xy的函数，频率域是以坐标Vx，Vy的函数，用F（Vx，Vy）表示。vx、vy指的是另一个空间的坐标，实际上他们的物理意义并不明显，可以说只是数学上空间 。1. 数字影像表达形式 18 23 78 77 6823 45 67 78 1045 67 89 99 8645 34 44 55 7723 34 45 67 88数字影像是一个二维的灰度矩阵g:88674534237755443445869989674

3、510786745236877782318g上述矩阵灰度值g，可以看成是位置（x,y）的函数继续1, 11 , 10 , 11, 11 , 10 , 11, 01 , 00 , 0nmmmnngggggggggg) 1, 1 , 0() 1, 1 , 0(00mjyjyynixixx空间域傅立叶变化采用傅里叶变换和逆变换可实现空间域图像与频率域图像间的相互转换dxdyyxgyxgffGyfxfjyxyx 2exp),(),(),(1010/2),(1),(),(MxNyNyfMxfjyxyxeyxgMNyxfffG傅立叶变换连续函数离散函数fx、fy为频率域的坐标，其物理或几何意义并不容易理解

4、，暂可看作只是一个纯数学的空间中坐标。潮人解释频率域形式的影像矩阵，元素个数与空间域相同，但数值较小甚至为0，方便实现压缩。采用傅里叶变换和逆变换实现空间域图像与频率域图像间的相互转换yxyfxfjyxyxdfdfeffGffFyxgyx 21),(),(),(傅立叶逆变换1010/21),(1),(),(MvNvNyfMxfjyxyxxyyxeffGMNvvGyxg连续函数离散函数2. 数字影像采样n 采样 对实际连续函数模型离散化的量测过程 111223345666459956677878795556586659606636261676563646969686962626463676865

5样点 被量测的“点”是小的区域-像素采样间隔n采样间隔 样点之间的距离继续3.采样定理(一维影像）dxexgfGfxj2)()(G是有限带宽函数： 时灰度函数llfff, 0fGxg(x)fG(f)-ff3.采样定理(一维影像）)()()(xcombxkxxskx采样函数xs(x)xfs(f)-1/x1/x采样过程kkxkxxkgxkxxgxgxs)()()()()()(xS(x)g(x)fG(f)*s(f)-ff1/x1/xfG(f)*s(f)-ff1/x1/2x-1/x-1/2x采样间隔- x 采样定理 lfx21fl为截止频率 当采样间隔能使在函数g(x)中存在的

6、最高频率中每周期取有两个样本时，根据采样数据可以完全恢复原函数g(x)（Page90）kllllkxkxfxkxfxkgxfxfxkxxkgxg)(2)(2sin)(22sin)()()(5.1.2 影像重采样影像重采样当欲知不位于矩阵（采样）点上的原始函数g(x,y)的数值时就需进行内插，称为重采样不在采样点kllllkxkxfxkxfxkgxfxfxkxxkgxg)(2)(2sin)(22sin)()()(sinc函数一维影像g(x)可用P124公式517计算卷积：由2个函数f和g生成第3个函数的数学算子。离散卷积：是两个离散序列之间按一定规则，将它们有关序列值两两相乘再相加。1.双线性插

7、值法10,1)(xxxW卷积核是一个三角形函数 xW(x)(1 0)(-1 0)(0 1)111122122pYXy1y2aby1- yx1- xx2x1双线性插值法示意图权的确定2121),(),()(ijjijiPIWI双线性插值法公式22211211IIIII22211211WWWWW)()(;)()(21121111yWxWWyWxWW)()(;)()(22221221yWxWWyWxWWI与W的阿达玛积yyWyyWxxWxxW)(;1)(;)(;1)(2121)(INT)(INTyyyxxx222112112222212112121111)1 ()1 ()1)(1 ()(yIxIyx

8、yIxIyxIWIWIWIWPI加权平均值双线性插值法公式2.双三次卷积法 xxWxxxxxWxxxxW2, 0)(21,584)(10,21)(3322321卷积核可以利用三次样条函数 三次样条函数更接近sinc函数p11121314213141222324323334424344Yx双三次卷积法示意图yx-1-2124141),(),()(ijjijiPIWI44434241343332312423222114131211IIIIIIIIIIIIIIIII44434241343332312423222114131211WWWWWWWWWWWWWWWWW双三次卷积法计算公式 )()()()(

9、)()(44441111jiijyWxWWyWxWWyWxWW324323322321)2()()1()(21)()(2)1()(:xxxWxWxxxxWxWxxxWxWxxxxWxWx双三次卷积法计算公式 324323322321)2()()1()(21)()(2)1()(:yyyWyWyyyyWyWyyyWyWyyyyWyWy3.最邻近像元法)()(NIPI直接取与P(x,y)点位置最近像元N的灰质值为核点的灰度作为采样值 )5 .0(INT)5 .0(INTyyxxNN1,11,22,12,2yx4.三种重采样方法比较最邻近像元法最简单，计算速度快,且能不破坏原始影像的灰度信息,双三次卷

10、积法较费时.双线性插值法较宜。5.1.3 核线的重排列（重采样）核线的重排列（重采样）非水平核线重采样是基于模型相对定向结果，遵循核线原理对左右原始影像沿核线方向保持 X 不变在 Y 方向进行核线重采样，这样所生成的核线影像保持了原始影像同样的信息量和属性。因此当原始影像发生倾斜时，核线影像也会发生同样的倾斜。水平核线重采样使用了绝对定向的结果，将核线置平。两种不同的核线形式匹配结果是迥然不同的。一般情况下，数字影像的扫描行与核线并不重合，为了获取核线的灰度序列，必须对原始数字影像灰度进行重采样。1. 在水平影像上获取核线影像 vufxx,xyvuvufyy,xytan2. 直接在倾斜影像上取

11、核线影像根据共面方程条件，倾斜影像上核线的方向（1）根据起点和方向，给定核线上一点的x坐标，可以便确定该点y坐标，使用y坐标单向直接内插灰度。1yd2d1d2111dydyd2. 直接在倾斜影像上取核线影像（2）采用邻近点法此时核线重排列可近一步简化，根据K角，倾斜核线穿过的扫描线各取1/tanK个像元素即可组成核线。5.2 5.2 点特征提取算法点特征提取算法点特征（point feature）：主要指明显点，如角点、圆点等。作用：物体识别运动目标跟踪图像匹配全景图像拼接三维重建5.2 5.2 点特征提取算法点特征提取算法点特征（point feature）：主要指明显点，如角点、圆点等。提

12、取点特征的算子称为兴趣点算子或有利算子（Interest Operator），即运用某种算法从影像中提取我们所感兴趣的即有利于某种目的的点。点特征的灰度特征点特征的灰度特征5.2.1 5.2.1 点特征提取算法点特征提取算法Moravec于1977年提出的利用灰度方差提取点特征的算子5.2.1 Moravec5.2.1 Moravec算子算子rc（1）计算各像元的兴趣值IV（Interest Value)。在以像素为中心的影像窗口中，计算四个方向相邻像素灰度差的平方和，取其中最小者作为该像素的兴趣值。5.2 5.2 点特征提取算法点特征提取算法r12, 1,1kkiricricggV121,

13、1,2kkiiriciricggV121,3kkiircircggVc121, 1,4kkiiriciricggV4321,minVVVVIVrc4,65.2 5.2 点特征提取算法点特征提取算法（2）给定一经验阈值，将兴趣值大于阈值的点作为候选点。（3）选取候选点中的极值点作为特征点。在一定大小的窗口内，将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣值最大者，该像素即为一个特征点（抑制局部非最大），如果两个特征点之间的距离过短,则去掉其中一个。55555555520(2,2)55051050001555501212, 121 ,2401212, 22, 2301212, 122,22012

14、2, 122,21)()()()(iiiiiiiiiiiiiiiiggVggVggVggVIV=450 IV=16 IV=0IV=26IV=0IV=505.2 5.2 点特征提取算法点特征提取算法通过计算各像素的Roberts 梯度和像素为中心的一个窗口的灰度协方差矩阵，在影像中寻找具有尽可能小而接近圆的误差椭圆的点作为特征点。步骤为：5.2.2 Forstner5.2.2 Forstner算子算子5.2 5.2 点特征提取算法点特征提取算法使用Forstner的计算步骤为：（1）计算各像素的Roberts 梯度jijivjijiuggvggggugg, 11,1, 15.2 5.2 点特征提

15、取算法点特征提取算法 jijikckcikrkrjjijivukckcikrkrjjijivkckcikrkrjjijiugggggggggggg, 11,11,1, 1211, 11,2211,1, 12221vuvvuuggggggNQll（2）计算 （如 或更大）窗口中灰度的协方差矩阵552/int lk 5.2 5.2 点特征提取算法点特征提取算法NNtrQtrDet1（3）计算兴趣值22222221trDet4babaNNq矩阵N的行列式矩阵N的迹q即像素（c,r)对应误差椭圆的圆度。像元的权像元误差椭圆的圆度设有N阶矩阵A，那么矩阵的迹就等于A的特征值的总和，也即A矩阵的主对角线元

16、素的总和。5.2 5.2 点特征提取算法点特征提取算法55 . 15 . 075. 05 . 0ccffTTcq（4）确定待选点设定阈值：当同时 ，该像素为待选点。qTq T（5）选取极值点即在一个适当窗口中选择最大的待选点。权的中数55555555520(2,2)55051050001555565022502540022, 23 , 321 , 22, 322, 13 , 221 , 12, 222121,1, 12gggggggggggijjijiu65002254002522, 33 , 221 , 32, 222, 23 , 121 , 22, 122121, 11,2gggggggg

17、gggijjijiv 2, 23 , 12, 13 , 21 , 22, 11 , 12, 2, 11,2121,1, 1ggggggggggggggjiiiijjijivu 2, 33 , 22, 23 , 31 , 32, 21 , 22, 3gggggggg2000151502055205.2 5.2 点特征提取算法点特征提取算法基本思想5.2.3. Harris5.2.3. Harris角点算子角点算子从图像的局部小窗口观察图像特征，角点的特征是窗口向任意方向的移动都导致图像灰度的明显变化。5.2 5.2 点特征提取算法点特征提取算法角点：直线或边缘的拐点或交点Harris角点检测基本

18、思想平坦区域：任意方向移动，无灰度变化边缘：沿着边缘方向移动，无灰度变化角点：沿任意方向移动，明显灰度变化5.2.3. Harris5.2.3. Harris角点算子角点算子5.2 5.2 点特征提取算法点特征提取算法5.2.3. Harris5.2.3. Harris角点算子角点算子使用高斯函数计算不同位置梯度的权，离中心点越近的像素赋于越大的权重，以减少噪声影响.计算强度矩阵M，由强度矩阵计算角点响应值I5.2.3. Harris5.2.3. Harris角点算子角点算子 2222,yyxyxxyyxyxxyxggggggsGggggggyxwMMtrkMI2det矩阵M的行列式矩阵M的迹

19、卷积：由2个函数f和g生成第3个函数的数学算子。离散卷积：是两个离散序列之间按一定规则，将它们有关序列值两两相乘再相加。定义：角点响应函数I1212dettraceMM (k empirical constant, k = 0.04-0.06)MtrkMI2det5.2.3. Harris5.2.3. Harris角点算子角点算子窗口移动导致的图像变化：实对称矩阵窗口移动导致的图像变化：实对称矩阵M M的特征值分析的特征值分析max, min M的特征值缓慢变化的方向缓慢变化的方向快速变化的方向快速变化的方向(max)-1/2(min)-1/2E(u,v)的椭圆形式5.2.3. Harris5

20、.2.3. Harris角点算子角点算子Harris检测：数学表达12“Corner”“Edge” “Edge” “Flat” I 只与M的特征值有关 角点：I 为大数值正数 边缘：I为大数值负数 平坦区：I为小数值I 0I 0I 2“Edge” 2 1“Flat” region通过M的两个特征值的大小对图像点进行分类:2. 步骤（1）确定一个n n大小的影像窗口，对窗口内的每一个像点进行一阶差分运算，求其在x, y方向的梯度gx,gy。（2）对梯度使用高斯函数进行滤波，取0.3 0.9;（3）计算强度矩阵M，由M计算角点响应值I（4）在w*w窗口范围内寻找极大值点，若Harris 角点响应大

21、于阈值，则视为角点。Harris角点检测：流程角点响应函数I5.3 5.3 线特征提取算法线特征提取算法线特征：指影像的“边缘”和“线”边缘：影像局部区域特征不相同的区域间的分界线。指图像局部区域亮度变化显著的部分，该区域的灰度剖面一般可以看作是一个阶跃，既从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值。线：是具有很小宽度的其中间区域具有相同的影像特征的边缘对。线特征提取算子通常也被称为边缘检测算子。5.3 5.3 线特征提取算法线特征提取算法道路（边缘）的提取道路（边缘）的提取5.3 5.3 线特征提取算法线特征提取算法房屋（边缘）的提取房屋（边缘）的提取5.3 5.3

22、线特征提取算法线特征提取算法图像的边缘部分集中了图像的大部分信息，图像边缘的确定与提取对于整个图像场景的识别与理解是非常重要的，同时也是图像分割所依赖的重要特征，边缘检测主要是图像的灰度变化的度量、检测和定位。主要内容：一、微分算子二、二阶差分算子三、Hough变换5.3 5.3 线特征提取算法线特征提取算法根据灰度变化的剧烈程度，通常将边缘划分为阶跃状和屋顶两种类型。阶跃状边缘两边的灰度值变化明显，而屋顶状位于灰度增加或减少的边界处。5.3 5.3 线特征提取算法线特征提取算法线特征提取算子的类型，根据使用的技术算法分为三类：（1）使用图像函数的一阶导数的算子（2）基于图像函数二阶导数过零点

23、的算子（3）将图像函数与边缘的参数模型相匹配的算子。5.3 5.3 线特征提取算法线特征提取算法一、一阶差分算子yxg,对一个灰度函数 ，其梯度定义为一个向量：ygxgGGyxgGyx,向量的大小(模）： 2122mag,ygxgGyxG向量的方向：xyGGyxarctan,1. 梯度算子概念对于一给定的阈值对于一给定的阈值T，当，当GT时，时，则认为像素（则认为像素（i，j）是边缘上的点。）是边缘上的点。 -1在数字影像中，导数的计算通常用差分近似替代。5.3 5.3 线特征提取算法线特征提取算法vurggvgugyxgG,向量的大小：2122,vurggyxG2. Roberts梯度算子2

24、121, 121, 1,jijijijijiggggG用差分近似表示导数，则有：55555555555555551111555511115555111155551111555511111111111111110000000444400000040000004000000400000044441, 11, 1,jijijijijiggggG近似计算：5.3 5.3 线特征提取算法线特征提取算法1, 11, 11,21,21, 11, 1,jigjigjigjigjigjigjiSx101202101xG3. Sobel算子检查某像素上下、左右邻点灰度的加权差。与之接近的邻点的权大。1210001

25、21yGi-1,j-1i-1,ji-1,j+1i,j-1i, ji,j+1i+1,j-1 i+1,ji+1,j+11, 11, 1, 12, 121, 11, 1,jigjigjigjigjigjigjiSyyxySSjiS,5.3 5.3 线特征提取算法线特征提取算法 jijijijijiggggg, 1, 1, 1. 方向二阶差分算子i-1,j-1i-1,ji-1,j+1i,j-1i,ji,j+1i+1,j-1i+1,ji+1,j+1121, 1, 1jijijiggg二、二阶差分算子1, 1, 11, 11,1,1, 1, 11, 1,jijijijijijijijijijigggggg

26、gggg 000121000,jijigg5.3 5.3 线特征提取算法线特征提取算法 是纵向的二阶差分算子，类似有横向与二个对角线向的二阶差分算子：i-1,j-1i-1,ji-1,j+1i,j-1i,ji,j+1i+1,j-1i+1,ji+1,j+10001210000100200101000200010010201005.3 5.3 线特征提取算法线特征提取算法 若同时检测纵向、横向，则二阶差分算子为：010141010010020010000121000 若同时检测纵向、横向与二对角线方向，则二阶差分算子为：1111811110010201001000200010101410105.3

27、5.3 线特征提取算法线特征提取算法22222ygxgg0101410102. 拉普拉斯算子（Laplace） 1,1, 1, 12jijijijijijijijiijgggggggggjijijijijiggggg,1,1, 1, 14i-1,j-1i-1,ji-1,j+1i,j-1i,ji,j+1i+1,j-1i+1,ji+1,j+1将上式系数乘-1并转换为矩阵形式，即拉普拉斯算子的矩阵形式为：也称卷积核或掩膜5.3 5.3 线特征提取算法线特征提取算法对于阶跃状边缘的二阶导数在边缘处出现零点，即边缘点两边二阶导数出现异号，即所谓的零交叉点。拉普拉斯算子是用差分来近似替代微分，二阶导数具有

28、各向同性即旋转不变性（P134），但差分近似计算不能完全符合各向同性的性质，但不能检测边缘的方向。拉普拉斯算子寻找边缘的方法是：取拉普拉斯算子符号变化的点，即通过零交叉点为边缘点。5.3 5.3 线特征提取算法线特征提取算法拉普拉斯算子的优点：（1）利用零交叉性质进行边缘定位（2）确定一个像素是在一条边缘暗的一边还是亮的一边。拉普拉斯算子一般不能直接用于边缘检测。拉普拉斯算子的缺点：（1）作为二阶导数，受噪声影响大。（2）不能检测边缘的方向.5.3 5.3 线特征提取算法线特征提取算法yxgyxfyxG,22222exp,yxyxf3. 高斯拉普拉斯算子（LOG算子）使用高斯函数进行低通滤波后

29、，再利用拉普拉斯算子提取零交叉点。高斯函数是标准差，通常取大于等于1的值。低通滤波：yxgyxf,计算滤波后的拉普拉斯算子yxgyxf,2422222222exp2,yxyxyxfP135结果轴二阶偏导数之和轴和数字图像每个像素yyxfx,25.3 5.3 线特征提取算法线特征提取算法LOG算子存在的问题对于一幅图像，使用LOG算子检测边缘时，最佳的值无法自动获得。（2）LOG算子的噪声平滑能力与边缘定位能力相矛盾，值较小时，边缘定位精度较高，但图像平滑作用较弱，在有噪声的情况下不稳定。（3）LOG算子零穿结果不能区分反差较大和反差较小的边缘像素。5.3 5.3 线特征提取算法线特征提取算法4

30、. 特征分割法边缘是一个影像段，由三个特征点组成:一个梯度最大点Z,两个突出点（梯度很小）S1、S2。5.3 5.3 线特征提取算法线特征提取算法4. 特征分割法影像段4个参数：三个特征点的像素号，两个突出点的灰度差。两个突出点的灰度差： 12SgSgg正特征：0g正特征：0g5.3 5.3 线特征提取算法线特征提取算法三、边缘检测算子比较结果5.3 5.3 线特征提取算法线特征提取算法5.3 5.3 线特征提取算法线特征提取算法5.3 5.3 线特征提取算法线特征提取算法5.3 5.3 线特征提取算法线特征提取算法三、Hough变换Hough变换用于检测图像中直线、圆、抛物线、椭圆等。基本原

31、理：将影像空间中的曲线（包括直线）的任一点(x, y)变换到参数空间(, ）中，通过检测参数空间中的极值点，确定该曲线的描述参数，从而提取影像中的规则曲线。sincosyx5.3 5.3 线特征提取算法线特征提取算法以图像中的直线检测为例：设在图像空间中，有一任意点，则过此点的直线斜截式方式为：。iiyx ,baxyii取不同的值，代表过此点不同的直线，为避免直线斜率为无限大，将直线改为参数形式。ba,sincosyx参数决定直线的方向和位置。,如直线上某点坐标为(30,40)，转换后直线参数方程通过该点，则有： 212536sin50sin5040cos503050sin40cos30X,y

32、平面中，直线上的该点对应着参数,平面中的一条正弦曲线；x,y平面上直线的参数0,0则对应参数,平面中的一个点。同一直线上每一点都可以转换为参数平面的一条正弦曲线，这些正弦曲线均通过该点0,0。00,5.3 5.3 线特征提取算法线特征提取算法检测影像中直线问题转换为检测参数空间中共线点问题。将影像空间直线上一点使用Hough变换到参数空间的一条正弦曲线上。,影像空间中直线由确定，则变换后参数空间中直线上各点的正弦曲线必须经过点，在参数空间中这个点的坐标可以代表影像空间这条直线的参数。00,00,5.3 5.3 线特征提取算法线特征提取算法Hough变换步骤（3）边缘细化，即在边缘点的梯度方向上

33、保留极值点，剔除非极值点。ii,（2）将参数平面量化，设置二维累计矩阵；,（1）提取影像特征，计算梯度方向 。5.3 5.3 线特征提取算法线特征提取算法5 . 40 . 45 . 35 . 40 . 50 . 51001102001905.3 5.3 线特征提取算法线特征提取算法Hough变换步骤（续）（5）对累计矩阵进行阈值检测，将大于阈值的点作为备选点。（6）取累计矩阵（即参数空间）中备选点中的极大值点作为所需的峰值点，这些点所对应的参数空间的坐标即所检测直线的参数。（4）对每一边缘点，以其梯度方向 为中心，设置一小区间，其中 为经验值，一般取510，在小区间内以 为步长，计算相应的 值

34、，并给相应的累计矩阵增加一个单位值。00,05.4 5.4 定位算子定位算子摄影测量不仅需要提取数字影像自身的明显标志点，还要精确地确定其位置。nWong-TrinderWong-Trinder圆点定位算子圆点定位算子nForstner Forstner 定位算子定位算子n高精度角点与直线定位算子高精度角点与直线定位算子内定向内定向1.Wong-Trinder圆点定位算子圆点定位算子 利用二值图像重心对圆点进行定位 （1）利用阈值T（最小灰度值十平均灰度值）/2将窗口中的影像二值化为gi,j（i0,n-1， i0,m-1 。 （2）计算目标重心坐标（x，y）与圆度。 yxMMmmymmx000

35、10010211202200220211202200220)2(2)2(2MMMMMMMMMMMMyx10101010)2 , 1 , 0,()()()2 , 1 , 0,(nimjijqppqnimjijqppqqpgyjxiMqpgjimpq阶原点矩pq阶中心矩 当小于阈值时，目标不是圆；否则圆心为（x，y） 1.Wong-Trinder圆点定位算子圆点定位算子 134345211054218400010010yxMMmmymmx3402343423434)2(23402343423434)2(22221120220022022211202200220MMMMMMMMMMMMyx10101010)2 , 1 , 0,()()()2 , 1 , 0,(nimjijqppqnimjijqppqqpgyjxiMqpgjim2.Trinder 改进算子 1010101011nimjijijnimjijijWjgMyWigMx算子受二值化影响，误差可达0.5像素 1010nimjijijWgM理想情况下定位精度可达0.01像素原始灰度改进措施，计算圆心坐标时。以原始灰度为权。 最佳窗口选择 最佳窗口内加权重心化 窗口内像元的加权重心为角点或圆点