第四章数字影像与特征提取

1、摄 影 测 量 学 数字摄影测量学 第四章第四章 数字影像与特征提取数字影像与特征提取 数字影像采样与重采样数字影像采样与重采样 点特征提取算法点特征提取算法 线特征提取算子线特征提取算子 定位算子定位算子 数字影像采样与重采样数字影像采样与重采样 数字影像采样数字影像采样 影像重采样理论影像重采样理论 核线的重排列（重采样核线的重排列（重采样） 数字影像或数字化影像 数字影像表达形式 1, 11 , 10 , 1 1, 11 , 10 , 1 1, 01 , 00 , 0 nmmm n n ggg ggg ggg g ) 1, 1 , 0( ) 1, 1 , 0( 0 0 mjyjyy ni

2、xixx 频率域 傅立叶变化 数字影像采样数字影像采样 采样 对实际连续函数模型 离散化的量测过程 样点 被量测的“点”是小的 区域-像素 采样间隔 矩形（或正方形）的长 与宽通常称为像素的 大小 采样定理(一维影像） dxexgfG fxj2 )()( 有限带宽函数 采样函数 采样 过程 kk xkxxkgxkxxgxgxs)()()()()()( 采样间隔- x )614( 2 1 l f x fl为截止频率或Nyquist频率 当采样间隔能使在函数g(x)中存在的最高频率 中每周期取有两个样本时，则根据采样数据可 以完全恢复原函数g(x) -上述采样间隔乃是理 论上能够完全恢复原函数的最

3、大间隔 影像重采样理论影像重采样理论 当欲知不位于矩阵（采样）点上的原始函数g(x,y)的 数值时就需进行内插，此时称为重采样（resampling） 影像重采样方法影像重采样方法 )614( 2 1 l f x k l l l l k xkxf xkxf xkg xf xf xkxxkgxg )714( )(2 )(2sin )( 2 2sin )()()( 数字影像采样函数 双线性插值法 )814(10),(1)(xxxW 卷积核是一个三角形函数 Y X 1112 13 14 P y1y2 a b y 2 1 2 1 ) 914(), (), ()( ij jijiPIWI 双线性插值法

4、2221 1211 II II I 2221 1211 WW WW W )()(;)()( 21121111 yWxWWyWxWW )()(;)()( 22221221 yWxWWyWxWW yyWyyWxxWxxW)(;1)(;)(;1)( 2121 )(INT)(INTyyyxxx 双线性插值法 22211211 2222212112121111 )1 ()1 ()1)(1 ( )( yIxIyxyIxIyx IWIWIWIWPI 加权平均值 双三次卷积法 )1114( 2,0)( 21,584)( 10,21)( 3 3 2 2 3 2 1 xxW xxxxxW xxxxW 卷积核可以利

5、用三次样条函数 )1214(),(),()( 4 1 4 1 ij jijiPIWI 44434241 34333231 24232221 14131211 IIII IIII IIII IIII I 44434241 34333231 24232221 14131211 WWWW WWWW WWWW WWWW W 双三次卷积法 )()( )()( )()( 4444 1111 jiij yWxWW yWxWW yWxWW 32 4 32 3 32 2 32 1 )2()( )1()( 21)()( 2)1()( : yyyWyW yyyyWyW yyyWyW yyyyWyW y 32 4 3

6、2 3 32 2 32 1 )2()( )1()( 21)()( 2)1()( : xxxWxW xxxxWxW xxxWxW xxxxWxW x 双三次卷积法 最邻近像元法 )()(NIPI 直接取与P(x,y)点位置最近 像元N的灰质值为核点的灰 度作为采样值 )1314() 5 . 0(INT ) 5 . 0(INT yy xx N N 12 3 4 三种重采样方法比较 最邻近像元法最简单，计算速度快 且能不破坏原始影像的灰度信息。 但其几何精度较差，最大可达到 0.5像元。前两种方法几何精度较 好，但计算时间较长，特别是双三 次卷积法较费时，在一般值况下用 双线性插值法较宜。 核线的重

7、排列（重采样）核线的重排列（重采样） 数字影像的扫描行与核线并不重合， 为了获取核线的灰度序列，必须对原 始数字影像灰度进行重采样 。 核线的概念核线的概念 图2-3-3 核面与核线 通过摄影基线与任 一物方点A所作的 平面称为通过点A 的核面。核面与影 像面的交线称为核 线，在一条核线上 的任一点其在另一 幅影像上的同名像 点必定位在其同名 核线上。 基于影像几何纠正的核线解折关系基于影像几何纠正的核线解折关系 fcvbua fcvbua fy fcvbua fcvbua fx 333 222 333 111 , , , 333222111 yx cbacbacba fvu， 图2-1-3

8、共线条件方程 )()()( )()()( )()()( )()()( 333 222 0 333 111 0 sss sss sss sss ZZcYYbXXa ZZcYYbXXa fyy ZZcYYbXXa ZZcYYbXXa fxx 共线方程共线方程 在“水平”影像上获取核线影像, v = 某常数即表示某一核 线 基于影像几何纠正的核线解折关系基于影像几何纠正的核线解折关系 1 1 3 21 3 21 ue eue y ud dud x ),(),)1( ),(),( 110 000 yxgckg yxgckg k c 在“水平”影像对上，同名核线的v坐标值相等，将同样 的v= c代入右影

9、像共线方程： fcvbua fcvbua fy fcvbua fcvbua fx 333 222 333 111 基于影像几何纠正的核线解折关系基于影像几何纠正的核线解折关系 1 1 3 21 3 21 ue eue y ud dud x ),(),) 1( ),(),( 110 000 yxgckg yxgckg 图 2-3-6 倾斜影像上的同名核线 基于共面条件的同名核线几何关系基于共面条件的同名核线几何关系 0)(qSpSB 0 fyx fyx BBB pp ZYX fBCxBAy)/()/( 直接在倾斜影像 上获取核线影像 YpXp ZpX ZpY BxByC BxBfB ByBfA

10、基于共面条件的同名核线几何关系基于共面条件的同名核线几何关系 0 fvu wvu wvu ppp sss fBCuBAv)/()/( 21 21 MBBBwvu Mfyxwvu vuwvC uwwuB vwwvA ZYXsss ppppp spsp spsp spsp 0 ZY BB 0 wv wv pp 0 fyx fyx BBB pp ZYX fcycxcw fbybxbv 321 321 pp pp vcwb fbxbwfcxcv y 22 3131 )()( fBCxBAy)/()/( 33 22 11 cvbwC cvbwB bwcvA pp pp pp 基于共面条件的同名核线几何关

11、系基于共面条件的同名核线几何关系 线性内插示意图 )( 1 2111 dydyd 线性内差 最邻近法 n 1tgK 核线的重排列（重采样）核线的重排列（重采样） 对每条核线而言K是常数 点特征提取算法点特征提取算法 点特征主要指明 显点，如角点、 圆点等.提取点 特征的算子称为 兴趣算子或有利 算子（Interest Operator） 相对定向 点特征的灰度特征点特征的灰度特征 Moravec算子算子 Moravec于1977年提出利用灰度方差提取点特征的算子 )124( )( )( )( )( 1 2 1,1,4 1 2 1,3 1 2 1,1,2 1 2 ,1,1 k ki iricir

12、ic k ki ircirc k ki iriciric k ki ricric ggV ggV ggV ggV （1）计算各像元的兴趣值 IV Moravec算子算子 ,min 4321, VVVVIV rc （2）给定一经验阈值，将兴趣值大于该阈值的点（即兴 趣值计算窗口的中心点）作为候选点。 Moravec具体步骤具体步骤 综上所述，Moravec算子是在 四个主要方向上，选择具有 最大最小灰度方差的点 作为特征点。 （3）选取候选点中的极值点作为特征点。 Moravec Forstner算子算子 计算各像素的Roberts梯度和像素（c，r）为中心 的一个窗口的灰度协方差矩阵，在影像中

13、寻找具 有尽可能小而接近圆的误差椭圆的点作为特征点。 （l）计算各像素的Roberts梯度 ) 324 ( , 11, ,1, 1 jijiv jijiu gg v g g gg u g g Forstner算子步骤算子步骤 （2）计算ll（如55或更大）窗口中 灰度的协方差矩阵 )424( 1 2 2 1 vuv vuu ggg ggg NQ )( )( )( ,11, 11 1,1 2 ,1 11 1, 2 2 , 11 1,1 2 jijiji kc kci kr krj jivu ji kc kci kr krj jiv ji kc kci kr krj jiu gggggg ggg

14、ggg Forstner算子算子 （3）计算兴趣值q与w ) 524( tr Det tr 1 N N Q ) 624 ( )( 4 2 trN DetN q DetN代表矩阵N之行列式；trN代表矩阵N之迹 Forstner算子算子 (4）确定待选点。 )824( )5( )5.15.0( 75.05.0 cc fwf T T c q 当 同时 ，该像元为待选点 q Tq w Tw （5）选取极值点。 即在一个适当窗口中选择最大的待选点 Forstner算子算子 由于Forstner算子较复杂，可首先用一简 单的差分算子提取初选点，然后采用 Forstner算子在33窗口计算兴趣值，并选 择

15、备选点最后提取的极值点为特征点。 Moravec算子较简单；Forstner算子较复杂， 但它能给出特征点的类型且精度也较高。 小结小结 222 222 )( )( 1 ba ba q 线特征提取算子线特征提取算子 线特征是指影像的“边缘”与“线” “边缘”可定义为影像局部区域特征不相同 的那些区域间的分界线，而“线”则可以认 为是具有很小宽度的其中间区域具有相同的 影像特征的边缘对，也就是距离很小的一对 边缘构成一条线。因此线特征提取算子通常 也称边缘检测算子。 常用方法有差分算子、拉普拉斯算手、LOG算子等 房屋的提取 道路的提取 线的灰度线的灰度 特征 一、微分算子一、微分算子 1梯度算

16、子 y g x g yxgG),( 2 1 22 )()(),( y g x g GmagyxG 向量Gg(x,y)的方向是函数g(x,y)在(x,y)处最大增 加率的方向；Gg(x,y)的模. 差分算子 2 1 2 1, 2 , 1, )( jijijijiji ggggG 1, 1, jijijijiji ggggG 对于一给定的阈值T，当时，则 认为像素（i，j）是边缘上的点。 通常用差分绝对值之和进一步近似 Roberts梯度算子 v u r g g v g u g yxgG),( 方向 , 导数 4 4 3 2 1 22 )(),( vur ggyxG 2 1 2 1, 2 , 1,

17、 )( jijijijiji ggggG 方向差分算子 西北 西 西南 南 东南 东 东北 北 111 121 111 111 121 111 111 121 111 111 121 111 111 121 111 111 121 111 111 121 111 111 121 111 Sobel算子 )1, 1(), 1(2) 1, 1() 1, 1(), 1(2) 1, 1(), (jigjigjigjigjigjigjiS 考察它上下、左右邻点灰度的加权差。与 之接近的邻点的权大： )1, 1() 1, (2) 1, 1() 1, 1() 1, (2) 1, 1(jigjigjigjig

18、jigjig 121 000 121 101 202 101 y x G G Prewitt算子与算子与Sobel算子算子 加大模扳 抑制噪声 Prewitt算子算子 Sobel 算子 二阶差分算子二阶差分算子 1方向二阶差分算子 121 1 2 1 )()( , 1, 1 , 1, 1 ijjij iji jij ij ijiij gggg ggggg 1 2 1 1 2 1 )()( 1,1, ,1,1 ij jijiji jijijijiij g ggg ggggg 111 181 111 1 2 1 1 2 1 010 141 010 1 D 010 141 010 1 2 1 121

19、 D 方向二阶差分算子 拉普拉斯算子（Laplace） )1334( 2 2 2 2 2 y g x g g )1534 (4 )()( )()( ,1,1, 1, 1 1,1, , 1, 1 2 jijijijiji jijijiji jijijijiij ggggg gggg ggggg 010 141 010 010 141 010 拉普拉斯算子（Laplace） 卷积核 掩膜 取其符号变化的点，即通 过零的点为边缘点，因此 通常也称其为零交叉 （zero-Crossing）点 高斯一拉普拉斯算子（LOG） 首先用高斯函数先进行低通滤波，然后利用拉 普拉斯算子进行高通滤波并提取零交叉点，

20、 ) 2 exp(),( 2 22 yx yxf ),(),(),( 2 yxgyxfyxG ) 2 exp( 2 ),( 4 22 2 222 2 yxyx yxf 高斯函数 低通滤波 拉普拉斯算子 ),(),(),( 2 yxgyxfyxG ) 2 exp( 2 ),( 4 22 2 222 2 yxyx yxf 高斯一拉普拉斯算子（LOG） 不难证明 LOG算子以为卷积核，对原灰度函数进 行卷积运算后提取零交叉点为边缘 边缘检测算子比较结果边缘检测算子比较结果 特征分割法特征分割法 将特征定义为一个“影像段”，它由 三个特征点组成：一个灰度梯度最大 点Z，两个“突出点”（梯度很小） S1

21、，S2 在提取特征时，所用算子不仅应顺次 地提取出一个特征上三个特征点的像 素序号（点位），而且还应保留两个 突出点S1，S2之灰度差。将三个特征 点的像素号与作为描述此特征的四个 参数特征参数.特征 为正特 征， 之特征为负特征。 0g 0g 特征分割法特征分割法 Hough变换变换 用于检测图像中直线、圆、抛物线、椭圆等 sincosyx 对于影像空间直线 上任一点（x，y）， Hough变换将其映 射到参数空间(，) 的一条正弦曲线上。 y = ax + bb = -xa + y 图像坐标空间 参数坐标空间 图像中直线上的点在参数空间中的映射 Hough变换步骤变换步骤 对影像进行预处理

22、提取特征并计算其梯度方向. 将(，)参数平面量化，设置二维累计矩阵H(i， j). 边缘细化，即在边缘点的梯度方向上保留极值 点而剔除那些非极值点. 对每一边缘点，以其梯度方向为中心，设置 一小区间-o，+o. i j （，） 取累计矩阵（即参数 空间）中备选点中的极 大值点为所需的峰值点， 这些点所对应的参数空 间的坐标即所检测直线 的参数。 Hough变换变换 对累计矩阵进行阈值 检测，将大于阈值的 点作为备选点. Hough 变换举例 定位算子定位算子 数字影像上明显目标主要是指地面上明显 地物在影像上的反映，或者是数字影像自 身的明显标志，例如道路、河流的交叉口、 田角、房角、建筑物上

23、的明显标志、影像 四角上的框标、地面人工标志点等等 具有代表性的定位算子是MedioniYasumoto、 基于小面元模型的定位算子、矩不变定位算子、 Wong-Trinder园点定位算子、Mikhail定位算子、 Forstner定位算子与高精度角点与直线定位算子 Wong-Trinder园点定位算子园点定位算子 利用二值图像重心对圆点进行定位 . 利用阈值T（最小灰度值十平均灰度值） /2将窗口中的影像二值化 . 计算目标重心坐标（x，y）与园度 r. 2 11 2 02200220 2 11 2 02200220 0001 0010 ) 2 ( 2 ) 2 ( 2 M MMMM M M

24、MMMM M MM mmy mmx y x yx 内定向内定向 1 0 1 0 1 0 1 0 )2,1 ,0,()()( )2,1 ,0,( n i m j ij qp pq n i m j ij qp pq qpgyjxiM qpgjim pq阶原点矩与中心矩 Wong-Trinder园点定位算子园点定位算子 当r小于阈值时，目标不是园；否则园 心为（x，y） Trinder 改进算子 1 0 1 0 1 0 1 0 1 1 n i m j ijij n i m j ijij Wjg M y Wig M x 算子受二值化影响，误差可达0.5像素。 1 0 1 0 n i m j ijij

25、WgM 定位精度可达0.01像素，这种算法只对圆点定位 Forstner定位算子定位算子 Forstner定位算子是摄影测量界著名的定位算子 最佳窗口由Forstner特征提取算子确定 以原点到窗口内边缘直线的距离为观测 值，梯度模之平方为权，在点(x,y)处可列 误差方程： 22 2 00 ),( )sincos(sincos yx gggyx yxyxv Forstner定位算子定位算子 最佳窗口选择 最佳窗口内加权 重心化 22 2 00 ),( )sincos(sincos yx gggyx yxyxv 高精度角点与直线定位算子高精度角点与直线定位算子 梯度算子的误差 1,(,12 1

26、 ,1, 2 ),1,12 kk k k k kk k 2 2 2 2 g m g m 随机误差 Roberts梯度 梯度方向代替直线方向存在不容忽视的模型 误差，Hough变换等使用梯度方向的方法不 可能达到很高的精度。 数学模型 )sincos( 2 1 exp 2 1 ),( 2 2 yxyxS )sincos(exp),( 2 yxkyxg 43210 dddd),(ccckccyxv 高精度角点与直线定位算子高精度角点与直线定位算子 x dxxSxg)()( 一维边缘的成像为刀刃曲线 线扩散函数 影像的梯度 线性化 误差方 程 ),()sincos(exp )cossin( )sincos(2 )sincos( )sincos(exp 2 00004 0023 0000002 2 000001 2 00000 yxgyxkac yxcc yxckac yxcac yxkc 其中 该平差模型不采用梯度的方向