宋怀波第15讲：图像描述

1、第第7章章 图像描述与分析图像描述与分析7.1 灰度描述灰度描述7.2 边界描述边界描述7.3 区域描述区域描述7.4 纹理描述纹理描述7.5 形态分析形态分析第第7 7章章 图像描述与分析图像描述与分析T图像分析图像分析 也叫景物分析或图像理解。也叫景物分析或图像理解。是一种描述过程，研究用自动或半自动装置和系统，从图像中是一种描述过程，研究用自动或半自动装置和系统，从图像中提取有用数据或信息生成提取有用数据或信息生成非图的描述或表示非图的描述或表示。图像分析：图像分析：特征提取、图像分割、符号描述、纹理分析、运动特征提取、图像分割、符号描述、纹理分析、运动图像分析和图像的检测与配准。图像分

2、析和图像的检测与配准。预处理预处理分割分割特征提取特征提取分类描述分类描述符号表达符号表达识别跟踪识别跟踪解释描述解释描述输入图像输入图像T图像分析通常按下列顺序进行图像分析通常按下列顺序进行 从图像中提取对象或对象组成部分的图像从图像中提取对象或对象组成部分的图像特征特征(例如图像例如图像中景物的边缘或区域中景物的边缘或区域) 利用图像特征的属性或相互关系来决定每个属性应属于利用图像特征的属性或相互关系来决定每个属性应属于哪个对象的哪个部分哪个对象的哪个部分第第7章章 图像描述与分析图像描述与分析7.1 灰度描述灰度描述7.1.1 幅度特征幅度特征7.1.2 直方图特征直方图特征7.1.3

3、变换系数特征变换系数特征2001( , )( , )NNijf x yf i jN7.1.1 幅度特征最基本的是图像的幅度特征。最基本的是图像的幅度特征。例如在区域内的平均幅度，即例如在区域内的平均幅度，即 a) a)原图原图 b)b)利用幅度特征将目标分割出来利用幅度特征将目标分割出来P(rk)=nk/N 第第rk个灰度级出现的频数个灰度级出现的频数从直方图可得到：图像对比度、动态范围、明暗程度等从直方图可得到：图像对比度、动态范围、明暗程度等 一阶直方图的特征参数：一阶直方图的特征参数： rk量化层量化层 均值：均值： 方差：方差： 歪斜度：歪斜度：10( )kLkkrur p r1220

4、()( )kLkkrru p r二阶中心矩133301()( )kLkkruru p r三阶中心矩7.1.2 直方图特征直方图特征 峭度：峭度：122()kLkrmp r120()log ()LkkbHp rp r 熵：熵： 能量：能量：7.1.2 直方图特征144401()( )3kLkkruruP rv v(m+1)u v(m)水平切口水平切口垂直切口垂直切口环状切口环状切口扇状切口扇状切口(1)1()()( , )dv mv mS mM u vv(1)2()()( , )du mu mSmM u vu(1)3()()(,)dmmSmM (1)4()()( , )dmmSmM 7.1.3

5、变换系数特征2( , )( , )M u vF u vT 频域中的一些特征，如频域中的一些特征，如2 ()222( , )( , )d d( , )( , )jux vyF u vf x y ex yM(u,v) F(u,v)R u vI u v 设：=幅谱M与与F不是唯一地对应（不是唯一地对应（M有位移不变性）有位移不变性）7.1.3 变换系数特征T特征：特征：图像中含有这些切口的频谱成分的含量。图像中含有这些切口的频谱成分的含量。T上述信息可作为模式识别或分类系统的输入信息。上述信息可作为模式识别或分类系统的输入信息。已成功用于已成功用于土地情况分类土地情况分类，放射照片病情诊断放射照片病

6、情诊断等等领域。领域。7.1.3 变换系数特征7.2.1 链码描述链码描述7.2.2 傅里叶描述子傅里叶描述子7.2 边界描述边界描述7.2.1 链码描述T在数字图像中，边界或曲线是由一系列离散的像素在数字图像中，边界或曲线是由一系列离散的像素点组成的，其最简单的表示方法是由点组成的，其最简单的表示方法是由Freeman提出提出的链码方法。的链码方法。T链码实质上是一串指向符的序列，有链码实质上是一串指向符的序列，有4向链码、向链码、8向向链码等。链码等。 )90( 1 )180(2 )0(0 )270( 3 )90(2 )135(3 )45( 1 )180(4 )0(0 )225(5 )31

7、5(7 )270(6 4向链码 8向链码7.2.1 链码描述 a) a)原链码方向原链码方向 b)b)逆时针旋转逆时针旋转9090 图图a a曲线的链码为：曲线的链码为：0112223310000076555670601122233100000765556706其差分链码为：其差分链码为：10100106700007770011161010010670000777001116 图图b曲线的链码为：曲线的链码为：23344455322222107770120 其差分链码为：其差分链码为：10100106700007770011167.2.1 链码描述 曲线的链码是：曲线的链码是：60222220

8、210134444444545770126022222021013444444454577012其差分链码是：其差分链码是： 2200006277121000000171201112200006277121000000171201117.2.1 链码描述曲线的链码是：曲线的链码是：024444424323566666676711234024444424323566666676711234其差分链码是：其差分链码是： 2200006277121000001712011122000062771210000017120111 7.2.1 链码描述链码的微分，也称差分码，由原码的一阶差分求得链码的微分

9、，也称差分码，由原码的一阶差分求得链码差链码差分是关于旋转不变的边界描述方法分是关于旋转不变的边界描述方法区域的一些其它性质，如面积和角点，可以由链码直接得到。区域的一些其它性质，如面积和角点，可以由链码直接得到。7.2.1 链码描述7.2.1 链码描述T边界链码可能出现的两个问题：边界链码可能出现的两个问题：产生的链码可能很长产生的链码可能很长噪声等干扰导致小的边界变化而使链码发生与目标整体形噪声等干扰导致小的边界变化而使链码发生与目标整体形状无关的较大变动状无关的较大变动常用的改进方法是对原边界以较大的网格重新采样，并把与常用的改进方法是对原边界以较大的网格重新采样，并把与原边界点最接近的

10、大网格点定为新的边界点。原边界点最接近的大网格点定为新的边界点。7.2.1 链码描述7.2.1 链码描述T使用链码时，起点的选择很关键。对于同一个边界使用链码时，起点的选择很关键。对于同一个边界，如果用不同的边界点作为链码起点，则得到的链，如果用不同的边界点作为链码起点，则得到的链码是不同的。码是不同的。T解决办法：链码起点归一化解决办法：链码起点归一化把链码看作把链码看作1个由各方向数构成的自然数，将这些方向个由各方向数构成的自然数，将这些方向数依数依1个方向循环以使它们所构成的自然数最小，这时个方向循环以使它们所构成的自然数最小，这时所对应的链码起点作为这个边界的归一化链码的起点。所对应的

11、链码起点作为这个边界的归一化链码的起点。7.2.1 链码描述链码的起点归一化链码的起点归一化链码的旋转归一化链码的旋转归一化 A、问题、问题 用链码表示给定目标的边界时，如果目标旋转，则用链码表示给定目标的边界时，如果目标旋转，则链码会发生变化。链码会发生变化。 B、解决方法、解决方法 利用链码的一阶差分来重新构造利用链码的一阶差分来重新构造1个序列个序列(1个表示个表示原链码各段之间方向变化的新序列原链码各段之间方向变化的新序列)。这相当于把。这相当于把链码进行旋转归一化。链码进行旋转归一化。7.2.2 傅里叶描述子T对边界的离散傅里叶变换表达，可以作为定量描述对边界的离散傅里叶变换表达，可

12、以作为定量描述边界形状的基础。边界形状的基础。T采用傅里叶描述的一个优点是将二维的问题简化为采用傅里叶描述的一个优点是将二维的问题简化为一维问题。一维问题。 边界点的两种表示方法边界点的两种表示方法傅里叶描述子傅里叶描述子boundary = (x0,y0), , (xK-1,yk-1)110for )()()(,.,K-, k kjykxks傅里叶描述子傅里叶描述子110for )(1)(10/2,.,K-, u eksKuaKkKukj110for )()(10/2,.,K-, k euaksKkKukja(u) : Fourier coefficients (Fourier Descri

13、ptors)(DFT)Inverse Fourier transformationFourier transformation傅里叶描述子傅里叶描述子110for )()( 10/2,.,K-, k euaksPkKukjapproximation to s(k)descriptors P number of coefficients傅里叶描述子傅里叶描述子傅里叶描述子傅里叶描述子傅里叶描述子傅里叶描述子使用价值使用价值1）较少的傅立叶描述子就可获取边界本质的整体轮廓。）较少的傅立叶描述子就可获取边界本质的整体轮廓。2）带有边界信息的描述子，可区分明显不同的边界。）带有边界信息的描述子，可区分

14、明显不同的边界。优点优点1）对旋转、平移、放缩等操作和起始点的选取不敏感。）对旋转、平移、放缩等操作和起始点的选取不敏感。2）几何变换的描述子可通过对函数作简单变换来获得。）几何变换的描述子可通过对函数作简单变换来获得。7.3 区域描述区域描述7.3.1 几何特征几何特征7.3.2 不变矩不变矩1. 像素与邻域像素与邻域a) 4-a) 4-邻域邻域 b) 8-b) 8-邻域邻域 7.3.1 几何特征 7.3.1 几何特征2 2 区域面积：区域面积：说明区域的大小，设每个像素边长为说明区域的大小，设每个像素边长为1 1，则区域，则区域R的面积为：的面积为：RyxA),(1即区域内像素个数即区域内

15、像素个数3 3 区域重心区域重心：RyxxAx),(1RyxyAy),(14 4 区域灰度：区域灰度：灰度的最大值、最小值、均值、中值等灰度的最大值、最小值、均值、中值等5.区域周长区域周长 三种定义：三种定义： (1) 区域和背景交界线（接缝）的长度区域和背景交界线（接缝）的长度 (2) 区域边界区域边界8 8链码的长度链码的长度 (3) 边界点数之和边界点数之和 7.3.1 几何特征6. 方向方向二阶矩轴二阶矩轴: :物体上的全部点到该线的距离平方和最小物体上的全部点到该线的距离平方和最小其中其中 是物体点到直线是物体点到直线 的距离的距离112200( , )mnxyxyrf x yxy

16、r( , )x y 7.3.1 几何特征7. 距离距离 1) 欧几里德距离（欧几里德距离（Euclidean）22( ,)()()edP Qxuyv2) 4- 4-邻域距离邻域距离(City-block(City-block城区距离城区距离) )4( ,)dP Qxuyv3) 8- 8-邻域距离（邻域距离（ChessboardChessboard棋盘距离棋盘距离）8( ,)max(,)d P Qxuyv 7.3.1 几何特征 8. .圆形度圆形度 描述连通域与圆形相似程度的量。根据圆周长与圆面描述连通域与圆形相似程度的量。根据圆周长与圆面积的计算公式，定义圆形度的计算公式如下：积的计算公式，定

17、义圆形度的计算公式如下： 其中，其中， 为连通域为连通域S的面积；的面积； 为连通域为连通域S的周长。圆形的周长。圆形度度 值越大，表明目标与圆形的相似度越高值越大，表明目标与圆形的相似度越高sA24scsALsLc 7.3.1 几何特征9. 矩形度矩形度 描述连通域与矩形相似程度的量描述连通域与矩形相似程度的量 其中，其中， 为连通域为连通域S S的面积；的面积； 是包含该连通域的最是包含该连通域的最小矩形的面积。对于矩形目标，矩形度小矩形的面积。对于矩形目标，矩形度 取最大值取最大值1 1，对细长而弯曲的目标，则矩形度的值变得很小对细长而弯曲的目标，则矩形度的值变得很小sRRAAsARAR

18、 7.3.1 几何特征10. 长宽比长宽比 其中，其中， 是包围连通域的最小矩形的宽度；是包围连通域的最小矩形的宽度； 是包围连是包围连通域的最小矩形的长度。通域的最小矩形的长度。RWRLRWLRWL 7.3.1 几何特征拓扑描述符：拓扑描述符：它们是一个不受变形影响的性质，描它们是一个不受变形影响的性质，描述的是全局属性。例如：述的是全局属性。例如：区域内孔数区域内孔数H区域内连通组元的个数区域内连通组元的个数C欧拉数欧拉数E=C- -HBirdH=2C=1E=-1H=0C=2E=2H=0C=1E=1H=1C=1E=07.3.2 不变矩1.1.矩的定义矩的定义 对于二维连续函数对于二维连续函

19、数 ， 阶矩定义为：阶矩定义为：( , )f x y()jk( , )d d,0,1,2jkjkmx y f x yx yj k 中心矩定义为：中心矩定义为：() ()( , )d djkjkxxyyf x yx y 数字图像，则上式变为：数字图像，则上式变为：() ()( , )jkjkxyxxyyf x y 低阶矩描述图像的整体特征：低阶矩描述图像的整体特征： 1. 零阶矩反映了目标的面积零阶矩反映了目标的面积 2. 一阶矩反映目标的质心位置一阶矩反映目标的质心位置 3.二阶矩反映了目标的主轴、辅轴的长短和主轴的方二阶矩反映了目标的主轴、辅轴的长短和主轴的方向角。向角。 4. 高阶矩主要描

20、述了图像的细节高阶矩主要描述了图像的细节（翘度、偏斜度）（翘度、偏斜度） 矩特征的物理意义矩特征的物理意义 2.不变矩不变矩 定义归一化的中心矩为：定义归一化的中心矩为： 利用归一化的中心矩，可以获得对平移、缩放、镜像和旋转利用归一化的中心矩，可以获得对平移、缩放、镜像和旋转都不敏感的都不敏感的7 7个不变矩，定义如下：个不变矩，定义如下：00,1()2jkjkjk12002222200211()422330122103(3)(3)7.3.2 不变矩不变矩22430122103()()2253012301230122103222103210330122103(3)() ()3()(3)() 3

21、()()2262002301221031130122103() ()()4()()2272103301230122103221230210330122103(3)() ()3()(3)() 3()()7.3.2 不变矩7.4 纹理描述7.4.1 矩分析法矩分析法 7.4.2 灰度差分统计法灰度差分统计法7.4.3 灰度共生矩阵法灰度共生矩阵法 7.4.4 纹理的结构分析纹理的结构分析 纹理纹理是图像中一个重要而又难以描述的特性，至是图像中一个重要而又难以描述的特性，至今还没有公认的严格定义。今还没有公认的严格定义。 通常把图像灰度分布性质或图像表面呈现出的方向通常把图像灰度分布性质或图像表面呈

22、现出的方向信息称为纹理结构。信息称为纹理结构。 图像的纹理分析已在许多领域得到了广泛的应用。图像的纹理分析已在许多领域得到了广泛的应用。 * 对气象云图的纹理分析；对气象云图的纹理分析； * 利用卫星遥感图像的纹理特征，进行区域识别、利用卫星遥感图像的纹理特征，进行区域识别、森林利用、城市发展、土地荒漠化等应用；森林利用、城市发展、土地荒漠化等应用； * 对细胞图像、金相图像、催化剂表面图像等显微对细胞图像、金相图像、催化剂表面图像等显微图像的纹理分析等。图像的纹理分析等。 7.4 纹理描述纹理描述T纹理特征纹理特征自然纹理：种子、草地（无规则性）自然纹理：种子、草地（无规则性）人工纹理：织物

23、、砖墙（有规则性，它的灰度分布具有周期人工纹理：织物、砖墙（有规则性，它的灰度分布具有周期性，即使灰度变化是随机的，它也具有一定的统计特性）性，即使灰度变化是随机的，它也具有一定的统计特性）T标志三要素标志三要素1）某种局部的序列性在该序列更大的区域内不断重复某种局部的序列性在该序列更大的区域内不断重复2）序列基本元素是非随机排列组成的序列基本元素是非随机排列组成的3）区域内任何地方都有大致相同的结构尺寸区域内任何地方都有大致相同的结构尺寸7.4 纹理描述纹理描述 纹理是由许多相互接近的、纹理是由许多相互接近的、 互相编织的元素构成，互相编织的元素构成， 它它们富有周期性们富有周期性。7.4

24、纹理描述纹理描述a) 结构型纹理结构型纹理 b) 随机型纹理随机型纹理7.4 纹理描述 目前纹理算法大体可以分为目前纹理算法大体可以分为两大类两大类： 一类是从图像有关属性的统计分析出发的一类是从图像有关属性的统计分析出发的统计分统计分析方法析方法； 另一类是力求找出纹理基元，再从结构组成探索另一类是力求找出纹理基元，再从结构组成探索纹理的规律或直接去探求纹理构成的结构规律的纹理的规律或直接去探求纹理构成的结构规律的结构结构分析方法分析方法。 目前常用的方法是统计分析方法。目前常用的方法是统计分析方法。7.4 纹理描述(1) 均值均值（Mean）(2) 方差方差（Variance）(3) 扭曲

25、度扭曲度（Skewness）10()Niiik fk1220()( )Niiikf k133301()( )Niiikf k7.4.1 矩分析法 (5) 熵（熵（Entropy）120( )log( )NiiiHf kf k 7.4.1 矩分析法 14401()( )34Niiikf k(4) 峰度峰度（Kurtosis）T 灰度差分统计法又称一阶统计法，通过计算图像中一对像灰度差分统计法又称一阶统计法，通过计算图像中一对像素间灰度差分直方图来反映图像的纹理特征。素间灰度差分直方图来反映图像的纹理特征。 令令 为两个像素间的位移矢量，为两个像素间的位移矢量， 是位移量是位移量为为 的灰度差分：

26、的灰度差分：T 粗纹理时，位移相差为粗纹理时，位移相差为 的两像素通常有相近的灰度等级，的两像素通常有相近的灰度等级，因此，因此， 值较小，灰度差分直方图值集中在值较小，灰度差分直方图值集中在 附近；附近；T 细纹理时，位移相差为细纹理时，位移相差为 的两像素的灰度有较大变化的两像素的灰度有较大变化 ， 值一般较大，灰度差分直方图值会趋于发散值一般较大，灰度差分直方图值会趋于发散 (,)xy ( , )fx y( , )( , )(,)fx yf x yf xx yy( , )fx y0i ( , )fx y7.4.2 灰度差分统计法7.4.2 灰度差分统计法本质：图像的自相关函数本质：图像的

27、自相关函数图像图像f(xi, yi); i, j=0, 1, 2 , , N-1的自相关函数的自相关函数令令d=(x2+y2)0.5，则有，则有 101021010),(),(),(),(NiNjiiNiNjiiiiyxfyyxxfyxfyx1),(0yx增增加加而而下下降降的的速速度度快快随随细细纹纹理理：增增加加而而下下降降的的速速度度慢慢随随粗粗纹纹理理：dyxdyx),(),( 7.4.2 灰度差分统计法T 灰度直方图中，各像素的灰度是独立进行处理的，故不能灰度直方图中，各像素的灰度是独立进行处理的，故不能很好地给纹理赋予特征。很好地给纹理赋予特征。T 因此，如果研究图像中两像素组合中

28、灰度配置的情况，就因此，如果研究图像中两像素组合中灰度配置的情况，就能够很好地给纹理赋予特征，这样的特征叫二阶统计量能够很好地给纹理赋予特征，这样的特征叫二阶统计量T 代表性的是以灰度共生矩阵为基础的纹理特征计算法。代表性的是以灰度共生矩阵为基础的纹理特征计算法。7.4.3 灰度共生矩阵法 1.取图像中任意一点取图像中任意一点(x，y)及偏离它的另一点及偏离它的另一点(x+a, y+b)，设该点对的灰度值为，设该点对的灰度值为(g1，g2)。2.统计出每统计出每种种(g1，g2)值出现的概率值出现的概率p(g1，g2)，并排列成方阵，称为联合概率矩阵，也叫做并排列成方阵，称为联合概率矩阵，也叫

29、做共生共生矩阵矩阵。3.再由共生矩阵计算五个统计量。再由共生矩阵计算五个统计量。 基本方法基本方法：T灰度级联合分布（二阶统计量）灰度级联合分布（二阶统计量）7.4.3 灰度共生矩阵法 (, ),( , ),(,), ,0,1,:11,2 -1 (2 -1)(, )( , )| ( , ),(,)(,),0-1L LP i jx y f x yif x Dx y Dyj x yNDx DyNNNNP i jx yf x yif x Dx y Dyjf x Dx y Dyji jL 集合（ ）且的元素个数共有 （）个共生矩阵简化：集合且或且 的元素个数x,y坐标，f(x,y)灰度，L灰度级数00

30、00,000,90,4,135,45Dxd DyDxDydDx DyDxd DydDxd Dyd 东西南北限制为 种：东北西南西北东南7.4.3 灰度共生矩阵法 T例例:012301123012A1230122301233012300123017.4.3 灰度共生矩阵法 4*4(0,0)(0,1)(0,2)(0,3)0807(1,0)(1,1)(1,2)(1,3)8080(1,0)(2,0)(2,1)(2,2)(2,3)0807(3,0)(3,1)(3,2)(3,3)7070AppppppppP DxDypppppppp1200001400(1,1)0012000012AP DxDy 设图像矩

31、阵为设图像矩阵为08078080(1,0)08077070AP244004800(1,0)00220020BP水平方向无重复，变化较快水平方向无重复，变化较快水平方向数值大，重复多，纹理较粗水平方向数值大，重复多，纹理较粗1 1）对角线元素全为）对角线元素全为0 0，表明同行灰度变化快，表明同行灰度变化快2 2）对角线元素较大，表明纹理较粗）对角线元素较大，表明纹理较粗7.4.3 灰度共生矩阵法 纹理特征公式墒 (entropy)能量 (energy)对比度 (contrast)均匀度 (homegeneity)相关性 (correlation) 沿水平方向和垂直方向沿水平方向和垂直方向均有较

32、高频率的变化，均有较高频率的变化，所以其共生矩阵图中大所以其共生矩阵图中大部分项均不为零。部分项均不为零。 灰度在较大范围内灰度在较大范围内变化缓慢，其共生变化缓慢，其共生矩阵图中仅有主对矩阵图中仅有主对角线上的元素取较角线上的元素取较大的值。大的值。纹理特征匹配举例：从纹理特征匹配举例：从1 1万张图片中检索的结果万张图片中检索的结果灰度共生矩阵应用举例灰度共生矩阵应用举例灰度共生矩阵应用举例纹理特征匹配举例：运动目标跟踪纹理特征匹配举例：运动目标跟踪7.4.4 分形几何分形几何T问题的提出问题的提出T Mandelbrot提出了这样一个问题：英国的海岸线有多长？提出了这样一个问题：英国的海

33、岸线有多长？分形几何产生的背景T经典几何的研究对象经典几何的研究对象: 自古以来，人们研究了如直线、圆、抛物线、双曲线自古以来，人们研究了如直线、圆、抛物线、双曲线等规则图形，这是欧氏几何、解析集合和微积分研究等规则图形，这是欧氏几何、解析集合和微积分研究的主要图形。的主要图形。T问题：问题：不规则的图形：弯弯曲曲的海岸线、起伏不平的山脉不规则的图形：弯弯曲曲的海岸线、起伏不平的山脉，粗糙不堪的断面，变幻无常的浮云，九曲回肠的河，粗糙不堪的断面，变幻无常的浮云，九曲回肠的河流，纵横交错的血管等。它们都极不规则或不光滑。流，纵横交错的血管等。它们都极不规则或不光滑。 我们如何研究？如何用计算机去生成？我们如何研究？如何用计算机去生成？ T1973年，法国数学家年，法国数学家Mandelbrot观察观察到英国到英国海岸线与海岸线与Van Koch 曲线的关系，提出了一曲线的关系，提出了一门描述大自然的几何形态的学科门描述大自然的几何形态的学科-分形学，分形学，研究了自然界中最常见的、不规则的、不稳研究了自然界中最常见的、不规则的、不稳定的、变化莫测的现象定的、变化莫测的现象英国的海岸线有多长?T测量方法：测量方法： 我们想象一个人沿着一段海岸线拣尽可能短的道我们想象一个人沿着一段海岸线拣尽可能短的道路步行，并规定每步长度不超过