视频监控与视频分析第七章特征提取基本特征

1、第7章 图像描述与分析7.1 灰度描述7.2 边界描述7.3 区域描述7.4 纹理描述7.5 形态分析第7章 图像描述与分析T 图像分析 也叫景物分析或图像理解 是一种描述过程，研究用自动或半自动装置和系统，从图像中提取有用数据或信息生成非图的描述或表示 图像分析：特征提取、图像分割、符号描述、纹理分析、运动图 像分析和图像的检测与配准预处理分割特征提取分类描述符号表达识别跟踪解释描述输入图像T图像分析通常按下列顺序进行 从图像中提取对象或对象组成部分的图像特征(例如图像中景物的边缘或区域) 利用图像特征的属性或相互关系来决定每个属性应属于哪个对象的哪个部分第7章 图像描述与分析7.1 灰度描

2、述7.1.1 幅度特征7.1.2 直方图特征7.1.3 变换系数特征2001( , )( , )NNijf x yf i jN7.1.1 幅度特征最基本的是图像的幅度特征。例如在区域内的平均幅度，即7.1.1 幅度特征 a)原图 b)利用幅度特征将目标分割出来P(rk)=nk/N 第rk个灰度级出现的频数 可从直方图的分布得到：图像对比度、动态范围、明暗程度等 一阶直方图的特征参数： rk量化层 均值： 方差： 歪斜度：10()kLkkrur p r一阶矩1220()( )kLkkrru p r二阶中心矩133301()( )kLkkruru p r三阶中心矩7.1.2 直方图特征 峭度：12

3、2()kLkrmp r120()log ()LkkbHp rp r 熵： 能量：7.1.2 直方图特征144401()( )3kLkkruruP rv v(m+1)u v(m)水平切口垂直切口环状切口扇状切口(1)1()()( , )dv mv mS mM u vv(1)2()()( , )du mu mSmM u vu(1)3()()(,)dmmSmM (1)4()()( , )dmmSmM 7.1.3 变换系数特征T 频域中的一些特征 如2 ()222( , )( , )d d( , )( , )jux vyF u vf x y ex yM(u,v) F(u,v)R u vI u v 设：

4、=幅谱M与F不是唯一地对应（M有位移不变性）7.1.3 变换系数特征T 特征：图像中含有这些切口的频谱成分的含量。信息可作为模式识别或分类系统的输入信息。已成功用于土地情况分类，放射照片病情诊断等 Ff(x,y) F-1F(u,v)g(u,v)( , )U u v( , )u m n7.1.3 变换系数特征7.2.1 链码描述7.2.2 傅里叶描述子7.2 边界描述7.2.1 链码描述T 在数字图像中，边界或曲线是由一系列离散的像素点组成的，其最简单的表示方法是由美国学者Freeman提出的链码方法。T 链码实质上是一串指向符的序列，有4向链码、8向链码等。 )90( 1 )180(2 )0(

5、0 )270( 3 )90(2 )135(3 )45( 1 )180(4 )0(0 )225(5 )315(7 )270(6 4向链码 8向链码7.2.1 链码描述 a)原链码方向 b)逆时针旋转9090 图a曲线的链码为：01122233100000765556706其差分链码为：101001067000077700111690 图b曲线的链码为：23344455322222107770120 其差分链码为：10100106700007770011167.2.1 链码描述 曲线的链码是：6022222021013444444454577012其差分链码是： 22000062771210000

6、00171201117.2.1 链码描述曲线的链码是：024444424323566666676711234其差分链码是： 22000062771210000017120111 7.2.1 链码描述T链码的特殊性质 一个物体很容易实现旋转45。如果一个物体旋转n45，可由原链码加上 n 倍的模8得到链码的微分，也称差分码，由原码的一阶差分求得链码差分是关于旋转不变的边界描述方法区域的一些其它性质，如面积和角点，可以由链码直接得7.2.1 链码描述7.2.2 傅里叶描述子T对边界的离散傅里叶变换表达，可以作为定量描述边界形状的基础。采用傅里叶描述的一个优点是将二维的问题简化为一维问题。 边界点的

7、两种表示方法7.3 区域描述7.3.1 几何特征7.3.2 不变矩1. 像素与邻域a) 4-邻域 b) 8-邻域 7.3.1 几何特征2. 区域面积1100( , )mnxyAf x y 3. 位置1111000011( , ),( , )mnmnxyxyXxf x yYyf x ymnmn质心形心1111000011,nmnmijijijxxyymnmn 7.3.1 几何特征4.区域周长 三种定义： (1) 区域和背景交界线（接缝）的长度 (2) 区域边界8链码的长度 (3) 边界点数之和 7.3.1 几何特征5. 方向二阶矩轴:物体上的全部点到该线的距离平方和最小其中 是物体点到直线 的距

8、离112200( , )mnxyxyrf x yxyr( , )x y 7.3.1 几何特征6. 距离 1) 欧几里德距离（Euclidean）22( ,)()()edP Qxuyv2) 4-邻域距离(City-block城区距离)4( ,)dP Qxuyv3) 8-邻域距离（Chessboard棋盘距离）8( ,)max(,)d P Qxuyv 7.3.1 几何特征 7.圆形度 描述连通域与圆形相似程度的量。根据圆周长与圆面积的计算公式，定义圆形度的计算公式如下： 其中， 为连通域S的面积； 为连通域S的周长。圆形度 值越大，表明目标与圆形的相似度越高sA24scsALsLc 7.3.1 几

9、何特征8. 矩形度 描述连通域与矩形相似程度的量 其中， 为连通域S的面积； 是包含该连通域的最小矩形的面积。对于矩形目标，矩形度 取最大值1，对细长而弯曲的目标，则矩形度的值变得很小sRRAAsARAR 7.3.1 几何特征9. 长宽比 其中， 是包围连通域的最小矩形的宽度； 是包围连通域的最小矩形的长度。RWRLRWLRWL 7.3.1 几何特征7.3.2 不变矩1.矩的定义 对于二维连续函数 ， 阶矩定义为：( , )f x y()jk( , )d d,0,1,2jkjkmx y f x yx yj k 中心矩定义为：() ()( , )d djkjkxxyyf x yx y 数字图像，

10、则上式变为：() ()( , )jkjkxyxxyyf x y 2.不变矩 定义归一化的中心矩为： 利用归一化的中心矩，可以获得对平移、缩放、镜像和旋转都不敏感的7个不变矩，定义如下：00,1()2jkjkjk12002222200211()422330122103(3)(3)7.3.2 不变矩22430122103()()2253012301230122103222103210330122103(3)() ()3()(3)() 3()()2262002301221031130122103() ()()4()()2272103301230122103221230210330122103(3)(

11、) ()3()(3)() 3()()7.3.2 不变矩7.4 纹理描述7.4.1 矩分析法 7.4.2 灰度差分统计法7.4.3 灰度共生矩阵法 7.4.4 纹理的结构分析T纹理特征自然纹理：种子、草地（无规则性）人工纹理：织物、砖墙（有规则性，它的灰度分布具有周期性，即使灰度变化是随机的，它也具有一定的统计特性）T标志三要素1）某种局部的序列性在该序列更大的区域内不断重复2）序列基本元素是非随机排列组成的3）区域内任何地方都有大致相同的结构尺寸7.4 纹理描述a) 结构型纹理 b) 随机型纹理7.4 纹理描述T描述纹理图像特征的参数有许多种，如 1）知道像素及邻近像素的灰度分布情况。 2）检

12、查小区域内灰度直方图，检查各小区域直方图的相似性，具有相似直方图的小区域同属一个大区域7.4 纹理描述T 纹理：灰度与颜色的二维变化的图案，是区域的重要特征之一，灰度分布具有周期性、方向性、疏密之分。T 统计方法：用于木纹、纱地、草地等不规则物体 自然纹理：具有重复性排列现象的自然景象，无规则T 结构方法：布料的印刷图案或砖花地等组成纹理的元素及其排列规则来描述纹理的结构 人工纹理：是由自然背景上的符号排列组成、有规则的7.4 纹理描述7.4 纹理描述7.4 纹理描述(1) 均值（Mean）(2) 方差（Variance）(3) 扭曲度（Skewness）10()Niiik fk1220()(

13、 )Niiikf k133301()( )Niiikf k7.4.1 矩分析法 (5) 熵（Entropy）120( )log( )NiiiHf kf k 7.4.1 矩分析法 14401()( )34Niiikf k(4) 峰度（Kurtosis）T 灰度差分统计法又称一阶统计法，通过计算图像中一对像素间灰度差分直方图来反映图像的纹理特征。 令 为两个像素间的位移矢量， 是位移量为 的灰度差分：T 粗纹理时，位移相差为 的两像素通常有相近的灰度等级，因此， 值较小，灰度差分直方图值集中在 附近；T 细纹理时，位移相差为 的两像素的灰度有较大变化 ， 值一般较大，灰度差分直方图值会趋于发散 (

14、,)xy ( , )fx y( , )( , )(,)fx yf x yf xx yy( , )fx y0i ( , )fx y7.4.2 灰度差分统计法T 灰度直方图中，各像素的灰度是独立进行处理的，故不能很好地给纹理赋予特征。因此，如果研究图像中两像素组合中灰度配置的情况，就能够很好地给纹理赋予特征，这样的特征叫二阶统计量， （灰度直方图是一阶统计量） 代表性的是以灰度共生矩阵为基础的纹理特征计算法。7.4.3 灰度共生矩阵法 T灰度级联合分布（二阶统计量）7.4.3 灰度共生矩阵法 (, ),( , ),(,), ,0,1,:11,2 -1 (2 -1)(, )( , )| ( , ),

15、(,)(,),0-1L LP i jx y f x yif x Dx y Dyj x yNDx DyNNNNP i jx yf x yif x Dx y Dyjf x Dx y Dyji jL 集合（ ）且的元素个数共有 （）个共生矩阵简化：集合且或且 的元素个数x,y坐标，f(x,y)灰度，L灰度级数x列，y行0000,000,90,4,135,45Dxd DyDxDydDx DyDxd DydDxd Dyd 东西南北限制为 种：东北西南西北东南7.4.3 灰度共生矩阵法 T例:012301123012A1230122301233012300123017.4.3 灰度共生矩阵法 4*4(0,

16、0)(0,1)(0,2)(0,3)0807(1,0)(1,1)(1,2)(1,3)8080(1,0)(2,0)(2,1)(2,2)(2,3)0807(3,0)(3,1)(3,2)(3,3)7070AppppppppP DxDypppppppp1200001400(1,1)0012000012AP DxDy 设图像矩阵为08078080(1,0)08077070AP244004800(1,0)00220020BP水平方向无重复，变化较快水平方向数值大，重复多，纹理较粗1）对角线元素全为0，表明同行灰度变化快2）对角线元素较大，表明纹理较粗7.4.3 灰度共生矩阵法 7.4.4 纹理的结构分析纹理

17、结构的描述及排列a) 纹理基元b）由规则 生成的纹理模式c) 由 和其它规则生成的二维纹理模式SaSSaS纹理结构分析图例7.4.4 纹理的结构分析BA形态学基本运算7.5 形态分析1腐蚀T 集合A被B腐蚀，表示为 ，其定义为：T 其中A称为输入图像，B称为结构元素。A B :A Bx BxA腐蚀类似于收缩7.5 形态分析2. 膨胀T AC 表示集合A的补集， 表示B关于坐标原点的反射（对称集）。那么，集合A被B膨胀，表示为A B，定义为：B()CCABAB AB BAB利用圆盘膨胀7.5 形态分析a) 原始图像 b) 腐蚀图像 c) 膨胀图像7.5 形态分析3.开运算T 假定A仍为输入图像，

18、B为结构元素，利用B对A作开运算，用符号 表示，定义为：()A BA BB开运算实际上是A先被B腐蚀，然后再被B膨胀的结果。开运算通常用来消除小对象物、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其体积。A B7.5 形态分析 a)输入图像A b)结构元素B c) d)A BA B用圆盘对输入图像开运算的结果7.5 形态分析开运算滤除背景噪声 a) 原图 b)开运算结果7.5 形态分析4闭运算T 闭运算是开运算的对偶运算，定义为先作膨胀然后再作腐蚀。利用B对A作闭运算表示为 ，其定义为: A B() ()A BABB 利用圆盘对输入图像进行闭运算7.5 形态分析 (a) 输入图像

19、(b) 闭运算的结果 利用闭运算去除前景噪声7.5 形态分析5边界检测T 利用圆盘结构元素作膨胀会使图像扩大，做腐蚀会使图像缩小，这两种运算都可以用来检测二值图像的边界。对于图像A和圆盘B，下图给出了三种求取二值边界的方法：内边界，外边界和跨骑在实际边缘上的边界，其中跨骑在实际边缘上的边界又称形态学梯度。7.5 形态分析AA BABAABA B A B ABAAA B 用腐蚀和膨胀运算得出的三种图像边界7.5 形态分析三种形态学边界实例7.5 形态分析作业7-1 图像都有哪些特征？简要说明这些特征的特点？ 7-2 对图像A和B分别求d1，q00，450的共生矩阵0 1 2 3 0 11 2 3

20、 0 1 22 3 0 1 2 33 0 1 2 3 00 1 2 3 0 11 2 3 0 1 20 0 0 0 1 10 0 0 0 1 10 0 0 0 1 10 0 0 0 1 12 2 2 2 3 3 2 2 2 2 3 37-3 在下图所示的图像子集中，按8邻域概念，红色标记的数字是否连通？图像子集S中是否存在孔？ 1 1 0 0 0 1 0 0 0 0 0 1 1 0 0 0 1 0 1 0 0 0 1 1 1作业7-4 试用Robert算子和拉普拉斯算子检测下面图像的边缘444444440044444444004455555400445666540044567654004456

21、6654004455555400444444440044444444004444444400作业第7章 图像描述与分析7.1 灰度描述7.2 边界描述7.3 区域描述7.4 纹理描述7.5 形态分析第7章 图像描述与分析T 图像分析 也叫景物分析或图像理解 是一种描述过程，研究用自动或半自动装置和系统，从图像中提取有用数据或信息生成非图的描述或表示 图像分析：特征提取、图像分割、符号描述、纹理分析、运动图 像分析和图像的检测与配准预处理分割特征提取分类描述符号表达识别跟踪解释描述输入图像T图像分析通常按下列顺序进行 从图像中提取对象或对象组成部分的图像特征(例如图像中景物的边缘或区域) 利用图

22、像特征的属性或相互关系来决定每个属性应属于哪个对象的哪个部分第7章 图像描述与分析7.1 灰度描述7.1.1 幅度特征7.1.2 直方图特征7.1.3 变换系数特征2001( , )( , )NNijf x yf i jN7.1.1 幅度特征最基本的是图像的幅度特征。例如在区域内的平均幅度，即7.1.1 幅度特征 a)原图 b)利用幅度特征将目标分割出来P(rk)=nk/N 第rk个灰度级出现的频数 可从直方图的分布得到：图像对比度、动态范围、明暗程度等 一阶直方图的特征参数： rk量化层 均值： 方差： 歪斜度：10()kLkkrur p r一阶矩1220()( )kLkkrru p r二阶

23、中心矩133301()( )kLkkruru p r三阶中心矩7.1.2 直方图特征 峭度：122()kLkrmp r120()log ()LkkbHp rp r 熵： 能量：7.1.2 直方图特征144401()( )3kLkkruruP rv v(m+1)u v(m)水平切口垂直切口环状切口扇状切口(1)1()()( , )dv mv mS mM u vv(1)2()()( , )du mu mSmM u vu(1)3()()(,)dmmSmM (1)4()()( , )dmmSmM 7.1.3 变换系数特征T 频域中的一些特征 如2 ()222( , )( , )d d( , )( ,

24、)jux vyF u vf x y ex yM(u,v) F(u,v)R u vI u v 设：=幅谱M与F不是唯一地对应（M有位移不变性）7.1.3 变换系数特征T 特征：图像中含有这些切口的频谱成分的含量。信息可作为模式识别或分类系统的输入信息。已成功用于土地情况分类，放射照片病情诊断等 Ff(x,y) F-1F(u,v)g(u,v)( , )U u v( , )u m n7.1.3 变换系数特征7.2.1 链码描述7.2.2 傅里叶描述子7.2 边界描述7.2.1 链码描述T 在数字图像中，边界或曲线是由一系列离散的像素点组成的，其最简单的表示方法是由美国学者Freeman提出的链码方法

25、。T 链码实质上是一串指向符的序列，有4向链码、8向链码等。 )90( 1 )180(2 )0(0 )270( 3 )90(2 )135(3 )45( 1 )180(4 )0(0 )225(5 )315(7 )270(6 4向链码 8向链码7.2.1 链码描述 a)原链码方向 b)逆时针旋转9090 图a曲线的链码为：01122233100000765556706其差分链码为：101001067000077700111690 图b曲线的链码为：23344455322222107770120 其差分链码为：10100106700007770011167.2.1 链码描述 曲线的链码是：60222

26、22021013444444454577012其差分链码是： 2200006277121000000171201117.2.1 链码描述曲线的链码是：024444424323566666676711234其差分链码是： 22000062771210000017120111 7.2.1 链码描述T链码的特殊性质 一个物体很容易实现旋转45。如果一个物体旋转n45，可由原链码加上 n 倍的模8得到链码的微分，也称差分码，由原码的一阶差分求得链码差分是关于旋转不变的边界描述方法区域的一些其它性质，如面积和角点，可以由链码直接得7.2.1 链码描述7.2.2 傅里叶描述子T对边界的离散傅里叶变换表达，

27、可以作为定量描述边界形状的基础。采用傅里叶描述的一个优点是将二维的问题简化为一维问题。 边界点的两种表示方法7.3 区域描述7.3.1 几何特征7.3.2 不变矩1. 像素与邻域a) 4-邻域 b) 8-邻域 7.3.1 几何特征2. 区域面积1100( , )mnxyAf x y 3. 位置1111000011( , ),( , )mnmnxyxyXxf x yYyf x ymnmn质心形心1111000011,nmnmijijijxxyymnmn 7.3.1 几何特征4.区域周长 三种定义： (1) 区域和背景交界线（接缝）的长度 (2) 区域边界8链码的长度 (3) 边界点数之和 7.3

28、.1 几何特征5. 方向二阶矩轴:物体上的全部点到该线的距离平方和最小其中 是物体点到直线 的距离112200( , )mnxyxyrf x yxyr( , )x y 7.3.1 几何特征6. 距离 1) 欧几里德距离（Euclidean）22( ,)()()edP Qxuyv2) 4-邻域距离(City-block城区距离)4( ,)dP Qxuyv3) 8-邻域距离（Chessboard棋盘距离）8( ,)max(,)d P Qxuyv 7.3.1 几何特征 7.圆形度 描述连通域与圆形相似程度的量。根据圆周长与圆面积的计算公式，定义圆形度的计算公式如下： 其中， 为连通域S的面积； 为连

29、通域S的周长。圆形度 值越大，表明目标与圆形的相似度越高sA24scsALsLc 7.3.1 几何特征8. 矩形度 描述连通域与矩形相似程度的量 其中， 为连通域S的面积； 是包含该连通域的最小矩形的面积。对于矩形目标，矩形度 取最大值1，对细长而弯曲的目标，则矩形度的值变得很小sRRAAsARAR 7.3.1 几何特征9. 长宽比 其中， 是包围连通域的最小矩形的宽度； 是包围连通域的最小矩形的长度。RWRLRWLRWL 7.3.1 几何特征7.3.2 不变矩1.矩的定义 对于二维连续函数 ， 阶矩定义为：( , )f x y()jk( , )d d,0,1,2jkjkmx y f x yx

30、 yj k 中心矩定义为：() ()( , )d djkjkxxyyf x yx y 数字图像，则上式变为：() ()( , )jkjkxyxxyyf x y 2.不变矩 定义归一化的中心矩为： 利用归一化的中心矩，可以获得对平移、缩放、镜像和旋转都不敏感的7个不变矩，定义如下：00,1()2jkjkjk12002222200211()422330122103(3)(3)7.3.2 不变矩22430122103()()2253012301230122103222103210330122103(3)() ()3()(3)() 3()()2262002301221031130122103() ()

31、()4()()2272103301230122103221230210330122103(3)() ()3()(3)() 3()()7.3.2 不变矩7.4 纹理描述7.4.1 矩分析法 7.4.2 灰度差分统计法7.4.3 灰度共生矩阵法 7.4.4 纹理的结构分析T纹理特征自然纹理：种子、草地（无规则性）人工纹理：织物、砖墙（有规则性，它的灰度分布具有周期性，即使灰度变化是随机的，它也具有一定的统计特性）T标志三要素1）某种局部的序列性在该序列更大的区域内不断重复2）序列基本元素是非随机排列组成的3）区域内任何地方都有大致相同的结构尺寸7.4 纹理描述a) 结构型纹理 b) 随机型纹理7.

32、4 纹理描述T描述纹理图像特征的参数有许多种，如 1）知道像素及邻近像素的灰度分布情况。 2）检查小区域内灰度直方图，检查各小区域直方图的相似性，具有相似直方图的小区域同属一个大区域7.4 纹理描述T 纹理：灰度与颜色的二维变化的图案，是区域的重要特征之一，灰度分布具有周期性、方向性、疏密之分。T 统计方法：用于木纹、纱地、草地等不规则物体 自然纹理：具有重复性排列现象的自然景象，无规则T 结构方法：布料的印刷图案或砖花地等组成纹理的元素及其排列规则来描述纹理的结构 人工纹理：是由自然背景上的符号排列组成、有规则的7.4 纹理描述7.4 纹理描述7.4 纹理描述(1) 均值（Mean）(2)

33、方差（Variance）(3) 扭曲度（Skewness）10()Niiik fk1220()( )Niiikf k133301()( )Niiikf k7.4.1 矩分析法 (5) 熵（Entropy）120( )log( )NiiiHf kf k 7.4.1 矩分析法 14401()( )34Niiikf k(4) 峰度（Kurtosis）T 灰度差分统计法又称一阶统计法，通过计算图像中一对像素间灰度差分直方图来反映图像的纹理特征。 令 为两个像素间的位移矢量， 是位移量为 的灰度差分：T 粗纹理时，位移相差为 的两像素通常有相近的灰度等级，因此， 值较小，灰度差分直方图值集中在 附近；T

34、 细纹理时，位移相差为 的两像素的灰度有较大变化 ， 值一般较大，灰度差分直方图值会趋于发散 (,)xy ( , )fx y( , )( , )(,)fx yf x yf xx yy( , )fx y0i ( , )fx y7.4.2 灰度差分统计法T 灰度直方图中，各像素的灰度是独立进行处理的，故不能很好地给纹理赋予特征。因此，如果研究图像中两像素组合中灰度配置的情况，就能够很好地给纹理赋予特征，这样的特征叫二阶统计量， （灰度直方图是一阶统计量） 代表性的是以灰度共生矩阵为基础的纹理特征计算法。7.4.3 灰度共生矩阵法 T灰度级联合分布（二阶统计量）7.4.3 灰度共生矩阵法 (, ),

35、( , ),(,), ,0,1,:11,2 -1 (2 -1)(, )( , )| ( , ),(,)(,),0-1L LP i jx y f x yif x Dx y Dyj x yNDx DyNNNNP i jx yf x yif x Dx y Dyjf x Dx y Dyji jL 集合（ ）且的元素个数共有 （）个共生矩阵简化：集合且或且 的元素个数x,y坐标，f(x,y)灰度，L灰度级数x列，y行0000,000,90,4,135,45Dxd DyDxDydDx DyDxd DydDxd Dyd 东西南北限制为 种：东北西南西北东南7.4.3 灰度共生矩阵法 T例:012301123

36、012A1230122301233012300123017.4.3 灰度共生矩阵法 4*4(0,0)(0,1)(0,2)(0,3)0807(1,0)(1,1)(1,2)(1,3)8080(1,0)(2,0)(2,1)(2,2)(2,3)0807(3,0)(3,1)(3,2)(3,3)7070AppppppppP DxDypppppppp1200001400(1,1)0012000012AP DxDy 设图像矩阵为08078080(1,0)08077070AP244004800(1,0)00220020BP水平方向无重复，变化较快水平方向数值大，重复多，纹理较粗1）对角线元素全为0，表明同行灰度

37、变化快2）对角线元素较大，表明纹理较粗7.4.3 灰度共生矩阵法 7.4.4 纹理的结构分析纹理结构的描述及排列a) 纹理基元b）由规则 生成的纹理模式c) 由 和其它规则生成的二维纹理模式SaSSaS纹理结构分析图例7.4.4 纹理的结构分析BA形态学基本运算7.5 形态分析1腐蚀T 集合A被B腐蚀，表示为 ，其定义为：T 其中A称为输入图像，B称为结构元素。A B :A Bx BxA腐蚀类似于收缩7.5 形态分析2. 膨胀T AC 表示集合A的补集， 表示B关于坐标原点的反射（对称集）。那么，集合A被B膨胀，表示为A B，定义为：B()CCABAB AB BAB利用圆盘膨胀7.5 形态分析

38、a) 原始图像 b) 腐蚀图像 c) 膨胀图像7.5 形态分析3.开运算T 假定A仍为输入图像，B为结构元素，利用B对A作开运算，用符号 表示，定义为：()A BA BB开运算实际上是A先被B腐蚀，然后再被B膨胀的结果。开运算通常用来消除小对象物、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其体积。A B7.5 形态分析 a)输入图像A b)结构元素B c) d)A BA B用圆盘对输入图像开运算的结果7.5 形态分析开运算滤除背景噪声 a) 原图 b)开运算结果7.5 形态分析4闭运算T 闭运算是开运算的对偶运算，定义为先作膨胀然后再作腐蚀。利用B对A作闭运算表示为 ，其定义为:

39、 A B() ()A BABB 利用圆盘对输入图像进行闭运算7.5 形态分析 (a) 输入图像 (b) 闭运算的结果 利用闭运算去除前景噪声7.5 形态分析5边界检测T 利用圆盘结构元素作膨胀会使图像扩大，做腐蚀会使图像缩小，这两种运算都可以用来检测二值图像的边界。对于图像A和圆盘B，下图给出了三种求取二值边界的方法：内边界，外边界和跨骑在实际边缘上的边界，其中跨骑在实际边缘上的边界又称形态学梯度。7.5 形态分析AA BABAABA B A B ABAAA B 用腐蚀和膨胀运算得出的三种图像边界7.5 形态分析三种形态学边界实例7.5 形态分析行人检测特征综述 智能汽车主动安全技术研发趋势智

40、能汽车主动安全技术研发趋势T 随着技术发展，智能汽车包括自动驾驶汽车成为各国争取技术制高点的核心随着技术发展，智能汽车包括自动驾驶汽车成为各国争取技术制高点的核心技术领域，岂能汽车中具备事前预防的技术领域，岂能汽车中具备事前预防的“主动安全主动安全”是智能汽车技术中的核是智能汽车技术中的核心，图像传感器作为智能汽车中的核心部件，被越来越多基于图像的现有的心，图像传感器作为智能汽车中的核心部件，被越来越多基于图像的现有的汽车智能系统上，图汽车智能系统上，图1显示了基于计算机视觉技术的车载主动安全系统中，显示了基于计算机视觉技术的车载主动安全系统中，各种可能的图像传感器安装位置，分别对应于不同的安

41、全子系统。各种可能的图像传感器安装位置，分别对应于不同的安全子系统。T行人防碰撞系统行人防碰撞系统(Pedestrian Warning and Protection System/ Collision Avoidance System)行人防碰撞系统利用图像处理技术有效识别行人，利用汽车的速度、方向盘角度及横摆角速度等信号行人防碰撞系统利用图像处理技术有效识别行人，利用汽车的速度、方向盘角度及横摆角速度等信号，通过一套演算方法的开发来估计车辆和行人的移动路径，依据危险状况进行提前预警，从而规避，通过一套演算方法的开发来估计车辆和行人的移动路径，依据危险状况进行提前预警，从而规避碰撞事故。碰撞

42、事故。T智能气囊系统智能气囊系统(Smart Airbags)智能气囊系统在碰撞发生时，根据人所在的位置确定是否完全展开安全气囊，根据图像算法判定身体智能气囊系统在碰撞发生时，根据人所在的位置确定是否完全展开安全气囊，根据图像算法判定身体和头部位置，确定展开气囊的强度和力度，做出及时相应和判断。和头部位置，确定展开气囊的强度和力度，做出及时相应和判断。T盲点检测系统盲点检测系统(Blind-spot Monitor)盲点检测系统直接把摄像头安装在汽车周边，为驾驶者提供视线盲点的图像信息，在转弯、泊位或倒盲点检测系统直接把摄像头安装在汽车周边，为驾驶者提供视线盲点的图像信息，在转弯、泊位或倒车时

43、可以提醒司机注意盲区的动态或静态障碍，防止碰撞及其它意外情况发生。车时可以提醒司机注意盲区的动态或静态障碍，防止碰撞及其它意外情况发生。T疲劳驾驶检测系统疲劳驾驶检测系统(Drowsy Driving Detection System)疲劳驾驶检测系统通过对人眼的开合程度以及频率进行分析，实现对驾驶者疲劳状态的判断疲劳驾驶检测系统通过对人眼的开合程度以及频率进行分析，实现对驾驶者疲劳状态的判断T车道偏离预警系统车道偏离预警系统(Lane Departure Warning System)车道偏离系统可以对危险的换道行为进行预警；当驾驶者长时间在车道安全范围之外时，也可以间接车道偏离系统可以对危

44、险的换道行为进行预警；当驾驶者长时间在车道安全范围之外时，也可以间接提醒驾驶者处于危险状态。提醒驾驶者处于危险状态。实例：图 1 丰田安全驾驶安全驾驶辅助辅助系统图图 2 奥迪的奥迪的安全驾驶安全驾驶辅助安全系统辅助安全系统图图 3 宝马宝马安全驾驶安全驾驶辅助辅助系统系统行人检测T行人检测（行人检测（Pedestrian Detection) 指从输指从输入的图像或视频帧中判断是否包含行人。行入的图像或视频帧中判断是否包含行人。行人检测兼具刚性和柔性物体的特征，外形容人检测兼具刚性和柔性物体的特征，外形容易发生改变，如穿着，遮挡物，姿态，视角易发生改变，如穿着，遮挡物，姿态，视角等影响。等影

45、响。T行人检测技术分为两块：行人检测技术分为两块： 特征提取，分类与定位特征提取，分类与定位行人检测流程行人检测常用特征行人检测常用特征Haar特征特征T Haar特征是对物体灰度信息进行描述物体的特性的特征。每个模板特征是对物体灰度信息进行描述物体的特性的特征。每个模板的特征值就是对应的白色区域灰度值的和减去黑色区域灰度值的和，的特征值就是对应的白色区域灰度值的和减去黑色区域灰度值的和，他表征的是图像中灰度信息的变化。他表征的是图像中灰度信息的变化。Haar特征在人脸检测中常常用特征在人脸检测中常常用到，到， Haar特征是由一系列模板组成的特征是由一系列模板组成的，如如下下图所示图所示。人

46、眼部分的灰人眼部分的灰度值偏小，就可以用一种度值偏小，就可以用一种Haar特征表征；人的鼻子的地方会偏亮，特征表征；人的鼻子的地方会偏亮，也可以用另一种也可以用另一种Haar特征来表征。特征来表征。Haar特征特征T HOG-Histogram of oriented gradientT Dalal等等受到受到SIFT特征启发，提出了梯度方向直方图特征启发，提出了梯度方向直方图HOG特征特征。T HOG特征是目前行人检测中最为成功的特征之一，这种特征对光照的变化，复特征是目前行人检测中最为成功的特征之一，这种特征对光照的变化，复杂的背景和行人多种姿势有较好的容错率，在行人检测中鲁棒性很好杂的背

47、景和行人多种姿势有较好的容错率，在行人检测中鲁棒性很好颜色归一化T 这种处理方式的作用是可以减少因光照、局部明暗变化、角度这种处理方式的作用是可以减少因光照、局部明暗变化、角度等因素带来的影响，调节图像的对比度、抑制噪音的干扰。等因素带来的影响，调节图像的对比度、抑制噪音的干扰。T 计算方法计算方法： gamma标准化标准化，如公式所示，如公式所示，Ic(u,v)代表的是代表的是c通通道（可以是道（可以是RGB颜色空间的某个通道，也可以是灰度空间的单颜色空间的某个通道，也可以是灰度空间的单通道）像素点通道）像素点(u,v)的值。的值。 (1)( , )( , )ccI u vI u v计算图像

48、梯度模板类型模板类型1-D中心中心1-D无中心无中心1-D立方中立方中心心2 2对角矩阵对角矩阵3 3Sobel算子算子-1,0,1-1,11,-8,0,8,-1误检率误检率(10-4FPPW)11%12.5%12%12.5%14%计算图像梯度是计算HOG特征的重要基础步骤，在这一步中的作用主要是能够获取图像的轮廓信息。Dalal在他的文章试验了用一维模板-1,1、-1,0,1、1,-8,0,8,-1、22对角矩阵模板、Sobel算子模板等进行计算，实验结果表明使用最简单的一维模板效果最理想。 表表 3 1 Dalal采用不同模板算子对检测结果的影响采用不同模板算子对检测结果的影响总体来说，最

49、好最简单的方法是使用一维模板总体来说，最好最简单的方法是使用一维模板-1,0,1。利用这个。利用这个模板在横坐标模板在横坐标x方向和纵坐标方向和纵坐标y方向的两个方向上对图像进行处理，方向的两个方向上对图像进行处理，得到图像在这一像素点得到图像在这一像素点 T x, y方向方向上的两个梯度值。计算公式分别为公式上的两个梯度值。计算公式分别为公式2和公式和公式3，其中，其中Gx(u,v)是在是在x轴上的梯度值，轴上的梯度值，Gy(u,v)是在是在y轴上的轴上的梯度值，梯度值，p(u,v)是坐标点在是坐标点在(u,v)的图像像素值的图像像素值 (2) (3)( , )(, )(, )11xG u

50、vp uvp uv( , )( ,)( ,)11yG u vp u vp u vT 然后根据这两个方向的梯度值用公式计算该点的梯度方然后根据这两个方向的梯度值用公式计算该点的梯度方向向和和梯度幅度值，并采用公式梯度幅度值，并采用公式6对梯度方向的无符号对梯度方向的无符号化化（即即0180 ）。）。 (4) (5) (6)( , )( , )arctan()( , )xyG u vu vG u v( , )( , )( , )( , ), others 0u vu vu vu v( , )( , )( , )22xys u vG u vG u vT最核心的部分最核心的部分：T在一个在一个64 1

51、28大小的检测窗口中，将图像划分成大小的检测窗口中，将图像划分成16 16大小的大小的block块，每一个块，每一个block块内块内又分成四个又分成四个8 8大小的大小的cell，而左右两个，而左右两个block块和上下两个块和上下两个block块之间都重叠了两个块之间都重叠了两个cell大大小的区域，这样，在一个检测窗口中，水平方向上会产生小的区域，这样，在一个检测窗口中，水平方向上会产生7个个block块，垂直方向上会产生块，垂直方向上会产生15个个block块，总共有（块，总共有（7 15=）105个个block块，分块方式如图所示。块，分块方式如图所示。计算方向梯度直方图计算方向梯度

52、直方图计算方向梯度直方图T 计算直方图在单独每一个计算直方图在单独每一个block块中进行，将梯度方向在块中进行，将梯度方向在0180 内按内按照每照每20 划分为范围相等的划分为范围相等的9个个bin，如图所示。，如图所示。计算时计算时使用一种使用一种单线单线性插值性插值方式来计算方式来计算cell中的每个像素点梯度方向对相邻两个不同的中的每个像素点梯度方向对相邻两个不同的bin的的贡献权重贡献权重，然后根据权重值分别插入到这两个，然后根据权重值分别插入到这两个bin中。中。计算方向梯度直方图T 同时使用同时使用双线性插值双线性插值根据该像素点在根据该像素点在block块中的位置计算块中的位

53、置计算其对其对4个个cell的贡献权重值的贡献权重值，如图所示。这样，两次的插值方，如图所示。这样，两次的插值方式组成的三线性插值使得每一个像素点都对式组成的三线性插值使得每一个像素点都对4个个cell的直方图的直方图有贡献，更准确、均衡地构建了有贡献，更准确、均衡地构建了HOG特征。特征。计算方向梯度直方图T 用如上所说的方式对用如上所说的方式对1个个block块内的块内的4个个cell进行进行9个个bin的直方的直方图投票计算统计，遍历图投票计算统计，遍历256个像素点后，得到个像素点后，得到36维的维的block梯度梯度直方图特征。直方图特征。block归一化Tblock归一化及生成归一

54、化及生成HOG特征特征T对一个对一个block中的中的36维特征进行归一化处理的目的是减少由于局部强烈光照变化和阴影带来维特征进行归一化处理的目的是减少由于局部强烈光照变化和阴影带来的影响。常用的归一化方法有的影响。常用的归一化方法有L1-norm、L2-norm、L1-sqrt等。等。 (7) (8) (9)T最终，经过最终，经过105个个block块的特征计算和归一化后，在一个块的特征计算和归一化后，在一个64 128大小的检测扫描窗口内总大小的检测扫描窗口内总共计算得到（共计算得到（9 4 105=）3780维的维的HOG特征向量。特征向量。/()vvv/vvv22/()vvv基于纹理信

55、息的特征描述符基于纹理信息的特征描述符T 在目标检测和识别中，在目标检测和识别中，LBP（Local Binary Patterns）局部二值模式特征是最常见的一种描述图像局部纹理变化局部二值模式特征是最常见的一种描述图像局部纹理变化信息的特征，是由信息的特征，是由T. Ojala等人在等人在1994年提出来的。年提出来的。基于颜色信息的特征描述符基于颜色信息的特征描述符T在行人检测中，利用颜色信息的特征很多，这里我们介绍一种直接将颜色信息用特征表示。在行人检测中，利用颜色信息的特征很多，这里我们介绍一种直接将颜色信息用特征表示。Color self-similar 特征是利用行人的着装一定的

56、颜色模式，比如在一般情况下衣服的颜色特征是利用行人的着装一定的颜色模式，比如在一般情况下衣服的颜色有一定的相关性，裤子的颜色也有着一定的相关性。有一定的相关性，裤子的颜色也有着一定的相关性。, ,),),00 60160 1202120 180hHhh, ,),),00 85185 1702170 255vVvv, ,),),00 85185 1702170 255sSssHSV（Hue代表色相代表色相 Saturation代表饱和度代表饱和度 Value代表色调）代表色调）两个两个block之间的相似度得到一个特征数，计之间的相似度得到一个特征数，计算所有的算所有的128个个block之间的

57、相似性可以得到之间的相似性可以得到总共（总共（128 127/2=）8128维的特征向量。最维的特征向量。最后对这特征向量采用后对这特征向量采用L2-norm归一化归一化Integral channel featuresT 目标检测算法的性能主要受到两个因素的制约：学习算法和特征描述算子。目标检测算法的性能主要受到两个因素的制约：学习算法和特征描述算子。T 积分通道特征的大概思路是：通过对输入图像做各种线性和非线性的变换，积分通道特征的大概思路是：通过对输入图像做各种线性和非线性的变换，诸如局部求和、直方图、诸如局部求和、直方图、haar-like及它们的变种之类的特征便可以通过积分及它们的变

58、种之类的特征便可以通过积分图来快速计算出来。图来快速计算出来。T 积分通道特征是很简单的，但却为何要比积分通道特征是很简单的，但却为何要比HOG特征具有更好的性能表现呢？特征具有更好的性能表现呢？ 关键在于关键在于：HOG特征是人为设定的特征描述算子，而积分通道特征则是通过特征是人为设定的特征描述算子，而积分通道特征则是通过样本学习，自动选择那些最具有分类鉴别能力的特征。样本学习，自动选择那些最具有分类鉴别能力的特征。特征提取特征提取方法方法行人特征行人特征类型类型描述描述优点优点缺点缺点底层特征底层特征是颜色、纹理和梯度等基本的图像特征单一特征，计算速度快角度单一，判别力差基于学习的特征基于

59、学习的特征通过机器学习的方法，从大量的行人样本中学习到的行人特征表示判别力强需要有好的样本集混合特征混合特征多种底层特征的融合，或者是底层特征的高阶统计特征从不同角度组合成图像特征，提高准确度特征维度增加，特征计算和分类器的预测时间也增加，影响实时性主要三类提取方法：主要三类提取方法：2005年到年到2011年具有代表性的行人特征：年具有代表性的行人特征：行人特征行人特征年限年限概述概述HOG2005刻画图像的梯度特征，最为广泛使用刻画图像的梯度特征，最为广泛使用和成功的行人特征，可用积分图技术和成功的行人特征，可用积分图技术快速计算。快速计算。Edgelet2005描述行人的局部轮廓方向特征

60、描述行人的局部轮廓方向特征边缘模板边缘模板2007从样本中学习行人的形状分布模型，从样本中学习行人的形状分布模型，模型需要手工标注。模型需要手工标注。LBP2008计算速度快，对单调变化的灰度特征计算速度快，对单调变化的灰度特征具有不变性，低分辨率下判别力差。具有不变性，低分辨率下判别力差。COV2008局部区域图像块中各像素的坐标、灰局部区域图像块中各像素的坐标、灰度的一阶导数、二阶导数和梯度方向度的一阶导数、二阶导数和梯度方向的协方差特征。的协方差特征。Co-HOG2009通过通过“梯度对梯度对”更好描述梯度的空间分更好描述梯度的空间分布特征，但是向量维度太高布特征，但是向量维度太高Chn