机器视觉原理与应用 课件 第8章 视觉动态纹理识别

第8章视觉动态纹理识别8.1纹理描述8.2纹理特征 8.2.1灰度共生矩阵 8.2.2自相关函数 8.2.3灰度差值统计 8.2.4傅里叶描述子8.3动态纹理识别 8.3.1局部二值模式（LBP） 8.3.2体积局部二值模式（VLBP） 8.3.3LBP-TOP纹理识别方法第8章视觉动态纹理识别纹理识别是视觉领域的研究热点，纹理可分为自然纹理和人工纹理，自然纹理指的是真实存在物体的表面结构，比如火焰、水中的波纹，树木的树皮、人的面目表情等。人工纹理指人工合成的纹理，比如墙壁的纹理、棉被的纹理、筷子的纹理等。通常自然纹理是不规则且分布不均的，而人工纹理是在人为因素的影响下存在一定的规则性。动态纹理是静态纹理在时空域的扩展，它们通常被视为在时域中表现出某些静止属性的运动场景的视频。典型的动态纹理形式包括火焰、海浪、微表情和运动物体的视频。在过去的十年里，动态纹理的建模和分类极受关注。动态纹理分类有很多应用，包括视频检索、运动识别、交通监控、火灾检测、面部分析、人群管理、唇读、微表情分析和物体跟踪。8.1纹理描述纹理描述的目的是得到一些量度用来对一个特定纹理进行分类。因此，如形状描述那样，对这些量度也有不变性要求。特征提取的不变性要求即位置、尺度和旋转不变性。可以同样适用于纹理提取。毕竟，纹理是一种特征，与形状不同的是，它的定义很模糊。显然，我们要求位置不变性：描述纹理的量度不应该随分析区域(对大图像而言)位置的不同而变化。要求旋转不变性，但这个要求不像位置不变性那么严格；纹理的定义虽然没有隐含朝向的知识，不过可以推测出来。最不严格的要求是尺度不变性，因为它主要取决于应用。假设遥感图像中利用纹理来分析植被。尺度不变性意味着近处的小树应该得到与远处大树相同的量度。如果目的仅仅是分析植被覆盖，这样的量度也会令人满意。但是，如果目的是要计算植被的年龄以便进行补给，那将不能令人满意，因为尺度不变量从理论上无法区分小树和大树。8.1纹理描述与特征提取不同，纹理描述很少用到边缘检测，由于边缘检测的一个主要目的是去除对全体亮度级的依赖。高阶不变量诸如射影不变性，也很少用于纹理描述。这大概是因为纹理的许多应用都与遥感图像相似，或者仅局限于工业应用，其中，摄像机几何关系可以得到控制。8.2纹理特征讲到纹理(texture)，人们自然会立刻想到木制家具上的木纹以及花布上的花纹，木纹为天然纹理，花纹为人工纹理。人工纹理是由自然背景上的符号排列组成的，这些符号可以是线条、点、字母、数字等，人工纹理往往是有规则的。自然纹理是具有重复排列现象的自然景象，如森林、碎石、砖墙、草地之类的照片。自然纹理往往是无规则的，它反映了物体表面颜色或灰度的某种变化，而这些变化又与物体本身的属性相关。一些纹理图像如图8-1所示。8.2纹理特征8.2纹理特征图像纹理分析在许多学科都有广泛应用。例如，气象云图多是纹理型的，在红外云图上，几种不同纹理特征的云类(如卷云、积雨云、积云和层云)的识别就可以用纹理作为一大特征；卫星遥感图像中，地表的山脉、草地、沙漠、森林、城市建筑群等均表现出不同的纹理特征，因此通过分析卫星遥感图像的纹理特征可以进行区域识别、国土整治、森林利用、城市发展、土地荒漠化等方面的宏观研究；显微图像中，如细胞图像、金相图像、催化剂表面图像等均具有明显的纹理特征，对它们进行纹理结构分析可以得到相关物理信息。8.2纹理特征关于图像纹理的精确定义迄今还没有一个统一的认识。一般来说，图像纹理是图像中灰度或颜色在空间上的变化模式，反映了周期性出现的纹理基元和它的排列规则。而纹理基元定义为，由像素组成的具有一定形状和大小的集合，如条状、丝状、圆斑、块状等。同时，纹理模式与纹理尺度有关，而纹理尺度又与图像分辨率有关。例如，从远距离观察由地板砖构成的地板时，我们看到的是地板砖块构成的纹理，而没有看到地板砖本身的纹理模式；当在近距离观察同样的场景时，我们开始察觉到每一块砖上的纹理模式，如图8-2所示。

8.2纹理特征对于纹理特征分析，目前主要采用统计方法和结构分析方法。如果从纹理对人产生的直观印象出发，将包含有心理学因素，这样就会产生多种不同的统计特征。描述纹理统计特征的技术有许多，例如，灰度共生矩阵、自相关函数、灰度差分、功率谱、正交变换、灰度级行程长等。当纹理基元很小并成为微纹理时，统计方法特别有效。如果从图像本身的结构出发，则认为纹理是结构，根据这一观点，纹理特征分析应该采用结构分析方法。结构分析法首先将纹理看成是由许多纹理基元按照一定的位置规则组成的，然后分两个步骤处理：提取纹理基元和推论纹理基元位置规律。该方法适合于规则和周期性纹理。8.2.1灰度共生矩阵灰度共生矩阵(gray-levelco-occurrencematrix)能较精确地反映纹理粗糙程度和重复方向。由于纹理反映了灰度分布的重复性，人们自然要考虑图像中点对之间的灰度关系。灰度共生矩阵是一个二维相关矩阵，是距离和方向的函数，用

表示，定义如下：首先规定一个位移矢量

，然后，计算被d分开且具有灰度级i和j的所有像素对数。位移矢量d为(1,1)是指像素向右和向下各移动一步。显然，灰度级数为n时，灰度共生矩阵是一个

矩阵。8.2.1灰度共生矩阵例如，考虑一个具有3个灰度级(0、1、2)的5*5图像，如图8-3(a)所示，由于仅有三个灰度级，故

是一个3*3矩阵。在5*5图像中，共有16个像素对满足空间分离性。现在来计算所有的像素对数量，即计算所有灰度值i与灰度值j相距为d的像素对数量，然后，把这个数填入矩阵

的第i行和第j列。例如，在距离矢量

的情况下,i=0,j=1的组合(在0值的右下面为1的频率)有2次,即

,因此,在

项中填写2。完整的矩阵如图8-30(b)所示。8.2.1灰度共生矩阵如果计算关于所有的d的灰度共生矩阵，这就等于计算出了图像的所有二次统计量，但是，因为如果那样一来信息量就会过多，所以在实际中选择适当的d，只对它求共生矩阵，多数场合使用图8-4中所示的四种位移。图中，为了表示

的关系，而使用了相同的共生矩阵，即用

来表示

因此，所有的共生矩阵

都是对称矩阵。8.2.1灰度共生矩阵图8-4灰度共生矩阵8.2.1灰度共生矩阵作为纹理识别的特征量，不是直接使用上述共生矩阵，而是在灰度共生矩阵的基础上再计算如下的特征量（即角二阶矩、对比度或惯性矩、熵和逆差矩或均匀度），并根据这些值给纹理赋予特征。假设在给定距离和方向参数情况下的共生矩阵

的元素已归一化成为频率，即

。(1)角二阶矩(angularsecondmoment)或能量(energy)。（8-1）角二阶矩是灰度共生矩阵元素值平方和，所以也称做能量，反映了图像灰度分布均匀程度和纹理粗细度。当灰度共生矩阵的元素分布较集中于对角线时，说明从局部区域观察图像的灰度分布是较均匀的；从图像整体来观察，纹理较粗，含有的能量较大。反之，细纹理时角二阶矩较小。当

都相等的时候，具有最大能量。8.2.1灰度共生矩阵(2)对比度(contrast)或惯性矩。（8-2）对比度反映纹理的清晰度。图像纹理沟纹越深，其对比度越大，对图像清晰度、细节表现更加有利。(3)熵(entropy)。熵是一种用于测量灰度级分布随机性的特征参数，定义为:

（8-3）若图像没有任何纹理，则灰度共生矩阵几乎为零阵，则熵值也接近零。若图像充满着细纹理，则

的元素值近似相等，该图像的熵值最大。若图像中分布着较少的纹理，

的元素值差别较大，则图像的熵值较小。8.2.1灰度共生矩阵(4)逆差矩(inversedifferencemoment)或均匀度(homogeneity)。 （8-4）逆差矩反映纹理的尺寸，粗纹理时逆差矩较大，细纹理时较小。一幅灰度图像的灰度级数一般为256级，这样级数太多会导致计算出来的灰度共生矩阵太大。因此，为了解决特征计算耗时或消除图像照明的影响，常常在求其共生矩阵之前，根据直方图均衡化等灰度分布的标准化技术，将图像压缩为

的图像。灰度共生矩阵特别适用于描述微小纹理，而不适合描述含有大面积基元的纹理，因为矩阵没有包含形状信息。8.2.2自相关函数自相关函数(auto-correlationfunction)可以估计规则量以及平滑粗糙度，并且与傅里叶变换的能量谱有关系。纹理结构常用其粗糙性来描述，其粗糙性的程度与局部结构的空间重复周期有关。周期大的纹理粗，周期小的纹理细。空间自相关函数作为纹理测度，一幅图像

的自相关函数定义为:

（8-5）8.2.2自相关函数式(8-5)是对

窗口内每一像素

与偏离值为

的像素之间的相关值计算。对于含有重复纹理模式的图像，自相关函数表现出一定的周期性，其周期等于相邻纹理基元的距离。对于粗纹理图像，自相关函数随着偏离值增大而下降速度较慢；对于细纹理图像，自相关函数随着偏离值增大而下降速度较快。随着偏离值的继续增加，自相关函数会呈现某种周期性变化，可以用来测量纹理的周期性和纹理基元的大小。自相关函数的一种扩展形式表示为（8-6）纹理粗糙性越大，则

就越大，因此，可以方便地使用

作为度量纹理结构粗糙性的一种参数。8.2.3灰度差值统计灰度差值统计(statisticsofgraydifference)方法又称一阶统计方法，它通过计算图像中一对像素点之间的灰度差值直方图来反映图像的纹理特征。设给定的图像为

，表示一个微小距离

，则图像中(x,y)与

两点的灰度差(指绝对值)为：（8-7）设灰度差的所有可能值有L级，让点(x,y)遍历整幅图像，可以得到一幅灰度差值图像。计算灰度差值图像的归一化直方图，k表示灰度差。当较小的灰度差值出现概率较大时，说明纹理比较粗糙；反之，当较大差值出现概率较大时或直方图较平坦时，说明纹理比较细。可见，纹理特征与

有着密切的关系。可以通过计算以下四个参数来描述纹理特征：8.2.3灰度差值统计(1)平均值：（8-8）粗纹理的在零点附近比较集中，因此其比细纹理要小。(2)对比度：（8-9）

(3)角二阶矩：（8-10）角二阶矩是图像灰度分布均匀性的度量，从图像整体来观察，纹理较粗，较大，粗纹理含有的能量较多；反之，细纹理时，较小。8.2.3灰度差值统计(4)熵：（8-11）熵是图像所具有信息量的度量。图像若没有纹理信息，则熵为0。8.2.4傅里叶描述子除了上述图像空间上的特征提取方法之外，还有对图像进行傅里叶变换后，从其频率成分的分布来求纹理特征的方法。如图像

的功率谱表示为

。为了从

计算纹理特征，实际应用中，通常把它转化到极坐标系中，用

描述。将这个二元函数通过固定其中一个变量转化成一元函数，例如，对每一个方向，可以把

看成是一个一元函数

；同样地，对每一个频率r，可用一元函数

来表示。对给定的方向，分析其一元函数，可以得到频谱在从原点出发的某个放射方向上的行为特征。而对某个给定的频率r，对其一元函数

进行分析，将会获取频谱在以原点为中心的圆上的行为特征。8.2.4傅里叶描述子如果分别对上述两个一元函数

和

按照其下标求和，则会获得关于区域纹理的全局描述： （8-12） （8-13）其中，R0是以原点为中心的圆的半径。表示功率谱空间上的以原点为中心的环形区域内的能量之和，表示扇形区域内的能量之和。作为纹理特征，经常使用

、图形的峰值位置和大小，以及、的平均值或方差等。例如，的峰表示纹理的构成元素的大小(纹理的粗细度)，的峰表示纹理在与其方向垂直的方向上具有明确的方向性。8.3动态纹理识别动态纹理分类比静态纹理分类更具有挑战性，因为动态纹理不仅在空间外观上有所不同，而且随着时间的推移，它们的动态结构也有所不同。纹理特征提取的好坏直接决定了纹理分类的准确性，因此，大多数关于动态纹理分类的研究都集中在特征提取上。与普通静态纹理相比，动态纹理将自相似性的概念扩展到时空领域。因此，研究集中在扩展现有的静态纹理描述符到时空域，以捕捉时间变化。由于VLBP（VolumeLocalBinaryPattern）模式数量庞大，研究人员进一步提出从三个正交平面中提取LBP特征，使特征提取过程计算简单，这种方法被称为LBP-TOP（LBP-ThreeOrthogonalPlanes）。在LBP-TOP中从三个正交平面提取特征的关键思想由于其简单性和良好的性能而被后来的研究者广泛采用。但LBP-TOP虽然以三正交平面的方式降低了特征维度，但同时也忽略了部分邻域信息，不利于纹理的空间结构识别且依然无法解决LBP鲁棒性差、以中心像素为提取阈值的抗干扰能力弱等缺点。8.3.1局部二值模式（LBP）局部二值模式(LocalBinaryPattern，LBP)纹理描述是非常新且的有吸引力一种方法，迅速得到研究领城的青睐。对于一个3×3区域，基本的LBP可以通过比较中心点P与它的近邻点Px来得到存储于中心点中的一个码(code)。对于点P和Px可以利用阈值处理，即函数（8-14）这个码从应用于阈值处理的二值加权来计算(它等价于阈值处理中心点的相邻点，然后将这个码展开作为一个二值码)。因此，有8个近邻点被表示成x点P的码LBP为（8-15）8.3.1局部二值模式（LBP）这个过程如图8-5所示，点P是中心点，x的8个值就是8个最近邻。对于图8-5(a)所示的一个3×3的区域，有三个值比中心点的值大，因此在图8-5(b)所示的结果码中有三个1。按照顺时针方向从左上的点(中上的点190是最大值)开始展开，得到的码为101000012。把它看做一个二值码，加入图8-5(c)所示的权重，可以得到一个最终值LBP=161[如图8-5(d)所示]。阈值处理过程，展开和加权都可以采用不同的方法，但本质上在整幅图像保持一致。码P包含局部的亮度结构：局部二值模式。8.3.1局部二值模式（LBP）基础LBP码可以用两个局部量进行补充：对比度和方差，前者从编码为1的点和编码为0的点之间的差值来计算，方差根据四个近邻像素来计算，旨在反映模式相关性和对比度。这两个补充量中，对比度对分辨能力作用很大。LBP方法确定从整幅图像得到的码的直方图，用这个直方图来描述纹理。这种方法根据其表述本身是平移不变的：位移的纹理应该得到相同的LBP码直方图。根据这种表述，这个基本处理不是尺度或旋转不变的，在旋转的情形下，不同的加权被应用于点的比较，得到不同的码值。图8-6(a)所示的法式帆布纹理的LBP值的直方图如图8-6(b)所示。这个直方图也显示法式帆布图像的改版，向左位移了40个像素[(如图8-6(c)所示](轮转式位移，因而图像卷起来)，得到的直方图[如图8-6(d)所示]结构上非常相似。实际上，两个直方图上的点之间有所不同，因为处理的是真实图像（但是这个差异最多20），非常小而直方图的有些值超过4×103个像素，因此通过直方图的视觉检查无法确定。8.3.1局部二值模式（LBP）接下来考虑的是尺度不变性。这需要考虑更大距离上的点。如果空间是以圆形的方式采用，那么点P在半径R上，

的坐标方程式为

（8-16）式（8-16）中，

，P是半径为R的点的数量。类似于圆的Hough变换，Bresenham算法提供一个更加有效的方法来生成圆。由于LBP码里有不同数目的点，尺度不变的LBP_S的码生成为（8-17）8.3.1局部二值模式（LBP）图8-6位移不变的局部二值模式直方图8.3.1局部二值模式（LBP）对不同的P和R值呈放射状采样的模式如图8-7所示，其中图8-7(a)是8个点半径为1的圆采样，等价于图8-5(a)所示的3×3小区域，图8-7(b)是半径为2，点数为8的圆采样，图8-7(c)更大。所有这些显示圆形模式的低分辨率生成的离散化效果，更常见的是利用插值来确定点值，而不是利用最近邻的像素值。

图8-7值为(P，R)的放射模式的采样(a)c:=Circle(8,1)(b)c:=Circle(8,2)(c)c:=Circle(16,3)8.3.1局部二值模式（LBP）旋转不变的排列加入所得码以便得到最小整数，LBP是一个1和0的模式，不是整数，旋转不变LBP的LBP_R为（8-18）其中ROR()是(圆形)旋转算子。对于LBP_S(8,1)的采样排列[如图8.7(a)所示]，这种方法要找到36个单独模式，这些模式的出现频率变化很大，而且给出用于排列的稀疏角量度，这种方法的辨别能力不大，还需要其他更加有效的方法。8.3.1局部二值模式（LBP）为了得到更好的辨别能力，有主导辨别能力的一些基本模式和这些模式的出现会主导纹理描述能力。对于LBP_S(8,1)的采样排列，如图8-7(a)所示，将中心点有关的阈值处理结果标记为黑(0)或白(1)，我们得到的排列如图8-8所示。模式0~8对应基本特征：模式0表示明亮区域的阈值(周围的点具有更小的值)，模式8表示黑色区域(周围所有点较亮)。模式1~7表示曲率变化的线：模式1表示线的端点(终点)，模式2表示一个锐点，模式4表示边缘。这些称为均一二值模式(uniformbinarypattern)，沿圆形模式前进时最多有两个1~0(或相反)的平移来表示。其他模式(没有标记)在圆形向前时有对于两个1~0的平移，称为非均一二值模式。非均一二值模式比图8-8第二行显示的还多。这些模式能够在任意旋转时出现，因此LBP可以被整理为以旋转不变的方式来检测这些模式。8.3.1局部二值模式（LBP）图8-8LBP_S(8,1)的旋转不变二值模式对于均一LBP方法，首先需要检测模式是否是均一的，这可以利用U算子来得到，U算子计算1~0(或相反)的平移数目（8-19）8.3.1局部二值模式（LBP）对于排列LBP_S(8,1),模式0~8有最大值U=2(模式0和8时U=0，其他U=2)。其次，需要确定每个均一模式的码。由于这些码是旋转不变的，只需要计算模式内的比特数就可以得到。这只为计算均一模式；非均一模式都设成同样的码值(最容易的值是大于1，采样排列所期待的模式数目)。图8-8所示的是LBP_S(8,1)采样排列的模式，有0~8个码，因此可以把非均一模式串成码值为9的码。对于范围为0到N-1的N个模式，可以定义旋转不变码为（8-20）8.3.1局部二值模式（LBP）然后得到这些基本特征出现的直方图，利用局部基本结构的出现频率来描述纹理，这已经是一个描述纹理的常用方法。应用均一LBP来描述前面的D20纹理以及位移版，我们有得到相似的码值直方图。在直方图中，最多的码是线结构，这与计算直方图的图像非常一致。值得注意的是，码0~8主导这个表达。纹理D20的位移和旋转版的处理结果如图8-9所示。图8-9(a)是原纹理，图8-9(c)是位移和旋转版。原纹理的描述如图8-9(b)所示，位移和旋转版如图8-9(d)所示。视觉上图8-9(b)和图8-9(d)的直方图几乎没有差异，但实际上有非常小的差异，小于100计数值，相对于均一LBP方法得到的计数值(104)来说小得多。8.3.1局部二值模式（LBP）

图8-9均一局部二值模式直方图8.3.1局部二值模式（LBP）要在不同尺度上应用这种方法，每个尺度获得的直方图可以联系起来。LBP成为多尺度方法，因为它可以将在邻域重复的任意纹理模式进行分类。由于一类纹理有每个尺度的直方图，利用这种方法进行二维相似度测量。样本S的联合直方图与模型M之间的非相似度量度L为

（8-21）其中Shn和Mhn分别为第h个样本和模型直方图的第n个直方的概率；Nh是H个直方图的数目；Ths和Thm分别是样本和模型直方图的总数目。8.3.2体积局部二值模式（VLBP）1996年OjalaT等人首次提出了LBP纹理识别方法[54]，该方法在纹理识别领域受到了广泛关注，LBP算法的基本思想是通过比较中心像素的值和其邻域像素的值，进而提取LBP码。如式（8-22）所示：（8-22）式（8-22）中，定义

，则的取值范围为：（8-23）式（8-22）中，R是圆邻域的采样半径，P是采样数。代表中心像素，

是相邻像素。式（8-23）中，函数是比较运算符，如果小于，

的值将被编码为“0”。相反，

的值将被编码为“1”8.3.2体积局部二值模式（VLBP）VLBP与LBP的主要区别在于其将LBP扩展到时空域。VLBP的特征提取流程如图8-10所示，其输入的视频序列是由连续帧构成的三维序列，由三帧组成的采样顺序在右侧给出。假设每一帧内中心点的邻域点的个数为m，那么VLBP中心点的所有邻域点的个数为3m+2，其表示的特征维数是

，特征维数增大导致计算复杂，将影响后期的动态纹理识别效果。8.3.2体积局部二值模式（VLBP）图8-10VLBP的提取流程8.3.2体积局部二值模式（VLBP）VLBP为了将LBP扩展到动态纹理分析，将图像序列的局部邻域定义为

图像像素的灰度级联合分布V。P是一帧中围绕中心像素的局部邻近点的数量：（8-24）式（8-24）中，灰度值

代表局部体积邻域中心像素的灰度值，和代表时间间隔为L的前后相邻帧中中心像素的灰度值，

代表图像中半径为

的圆上P个等距像素的灰度值。假设的坐标是，可以得到

和

的坐标分