模式识别及其在图像处理中的应用

1、模式识别及其在图像处理中的应用摘要：随着计算机和人工智能技术的发展，模式识别在图像处理中的应用日 益广泛。综述了模式识别在图像处理中特征提取、 主要的识别方法（统计决策法、 句法识别、模糊识别、神经网络）及其存在的问题，并且对近年来模式识别的新 进展一一支持向量机与仿生模式识别做了分析和总结，最后讨论了模式识别亟待 解决的问题并对其发展进行了展望。关键词：模式识别；图像处理；特征提取；识别方法模式识别诞生于20世纪20年代，随着计算机的出现和人工智能的发展，模式识别在60年代初迅速发展成一门学科。它所研究的理论和方法在很多学科和领域 中得到广泛的重视，推动了人工智能系统的发展，扩大了计算机应用

2、的可能性。图像处理就是模式识别方法的一个重要领域，目前广泛应用的文字识别（MNO就是模式识别在图像处理中的一个典型应用。1. 模式识别的基本框架模式识别在不同的文献中给出的定义不同。一般认为，模式是通过对具体的 事物进行观测所得到的具有时间与空间分布的信息， 模式所属的类别或同一类中 模式的总体称为模式类，其中个别具体的模式往往称为样本。模式识别就是研究 通过计算机自动地（或者人为进行少量干预）将待识别的模式分配到各个模式类 中的技术。模式识别的基本框架如图1所示。图I嘆式识别的基本框架根据有无标准样本，模式识别可分为监督识别方法和非监督识别方法。监督 识别方法是在已知训练样本所属类别的条件下

3、设计分类器，通过该分类器对待识样本进行识别的方法。如图1，标准样本集中的样本经过预处理、选择与提取特 征后设计分类器，分类器的性能与样本集的大小、 分布等有关。待检样本经过预 处理、选择与提取特征后进入分类器，得到分类结果或识别结果。非监督模式识 别方法是在没有样本所属类别信息的情况下直接根据某种规则进行分类决策。应用于图像处理中的模式识别方法大多为有监督模式识别法，例如人脸检测、车牌识别等。无监督的模式识别方法主要用于图像分割、图像压缩、遥感图像的识别模式识别过程可以看作从样本空间到类别空间的一个映射过程。 如果把一个 具有n个特征作为参量的n维特征空间划分为不同的区域，那么每个区域与一类模

4、 式类相对应。 其中，特征选择与提取是模式识别的一个重要环节， 如果所选取的 特征能够比较全面反映类的本质特征， 那么分类器就比较容易设计； 否则，分类 器设计的难度就增加。因此特征选择和提取是模式识别研究的一项重要内容。2. 特征提取和特征选择原始样本往往处于一个高维空间， 特征提取指的是通过映射的方法用低维空 间来表示样本的过程。 特征提取后样本的可分性应该更好， 分类器更易设计。 常 用的方法有主元分析法（PCA、线性判别分析、核函数主元分析（Kernel PCA、 独立主元分析法（ICA）、自组织映射（SOM方法等。特征提取在图像处理（例 如图像分割、图像识别、图像检索等）中得到了广泛

5、的应用。另外在图像压缩中 也广泛应用到DC变换以去除图像的空间冗余。不同的模式识别问题特征差别可 能很大，因而特征提取方法也不尽相同。 每一种特征提取方法只适合解决某些特 定范围的问题，例如对于服从高斯型分布的线性相关特征，采用PCA方法比较好， 用其他方法提取特征结果可能不是“最优”。 特征提取的优劣要根据一定的判据 来衡量，由于模式识别中没有一个统一的衡量特征优劣的判据， 所谓的最优是在 特定准则下取得的，是相对的最优。特征提取后的各个特征的物理意义有时不是很直观， 往往很难看出各个特征 对分类的影响，有的特征可能无助于分类器的设计，甚至会降低分类器的性能。 因此要在这些特征中选出最适合分

6、类器设计的特征。 换句话说， 特征选择就是从 一组特征D中挑选出一些对分类最有效特征d（Dd）的过程。实际中特征选择和提 取往往结合使用。为了判断提取和选择的特征对分类的有效性， 人们提出各种衡量特征分类性 能的判据。 最直接最有效的判据是计算分类器错误概率， 但一般情况下， 错误概 率的计算很复杂， 有时甚至无法计算。 因此人们提出一些其他的判据。 最简单的 判据是用于可分性判据的类内类间距离判据， 其基本原则是类内距离最小、 类间 距离最大的特征为最优特征。一方面，这一判据物理意义明显，计算方便，但是 距离的定义不同，得到的特征不同；另一方面，它和概率分布没有直接关系。为 此人们提出基于概

7、率分布的可分性判据， 这类判据计算比较复杂， 也很难得到和 错误概率的直接解析关系式。 另外还有基于熵函数的可分性判据等， 这些判据在 特征提取中都得到了广泛的应用。选定可分性判据后，通过穷举法可以得到特征选择的最优解，但是当特征个 数比较多时，这种方法由于计算量太大而难以实现。常用的方法有分支和定界(branch and bound )算法、顺序前进法(SF$、顺序后退法SB$等，相对于 穷举法， 这些方法都不同程度地减小了计算量， 但是都不能保证得到最优解， 往 往得到的是次优解。 由于特征选择是在进行相应的特征组合后判断其分类能力的， 因此可以采用解决优化问题的方法来解决。 常用的算法如

8、遗传算法、 模拟退火算 法，但它们计算都比较复杂。以上提到的判据在大多情况下和错误概率没有直接关系， 用以这些度量为基 础的某个判据的最优化对特征进行变换后所设计的分类器的错误概率未必最小； 同一个问题特征采用的判据不同得到最优解也不完全相同； 此外，特征选择结果 的可靠性和训练样本个数有关。 如果样本个数太少， 根据某种判据得出的最优解 和实际的最优特征有时差别很大，这是因为训练样本集中包含的分类信息不足。 由此可见，选择最优特征需要具备 3个条件：样本个数足够能够覆盖样本集的分 类信息；有一种比较好的分类判据；一个切实可行的选择算法。实际中，这 3个 条件很难完全满足。 因此，针对具体的模

9、式识别问题选择最优特征仍是一件比较 困难的事， 这些问题仍需要进一步的研究。 提取和选择特征之后， 分类和识别效 果的优劣取决于所设计的分类器的性质。 设计分类器的主要方法也就是模式识别 的主要方法。3. 模式识别的主要方法及其在图像处理中的应用 模式识别方法大致可以分为 4类：统计决策法、结构模式识别方法、模糊模 式识别方法与基于人工智能方法。 其中基于人工智能的方法本文主要介绍人工神 经网络模式识别方法。 前两种方法发展得比较早， 理论相对也比较成熟， 在早期 的模式识别中应用较多。 后两种方法目前的应用较多， 由于模糊方法更合乎逻辑、 神经网络方法具有较强的解决复杂模式识别的能力，因此日

10、益得到人们的重视。3.1 统计决策法统计决策法以概率论和数理统计为基础，它包括参数方法和非参数方法。参数方法主要以Bayes决策准则为指导。其中最小错误率和最小风险贝叶斯决策是最常用的两种决策方法。假定特征对于给定类的影响独立于其他特征，在决策分类的类别NE知与各类别的先验概率P(wi)及类条件概率密度p(x|wi)已知 的情况下，对于一特征矢量x根据式(1)计算待检模式在各类中发生的后验概率 p(x|wi)，后验概率最大的类别即为该模式所属类别。在这样的条件下，模式识 别问题转化为一个后验概率的计算问题。V pt X I g J)在贝叶斯决策的基础上，根据各种错误决策造成损失的不同，人们提出

11、基于 贝叶斯风险的决策，即计算给定特征矢量 X在各种决策中的条件风险大小，找出 其中风险最小的决策。实际上对于具体的模式识别问题，先验概率和类条件概率密度很难精确知道。 先验概率根据样本总数可大致估计，类条件概率密度可采用统计学中的最大似然 估计法、Bayes估计法等进行估计。这类方法应用于图像分割、图像复原以及图 像识别等方面。在图像分割中，假定图中的数据是服从 K个概率密度混合分布的 样本，然后估计概率密度函数的参数，最后计算后验概率或风险，对像素进行归 类，从而达到分割图像的目的。一般情况下，往往假定概率密度函数是高斯型的， 这一方面很多情况下样本的分布接近高斯分布， 另一方面是数学上处

12、理相对比较 简单。和图像分割的原理类似，图像识别也是对图像的某些特征采用贝叶斯决策 的方法设计分类器，根据分类器对未知图像的特征进行识别。参数估计方法的理论基础是样本数目趋近于无穷大时的渐进理论。在样本数目很大时，参数估计的结果才趋近于真实的模型。然而实际样本数目总是有限的， 很难满足这一要求。另外参数估计的另一个前提条件是特征独立性，这一点有时 和实际差别较大。实际上在样本数量不是很大的情况下，往往根据样本直接设计分类器，这就 是非参数方法。 这类方法物理意义直观， 但所得的结果和错误率往往没有直接联 系，所设计的分类器不能保证最优。 比较典型的方法如线性分类器、 最近邻方法、 K均值聚类法

13、等。在图像压缩领域的矢量量化编码算法中，码书的训练就是一个 典型的聚类过程， 压缩的效果和聚类的结果关系很大。 在图像分割中， 采用对像 素或图像的其他特征进行聚类，达到图像分割的目的。然而，统计决策理论主要集中在数量的统计关系上而忽略了刻画模式的结构 特征。图像处理往往与图像的结构信息有关， 对于很复杂的图像， 要求的特征量 非常巨大， 要把某一模式准确分类很困难， 这时采用统计分类方法很难实现， 因 此设法分割出图像的基元子模式， 将基元按照一定句法关系组合来代替原图像进 行分类，这就涉及到结构模式识别的问题。3.2 结构模式识别结构模式识别是利用模式的结构描述与句法描述之间的相似性对模式

14、进行 分类。每个模式由它的各个子部分（ 称为子模式或模式基元）的组合来表示。 对模式的识别常以句法分析的方式进行， 即依据给定的一组句法规则来剖析模式 的结构。当模式中每一个基元被辨认后， 识别过程就可通过执行语法分析来实现。 选择合适的基元是结构模式识别的关键。基元应具有“ 结构简单、含义明确、能方便地描述数据、易于抽取、结构 信息少”等特点。 由于基元选择的不确定性以及基元特征的多样性， 实际应用中 有时很难同时满足以上特点， 所以有必要在基元的复杂性和易识别性之间取一个 恰当的折衷。结构模式识别主要用于文字识别、遥感图形的识别与分析、纹理图像的分析 中。该方法的特点是识别方便，能够反映模

15、式的结构特征，能描述模式的性质， 对图像畸变的抗干扰能力较强。 如何选择基元是本方法的一个关键问题， 尤其是 当存在干扰及噪声时，抽取基元更困难，且易失误。基于统计决策和结构模式识别在早期的模式识别中应用比较多， 随着人们对 模式识别要求的提高， 在解决一些复杂的模式识别问题时， 上述方法的局限性越 来越明显。 模糊逻辑思想和神经网络的提出， 为人们解决模式识别问题提供了新 的思路。33模糊模式识别1965年Zadeh提出了他著名的模糊集理论，使人们认识事物的传统二值0,1逻 辑转化为 0， 1区间上的逻辑，这种刻画事物的方法改变了人们以往单纯地 通过事物内涵来描述其特征的片面方式， 并提供了

16、能综合事物内涵与外延性态的 合理数学模型隶属度函数。 对于 1 、2 两类问题， 传统二值逻辑认为样本 3 要么属于 1 ，要么属于 2 ，但是模糊逻辑认为 3 既属于1 ，又属于 2，二者的区 别在于 3 在这两类中的隶属度不同。所谓模糊模式识别就是解决模式识别问题 时引入模糊逻辑的方法或思想。 同一般的模式识别方法相比较， 模糊模式识别具 有客体信息表达更加合理，信息利用充分，各种算法简单灵巧，识别稳定性好， 推理能力强的特点。模糊模式识别在图像处理中也被广泛应用，例如：将模糊K近邻（FKNN方法用于盲图像的反卷积，实验结果证明了这种方法的有效性；将模糊技术同K均值聚类结合用于矢量量化编码

17、中， 这种方法消除了聚类初始化对结果码书的依赖 性，提高了聚类结果的鲁棒性；将模糊方法同 K近邻（K-NN结合，对图像进行 分类，取得比传统K-Nh方法更好的效果；将模糊逻辑同BP神经网络相结合对手写 字符识别， 取得接近 100%的效果； 将模糊方法运用到图像增强中， 首先通过模糊 隶属度函数对原始图像做模糊变换， 然后对变换后的图像做增强处理， 以提高图 像的对比度。 尔后对图像做模糊逆变换， 得到增强后的图像。 以上方法在获得比 较好的效果的同时， 往往增加一定的计算量， 但是有些算法本身比较简单， 在同 其他算法的结合中， 模糊思想运用引入的计算开销有时同整个算法的计算量相比 并不大，

18、计算速度通常是可以接受的。模糊模式识别的关键在隶属度函数的建立，目前主要的方法有模糊统计法、 模糊分布法、二元对比排序法、 相对比较法和专家评分法等。 虽然这些方法具有 一定的客观规律性与科学性， 但同时也包含一定的主观因素， 准确合理的隶属度 函数很难得到，如何在模糊模式识别方法中建立比较合理的隶属度函数是需要进 一步解决的问题。3.4人工神经网络模式识别早在20 世纪50 年代，研究人员就开始模拟动物神经系统的某些功能，他们 采用软件或硬件的办法，建立了许多以大量处理单元为结点，处理单元间实现 （ 加权值的）互联的拓扑网络，进行模拟。称之为人工神经网络。这种方法可 以看作是对原始特征空间进

19、行非线性变换， 产生一个新的样本空间， 使得变换后 的特征线性可分。同传统统计方法相比，其分类器是与概率分布无关的。人工神经网络的主要特点在于其具有信息处理的并行性、 自组织和自适应性、 具有很强的学习能力和联想功能以及容错性能等， 在解决一些复杂的模式识别问 题中显示出其独特的优势。近年来，在图像处理中应用也很多。例如：采用自组 织网络对医学图像进行分割，并能够将 CTffl像中的病灶分割出来等等。人工神经网络是一种复杂的非线性映射方法，其物理意义比较难解释，在理 论上还存在一系列亟待解决的问题。 例如在设计上， 网络层数的确定和节点个数 的选取带有很大的经验性和盲目性， 缺乏理论指导， 网

20、络结构的设计仍是一个尚 未解决的问题。 在算法复杂度方面， 神经网络计算复杂度大， 在特征维数比较高 时，样本训练时间比较长；在算法稳定性方面，学习过程中容易陷入局部极小， 并且存在欠学习与过学习的现象， 范化能力不容易控制。 这些也是制约人工神经 网络进一步发展的关键问题。近些年来基于统计学习理论的支撑向量机在模式识别方法表现出出色的学 习性能和范化能力， 同神经网络相比， 其可有效地克服局部极小、 维数灾难等问 题，因而成为目前模式识别领域中又一个研究热点。4模式识别的新进展及其在图像处理中的应用4.1 支撑向量机 前面提到，在有限样本尤其是小样本的情况下，采用统计决策法中的很多方 法都难

21、以取得理想的效果。Vap nik早在20世纪60年代开始研究有限样本情况下的 机器学习问题， 直至90年代才形成一个较完善的理论体系统计学习理论。 该 理论定义了衡量函数集性能的指标一一 VC隹，VC隹越大，函数的推广能力越差， VC隹越小，函数的推广能力越强。在该理论的框架下，经验风险最小化原则下学 习机器的实际风险由两部分组成R( w) w R呻(u ) +0(寸-)式中第一项为训练样本的经验风险；第二项为置信范围，在训练样本数目n一定的情况下，函数集的VC隹越大，其置信范围越大。因此，在设计分类器时， 不但要使经验风险最小，同时也要使VC隹尽量小，缩小置信范围，从而提高分类 器的预测能力

22、。统计学习理论提出了结构风险最小化的原则：即把函数集分解为一个函数集 序列，使各个子集能够根据VC隹的大小排列，在每个子集中寻找最小经验风险。 选择最小经验风险和置信范围之和最小的子集，即达到期望风险最小，这个子集中使期望风险最小的函数也即所求的最优函数。这种思想称为结构风险最小化 SRM如图2所示。欠学习电 过学习酣数集子囊陽U/U禺出呵f叫r实现结构风险图2结构风险最小化示意禺最小化有两种方法:一是在函数集的每一子集中求最小经验风险，然后选择最小经验风险和置信范围 最小的子集。这种方法类似穷举法，计算量比较大，当子集数目很大时几乎无法 实现。另一种方法是设计函数集的某种结构， 使每个子集中

23、都能取得最小的经验 风险，然后选择适当的子集使置信范围最小， 这个子集中使经验风险最小的函数 就是最优函数。支撑向量机SVM是结构风险最小化的第二种实现方法的体现。 其基本思想是: 首先通过非线性变换将输入空间变换到一个高维空间，甚至是一个无限维空间， 然后在这个高维空间求取最优分类面，其中非线性变换是通过核函数的方法来实现的。SVM方法通过内积计算比较有效地解决了维数灾难问题，通过在高维空间 设计最优分类面，比较好地实现了 VC隹最小的问题；在数学上支撑向量机的训练 问题可转化为一个求解受约束的二次型规划(0P问题，这个问题存在惟一解， 避免了神经网络训练结果不稳定、容易陷入局部极小的问题，

24、因而SVM方法是一种比较好的模式识别方法。SVMft初用来解决两类问题，表现出优越的性能，一个很自然的想法就是将 其推广到多类识别问题。多类SV啲分类和识别主要有两种方法，一是根据多类 样本集直接设计分类器， 此时分类器的设计问题可转化为一个考虑所有样本的优 化问题。在样本比较多时，这种方法求解比较复杂；另一种是分解法，将多类样 本分类器的设计转化为多个两类问题的分类器设计问题， 由于这类方法比直接法 求解简单，在实际中应用很广。比较有代表性的训练和预测多类SV啲方法有一对一0A0(one against one )、一对多 OAA(one anginst all) 和有向无回路图越 多的图像

25、处理研究者和工作者所应用。4.2 仿生模式识别前面介绍的各种模式识别方法都是假定分类信息是完全包含在训练样本内， 以两类或多类样本的最优划分为基础， 分类器的训练过程实际上可以看作对样本 的划分过程。 有文献提出把模式识别问题看成是模式的“认识”， 而不是分类划 分，不是模式分类；是一类一类样本的“认识”，而不是多类样本的划分。为了 强调与传统模式识别在概念上的不同， 有的文献中采用“仿生模式识别”这一概 念，“仿生”的含义只是在模式识别的功能和数学模型上强调了“认识”的概念， 更接近于人类的认识。传统模式识别从特征空间中不同类样本的划分出发设计分类器。 而仿生模式 识别就在引入特征空间同类样本的连续性规律， 对一类事物的“认识”， 实际上 是对这类事物的全体在特征空间中形成的无穷点集合的“形状”的分析和认识， 文中根据这种规律性建立起“多维空间中非超球复杂