第章模式识别绪论西安电子科技大学

1、第1章绪论 第第1章章绪绪论论 1.1 模式识别的基本概念 1.2 模式识别系统 1.3 模式识别的基本方法 第1章绪论 1.1 模式识别的基本概念模式识别的基本概念 人们在日常生活中, 几乎时时在进行类识别活动。 对于视 觉而言, 眼睛收集外界信息传至大脑, 由大脑对所接收的视觉信 息进行识别和理解。 视觉信息识别是低层次的类识别, 例如, 当 我们看见一只猫时, 很容易识别出猫这一动物的类别。 而高层 次的视觉理解, 是通过分析直观的观测结果得到更深层次的信 息, 这对人的知识和素质有很强的依赖性。 第1章绪论 例如, 在二战时期, 一名高素质的情报人员根据看到的 一只经常出来晒太阳的波斯

2、猫推断出敌方高级指挥所的位 置, 从而为己方提供了非常有价值的情报信息。 对于听觉而言, 人耳将声音信息传至大脑, 由大脑对所 接收的声音信息进行识别和理解, 获得声音所属的语言种类 (语种识别)、 声音所对应的说话人(说话人识别)以及声音所 包含的关键词(关键词识别)等。 除此之外, 人还具有对触觉、 味觉、 嗅觉等信息的类识别能力, 且也具有低级和高级两个 层次。 第1章绪论 模式识别的目的就是利用计算机实现人的类识别能力, 是对两个不同层次的识别能力的模拟。 对信息的理解往往含 有推理过程, 需要专家系统、 知识工程等相关学科的支持。 本书讲述的模式识别理论主要是指对人的低级类识别能力的

3、 模拟, 具体地说, 就是实现“观察对象是什么”的判断, 其中 观察对象就是模式。 第1章绪论 模式是指具有某种特定性质的观察对象。 特定性质指的 是可以用来区别观察对象是否相同或是否相似而选择的特性。 观察对象存在于现实世界, 可以是视觉、 听觉、 触觉、 味觉、 嗅觉等所能感知的任何物质。 例如, 一个数字、 一句话、 一 张照片等都是观察对象, 都可以成为模式识别中的识别对象。 广义地说, 存在于时间和空间中可观察的事物, 如果可以区别 它们是否相同或是否相似, 都可以称为模式。 根据模式的特 性, 将具有相似特性的模式的集合表达为模式类。 模式识别 就是根据模式的特性, 将其判入某一类

4、。 第1章绪论 模式识别是一种智能活动, 包含分析和判断两个过程。 分析的过程在于确定用于划分模式类的特征及其表达方法; 判断的过程则体现在依据待识别对象的特性, 将其判属于某 一个模式类。 模式识别作为一门学科, 属于机器智能, 故属于人工智能 的范畴。 模式识别理论的发展和广泛应用, 极大地推动了人 工智能的发展和应用。 第1章绪论 1.2 模式识别的本质就是根据模式的特性表达和模式类的划 分方法, 利用计算机将模式判属特定的类。 因此, 模式识别需 要解决5个问题: 模式的数字化表达、 模式特性的选择、 特 性表达方法的确定、 模式类的表达和判决方法的确定。 一 般地, 模式识别系统由信

5、息获取、 预处理、 特征提取和选择、 分类判决等4个部分组成, 如图1-1所示。 第1章绪论 图 1-1模式识别系统的组成框图 1. 信息获取 对于人脑识别而言, 人脑通过感觉器官获取模式信息。 对于机器识别来说, 由于计算机只能处理数字信号, 计算机 获取模式信息意味着实现观察对象的数字化表达, 因此, 需 要借助于各种传感器设备, 将视觉、 听觉、 触觉、 味觉、 嗅觉等信息转化为电信号, 再通过模/数(A/D)转换装置将 电信号转换成数字化信息。 信息获取过程如图1-2所示。 第1章绪论 图 1-2信息获取示意图 不同性质的信息需要不同的传感器设备, 有的传感器和 A/D转换设备是融为一

6、体的, 有的则是分离的。 例如, 对于视觉 信息, 可以先采用摄像机完成光电转换, 再采用图像采集卡完成 A/D转换; 也可以采用数字化摄像机(CCD)、 数码相机直接获 得数字信息。 数字图像(或视频)是视觉信息的数字化表达。 对于听觉信息, 可以先采用话筒完成声电转换, 再采用声卡完成 A/D转换; 也可以采用数字录音机直接获得数字信息。 数字语 音是听觉信息的数字化表达。 第1章绪论 2. 在得到模式的数字化表达后, 往往需要对它进行预处理, 以便去除或减少噪声的影响, 突出有用信息。 对于图像信息, 采用数字图像处理技术作为其预处理技 术, 常用的方法有几何校正、 图像增强、 图像还原

7、等。 第1章绪论 对于语音信息, 采用数字语音处理技术作为其预处理 技术。 作为一种一维信号, 除了它和人耳特性有关的一些 特殊方法外, 也可以用一般的信号处理方法进行处理。 对于电信号, 一般可以用信号处理的方法进行处理, 包 括统计信号处理、 自适应信号处理和谱分析等技术, 其目 的在于抑制噪声或将信号转换成更便于识别的形式。 第1章绪论 3. 特征提取和选择特征提取和选择 在模式识别中, 需要先建立模式类, 对于给定的模式, 识别就是将其判属于某一个模式类的过程。 模式和模式类 能进行从属关系判决的前提条件是, 模式和模式类中的元 素具有相似的性质(或称特性)。 为此, 需要对模式信息进

8、 行特性分析。 特性分析包含两个方面: 一个是分类特性的 选择; 另一个是特性表达方法的选择。 第1章绪论 分类特性的选择是模式识别系统设计中非常重要而又关 键的一步, 与识别目的具有很大的相关性, 且往往对领域专家 有较强的依赖性。 例如, 在遥感图像军事目标识别中, 需要结 合军事专家的知识和判图专家的判读分析经验, 形成对目标 的特性描述, 如描述一个舰船目标, 可选用舰船长度、 宽度、 高度等特性。 特征是用于描述模式性质(特性)的一种定量的概念, 通过 对模式的分析得到一组特征, 称这个过程为特征形成。 特征 一般有两种表达方法: 一种是将特征表达为数值; 另一种是将 特征表达为基元

9、。 第1章绪论 (1) 当将特征表达为数值时, 一个模式的d个特征值就构成 了一个特征向量, 记为 x, 即 12 (,) d x xx?xL 其中, x 的每个分量x i(i=1, 2, , d)对应一个特征。 (2) 当特征表达为基元时, 一个模式表述为一个句子, 记为 x, 即 12 d xx xx?L 其中， x i(i=1, 2, , d)为基元，反映构成模式的基本要素。 第1章绪论 通常用于描述模式性质的特征很多, 需要从一组特征中 挑选出一些最有效的特征以降低特征空间维数, 即特征选择。 特征提取是指采用映射(或变换)实现由模式测量空间向 特征空间的转变, 或者将特征空间的维数从

10、高维变成低维。 例如, 现有的遥感成像光谱仪波段数达数百个之多, 如果直接 用原始数据进行地物分类, 会因数据量太大而导致计算复杂, 且分类效果不一定好, 可通过映射或变换的方法, 由原始数据 空间变换到特征空间, 得到最能反映模式本质的特征, 同时降 低空间维数。 第1章绪论 4. 模式类是指具有相似特性的模式的集合, 模式和模式类 的关系就是元素和集合的关系。 模式的分类过程, 事实上就 是判定表征观察对象的元素和指定集合的从属关系的过程。 当元素只和某个集合具有从属关系时, 就将该对象判属于该 集合对应的类; 当元素和多个集合具有从属关系时, 既可以 任选一类进行判决, 也可以拒绝判决;

11、 当元素和任何一个集 合都不具有从属关系时, 不作分类判决, 即拒绝判决。 第1章绪论 基于机器学习的模式识别系统由两个过程组成, 即设计 和实现。 设计是用一定数量的样本进行分类器的设计, 这 些样本的所属类别已知, 称为训练样本。 实现是用所设计 的分类器对待识别模式进行分类判决。 第1章绪论 1.3 模式识别的本质在于实现元素(表征观察对象)和集合(表 征模式类)的从属关系的判定过程。 根据是否有已知所属类 别的训练样本, 可将模式识别分为监督模式识别和非监督模式 识别。 根据模式识别的基本方法, 可将模式识别分为统计模 式识别、 结构模式识别、 模糊模式识别、 神经网络模式识 别和多分

12、类器融合等。 本节简要介绍模式识别的基本方法。 第1章绪论 1. 统计模式识别把观察对象表达为一个随机向量(即特征 向量), 将模式类表达为由有穷或无穷个具有相似数值特性的 模式组成的集合。 识别是从模式中提取一组特性的度量, 构 成特征向量来表示模式, 然后通过划分特征空间的方式进行 分类。 统计模式识别适用于用较少特征就能描述观察对象的 场合。 第1章绪论 统计分类判决对模式类的统计特性具有非常强的依赖性, 有时还要考虑人的主观感受。 例如, 在构造判别函数时, 使用 的最优准则既可以是主观的, 也可以是客观的; 特征的权分配 体现人的主观重视程度。 如图1-3所示, 统计模式识别系统主要

13、由信息获取、 预处 理、 特征提取和选择以及分类器4个部分组成, 其中, 分类器 包括分类器设计和分类决策。 第1章绪论 图 1-3统计模式识别系统的组成框图 第1章绪论 2. 对于较复杂的模式, 要对其充分描述需要很多数值特征, 以至过于复杂。 结构模式识别采用一些比较简单的子模式组 成多级结构, 来描述一个复杂模式。 先将模式分解为若干个 子模式, 子模式又分解为更简单的子模式, 依次分解, 直至在 某个研究水平上不再需要细分。 最后一级最简单的子模式称 为模式基元, 要求基元的识别比识别模式本身容易得多。 第1章绪论 结构模式识别把观察对象表达为一个由基元组成的句子; 将模式类表达为由有

14、限或无限个具有相似结构特性的模式组 成的集合。 基元构成模式所遵循的规则即为文法, 或称句法。 与统计模式识别类似, 用已知类别的训练样本进行学习, 产生 该类或至少是这些样本的文法, 这个学习和训练过程称为文 法推断。 因此, 结构模式识别又称为句法模式识别。 第1章绪论 结构模式识别系统的组成框图如图1-4所示。 其中, 模式 表达包括两部分: 模式分割和基元及关系的识别。 对于一个 模式, 经过预处理并对模式分解提取基元后, 得到表征模式的 句子, 然后进行句法分析, 判断它是否能被代表某个模式类的 文法所接受, 最终给出模式结构描述和识别结果。 第1章绪论 图 1-4结构模式识别系统的

15、组成框图 在实际应用中, 统计方法和句法分析往往相互配合、 互相补充。 一般地, 采用统计方法完成基元的识别, 再用 句法分析来表达模式的结构信息。 第1章绪论 3. 模糊模式识别模糊模式识别 模式识别的实质就是判定观察对象(元素)和模式类(集 合)之间的从属关系。 传统的集合论中, 元素和集合的关系 是非常绝对的, 要么属于, 要么不属于, 两者必居其一, 而且 二者仅居其一, 绝不模棱两可。 基于传统的集合论的判决方 式称为硬判决, 其中, 待识别的对象只能是属于多类中的某 一类。 第1章绪论 模糊集合论采用隶属度来描述元素属于一个集合的程 度, 用来解决信息的不确定性问题。 模糊模式识别

16、是以模糊 集合论为基础, 对应的判决方式是一种软判决, 识别结果是 观察对象属于每一类的隶属度。 根据需要, 利用某种原则可以把模糊模式识别的软判决 结果转化为硬判决。 此时, 隶属度成了用于判决的一个二次 特征。 第1章绪论 4. 人工神经网络, 简称神经网络, 是由大量简单的处理单 元广泛互连而成的复杂网络, 是在现代生物学研究人脑组织 所取得的成果基础上提出的, 用以模拟人类大脑神经网络结 构和行为。 第1章绪论 模式识别的研究目标是利用计算机实现人类的识别能力, 而人对外界感知的主要生理基础就是神经系统。 因此, 根据 人脑生理结构构造而成的人工神经网络系统具有用于模式识 别的理论和结构基础。 事实上, 模式识别是人工神经网络最 成功的应用领域之一。 神经网络模式识别主要利用人工神经网络的学习、 记 忆和归纳功能, 先根据训练样本, 训练分类器, 再利用分类器 对待识别对象进行分类决策。 第