模式识别课件(第一章2010)

《模式识别》电子工程学院王建国wangjg@模式识别（PatternRecognition）重要性：相关信息处理专业的基础课程；解决信息分类识别问题；对决策系统，神经网络，人工智能等的普及和发展起了推动作用，是其发展基础；对于研究信息获取、处理的人员非常重要，是信息科学和人工智能的重要组成部分。课程对象计算机应用技术专业硕士研究生的专业基础课电子信息学科硕士研究生的专业基础课

与模式识别相关的学科统计学概率论线性代数（矩阵计算）形式语言机器学习人工智能图像处理计算机视觉…教学方法着重讲述模式识别的基本概念，基本方法和算法原理。注重理论与实践紧密结合实例教学：通过大量实例讲述如何将所学知识运用到实际应用之中避免引用过多的、繁琐的数学推导。

课程要求：基本：完成课程学习，通过考试，获得学分。提高：能够将所学知识和内容用于课题研究，解决实际问题。飞跃：通过模式识别的学习，改进思维方式，为将来的工作打好基础，终身受益。参考文献边肇祺，模式识别（第二版），清华大学出版社，2000。R.Duda,P.Hart,D.Stork,PatternClassification,secondedition,2000（有中译本）.教学目标掌握模式识别的基本概念和方法有效地运用所学知识和方法解决实际问题为研究新的模式识别的理论和方法打下基础

第一章绪论目标分类与识别：

研究用机器（如电脑）代替人去对物体（对象）进行辨别和区分的技术例车牌识别找出车牌位置识别车牌号码车牌特点是什么？车牌号码差异？例指纹识别“相似”的标准？“差异”的标准？找出“相似”的方法问题怎样找出相同的指纹？数据获取/采集预处理特征提取与选择识别规则结果研究的基本思路测量空间到特征空间的转换分类器设计与分类决策模式识别的研究内容问题与难点特征（数据）的不确定性对象描述的模糊性处理对象的多样性环境的复杂性。。。。不变特征非经典普适性稳健性“目标分类识别”涉及的相关领域：模式识别人工智能神经网络知识发现（数据挖掘）模糊数学不确定性推理人工智能：

——思考过程的计算机实现，即：研究如何利用计算机去做人脑的智力才能做的工作。专家系统－－是人工智能的分支研究如何设计基于知识的计算机程序系统，来模仿人类专家求解专门问题的能力。专家系统、模式识别、智能机器人等列为人工智能技术中最活跃的三个领域。神经网络：

——自下而上的综合分析方法。问题：神经网络模型进行训练学习，需大量训练样本集。且计算机模拟模型的并行操作，耗费时间长，可能达不到时间要求。具有很强的自适应能力、学习能力、容错能力和鲁棒性。知识发现数据挖掘（datamining）—方向之一

是一个从数据、信息到知识的过程，即信息从无序到有序的过程，从粗到精的过程。特点（与数据采集的区别）：数据已收集好，不是为了数据分析去收集例如：网页中检索有价值的文本，即文本数据库挖掘不确定性推理根据证据的不确定性和知识的不确定性，求出新的假设（结论）的不确定，即：新的不确定知识的获取过程。或者：在知识不完全、不确定、有例外，甚至会有矛盾的情况下，依据某些合理性标准，得到一些有错误、但有用的结论。演绎推理：已知条件推导得结论不确定性推理：已知证据所得假设这些学科为我们提供了一个工具袋，所要做的工作之一就是结合具体问题把各种已有的方法（模式识别、人工智能、专家系统、人工神经网络、不确定推理等等）结合起来，深入掌握其应有的可能性，互相取长补短，开创目标分类识别应用的新局面。这些学科中，模式识别是最基本、最重要的组成部分，涉及很多基本理论、基本方法。很多领域的目标分类识别问题，其核心就是一个模式识别问题。小结：1.1模式识别的基本概念什么是模式（Pattern）？什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。模式的特性:可观察性可区分性相似性模式事物（物理对象）具有时间和空间分布的信息。模式识别的概念模式识别–直观，无所不在，“人以类聚，物以群分”周围物体的认知：桌子、椅子人的识别：张三、李四声音的辨别：汽车、火车，狗叫、人语气味的分辨：炸带鱼、红烧肉定义

存在于时间和空间中可观察的事物，区分它们是否相似或相似的过程，称为模式识别。模式识别的数学表述：目的：利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。Y=F(X)X的定义域取自特征集Y的值域为类别的标号集F是模式识别的判别方法模式识别的应用（举例）生物学自动细胞学、染色体特性研究、遗传研究天文学天文望远镜图像分析、自动光谱学经济学股票交易预测、企业行为分析医学心电图分析、脑电图分析、医学图像分析模式识别的应用（举例）工程产品缺陷检测、特征识别、语音识别、自动导航系统、污染分析军事航空摄像分析、雷达和声纳信号检测和分类、自动目标识别安全指纹识别、人脸识别、监视和报警系统1.2模式识别系统1．模式识别的方法统计模式识别：

结构（句法）模式识别:

统计识别基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。特征向量分布的获得是基于一个类别已知的训练样本集。是一种监督分类的方法，分类器是概念驱动的。结构模式识别该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。识别采用结构匹配的形式，通过计算一个匹配程度值（matchingscore）来评估一个未知的对象或未知对象某些部分与某种典型模式的关系如何。当成功地制定出了一组可以描述对象部分之间关系的规则后，可以应用一种特殊的结构模式识别方法–句法模式识别，来检查一个模式基元的序列是否遵守某种规则，即句法规则或语法。模式识别系统的组成：信息获取预处理特征提取和选择分类器设计分类决策对象分类结果学习过程1.信息获取（数据采集）：

对信号、图像、数值表（数据）的采集。即：要用计算机可以运算的符号来表示所研究的对象。如图像：测量、采样、量化等。2.预处理：减小或消除模式获取过程中的噪声、干扰、提高S/N；加强有用信息，进行复原等，如减小数据图像模糊及几何失真，提高清晰度；非线性模式转化成线性模式。这个环节的内容及方法很多：如滤波、变换、编码、标准化等

以某种判决规则为准则，选取有效的特征,即为特征选择。3．特征提取和选择（特征空间）

采用某种变换对特征空间的压缩，称为特征提取。模式空间特征空间（维数高）（维数较低）变换4．分类器设计分类器设计就是所谓的学习训练过程。

用一定数量的样本确定某种判别准则，通过反复输入、修正，直到分类错误率不超过给定值为止（或错误率最小，或损失最小），完成学习过程。训练学习方法：

监督学习、无监督学习（无先验知识，甚至类别数也未知）。5．分类决策

按分类判别准则，将被识别模式进行分类判决，输出分类结果。1.3一些基本问题1．样本集合是否可分的问题原因：类别之间存在交集，以至分类器无法区分·用于分类器设计的样本不够全面。·特征不适当、不充分·分类效率不高（维数灾难）

实际分类系统都存在缺陷。2．相似与分类的标准相似性（Similarity）的度量问题类的表示方法:可利用集合论中的概念有些分类问题中，距离作为一种相似性的度量。依据模式的不同，应定义不同函数来反映模式间的相似度。类别性质：自返：X~X（自己与自己相似）对称：X~Y

Y~X（X与Y相似，则Y与X相似）

相似关系满足对称和自返关系，但不具有传递性。相似性度量的一些性质：设样本集合X，D维空间（相似度）1）非负值即：2）样本自身的相似度为最大，即：3）对称性4）相似性是点间距离的单调函数3．特征的生成

特征是决定相似性与分类的关键例：图像256×25665536个值

特征太多可采用较少度量值作特征，如：亮度、纹理、大小、连同性不同层次的特征：低层特征中层特征高层特征可粗略分三层：像素级

低层特征：直接受信息源（目标）的物理特性的影响，直接来自目标本身。特征级

中间特征：在低层特征基础上，通过学习建立起来，重视通用性。例如统计特征：均值、方差、能量（角二阶矩）、