模式识别(第一章2010)课件

1、模式识别电子工程学院 王建国模式识别（Pattern Recognition）重要性：相关信息处理专业的基础课程；解决信息分类识别问题；对决策系统，神经网络，人工智能等的普及和发展起了推动作用，是其发展基础；对于研究信息获取、处理的人员非常重要，是信息科学和人工智能的重要组成部分 。课程对象计算机应用技术专业硕士研究生的专业基础课电子信息学科硕士研究生的专业基础课 教学方法着重讲述模式识别的基本概念，基本方法和算法原理。注重理论与实践紧密结合实例教学：通过大量实例讲述如何将所学知识运用到实际应用之中避免引用过多的、繁琐的数学推导。 课程要求：基本：完成课程学习，通过考试，获得学分。提高：能够将

2、所学知识和内容用于课题研究，解决实际问题。飞跃：通过模式识别的学习，改进思维方式，为将来的工作打好基础，终身受益。参考文献边肇祺，模式识别（第二版），清华大学出版社，2000。R. Duda, P. Hart, D. Stork, Pattern Classification, second edition, 2000（有中译本）.教学目标掌握模式识别的基本概念和方法有效地运用所学知识和方法解决实际问题为研究新的模式识别的理论和方法打下基础 例车牌识别找出车牌位置识别车牌号码 车牌特点是什么？ 车牌号码差异？例指纹识别“相似”的标准？“差异”的标准？找出“相似”的方法问题怎样找出相同的指纹？问

3、题与难点特征（数据）的不确定性对象描述的模糊性处理对象的多样性环境的复杂性。不变特征非经典普适性稳健性“目标分类识别”涉及的相关领域：模式识别人工智能神经网络知识发现（数据挖掘）模糊数学不确定性推理人工智能： 思考过程的计算机实现，即：研究如何利用计算机去做人脑的智力才能做的工作。 专家系统是人工智能的分支 研究如何设计基于知识的计算机程序系统，来模仿人类专家求解专门问题的能力。专家系统、模式识别、智能机器人等列为人工智能技术中最活跃的三个领域。神经网络： 自下而上的综合分析方法。问题：神经网络模型进行训练学习，需大量训 练样本集。且计算机模拟模型的并行操作，耗费时间长，可能达不到时间要求。具

4、有很强的自适应能力、学习能力、容错能力和鲁棒性。知识发现 数据挖掘（data mining）方向之一 是一个从数据、信息到知识的过程，即信息从无序到有序的过程，从粗到精的过程。特点（与数据采集的区别）： 数据已收集好，不是为了数据分析去收集例如：网页中检索有价值的文本，即文本数据库挖掘这些学科为我们提供了一个工具袋，所要做的工作之一就是结合具体问题把各种已有的方法（模式识别、人工智能、专家系统、人工神经网络、不确定推理等等）结合起来，深入掌握其应有的可能性，互相取长补短，开创目标分类识别应用的新局面。这些学科中，模式识别是最基本、最重要的组成部分，涉及很多基本理论、基本方法。很多领域的目标分类

5、识别问题，其核心就是一个模式识别问题。小结：1.1模式识别的基本概念什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。模式的特性:可观察性可区分性相似性模式 事物（物理对象）具有时间和空间分布的信息。模式识别的概念模式识别 直观，无所不在，“人以类聚，物以群分”周围物体的认知：桌子、椅子人的识别：张三、李四声音的辨别：汽车、火车，狗叫、人语气味的分辨：炸带鱼、红烧肉定义 存在于时间和空间中可观察的事物，区分它们是否相似或相似的过程，称为模式识

6、别。模式识别的应用（举例）生物学自动细胞学、染色体特性研究、遗传研究天文学天文望远镜图像分析、自动光谱学经济学股票交易预测、企业行为分析医学心电图分析、脑电图分析、医学图像分析模式识别的应用（举例）工程产品缺陷检测、特征识别、语音识别、自动导航系统、污染分析军事航空摄像分析、雷达和声纳信号检测和分类、自动目标识别安全指纹识别、人脸识别、监视和报警系统1.2 模式识别系统1模式识别的方法统计模式识别： 结构（句法）模式识别: 结构模式识别该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。识别采用结构匹配的形式，通过计算一个匹配程度值（matching score）来评估一个未知的对象

7、或未知对象某些部分与某种典型模式的关系如何。当成功地制定出了一组可以描述对象部分之间关系的规则后，可以应用一种特殊的结构模式识别方法 句法模式识别，来检查一个模式基元的序列是否遵守某种规则，即句法规则或语法。模式识别系统的组成：信息获取预处理特征提取和选择分类器设计分类决策对象分类结果学习过程1.信息获取（数据采集）： 对信号、图像、数值表（数据）的采集。 即：要用计算机可以运算的符号来表示所研 究的对象。如图像：测量、采样、量化等。2.预处理：减小或消除模式获取过程中的噪声、干扰、提高S/N；加强有用信息，进行复原等，如减小数据图像模糊及几何失真，提高清晰度；非线性模式转化成线性模式。这个环

8、节的内容及方法很多：如滤波、变换、编码、标准化等 以某种判决规则为准则，选取有效的特征,即为特征选择。3特征提取和选择（特征空间） 采用某种变换对特征空间的压缩，称为特征提取。模式空间 特征空间（维数高） （维数较低）变换4分类器设计分类器设计就是所谓的学习训练过程。 用一定数量的样本确定某种判别准则，通过反复输入、修正，直到分类错误率不超过给定值为止（或错误率最小，或损失最小），完成学习过程。训练学习方法： 监督学习、无监督学习（无先验知识，甚至类别数也未知）。5分类决策 按分类判别准则，将被识别模式进行分类判决，输出分类结果。1.3 一些基本问题1样本集合是否可分的问题原因：类别之间存在交

9、集，以至分类器无法区分用于分类器设计的样本不够全面。特征不适当、不充分分类效率不高（维数灾难）实际分类系统都存在缺陷。2相似与分类的标准相似性（Similarity）的度量问题类的表示方法:可利用集合论中的概念有些分类问题中，距离作为一种相似性的度量。依据模式的不同，应定义不同函数来反映模式间的相似度。类别性质：自返：XX（自己与自己相似）对称：XYYX（X与Y相似，则Y与X相似）相似关系满足对称和自返关系，但不具有传递性。相似性度量的一些性质：设样本集合X，D维空间（相似度） 1）非负值 即：2）样本自身的相似度为最大，即：3）对称性4）相似性是点间距离的单调函数3特征的生成特征是决定相似性

10、与分类的关键例：图像256256 65536个值特征太多 可采用较少度量值作特征，如：亮度、纹理、大小、连同性不同层次的特征：低层特征中层特征高层特征可粗略分三层：像素级低层特征：直接受信息源（目标）的物理 特性的影响，直接来自目标本身。特征级中间特征：在低层特征基础上，通过学习建立起来，重视通用性。例如统计特征：均值、方差、能量（角二阶矩）、对比度、相关性、熵等决策级高层特征：在丰富的中间特征上，通过选择组合特征，确定特定目标的关键特征例： 椅子的重量=体积*比重 体积（长，宽，高有关；） (底层) 比重（材料，纹理，颜色有关。） （中层） 重量 （高层）模式识别过程实例在传送带上用光学传感

11、器件对鱼按品种分类鲈鱼(Seabass)品种鲑鱼(Salmon)鲈鱼鲑鱼识别过程数据获取：架设一个摄像机，采集一些样本图像，获取样本数据预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开识别过程特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量长度亮度宽度鱼翅的数量和形状嘴的位置，等等 分类决策：把特征送入决策分类器鲑鱼鲈鱼长度鲑鱼鲈鱼光泽度光泽度宽度鲑鱼鲈鱼模式分类器的获取和评测过程数据采集特征选取模型选择训练和测试计算结果和复杂度分析，反馈训练和测试训练集：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。测试集：在设计识别和分类系统时没有用

12、过的独立样本集。系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。实例：统计模式识别19名男女同学进行体检，测量了身高和体重，但事后发现其中有4人忘记填写性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下：实例：统计模式识别（续）待识别的模式：性别（男或女）测量的特征：身高和体重训练样本：15名已知性别的样本特征目标：希望借助于训练样本的特征建立判别函数（即数学模型）实例：统计模式识别（续）由训练样本得到的特征空间分布图实例：统计模式识别（续）从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。只要给出待分类的模式特征的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。相关数学概念随机向