模式识别导论第一章精简

1、模式识别导论PATTERN RECOGNITION PRIMER孙玉宝南京信息工程大学信息与控制学院 / 手机 言 课程对象系统专业本科自动化专业本科 与模式识别相关的学科基础课程统计学概率论线性代数（矩阵计算）形式语言相关课程机器学习人工智能图像处理计算机视觉教学方法着重讲述模式识别的基本概念，基本方法和算法原理。注重理论与实践紧密结合实例教学：通过大量实例讲述如何将所学知识运用到实际应用之中避免引用过多的、繁琐的数学推导。 教学目标掌握模式识别的基本概念和方法有效地运用所学知识和方法解决实际问题为研究新的模式识别的理论和方法打下基础 题外话基本：完成课程学习，通过

2、考试考试，获得学分。提高：能够将所学知识和内容用于课题研究，解决实际问题。飞跃：通过模式识别的学习，改进思维方式，为将来的工作打好基础，终身受益。参考文献教材教材齐敏，李大健，郝重阳，模式识别导论，清华大学出版社，2009.参考著作参考著作R. Duda, P. Hart, D. Stork, Pattern Classification, second edition, 2000（有中译本）.边肇祺，模式识别（第二版），清华大学出版社，2000。蔡元龙，模式识别，西北电讯工程学院出版社，1986。机构、会议、刊物1973年 IEEE发起了第一次关于模式识别的国际会议“ICPR”（此后两年一次

3、），成立了国际模式识别协会-“IAPR”1977年IEEE成立PAMI委员会，创立IEEE Trans. on PAMI，并支持ICCV, CVPR两个会议 其它刊物Pattern Recognition (PR)Pattern Recognition Letters (PRL)Pattern Analysis and Application (PAA)International Journal of Pattern Recognition and Artificial Intelligence (IJPRAI)第一章 模式识别概论什么是模式（Pattern）？什么是模式？具有某种特定性质的观

4、察对象，广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。模式举例： 一个数字、 一句话、 一张照片等都是观察对象，都能成为模式识别中的识别对象。模式类：具有相似特性的模式的集合。 模式与模式类的关系相当于集合论中的元素与集合的 关系）模式的直观特性:可观察性可区分性相似性模式识别的概念模式识别 直观，无所不在，“人以类聚，物以群分”周围物体的认知：桌子、椅子人的识别：张三、李四声音的辨别：汽车、火车，狗叫、人语气味的分辨：炸带鱼、红烧肉人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。模式识别的概念模式识别(Pattern R

5、ecognition) ： 用计算机确定一个模式（样本）的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。Pattern recognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)模式识

6、别的研究目的：利用计算机对样本（模式）进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。Y = F(X)X的定义域取自特征集Y的值域为类别的标号集F是模式识别的判别方法分类器分类器F样本（模式）样本（模式）类别类别 模式识别模式识别是一种智能活动，包括分析和判断两个过程。分析分析过程过程：通过学习与训练，学习与训练，确定用于划分模式类的特征及其划分准则； 判断过程判断过程：依据待识别对象的特征，将其判属于某一个模式类。 模式识别的研究模式识别与图像处理、图像识别的关系：模式识别是模拟人的某些功能。 模拟人的视觉：计算机+图像传感器 模拟人的听觉：计算机+声音传感器 模拟人的嗅

7、觉和触觉：计算机+嗅觉/触觉传感器 模式识别技术当前主要是对视觉和听觉能力的模拟。模拟人的视觉能力就是用计算机来做图像识别和理解工作；模拟人的听觉就是用计算机来做语音（或者各种声音）识别和理解方面的工作。模式识别的研究模式识别简史1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。30年代 Fisher提出统计分类理论，奠定了统计模式识别的基础。50年代 Noam Chemsky 提出形式语言理论傅京荪 提出句法结构模式识别。60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别方法得以发展和应用。80年代以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络

8、复活，并在模式识别得到较广泛的应用。90年代小样本学习理论，支持向量机也受到了很大的重视。当前稀疏与低秩表示理论，深度学习模式识别的应用（举例）生物学自动细胞学、染色体特性研究、遗传研究天文学天文望远镜图像分析、自动光谱学经济学股票交易预测、企业行为分析医学心电图分析、脑电图分析、医学图像分析模式识别的应用（举例）工程产品缺陷检测、特征识别、语音识别、自动导航系统、污染分析军事航空摄像分析、雷达和声纳信号检测和分类、自动目标识别安全指纹识别、人脸识别、监视和报警系统模式识别方法模式识别系统的目标：在特征空间和类别空间之间找到一种映射关系，这种映射也称之为分类器。特征空间：从模式得到的对分类有用

9、的度量、属性或基元构成的空间。类别空间：将c个类别表示为其中 为所属类别的集合，称为类别空间。 分类器分类器F样本（模式）样本（模式）类别类别模式识别方法：监督学习监督学习依靠已知所属类别的的训练样本集，按它们特征向量的分布来确定判别函数，在判别函数确定之后能用它对未知的模式进行分类；对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典型性的样本进行训练。 训练样本训练样本（模式（模式+类别）类别）分类器分类器F学习训练学习训练 测试样本测试样本 （未知类别）（未知类别）分类决策分类决策类别类别监督学习模式监督学习模式样本集样本集模式识别方法：非监督学习非监督学习在没有先验知识的情况下

10、，基于“物以类聚”的观点，在学习过程中根据样本的相似性对被识别的样品进行识别分类和归类，称为聚类分析。这种方法试图找到一种只以特征空间中的样本相似关系为基础的识别方法。 样本样本 （类别未知）（类别未知）聚类分析聚类分析类别类别模式分类的主要方法模板匹配数据聚类统计分类结构模式识别神经网络模板匹配法该方法的基本思想如下：(1)首先对每个类别建立一个或多个模板；(2)输入样本和数据库中每个类别的模板进行比较，求相关或距离；(3)根据相关性或距离大小进行决策。 优点：直接、简单缺点：适应性差数据聚类目标：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。是一种非监督学习的方法，解决

11、方案是数据驱动的。统计分类基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。特征向量分布的获得是基于一个类别已知的训练样本集。根据训练样本，建立决策边界 统计决策理论根据每一类总体的概率分布决定 决策边界 判别分析方法给出带参数的决策边界，根据某 种准则，由训练样本决定“最优”的参数是一种监督分类的方法，分类器是概念驱动的。结构模式识别该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。识别采用结构匹配的形式，通过计算一个匹配程度值（matching score）来评估一个未知的对象或未知对象某些部分与某种典型模式的关系如何。当成功地制定出了一组可以描述对象部分之间关系的

12、规则后，可以应用一种特殊的结构模式识别方法 句法模式识别，来检查一个模式基元的序列是否遵守某种规则，即句法规则或语法。神经网络神经网络是受人脑组织的生理学启发而创立的。由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以在不同的神经元之间传递增强或抑制信号。增强或抑制是通过调整神经元相互间联系的权重系数来（weight）实现。神经网络可以实现监督和非监督学习条件下的分类。模式识别系统模式识别系统的基本构成数据获取特征提取和选择预处理分类决策（测试判别）（测试判别）分类器设计（学习与训练）（学习与训练）学习训练过程：从训练样本学习确定用于划分模式类的特征及其表 达方法； 判断判别过程：

13、依据待识别对象的特征，将其判属于某一个模式类。 模式识别系统组成单元数据获取：对于机器识别来说, 由于计算机只能处理数字信号, 计算机获取模式信息意味着实现观察对象的数字化表达。信息获取是通过传感器，将光或声音等信息转化为电信息，用计算机可以运算的符号来表示所研究的对象二维图像：文字、指纹、地图、照片等一维波形：脑电图、心电图、季节震动波形等物理参量和逻辑值：体温、化验数据、参量正常与否的描述模式识别系统组成单元预处理单元：去噪声，提取有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原。对于图像信息，采用数字图像处理技术作为其预处理技术，主要有二值化、图像平滑、变换、增强、恢复、滤波

14、、几何校正等。模式识别系统组成单元特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征。如，一幅6464的灰度图像可以得到4096个数据，这种在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征。这就是特征提取和选择的过程。模式识别系统组成单元特征是用于描述模式性质(特性)的一种定量的概念, 通过对模式的分析得到一组特征, 称这个过程为特征形成。特征一般通过向量进行表示 当将特征表达为数值时, 一个模式的 d 个特征值就构成了一个特征向量特征向量, 记为x x, 即12( ,)dx xxx其中, x x 的每个分量 xi (i=1, 2, , d) 对应一个特征。 模式识

15、别系统组成单元特征提取与选择是指采用变换 (或映射)实现由模式测量空间向特征空间的转变, 或者将特征空间的维数从高维变成低维。模式空间模式空间：原始数据组成的空间特征空间特征空间：分类识别赖以进行的空间特征提取与选择特征提取与选择：维数较高的模式空间-维数较低的特征空间模式识别系统组成单元分类决策：在特征空间中用模式识别方法把被识别对象归为某一类别基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小说明：基于机器学习的模式识别系统通常由两个过程组成, 即分类器设计(简称设计)和分类判决(简称实现)。 一般是用一定数量的样本进行分

16、类器设计, 这些样本的所属类别已知, 称为训练样本。 测试是用所设计的分类器对待识别模式进行分类判决 (或分类决策)。模式识别过程实例在传送带上用光学传感器件对鱼按品种分类鲈鱼(Seabass)品种鲑鱼(Salmon)识别过程数据获取：架设一个摄像机，采集一些样本图像，获取样本数据预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开识别过程特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量长度亮度宽度鱼翅的数量和形状嘴的位置，等等 分类决策：把特征送入决策分类器模式分类器的获取和评测过程数据采集特征选取训练和测试计算结果和复杂度分析，反馈训练和测试训练集：是

17、一个已知样本集，在监督学习方法中，用它来开发出模式分类器。测试集：在设计识别和分类系统时没有用过的独立样本集。系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。对象空间对象空间模式空间模式空间特征空间特征空间类型空间类型空间各类空间（各类空间（Space)Space)的概念的概念模式采集：模式采集：从客观世界（对从客观世界（对象象空间，样本空间）空间，样本空间）到模式空间到模式空间的过程称为模式采集。的过程称为模式采集。特征提取和特征选择：特征提取和特征选择：由模式由模式空间到特征空间的变换和选择。空间到特征空间的变换和选择。类型判别：类型判别

18、：特征空间到类型空特征空间到类型空间所作的操作。间所作的操作。模模式式识识别别三三大大任任务务模式分类器的获取和评测过程50数据采集数据采集分类分类识别识别特征提取特征提取与与选择选择训练训练样本样本改进采集改进采集提取方法提取方法改进特征提改进特征提取与选择取与选择制定改进分制定改进分类识别规则类识别规则测试测试样本样本正确率正确率测试测试51例:汽车车牌识别从摄像头获取包含车牌的彩色图象从摄像头获取包含车牌的彩色图象车牌定位和获取车牌定位和获取字符分割和识别字符分割和识别输入图象输入图象特征提取特征提取粗略定位粗略定位分割字符分割字符确定类型确定类型精细定位精细定位识别、输出识别、输出52

19、53实例：统计模式识别19名男女同学进行体检，测量了身高和体重，但事后发现其中有4人忘记填写性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下：实例：统计模式识别（续）待识别的模式：性别（男或女）测量的特征：身高和体重训练样本：15名已知性别的样本特征目标：希望借助于训练样本的特征建立判别函数（即数学模型）实例：统计模式识别（续）由训练样本得到的特征空间分布图实例：统计模式识别（续）从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。只要给出待分类的模式特征的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。实例：句法模式

20、识别问题：如何利用对图像的结构信息描述，识别如下所示图片：实例：句法模式识别（续）将整个场景图像结构分解成一些比较简单的子图像的组合；子图像又用一些更为简单的基本图像单元来表示，直至子图像达到了我们认为的最简单的图像单元（基元）；所有这些基元按一定的结构关系来表示，利用多级树结构对其进行描述（这种描述可以采用形式语言理论）。实例：句法模式识别（续）多级树描述结构实例：句法模式识别（续）训练过程：用已知结构信息的图像作为训练样本，先识别出基元（比如场景图中的X、Y、Z等简单平面）和它们之间的连接关系（例如长方体E是由X、Y和Z三个面拼接而成），并用字母符号代表之；然后用构造句子的文法来描述生成这

21、幅场景的过程，由此推断出生成该场景的一种文法。实例：句法模式识别（续）识别过程：先对未知结构信息的图像进行基元提取及其相互结构关系的识别；然后用训练过程获得的文法做句法分析；如果能被已知结构信息的文法分析出来，则该幅未知图像与训练样本具有相同的结构（识别成功），否则就不是这种结构（识别失败）。本门课程的主要内容第一章 概论第二章 聚类分析第三章 判别函数第四章 统计判别第五章特征选择和提取第六章神经网络第七章句法模式识别第八章模糊模式识别第九章模式识别应用相关数学概念随机向量及其分布随机向量如果一个对象的特征观察值为x1, x2, , xn，它可构成一个n维的特征向量值x，即 x = (x1,

22、 x2, , xn)T 式中， x1, x2, , xn为特征向量x的各个分量。一个特征可以看作n维空间中的向量或点，此空间称为模式的特征空间Rn。相关数学概念随机向量及其分布随机向量在模式识别过程中，要对许多具体对象进行测量，以获得许多次观测值。每次观测值不一定相同，所以对许多对象而言，各个特征分量都是随机变量，即许多对象的特征向量在n维空间中呈随机性分布，称为随机向量。相关数学概念随机向量及其分布随机向量的参数数学期望和方差协方差协方差矩阵数学期望与方差随机变量X的数学期望（或称均值）记作E(X)，它描述了随机变量的取值中心。随机变量( X - E(X) )2的数学期望称为X的方差，记作2，而称为X的均方差（标准差）。它们描述了随机变量的可能取值与均值的偏差的疏密程度。数学期望与方差数学期望与