哈工大 模式识别-绪论资料

1、模式识别(m sh sh bi)基础宿 富 林哈尔滨工业大学电子(dinz)与信息工程学院 信息工程系86403225，主楼1201共六十四页本门课的教学(jio xu)目的掌握模式识别的基本概念、原理(yunl)和方法 模式识别对不同领域都极为重要，所以必须了解和掌握模式识别技术了解术语含义、了解模式识别系统基本结构、了解模式识别中关键问题掌握具体的模式识别方法理解各种算法原理共六十四页教材(jioci)和参考书教材(jioci)模式识别（第2版），清华大学出版社，边肇祺 、张学工参考书Pattern Classification, Richard O. Duda, etc.Pattern

2、Recognition, Sergios Theodoridis, etc.模式识别 李晶皎 赵丽红等 电子工业出版社共六十四页成绩(chngj)卷面(jun min)成绩：60%平时成绩：20%实验成绩：20%共六十四页课件下载(xi zi)pr_密码(m m)：hit123456共六十四页第 一 章绪 论共六十四页本章(bn zhn)学习目的 什么是模式识别？模式识别有什么用？哪里可以(ky)应用？机器自动学习的最基本原理是什么？共六十四页本章(bn zhn)重点 模式识别的含义，模式的概念模式的描述方法模式识别系统的组成模式识别利用(lyng)训练样本设计分类器的原理(学习)共六十四页本

3、章(bn zhn)难点 模式的向量表示与结构表示利用向量表示进行分类的基本原理训练和学习的概念、算法，分类器设计是如何(rh)利用训练样本数据提供的信息的模式识别系统的组成，特征选择与提取的含义和重要性相似性的度量方法共六十四页学习指南 学习本章着重要了解几个最基本的概念，即模式识别就是机器自动识别与分类；为了实现自动识别对所要识别事物要进行度量，以及用相应方法表示；着重(zhuzhng)弄清特征向量是什么意思？通过一些例题与习题了解其定义及用途，弄清分类的最基本方法，弄清为什么要用分界面来实现机器自动识别与分类。共六十四页1.1 模式(msh)识别和模式(msh)的概念日常生活中的模式识别(

4、m sh sh bi)陌生、但密切相关语音、图像、气味寻找教室、查找资料、医生看病见惯不惊共六十四页模式识别是六十年代初迅速发展的一门学科。它所研究的理论和方法在很多科学和技术领域中得到了广泛的重视，推动了人工智能技术及图像处理(t xin ch l)、信号处理、计算机视觉、多媒体技术等多种学科的发展，扩大了计算机应用的领域。 共六十四页什么(shn me)是模式识别？模式识别：Pattern Recognition通俗一点讲就是机器识别，计算机识别，或机器自动识别。模式识别针对让计算机来判断(pndun)事物而提出的 该学科研究的内容是使机器能做以前只能由人类才能做的事，具备人所具有的、对各

5、种事物与现象进行分析、描述与判断的部分能力。共六十四页机器(j q)与人类识别事物的比较人类：具有提取抽象概念的能力 人们在学习与认识事物中会总结出规律(gul)，并把这些规律(gul)性的东西抽象成“概念”。人之所以能“抽象出概念”，关键能分析事物中哪些是本质，哪些是表面现象，或由偶然因素引起的。机器：目前的抽象能力是很差的。 对样本辨别事物的最基本方法是计算。 要让机器准确地把握事物的本质，弄清分辨事物的关键，从而正确辨别事物，实质上是要使人能够研究出好的方法，提出好的算法，从而构造出好的系统，使机器辨别事物的本领更强。 共六十四页机器辨别事物的最基本(jbn)方法是计算让机器辨别事物的最

6、基本方法是计算，原则上讲是对计算机要分析的事物与作为标准的称之为“模板”的相似程度(chngd)进行计算。 譬如说脑子里有没有瘤，就要与标准的脑图像以及有瘤图像做比较，看跟哪个更相似。 要识别一个具体数字，就要将它与从0到9的样板做比较，看跟哪个模板最相似，或最接近。 因此首先要能从度量中看出不同事物之间的差异，才能分辨当前要识别的事物(称为测试样本)跟哪类事物更接近。因此找到有效地度量不同类事物的差异的方法是最关键的。共六十四页模式(msh)类与模式(msh) 模式类与模式 ：所见到的具体事物称为模式，而将他们的归属类别称为模式类。样本与模式(模式类) ：所见到的具体事物称为样本，而他们所属

7、(sush)的事物类别，代表着这些事物的“概念”是模式。模式与样本在集合论中是子集与元素之间的关系 模式识别：将某一具体事物（样本）正确地归入某一（模式）类别。共六十四页模式(msh)的描述方法 一种是对事物的属性进行度量，属于(shy)定量的表示方法。另一种则是对事务所包含的成分进行分析，称为定性的描述或结构性描述 共六十四页定量的表示(biosh)方法特征：模式就是用它们所具有的特征(Feature) （反映事物的本质属性）描述的。特征向量：对一种模式与它们的样本来说，将描述它们的所有特征用一特征集表示 :例如(lr)对水果进行分类 ：用水果的重量，近似球体直径表示水果:一只苹果重0.3斤

8、，直径10厘米, 则可表示成(0.3,1.0) 共六十四页特征(tzhng)空间特征空间中的一个(y )样本点共六十四页时域信号(xnho)的向量表示法语音(yyn)信号这种随时间变化的信号，属于时域信号。此时，元素之间的时间先后顺序很重要，因此可用向量的形式将它们排列起来。说的严格一些，对语音(yyn)信号进行采样，然后将在不同时刻采样值排列起来，组成向量。 共六十四页图像(t xin)的表示方法 数字图像：它由排列整齐的二维网格组成，分为若干行与若干列，相当于一个二维数组，或称矩阵(j zhn)。 每个元素称为像素。图像的运算是向量运算。共六十四页结构性描述(mio sh)方法结构性描述方

9、法：由事物组成成分与相互关系(gun x)表示的表示方法。常用的有串、树、图等。 例如一幅景色图像中的房屋用向量描述就不一定方便，对房屋而言，它有屋顶、墙、门窗等组成，各种成分之间又有相互关系，则墙在屋顶之下，门与窗都在墙上等。 共六十四页统计(tngj)模式识别 统计模式识别 在特征(tzhng)空间与特征(tzhng)向量这种表示模式的方法前提下，讨论模式识别的基本理论与基本方法。结构模式识别 基于结构性描述方法。共六十四页1.2 模式识别(m sh sh bi)系统 对样本进行分类，执行模式识别的计算机系统称为(chn wi)模式识别系统。模式识别系统的基本构成一般由数据获取，预处理，特

10、征提取与选择、分类器设计及分类决策五部分组成。 共六十四页例子：鲈鱼和鲑鱼(u y)的分类及识别光学手段，架设相机，拍摄鱼的照片，识别这两类鱼。两种鱼有在一些物理特性上差异明显：长度、宽度、光泽、鳍的数目和形状、嘴的位置。（特征）可用于分类(fn li)识别。预处理：图像受到光照的影响、鱼在传送带上的位置、摄像机电子线路的干扰。共六十四页两种鱼的长度的分布（只用长度分类）不存在一个(y )阈值能分开两类鱼。任何阈值都会存在错分。最佳阈值：l，错分类数目最小。鲑鱼(u y)鲈鱼共六十四页鲑鱼(u y)鲈鱼两种鱼的光泽度的分布(fnb)（只用光泽度分类） 不存在一个阈值能分开两类鱼。任何阈值都会存

11、在错分。最佳阈值：x，错分类数目最小。共六十四页两个特征（光泽度和宽度）分类，线性分类器中间斜线是分界线，误差(wch)别前述两种效果好，但仍有一些错误。共六十四页复杂的决策曲线。对训练样本(yngbn)可得无错分样本(yngbn)。但，推广能力很差。如。新的点“？”，更像是“鲑鱼”，但分为“鲈鱼”共六十四页判决曲线：分类性能和分界面复杂度的一个(y )最优折中。对新的样本的分类性能也很好共六十四页典型的模式识别(m sh sh bi)系统 数据(shj)获取预处理特征提取与选择分类器设计分类决策分类器参数分类结果训练过程识别过程共六十四页一、数据(shj)获取 数据获取环节主要是由不同形式的

12、传感器构成(guchng)，实现信息获取与信息在不同媒体之间的转换。 在现阶段计算机都只能处理某种形式的电信号，而待识别的样本大都是非电信息，需要转换成电信号。- 话筒将声音信号转换成电信号-景物信息在摄像机靶面成像并转换成二维的象素矩阵共六十四页二、预处理 预处理主要是指去除所获取信息中的噪声，增强有用的信息，及一切必要的使信息纯化的处理过程。如图象处理：二值化，图象的平滑，变换，增强，恢复(huf)，滤波等 共六十四页三、特征选择和提取(tq) 将所获取的原始量测数据转换成能反映事物本质，并将其最有效分类的特征表示。 输入：原始的量测数据(经过必要的预处理)。输出(shch)：将原始量测数

13、据转换成有效方式表示的信息，从而使分类器能根据这些信息决定样本的类别。 共六十四页对所获取(huq)的信息实现从测量空间（原始数据组成的空间）到特征空间（分类识别赖以进行的空间）的转换 。测量空间原始数据是由所使用的量测仪器或传感器获取的，这些数据组成的空间叫测量空间。 特征空间 待识别的样本及模式都是用特征进行描述的，识别与训练都是在特征空间中进行的。 共六十四页例：印刷体数字(shz)识别向量表示 一个数字往往(wngwng)用一个NM的数组表示。如果N5，M7，则一个数字就用57共35个网格是黑是白来表示。如令黑为“1”，白为“0”，一个数字就可用35维的二进制向量表示。优点：简单。缺点

14、： 稳定性差。这种表示与网格的大小、字的笔划粗细、以及字在网格中的位置及转向有关。共六十四页结构(jigu)（笔划）表示 也就是将它分成一横加上一斜杠表示。这种表示方法属于结构表示法范畴。 没有前一种方法的缺点。提取这种结构信息也不是一件容易(rngy)方便的事 共六十四页四、分类(fn li)器设计与分类(fn li)决策模式识别系统工作的两种方式训练方式和分类(fn li)决策方式分类器设计：将该特征空间划分成由各类占据的子空间，确定相应的决策分界。 分类决策：是指分类器在分界形式及其具体参数都确定后，对待分类样本进行分类决策的过程。 共六十四页例：汽车(qch)车牌识别 从摄像头取得彩色

15、的包含车牌的图像。车牌定位和抽取。 字符(z f)分割与识别。共六十四页共六十四页共六十四页1.3 模式识别的一些基本(jbn)问题 一、学习(xux) 二、模式的紧致性三、相似性度量 共六十四页一、学习(xux)人的学习(xux)过程 在日常生活中进行模式识别的活动从学习过程中掌握了很强的分辨事物的能力。机器的学习过程 使用包含各种类别的训练样本 勾画出各类事物在特征空间分布的规律性 确定使用分类的具体数学公式及其参数共六十四页例：两类训练样本圆形分布(fnb)分类函数类型的确定(qudng)：圆形的分布与线性方程。一般来说，决定使用什么类型的分类函数往往是人为决定的。 共六十四页数学式子(

16、sh zi)中参数的确定是一种(y zhn)学习过程。如果当前采用的分类函数会造成分类错误，利用错误提供应如何纠错的信息，纠正分类函数。共六十四页分类器设计：求解优化问题(wnt)的过程模式识别中的学习与训练是从训练样本提供的数据中找出某种数学式子的最优解，这个最优解使分类器得到一组参数，按这种参数设计的分类器使人们设计的某种准则达到极值(j zh)。 分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数。不同准则函数的最优解对应不同的学习结果，得到性能不同的分类器。 共六十四页二、模式(msh)的紧致性分类器设计难易程度与模式在特征空间(kngjin)的分布方式有密切关系

17、共六十四页临界点：处于(chy)两类的边界上的点为临界点。内点：非临界点。临界点与内点共六十四页紧致集，具有下列(xili)性质：(1)临界点的数量(shling)与总的点数相比很少。(2)集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。(3)每个内点都有一个足够大的邻域，在该领域中只包含同一集合中的点。 形象说法：不要混迭，分界面干净利索 共六十四页影响数据(shj)紧致性的因素数据本身特性(txng)- 如手写体数字 数据描述方法-印刷体数字的网格表示共六十四页特征提取：改善(gishn)数据紧致性许多问题在测量空间上不满足紧致性。若可分：通过某种变换，使其在特征空间中可

18、分。具有紧致性特征提取的任务(rn wu)就是找到这样一种变换。共六十四页三、相似性度量(dling) 在特征空间中用特征向量描述样本的属性，就是把相似性度量用距度离量表示。同类样本应具有聚类性，或紧致性好不同类别(libi)样本应在特征空间中显示出具有较大的距离。统计模式识别各种方法实际上都是直接或间接以距离度量为基础的。 共六十四页两个样本xi ，xj之间的相似度量满足以下要求： 应为非负值 样本本身相似性度量应最大 度量应满足对称性 在满足紧致性的条件(tiojin)下，相似性应该是点间距离的单调函数共六十四页常用(chn yn)的距离度量 欧氏距离(jl)差的绝对值总和向量夹角共六十四

19、页模式识别(m sh sh bi)发展历史1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。30年代 Fisher提出统计分类理论(lln),奠定了统计模式识别的基础。因此，在6070年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，就出现“维数灾难”。但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。共六十四页模式识别(m sh sh bi)发展历史50年代 Noam Chemsky 提出形式语言理论 美籍华人付京荪 提出句法结构模式识别。60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛

20、的应用。80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。90年代 小样本学习理论，支持向量(xingling)机也受到了很大的重视。共六十四页关于模式识别的国内、国际学术(xush)组织1973年 IEEE发起了第一次关于模式识别的国际会议“ICPR”，成立(chngl)了国际模式识别协会-“IAPR”，每2年召开一次国际学术会议。1977年 IEEE的计算机学会成立了模式分析与机器智能（PAMI）委员会，每2年召开一次模式识别与图象处理学术会议。国内的组织有电子学会，通信学会，自动化协会，中文信息学会.。共六十四页模式识别(m s

21、h sh bi)的应用领域机器视觉指纹识别人脸识别检测污染分析：大气，水源，环境监测自动检测：产品质量自动检测，产品自动分类条形码识别：一维条形码识别，二维条形码识别射频识别纸币(zhb)识别机器人足球汽车自动驾驶共六十四页模式识别(m sh sh bi)的应用领域字符识别种类:印刷体字符的识别; 手写体字符的识别脱机识别; 联机识别应用信函自动分拣车牌自动识别银行票据(pio j)识别系统文本自动处理文本输入共六十四页模式识别(m sh sh bi)的应用领域语音识别说话人识别：语音锁: 电子锁，语音确认等小词汇量语音识别：人名识别，语音拨号大词汇量语音识别医疗诊断细胞识别：红细胞识别、白细胞识别、癌细胞识别染