模式识别-第一章概论课件

1、王改华TelEmail:80103185湖北工业大学电气学院具有某些属性的实体的集合苹果水果具体形式：实体抽象形式：概念1. 模式和模式识别 最简单的例子：对苹果和桔子的识别特征：颜色、形状颜色特征：RGB形状：测量图像顶部到最宽处的距离特征(Features)：能描述模式特性的量（测量值）。在统计模式识别方法中，通常用一个矢量 表示，称之为特征矢量，记为 模式类(Class)：具有某些共同特性的模式的集合。模式识别是模拟人的某些功能 模拟人的视觉: 计算机+光学系统 模拟人的听觉: 计算机+声音传感器 模拟人的嗅觉和触觉: 计算机+传感器训练集：是一个已知样本集，在

2、监督学习方法中，用它来开发出模式分类器。测试集：在设计识别和分类系统时没有用过的独立样本集。系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。人类具有很强的模式识别能力，时刻在完成某种模式识别的任务。模式识别是一门理论与应用并重的技术科学，有广泛的需求。模式识别是从样本到类别的映射。模式识别是从样本到类别的映射。2. 人的模式识别能力人的听觉识别能力一听就知道是卫星地图图5.6 分割后处理的结果图：（a1）分割得到的“路面”信息 （a2）后处理之后的“路面”信息（b1）分割得到的“湖泊”信息 （b2）后处理之后的“湖泊”信息（c1）分割得到的“

3、植被”信息 （c2）后处理之后的“植被”信息 彩色地图后处理方法图5.7 分割后处理的结果图：（a1）分割得到的“路面”信息 （a2）后处理之后的“路面”信息（b1）分割得到的“湖泊”信息 （b2）后处理之后的“湖泊”信息（c1）分割得到的“植被”信息 （c2）后处理之后的“植被”信息 彩色地图后处理方法美军排爆机器人执行任务智能娱乐机器人-童童骑自行车的机器人-村田顽童航天机器人对象空间模式空间特征空间类型空间各类空间（Space)的概念模式采集：从客观世界（对象空间）到模式空间的过程称为模式采集。特征提取和特征选择：由模式空间到特征空间的变换和选择。类型判别：特征空间到类型空间所作的操作。

4、模式识别三大任务信息的获取：是通过传感器，将光或声音等信息转化为电信息。信息可以是二维的图象如文字，图象等；可以是一维的波形如声波，心电图，脑电图；也可以是物理量与逻辑值。预处理：包括AD,二值化，图象的平滑，变换，增强，恢复，滤波等。1.2 模式识别系统 1.数据获取为了使计算机能够对客体进行分类识别，必须将客体用计算机所能接受的形式表示，通常从客体获得的信息有下列三种类型 二维图像，如文字、指纹、照片等； 一维波形，如语音、机械振动波、心电团等； 物理参量或逻辑值，如体温、各种实验数据等。 通过测量、采样和量化，可以用矩阵或向量表示二维图象或一维波形，这就是信息获取过程。2预处理预处理的目

5、的是去除噪声，加强有用的信息，并对种种因素造成的退化现象进行复原。某人声音有杂音模糊图像清晰图像清晰声音图像预处理语音信号预处理 4分类器设计为了把待识模式分配到各自的模式类中去，必须设计出分类判别规则。基本作法是：用一定数量的样本(称为训练样本集)确定出一套分类判别规则，使得按这套分类判别规则对待识模式进行分类所造成的错误识别率最小或引起约损失最小。分类器按已确定的分类判别规则对待识模式进行分类判别，输出分类结果。1-4 模式识别的基本问题一、模式(样本)表示方法向量表示 : 假设一个样本有n个变量(特征) x= (x1,x2,xn)T2. 矩阵表示: N个样本，n个变量(特征)4. 基元（

6、链码）表示：在右侧的图中八个基元分别表示: 0，1，2，3， 4，5，6，7， 八个方向和基元线段长度。则右侧样本可以表示为 X1=006666这种方法将在句法模式识别中用到。5 一些基本问题模式类的紧致性：集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。每个内点都有一个足够大的邻域，在该邻域中只包含同一集合中的点。紧致集要求临界点要比较少假若每个模式类都满足紧致性假设，则解决模式识别间题就不会碰到什么原则上的困难。但对于很多实际问题这个假设是不成立的。只要各个模式类是可分的，总存在这样一个空间，使变换到这个空间中的集合满足紧致性要求。5 一些基本问题5 一些基本问题 欧几里

7、德距离 绝对值距离明考夫斯基距离其中当q=1时为绝对值距离，当q=2时为欧氏距离5 一些基本问题 切比雪夫距离 夹角余弦x4x5x1x2x3因为x1 , x2 的夹角小，所以x1 , x2 最相似。其中Xi ，Xj为特征向量， 为协方差矩阵。使用于N个样本的集合中两个样本之间求M氏距离： 马哈拉诺比斯（Mahalanobis)距离N样本个数例：马哈拉诺比斯（Mahalanobis)距离：设X1=（0,0)T, X2=（0,1) T, X3=（1,0) T, X4=（1,1) T.则N=4，两点之间的马氏距离X1X2X3X4两点之间的欧氏距离都具对称性。但数值不同。欧氏距离的计算步骤：1.求样本

8、均值；2.求协方差矩阵；3.求协方差矩阵的逆矩阵；4。按公式求两点间马氏距离。如：1，3，5，7，9与2，4，6，8，10的相关系数为1； 1，3，5，7，9与10，8，6，4，2的相关系数为-1；注意：在求相关系数之前，要将数标准化*相关系数分别的均值:其中，Xi=(xi1,xi2,xin), Xj=(xj1,xj2,xjn).分类的主观性和客观性 分类带有主观性：目的不同，分类不同。例如：鲸鱼，牛，马从生物学的角度来讲都属于哺乳类，但是从产业角度来讲鲸鱼属于水产业，牛和马属于畜牧业。 分类的客观性：科学性 判断分类必须有客观标准，因此分类是追求客观性的，但主观性也很难避免，这就是分类的复杂

9、性。靠哪些特征决定相似并进行分类，取决于行为的目的和方法。5 一些基本问题范例木板图象512512d=3长度纹理亮度 c=2松木 桦木维数无限有限/很大R有限d不大c模式识别过程dR无限模式采集模式空间特征提取/选择类型空间分类特征空间客观世界待识别对象识别过程错误概率检测制定分类的判决规则特征提取/选择方法校正学习过程采集方法校正已知对象预处理应用领域1.4 模式识别的应用应用领域生物医学：血细胞计数，染色体分类，心电脑电图1.4 模式识别的应用应用领域文字处理：文字识别（印刷体，手写体汉字识别）；办公自动化（机器翻译）；银行（支票识别）；邮局（邮政信函的自动分拣）。遥感：资源普查（对地形地

10、貌的分析，森林资源、海洋资源的普查，湖水面积的计算），地图识别1.4 模式识别的应用纸币识别器对纸币按面额进行分类 面额系统实例5元10元20元50元100元 长度(mm) 宽度(mm)5元1366310元1417020元1467050元15170100元15677磁性金属条位置(大约)5元有 54/8210元有 54/8720元有 57/8950元有 60/91100元有 63/935元 10元 20元 50元 100元12345678反射光波形数据采集、特征提取： 长度、宽度、磁性、磁性的位置，光反射亮度、光透射亮度等等 特征选择： 长度、磁性及位置、反射亮度分类识别： 确定纸币的面额及真

11、伪从摄像头获取包含车牌的彩色图象车牌定位和获取字符分割和识别输入图象特征提取粗略定位分割字符确定类型精细定位识别、输出4849在传送带上用光学传感器件对鱼按品种分类鲈鱼(Seabass)品种鲑鱼(Salmon)数据获取：架设一个摄像机，采集一些样本图像，获取样本数据预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开识别过程 特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量长度亮度宽度鱼翅的数量和形状嘴的位置，等等 分类决策：把特征送入决策分类器识别过程 识别过程 识别过程 识别过程 识别过程 模式识别的一些基本准则奥卡姆剃刀原理 14世纪逻辑学家、圣方济

12、各会修士奥卡姆的威廉提出一个原理“如无必要，勿增实体”，杀鸡焉用宰牛刀，在多种实现方法中提倡选择最简单的假设和模型，尽量不要把问题复杂化，尽力把没用的和会把问题复杂化的因素去掉。模式识别的一些基本准则没有免费的午餐定理（No Free Lunch, NFL） 该定理指出：没有最好的算法，每种算法总有它的优势和缺陷。NFL定理可简单表述为：对于所有可能的问题，任意给定两个算法A，A，如果A在某些问题上表现得比A好，那么A在其他问题上表现一定比A差。 该定理隐含指出：任何一种分类算法甚至不比搜索空间的线性列举或者纯随机搜索算法更优。模式识别的一些基本准则丑小鸭定理 20世纪60年代，美籍日本学者渡

13、边慧证明了“丑小鸭定理”。定理说：丑小鸭和白天鹅之间的区别和两只白天鹅之间的区别一样大。这个看起来完全违背常识的定理实际上说的是：世界上不存在分类的客观标准，一切分类的标准都是主观的。渡边慧举了一个鲸鱼的例子： 按照生物学的分类方法，鲸鱼属于哺乳类的偶蹄目，和牛是一类；但是在产业界，鲸和鱼同属于水产业，而不属于包括牛的畜牧业。分类结果取决于选择什么特征作为分类标准，而特征的选择又依存于人的目的。丑小鸭是白天鹅的幼雏，在画家的眼里，丑小鸭和白天鹅的区别大于两只白天鹅的区别； 但是在遗传学家的眼里，丑小鸭与其父亲或母亲的差别小于父母之间的差别。 由此引出的一个问题是，事物有没有“本质”？一个苹果，

14、牛顿看到的是它的质量，遗传学家看到的是它的染色体中的DNA序列，美食家关心的是它的味道，画家看到的是它的颜色和形状，孔融还可能关注其大小并从中看出道德因素。这里面没有谁对谁错的问题，所以不可能知道苹果的“本质”是什么。在说到“本质”的时候，充其量说的只是“我认为最重要的特征”，只代表个人的立场。 模式识别的基本方法一、统计模式识别二、句法模式识别（结构模式识别）三、模糊模式识别四、人工神经网络法五、多分类器融合一、统计模式识别模式描述方法： 特征向量 模式判定： 模式类用条件概率分布P(X/i)表示,m类就有m个分布，然后判定未知模式属于哪一个分布。理论基础：概率论，数理统计主要方法：线性、非

15、线性分类、Bayes决策、聚类分析主要优点： 1）比较成熟 2）能考虑干扰噪声等影响 3）识别模式基元能力强主要缺点： 1）对结构复杂的模式抽取特征困难2）不能反映模式的结构特征，难以描述模式的性质3）难以从整体角度考虑识别问题实例：统计模式识别19名男女同学进行体检，测量了身高和体重，但事后发现其中有4人忘记填写性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下：实例：统计模式识别（续）待识别的模式：性别（男或女）测量的特征：身高和体重训练样本：15名已知性别的样本特征目标：希望借助于训练样本的特征建立判别函数（即数学模型）实例：统计模式识别（续）由训练样本得到的特征空间分布图实例

16、：统计模式识别（续）从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。只要给出待分类的模式特征的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。二、句法模式识别模式描述方法：符号串，树，图模式判定：是一种语言，用一个文法表示一个类，m类就有m个文法，然后判定未知模式遵循哪一个文法。理论基础：形式语言，自动机技术主要方法：自动机技术、CYK剖析算法、Early算法、转移图法主要优点：1）识别方便，可以从简单的基元开始，由简至繁。2）能反映模式的结构特征，能描述模式的性质。3）对图象畸变的抗干扰能力较强。主要缺点： 当存在干扰及噪声

17、时，抽取特征基元困难，且易失误。实例：句法模式识别问题：如何利用对图像的结构信息描述，识别如下所示图片：实例：句法模式识别（续）将整个场景图像结构分解成一些比较简单的子图像的组合；子图像又用一些更为简单的基本图像单元来表示，直至子图像达到了我们认为的最简单的图像单元（基元）；所有这些基元按一定的结构关系来表示，利用多级树结构对其进行描述（这种描述可以采用形式语言理论）。实例：句法模式识别（续）多级树描述结构实例：句法模式识别（续）训练过程：用已知结构信息的图像作为训练样本，先识别出基元（比如场景图中的X、Y、Z等简单平面）和它们之间的连接关系（例如长方体E是由X、Y和Z三个面拼接而成），并用字

18、母符号代表之；然后用构造句子的文法来描述生成这幅场景的过程，由此推断出生成该场景的一种文法。实例：句法模式识别（续）识别过程：先对未知结构信息的图像进行基元提取及其相互结构关系的识别；然后用训练过程获得的文法做句法分析；如果能被已知结构信息的文法分析出来，则该幅未知图像与训练样本具有相同的结构（识别成功），否则就不是这种结构（识别失败）。三、模糊模式识别模式描述方法：模糊集合 A=(a,a), (b,b),. (n,n)模式判定：是一种集合运算。用隶属度将模糊集合划分为若干子集，m类就有m个子集，然后根据择近原则分类。理论基础：模糊数学主要方法：模糊统计法、二元对比排序法、推理法、模糊集运算规则、模糊矩阵主要优点：由于隶属度函数作为样本与模板间相似程度的度量，故往往能反映整体与主体的特征，从而允许样本有相当程度的干扰与畸变。主要缺点：准确合理的隶属度函数往往难以建立，故限制了它的应用。四、人工神经网络法模式描述方法： 以不同活跃度表示的输入节点集（神经元）模式判定： 是一个非线性动态系统。通过对样本的学习建立起记忆，然后将未知模式判决为其最接近的记忆。理论基础：神经生理学，心理学主要方法：BP模型、HOP模型、高阶网主要优点：可处理一些环境信息十分复杂，背景知识不清楚，