模式识别介绍和案例讲解

1、模式识别介绍和案例讲解第一章 模式识别概述例子1：医生诊病过程 1)测量病人的体温和血压，化验血沉，询问临床表现； 2)通过综合分析，抓住主要病症； 3)医生运用自己的知识、经验，根据主要病症、测量化验结果，作出正确的诊断。在模式识别技术中，常用的术语有：样本、模式、特征、类型等等，对照医生诊病过程，有：a.样本：医院里的众多患者，每个患者都是一个样本； 单一样本：医生诊断的某一患者，就是样本空间中的一个单一样本； 样本值：某一患者的化验、检查结果与表征现象。例子1：医生诊病过程b.模式：各样本值按一定的数据准则综合的结果； 模式样本：具有某种模式的样本； 模式采集：获取某样本的测量数值的过程

2、；c.特征：患者某些具有显著特征的化验数据及表征； 特征选择与提取：能表征(疾病)特异性的化验结果与表征；d.判决：医生运用知识、病例经验综合分析给出诊断； 判决准则/规则：医生的知识 判决结果：将患者明确(或以概率)确定为某一种病症(或多种/并发病症)的患者(及病患严重程度)医生诊病过程事实上，最后的结果也成为分类。因此有预先知道类别(已知病症)与未知类别(未知病症)的区别。模式识别：就是以计算机为工具、各种传感器为信息来源，数据计算与处理为方法，对各种现象、事物、状态等进行准确地分析、判断识别与归类。1.1 模式识别和模式的概念感知：从环境获取信息模式Pattern 存在于时间和空间中可观

3、察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。模式的直观特性:可观察性可区分性相似性1.1 模式识别和模式的概念模式（Pattern）实例计算机模式识别模式识别：使计算机模仿人的感知能力，从感知数据中提取信息（判别物体和行为）的过程。数据获取模式分割模式识别姚明ROCKETS11概念模式识别和模式的概念Pattern recognition is the study of how machines can observe the environment, learn to dist

4、inguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)概念模式识别 直观，无所不在，“人以类聚，物以群分”周围物体的认知：桌子、椅子人的识别：张三、李四声音的辨别：汽车、火车，狗叫、人语气味的分辨：炸带鱼、红烧肉人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。模式识别和模式的概念模式识别的难点数字化感知数据：来源丰富、数量巨大概念模式识别的难点感

5、知数据：非结构化（像素、声波等）概念模式与模式类样本(sample, object)：一类事物的一个具体体现，对具体的个别事物进行观测所得到的某种形式的信号。模式(pattern)：表示一类事物，如印刷体A与手写体A属同一模式。B与A则属于不同模式。样本是具体的事物，而模式是对同一类事物概念性的概括。模式类与模式联合使用时，模式表示具体的事物，而模式类则是对这一类事物的概念性描述。模式识别是从样本到类别的映射。概念模式识别和模式的概念Watanabe defines a pattern “as opposite of a chaos; it is an entity, vaguely defi

6、ned, that could be given a name.” a fingerprint image a handwritten cursive word a human face a speech signal 概念模式识别的发展1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。30年代 Fisher提出统计分类理论,奠定了统计模式识别的基础。因此，在6070年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，就出现“维数灾难”。随着计算机运算速度的迅猛发展，这个问题得到一定克服。目前，统计模式识别仍是模式识别的主要理论。50年代 Noam Che

7、msky 提出形式语言理论，在此基础上，美籍华人付京荪 提出句法结构模式识别。60年代 提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。模式识别的发展80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。90年代 小样本学习理论，支持向量机也受到了很大的重视。1973年 IEEE发起了第一次关于模式识别的国际会议“ICPR”，成立了国际模式识别协会-“IAPR”，每2年召开一次国际学术会议；1977年 IEEE的计算机学会成立了模式分析与机器智能（PAMI）委员会，每2年召开一次模式识别与图象处理学术会议；国内的组织有电子学会，通信

8、学会，自动化协会，中文信息学会.。模式识别的发展模式识别的应用领域更加广泛： 生物、医学、军事、农业、工业、社会、教育、航天、航空、经济、金融、生物认证、数字水印基于语音： 重点人物通信监控语音识别系统/规模音频资料检索基于图像： 光学字符识别(Optical Character Recognition OCR)/车牌识别(Vehicle License Plate Recognition VLPR)/人脸识别/指纹识别/签名认证/支票认证/表情和手势识别/农作物分类与害虫识别/生物信息学：DNA识别/航空与卫星遥测遥感数据资源调查/军用目标的图像识别/基于图形模式识别的机器人控制等基于工程数

9、据： 振动模式分析与故障诊断/石油钻井数据分析与事故预报/基于状态模式的智能控制/数据挖掘与知识发现等模式识别的发展模式识别的计算手段更加先进： 海量存储技术、高速计算/并行计算技术、 网格技术、网络技术、 新型前端器件(激光、红外、MEMS、传感器网络)模式识别的新型算法层出不穷： Computation with word(Zadeh) Soft Computation DNA Computation国内外模式识别的学术活动从未间断: 小波/模式识别国际会议、机器学习/模式识别国际会议、图像处理/模式识别国际会议、数据挖掘/模式识别国际会议模式识别与其他学科的关系概念模式识别学科位置模式识

10、别：计算机科学与电子工程交叉学科中国：“控制科学与工程”一级学科二级学科：控制理论与控制工程、模式识别与智能系统、系统工程等西方：没有自动控制系自动控制：电子工程系、机械工程系模式识别：电子工程系、计算机科学系主要组织国际组织IAPR (International Association for Pattern Recognition) IEEE Computer Society: TC on PAMI (Pattern Analysis and Machine Intelligence)国内组织中国自动化学会：模式识别与机器智能(PRMI)专业委员会，1981年成立，IAPR成员组织中国计算

11、机学会：人工智能与模式识别专业委员会中国人工智能学会主要机构国外USA: MIT (Poggio), UIUC (Thomas Huang), CMU (T. Kanade), MSU (A.K. Jain), Maryland (Resenfeld, Chellappa)Canada: Toronto (Hinton), Concordia (C.Y. Suen)UK: Surrey (Kittler), MSR Cambridge (Bishop)France: INRIA国内MSRA(微软亚洲研究院), HKUST(香港科技大学) 中科院自动化所、清华大学、北京大学、上海交大、西安交大、

12、南京理工大学、武汉大学等模式识别系统的原理框图1.2 模式识别系统1.2 模式识别系统数据获取预处理特征提取与选择分类决策分类器设计信号空间特征空间模式识别系统的组成系统模式识别过程实例在传送带上用光学传感器件对鱼按品种分类 鲈鱼(Seabass) 鲑鱼(Salmon)鲈鱼鲑鱼数据获取：架设一个摄像机，采集一些样本图像，获取样本数据预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开模式识别过程实例特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量长度亮度宽度鱼翅的数量和形状嘴的位置，等等 分类决策：把特征送入决策分类器模式识别过程实例模式识别过程实例模式识

13、别过程实例模式识别过程实例模式识别过程实例模式识别过程实例模式识别过程实例模式识别研究内容数据预处理视频、图像、信号处理模式分割模式/背景分离、模式-模式分离运动分析目标跟踪、运动模式描述模式描述与分类特征提取/选择、模式分类、聚类、机器学习模式识别应用研究针对具体应用的方法与系统系统1.3 模式识别的方法模版匹配法(Templete matching)统计方法(Statistical pattern recognition)： 1950s-神经网络方法(Neural network)： 1980s-结构方法(Structural pattern recognition )： 1970s- 支

14、持向量机、核方法：1990s-多分类器、集成学习：1990s-Bayes学习：1990s-1990s-: 模式识别技术大规模应用模版匹配首先对每个类别建立一个或多个模版输入样本和数据库中每个类别的模版进行比较，例如求相关或距离根据相似性（相关性或距离）大小进行决策优点：直接、简单缺点：适应性差扩展：弹性模版法方法统计方法根据训练样本，建立决策边界(decision boundary) 统计决策理论根据每一类总体的概率分布决定决策边界判别式分析方法给出带参数的决策边界，根据某种准则，由训练样本决定“最优”的参数方法句法方法许多复杂的模式可以分解为简单的子模式，这些子模式组成所谓 “基元”每个模式

15、都可以由基元根据一定的关系来组成基元可以认为是语言中的词语，每个模式都可以认为是一个句子，关系可以认为是语法模式的相似性由句子的相似性来决定1970s由付京荪(K.S. Fu, Purdue Univ.)提出优点：适合结构性强的模式缺点：抗噪声能力差，计算复杂度高方法神经网络进行大规模并行计算的数学模型具有学习、推广、自适应、容错、分布表达和计算的能力优点：可以有效的解决一些复杂的非线性问题缺点：缺少有效的学习理论方法几种方法比较方法表达方式识别函数评价准则模版匹配样本，像元，曲线相关，距离度量分类错误统计方法特征决策函数分类错误句法方法基元规则，语法接受错误神经网络样本，像元，特征网络函数均

16、值方差错误方法神经网络和统计模式识别的关系统计模式识别人工神经网络线性决策函数感知机PCA自相关网络，PCA网络后验概率估计多层感知机非线性决策分析多层感知机Parzen窗密度估计分类器径向基函数网络K近邻Kohonens LVQ方法1.4 模式识别应用文本图像分析，文本分类语音识别工业自动化：零部件/物品分类数据挖掘多媒体数据检索（文档、图像、视频、音乐检索 ）生物特征识别，生物信息学，医学图像空间探测与环境资源检测，遥感图像安全监控（身份识别、视频监控、交通监控、音视频监听）生物特征识别应用遥感图像地表分类应用医学图像分析应用车牌识别应用信函分拣应用实例：统计模式识别19名男女同学进行体检

17、，测量了身高和体重，但事后发现其中有4人忘记填写性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下：待识别的模式：性别（男或女）测量的特征：身高和体重训练样本：15名已知性别的样本特征目标：希望借助于训练样本的特征建立判别函数（即数学模型）由训练样本得到的特征空间分布图从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。只要给出待分类的模式特征的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。奥卡姆剃刀原理 14世纪逻辑学家、圣方济各会修士奥卡姆的威廉提出一个原理“如无必要，勿增实体”，杀鸡焉用宰牛刀，在多种实现方法中提

18、倡选择最简单的假设和模型，尽量不要把问题复杂化，尽力把没用的和会把问题复杂化的因素去掉。1.5 有关模式识别的若干问题没有免费的午餐定理 该定理指出：没有最好的算法，每种算法总有它的优势和缺陷。NFL定理可简单表述为：对于所有可能的问题，任意给定两个算法A，A，如果A在某些问题上表现得比A好，那么A在其他问题上表现一定比A差。 该定理隐含指出：任何一种分类算法甚至不比搜索空间的线性列举或者纯随机搜索算法更优。1.5 有关模式识别的若干问题丑小鸭定理 20世纪60年代，美籍日本学者渡边慧证明了“丑小鸭定理”。定理说：丑小鸭和白天鹅之间的区别和两只白天鹅之间的区别一样大。这个看起来完全违背常识的定理实际上说的是：世界上不存在分类的客观标准，一切分类的标准都是主观的。1.5 有关模式识别的若干问题渡边慧举了一个鲸鱼的例子： 按照生物学的分类方法，鲸鱼属于哺乳类的偶蹄目，和牛是一类；但是在产业界，鲸和鱼同属于水产业，而不属于包括牛的畜牧业。分类结果取决于选择什么特征作为分类标准，而特征