模式识别理论及应用PatternRecognition-Methodsand

1、模式识别理论及应用Pattern Recognition - Methods and ApplicationIPL第一章 模式识别概述内容目录IPL第一章 模式识别概述 1.1 模式识别和模式的概念2134 1.2 模式识别系统1.3 模式识别的主要方法1.4 模式识别应用1.5 有关模式识别的若干问题5模式识别与神经网络1.1 模式识别和模式的概念人类具有很强的模式识别能力，时刻在完成某种模式识别的任务。模式识别作为一门学科，是研究用机器完成自动识别事物的工作。模式识别形成于5060年代，它与人工智能关系密切。模式识别是一门理论与应用并重的技术科学。有广泛的需求。现有的理论与方法还有不足。3

2、模式识别和模式的概念Pattern recognitionis the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)概念4模式与模式类样本(sample, object)：一类事物的一个具体体现，对具体的个别事物进行观测所得到的

3、某种形式的信号。模式(pattern)：表示一类事物，如印刷体A与手写体A属同一模式。B与A则属于不同模式。样本是具体的事物，而模式是对同一类事物概念性的概括。模式类与模式联合使用时，模式表示具体的事物，而模式类则是对这一类事物的概念性描述。模式识别是从样本到类别的映射。概念5模式识别和模式的概念Watanabe defines a pattern “as opposite of a chaos; it is an entity, vaguely defined, that could be given a name.” a fingerprint image a handwritten cu

4、rsive word a human face a speech signal 概念6模式识别和模式的概念识别是时时刻刻发生的活动识别（Recognition)再认知（Re-Cognition)主要研究相似和分类问题有监督分类无监督分类与其他学科的关系统计学人工智能机器学习运筹学概念71.2 模式识别系统数据获取预处理特征提取与选择分类决策分类器设计信号空间特征空间8模式识别系统的组成数据获取和预处理(data acquisition and preprocessing) ：测量，采样和量化，去噪，复原特征提取与选择(feature extraction and selection)分类决策

5、(classification decision)系统91.3 模式识别的方法模版匹配法统计方法神经网络方法结构方法(句法方法)10模版匹配首先对每个类别建立一个或多个模版输入样本和数据库中每个类别的模版进行比较，求相关或距离根据相关性或距离大小进行决策优点：直接、简单缺点：适应性差形变模版方法11统计方法根据训练样本，建立决策边界(decision boundary) 统计决策理论根据每一类总体的概率分布决定决策边界判别式分析方法给出带参数的决策边界，根据某种准则，由训练样本决定“最优”的参数本课程的重点内容方法12句法方法许多复杂的模式可以分解为简单的子模式，这些子模式组成所谓 “基元”每

6、个模式都可以由基元根据一定的关系来组成基元可以认为是语言中的词语，每个模式都可以认为是一个句子，关系可以认为是语法模式的相似性由句子的相似性来决定优点：适合结构性强的模式缺点：抗噪声能力差，计算复杂度高方法13神经网络进行大规模并行计算的数学模型具有学习、推广、自适应、容错、分布表达和计算的能力优点：可以有效的解决一些复杂的非线性问题缺点：缺少有效的学习理论方法14几种方法比较方法表达识别函数评价准则模版匹配样本，像元，曲线相关，距离度量分类错误统计方法特征决策函数分类错误句法方法基元规则，语法接受错误神经网络样本，像元，特征网络函数均值方差错误方法15神经网络和统计模式识别的关系统计模式识别

7、人工神经网络线性决策函数感知机PCA自相关网络，PCA网络后验概率估计多层感知机非线性决策分析多层感知机Parzen窗密度估计分类器径向基函数网络K近邻Kohonens LVQ方法161.4 模式识别应用文本分类文本图像分析工业自动化数据挖掘多媒体数据库检索生物特征识别语音识别生物信息学遥感171.5 有关模式识别的若干问题模式类的紧致性：集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。每个内点都有一个足够大的邻域，在该邻域中只包含同一集合中的点。假若每个模式类都满足紧致性假设，则解决模式识别间题就不会碰到什么原则上的困难。但对于很多实际问题这个假设是不成立的。只耍各个模式类是可分的，总存在这样一个空间，使变换到这个空间中的集合满足紧致性要求。18有关模式识别的若干问题相似与分类：相似与分类问题远不像集合表达那样简单明了。集合的概念可用来表现已经分好的类，但对于怎样分类和归类则缺乏指导意义。相似性度量：样本xi和 xj是Rn空间中两个点，它们间的某种距离的函数 s(xi, xj)。距离: d(xi, xj)=(xi - xj)T.(xi - xj)1/2相似性度量1: s(xi, xj)=f(d(xi, xj)相似性度量2: s(xi, xj)=cos(