第1章-模式识别概述2014

模式识别

PatternClassification

第一章:模式识别概述模式识别，第一章3一个例子通过光学感知手段，将传送带上的鱼进行自动分类 鲈鱼

鱼类 鲑鱼模式识别，第一章4问题分析

架设一台摄影像机，拍摄若干样品的图像提取用于区分两类鱼的有效特征(feature)长度光泽度宽度鳍的数目和形状嘴的位置，等等…….模式识别，第一章5

预处理（preprocessing）去除干扰，图像增强采用图像分割技术将不同的鱼分离开来，或将鱼同背景分开特征提取（featureextraction）将每条鱼的数据送入特征提取器，通过测量特定的“特征”或“属性”来简化原始数据将特征送入分类器，以便进行分类模式识别，第一章6分类（Classification）将待识别样本进行特征提取，并与存储于分类器中的特征进行比较，从而判断样本的类别模式识别，第一章7根据先验知识：鲈鱼长度一般要比鲑鱼大选择长度（length）作为可能的分类特征获取足够多的样本（训练样本）进行统计（直方图）实现方法确定合适的长度临界值L*作为分类标准模式识别，第一章8鲑鱼鲈鱼分类标准确定合适的长度临界值L*作为分类标准模式识别，第一章9单一的特征判据（长度）不足以完全正确分类无论怎样确定临界值，都有无法仅凭长度就把两类鱼截然分开问题模式识别，第一章10选择光泽度（lightness）作为分类特征获取足够多的样本（训练样本）进行统计（直方图）确定合适的光泽度临界值x*作为分类标准方法改进模式识别，第一章11鲑鱼鲈鱼分类标准以光泽度为分类特征，两类鱼的分离性更好！模式识别，第一章12判别边界与判别代价

无论采用哪一种特征进行分类都有代价：误判上述判别边界假设将鲑鱼误判为鲈鱼和将鲈鱼误判为鲑鱼的代价相等（对称代价）非对称代价：调整判别边界的位置结论特征选择对分类效果有较大的影响模式识别，第一章13鲑鱼鲈鱼调整判别边界，减小判别代价模式识别，第一章14为获取更好的分类效果，组合运用多个特征选取光泽度（lightness）和宽度（width）作为分类特征鱼 xT=[x1,x2]特征向量：xT=[x1,x2]LightnessWidth模式识别，第一章15鲑鱼鲈鱼判别标准：判别边界组合特征优于单一特征模式识别，第一章16需要考虑的问题特征越多分类性能越好吗？什么样的特征才是好的特征？特征的相关性与冗余？模式识别，第一章17需要考虑的问题如何获取判别边界：判别模型？什么样的判别边界才是最优的：模型优化？模式识别，第一章18复杂的模型鲑鱼鲈鱼模式识别，第一章19复杂的模型可保证对所有训练样本正确分类过于复杂的模型将导致复杂的判别界面新模式推广能力差模式识别，第一章20分类系统的目标是对未知的样本正确分类，而不仅仅是对训练样本分类必须在模型复杂度和推广能力之间进行折中考虑最优模型模式识别，第一章21鲑鱼鲈鱼优化的判别边界模式识别，第一章22什么是模式识别？定义利用机器（计算机）模仿人脑对现实世界各种事物进行描述、分类、判断和识别的过程。周围物体的认知：桌子、椅子、门、窗户人的识别：张三、李四声音的辨别：火车、汽车、鸟鸣气味的分辨：红烧肉、炸带鱼模式识别，第一章23什么是模式识别？目标用计算机实现具有感知、识别、理解、自学习和自适应能力的灵活和智能的计算机器。

人和动物的模式识别能力是极其平常的，但对计算机来说是非常困难的。模式识别，第一章24模式识别的产生与发展起源始于20世纪40年代研究初期，模式识别被看作动物所具有的自然生理现象，很多人认为不值得研究。当人们试图使计算机去具有人脑的识别能力后，模式识别的难度和重要性才得以重视。模式识别，第一章25模式识别的产生与发展随着计算机技术的发展，60年代后模式识别迅速发展为一门相对独立的新兴交叉学科明确的问题定义、严格的数学基础、坚实的理论框架、丰富的理论和应用成果、广阔的应用前景模式识别，第一章26模式识别的产生与发展30年代英国统计学家Fisher(费希尔)提出统计分类理论，奠定了统计模式识别的基础。50年代NoamChemsky提出形式语言理论——傅京荪提出句法/结构模式识别。60年代模糊模式识别方法得以发展和应用。模式识别，第一章27模式识别的产生与发展80年代以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。90年代小样本学习理论，支持向量机受到了很大的重视。模式识别，第一章28模式识别的相关学科模式识别人工智能计算机视觉机器学习认知科学心理生物学模式识别，第一章29模式识别的应用语音识别与理解（Speechrecognition）语音识别说话人识别语种识别语音情感识别模式识别，第一章30模式识别的应用字符识别（CharacterRecognition）手写体印刷体汉字、英文、阿拉伯数字模式识别，第一章31模式识别的应用图像识别（ImageRecognition）车牌识别人脸识别模式识别，第一章32模式识别的应用车牌识别模式识别，第一章33模式识别的应用生物特征识别（身份鉴别）指纹识别掌纹识别人脸识别虹膜识别签名识别步态识别模式识别，第一章34模式识别的应用生物医学信号识别心电图心音多普勒超声波生物信号染色体DNA序列模式识别，第一章35模式识别的应用遥感图像自动识别根据遥感图像的光谱特征和纹理特征进行自动分类和识别模式识别，第一章36模式识别的应用遥感图像识别模式识别，第一章37研究模式识别的意义通过模式识别的研究和应用，提高和扩展计算机的应用能力和领域，促进人工智能的应用与发展促进人们对人脑识别过程的理解和认识模式识别，第一章38模式识别的理论基础概率论与数理统计随机过程线性代数优化方法形式语言学模式识别，第一章39模式识别的基本方法模式识别方法经典方法现代方法统计方法句法方法神经网络方法模糊模式识别模式识别，第一章40模式识别的基本方法统计决策法基于模式的定量描述与统计规律的识别方法，是模式识别最经典、最成熟的方法，目前广泛应用于模式识别的各个领域原理：样本观测值特征概率统计决策准则分类模式识别，第一章41模式识别的基本方法统计方法鲑鱼鲈鱼决策标准：判别边界模式识别，第一章42模式识别的基本方法模式描述方法特征向量模式判定模式类用条件概率分布P(X/i)表示,m类就有m个分布，然后判定未知模式属于哪一个分布特征向量特征值模式识别，第一章43模式识别的基本方法理论基础概率论数理统计主要方法概率方法（Bayes决策）几何方法（线性、非线性分类）聚类分析（无监督模式识别）模式识别，第一章44模式识别的基本方法优点比较成熟，理论体系较为完善，应用广泛能考虑干扰噪声等影响识别模式能力强缺点对结构复杂的模式抽取特征困难不能反映模式的结构特征，难以描述模式的性质模式识别，第一章45模式识别的基本方法句法方法基于模式的空间结构特征的定性描述与形式语言学的方法，广泛应用于字符识别、图像识别等领域原理：样本基元字符串形式语言文法分类模式识别，第一章46模式识别的基本方法模式描述方法符号串树图模式判定是一种语言，用一个文法表示一个类，m类就有m个文法，然后判定未知模式遵循哪一个文法模式识别，第一章47模式识别的基本方法句法方法定义基元：模式识别，第一章48模式识别的基本方法理论基础形式语言自动机技术主要方法CYK剖析算法Early算法状态图法模式识别，第一章49模式识别的基本方法优点能有效反映模式的结构特征特别适合于文字、图象等具有结构特征的模式分类问题缺点当存在干扰及噪声时，基元提取较为困难分类器的设计比统计方法困难和复杂模式识别，第一章50模式识别的基本方法模糊模式识别基于模糊数学和统计分析的识别方法，在不能明确描述模式特征和结构的复杂模式识别问题中得到了成功应用根据隶属度和模糊文法进行分类模糊模式类很像三角形的图形远大于2的整数清晰模式类三角形大于2的整数模式识别，第一章51模式识别的基本方法模式描述方法模糊集合

模式判定用隶属度将模糊集合划分为若干子集，m类就有m个子集，然后根据择近原则进行分类模式识别，第一章52模式识别的基本方法理论基础模糊数学主要方法模糊统计法二元对比排序法推理法模糊矩阵

模式识别，第一章53模式识别的基本方法优点以隶属度作为样本间相似程度的度量，具有较强的抗干扰与畸变能力缺点准确合理的隶属度函数往往难以建立，限制了其应用模式识别，第一章54模式识别的基本方法神经网络方法基于现代生物学和认识科学对人类信息处理的研究成果采用人工神经网络模型，使识别和处理过程更接近人类的思维过程模式识别，第一章55模式识别的基本方法模式描述方法神经元：不同活跃度表示的输入节点集模式判定通过对样本的学习建立起记忆，将未知模式判决为其最接近的记忆模式识别，第一章56模式识别的基本方法输入层(i)输入层(j)输入层(k)模式识别，第一章57模式识别的基本方法神经网络方法人工神经网络由相互广泛连接的神经元组成，信息分布于神经网络中每一节点的输入为前一层所有节点输出的加权和通过已知类别样本的学习，调整各节点之间的加权系数模式识别，第一章58模式识别的基本方法理论基础神经生理学心理学主要方法BP模型HOP模型高阶网模式识别，第一章59模式识别的基本方法优点具有自适应学习能力，适用于并行计算与处理缺点模型在不断丰富与完善中目前能识别的模式类还不够多模式识别，第一章60模式识别的一般过程无论采用何种方法，模式识别一般都要包括下列两个基本过程模式识别学习过程（设计过程）识别过程（实现过程）模式识别，第一章61模式识别的一般过程学习过程通过一批已知类别的学习样本进行分析，推出分类准则。识别过程对末知类别的单个待识样本，根据分类准则进行识别分类。模式识别，第一章62模式识别的一般过程学习样本数据获取预处理特征提取统计分析分类准则待识样本数据获取预处理特征提取识别分类分类结果统计模式识别的过程模式识别，第一章63模式识别的一般过程学习样本数据获取预处理特征提取统计分析分类准则人工干预改进采集方法改进预处理改进特征提取改进分类规则训练样本测试样本正确率测试模式识别，第一章64模式识别的一般过程数据获取采用传感器(摄像机或麦克风)，通过测量、采样和量化，得到反映样本信息的原始数据（一维波形、二维图像等）数据质量依赖于传感器的特性和局限性（如带宽、分辩率、灵敏度、信噪比等）预处理采用特定方法，对样本数据进行分割、噪声滤除、边缘增强等处理预处理的方法与样本对象所属领域密切相关（如语音、图像），即预处理的面向问题的

模式识别，第一章65被干扰的心电信号预处理（滤波）后的心电信号模式识别，第一章66模式识别的一般过程特征提取采用特定的方法提取反映样本本质特性的特征（Feature），压缩原始数据例如，语音信号的常用特征为短时能量、短时过零率、基音周期、共振峰等

模式识别，第一章67电话拨号音模式识别，第一章68特征表达用反映事物本质特性的特征向量表达模式模式识别的一般过程模式识别，第一章69统计分析采用一定的统计方法，通过学习样本的分布规律，建立识别模型，推断出分类准则。模式识别的一般过程鲑鱼鲈鱼模式识别，第一章70模式识别的一般过程识别分类根据分类准则，对待识样本进行分类。鲑鱼鲈鱼判别标准：判别边界待识样本为鲑鱼模式识别，第一章71模式识别的一般过程句法模式识别的过程学习样本数据获取预处理基元提取文法推断文法待识样本数据获取预处理基元提取句法分析分类结果模式识别，第一章72模式识别系统实现学习过程和识别过程的计算机系统称为模式识别系统，亦称为分类器。学习过程即是分类器的设计过程识别过程即是分类器的实现过程模式识别，第一章73分类器设计采集数据（Datacollection）选择特征（FeatureChoice）选择方法和模型（ModelChoice）训练分类器（Training）评价分类器（Evaluation）模式识别，第一章74开始采集数据选择特征选择方法和模型训练分类器评价分类器结束先验知识人工干预模式识别，第一章75采集数据（DataCollection）在开发模式识别系统费用中，数据据采集占到令人吃惊的比重为保证分类器的性能，必须有足够多的训练样本怎样才能知道已经采集到足够多有代表性的供训练和测试用的数据了呢？ 分类器设计模式识别，第一章76选择特征（Featurechoice）怎么做才能把先验知识和训练数据有机结合起来，以发现有用的和有效的特征呢？分类器设计模式识别，第一章77分类器设计特征选择（Featurechoice）依赖于具体的问题（语音识别、图像识别）选择反映模式本质特性的参数作为特征使样本类间距离较大、类内距离较小与类别信息不相关的变换（平移、旋转、尺度变换）具有不变性尽量选择相关性小的特征尽可能不受噪声的干扰模式识别，第一章78模型选择（ModelChoice）怎样选择合适的模型，得到识别分类的标准？模型是唯一的吗？什么样的模型更优呢？分类器设计模式识别，第一章79训练或学习（Training）利用样本数据来确定分类器的过程“基于样本的学习”的方法是设计分类器的最有效的方法。分类器设计模式识别，第一章80评价分类器（Evaluation）识别率误识率实时性计算复杂度分类器设计模式识别，第一章81模式识别的研究机构中科院自动化所模式识别国家重点实验室模式识别基础理论研究图像处理与计算机视觉语音语言信息处理模式识别，第一章82模式识别的研究机构微软亚洲研究院