模式识别前沿讲座

模式识别前沿讲座第1页/共73页1.模式识别讨论主题（PR研究什么？）模式识别研究主要在两方面:[1]研究生物体（包括人）是如何感知对象的，属于认知科学的范畴;是生理学家、心理学家、生物学家和神经生理学家的研究内容。[2]在给定的任务下，如何用计算机实现模式识别的理论和方法。是数学家、信息学专家和计算机科学工作者最为关注的内容。第2页/共73页定义(Definition)

借助计算机，就人类对外部世界某一特定环境中的客体、过程和现象的识别功能(包括视觉、听觉、触觉、判断等)进行自动模拟的科学技术。

对语音波形、地震波、心电图、脑电图、图片、照片、文字、符号、生物传感器等对象的具体模式进行辨识和分类。

第3页/共73页第4页/共73页第5页/共73页第6页/共73页第7页/共73页北京大学信息中心（视觉听觉信息处理国家重点实验室）第8页/共73页第9页/共73页第10页/共73页第11页/共73页第12页/共73页第13页/共73页第14页/共73页第15页/共73页第16页/共73页第17页/共73页手掌静脉第18页/共73页手掌掌纹第19页/共73页第20页/共73页SensorsFeaturesGenerationFeaturesSelectionSystemEvaluationClassifierDesignPatternsInputFig.1.1分类系统设计的基本步骤2模式识别怎么构成？

由信息传递的双向性可以理解，其中的每一环节都不是孤立的和单方向的，它们之间相互关联和依赖，在必要的时候需要循环、反馈与迭代。现代模式识别特别注重其关联性。第21页/共73页基于语音：

重点人物通信监控语音识别系统/规模音频资料检索基于图像：车牌识别(VehicleLicensePlateRecognitionVLPR)

行人检测人脸识别/指纹识别/签名认证/支票认证/表情和手势识别/农作物分类与害虫识别/生物信息学：DNA识别/航空与卫星遥测遥感数据资源调查/军用目标的图像识别基于视频：人体行为检测，步态识别，场景分类基于工程数据：

振动模式分析与故障诊断/数据挖掘与知识发现/基因分类/等3模式识别做什么(应用领域)？第22页/共73页统计模式识别(statisticpatternrecognition)

统计模式识别(statisticpatternrecognition)的基本原理是：有相似性的样本在模式空间中互相接近，并形成“集团”，即“物以类聚”。统计模式识别的主要方法有：判别函数法，近邻分类法，非线性映射法，特征分析法，主因子分析法等。(2)决策理论方法

通过分析具体识别对象决定选取何种特征,特征抽取后可进行分类，即从特征空间再映射到决策空间。

4模式识别方法分类第23页/共73页(3)句法方法又称结构方法或语言学方法。其基本思想是把一个模式描述为较简单的子模式的组合，子模式又可描述为更简单的子模式的组合，最终得到一个树形的结构描述，在底层的最简单的子模式称为模式基元。第24页/共73页Mydoctorproblem!第25页/共73页良性钙化点

恶性钙化点

第26页/共73页研究目标[1]如何利用计算机实现区分钙化点还是非钙化点判决？[2]如何利用计算机实现良性钙化区域还是恶性钙化区域的判决？这就是典型的图象处理+模式识别问题！第27页/共73页肿瘤目标分割（如何将学习问题引入半交互图象分割问题中？）第28页/共73页3模式识别怎么做？Fig.1.3非线性分类B.非线性分类Fig.1.2线性分类线性与非线性分类

A.线性分类例如：基于划分的分类原理第29页/共73页SVDD原理覆盖模式识别第30页/共73页二现代模式识别技术（经典与现代）经典发展现代现代：新问题--------新理论与新技术科学的本质就是继承和发展！！！第31页/共73页1基于Bayes决策理论贝叶斯(Bayes)分类器

(Bayes公式)Fig.1.4Bayes分类第32页/共73页2感知器算法(ThePerceptronAlgorithm)决策函数第33页/共73页Fig.1.5SVM分类a)快速求出基于边界的最优分类b)在凸集上求出最临近边界点3SupportVectorMachines-SVM(支持向量机)第34页/共73页决策函数第35页/共73页Non-Separableclasses(线性不可分类)第36页/共73页在XOR问题中，由RBF推广线性分类器形成的决策线a)初始空间；b)转换空间第37页/共73页4Nearestneighbor(近邻分类)第38页/共73页第39页/共73页第40页/共73页修剪的近邻分类器第41页/共73页第42页/共73页5线性鉴别分析第43页/共73页第44页/共73页白话：结构风险既要考虑模型的复杂度又要考虑训练误差。第45页/共73页（a）感知器(b)SVMSVM与感知器分类区别第46页/共73页第47页/共73页简单比复杂好第48页/共73页

统计模式识别的主要方法:Bayes决策概率密度估计（参数方法和非参数方法）特征提取（变换）和选择聚类分析在20世纪60年代以前就已经成型。

由于统计方法不能表示和分析模式的结构，70年代以后结构和句法模式识别方法受到重视。但是，句法模式识别中的基元提取和文法推断（学习）问题直到现在还没有很好地解决，因而没有太多的实际应用。

目前模式识别发展基本总结第49页/共73页[1]20世纪80年代Back-propagation(BP)算法的重新发现和成功应用推动了人工神经网络研究和应用的热潮。神经网络方法与统计方法相比具有不依赖概率模型、参数自学习、泛化性能良好等优点，至今仍在模式识别中广泛应用。然而，神经网络的设计和实现依赖于经验，泛化性能不能确保最优。[2]90年代支持向量机(SVM)的提出吸引了模式识别界对统计学习理论和核方法(Kernelmethods)的极大兴趣。与神经网络相比，支持向量机的优点是通过优化一个泛化误差界限自动确定一个最优的分类器结构，从而具有更好的泛化性能。而核函数的引入使很多传统的统计方法从线性空间推广到高维非线性空间，提高了表示和判别能力。第50页/共73页[3]结合多个分类器的方法从90年代前期开始在模式识别界盛行，后来受到模式识别界和机器学习界的共同重视。多分类器结合可以克服单个分类器的性能不足，有效提高分类的泛化性能。这个方向的主要研究问题有两个：给定一组分类器的最佳融合和具有互补性的分类器组的设计。其中一种方法，Boosting，现已得到广泛应用，被认为是性能最好的分类方法。（一个不行多个如何呢？三个臭皮匠顶个诸葛亮）第51页/共73页进入21世纪，模式识别研究的特点[1]Bayes学习理论新发展-基于图表示的Bayes分类,模型参数同时调整。[2]传统的问题新解，如概率密度估计、特征选择、聚类等不断受到新的关注，新的方法或改进/混合的方法不断提出。[3]模式识别领域和机器学习领域的相互渗透越来越明显，如特征提取和选择、分类、聚类、半监督学习等问题成为二者共同关注的热点。[4]稀疏表示分模式识别。[5]多观测样本分类问题。第52页/共73页[6]模式识别领域的前沿研究方向还有：Bayes学习、半监督学习、弱监督学习、主动学习、在线学习等。

研究计算机模式识别的目的是让机器具备人的感知和认知能力，代替人完成繁重的信息处理工作。当我们把计算机的模式识别能力与人的模式识别（视觉、听觉感知）能力相比，就会发现现有的模式识别方法与人的感知过程有很大区别，在性能上也相差很远，很多对人来说是轻而易举的事情对计算机来说却很难做到。这是由于目前对人的感知过程的机理和大脑结构还不是很了解，即使已经了解的部分也不容易在计算上或硬件上模拟。进一步研究人的感知机理并借鉴该机理设计新的模式识别计算模型和方法是将来的一个重要方向。第53页/共73页可拒识分类器示意图第54页/共73页SVDD原理第55页/共73页仿生神经网络折线：BP圆：RBF

椭圆：拓扑神经网络第56页/共73页第57页/共73页第58页/共73页第59页/共73页稀疏识别模型第60页/共73页稀疏识别模型第61页/共73页第