模式识别教学课件第一章绪论_第1页
模式识别教学课件第一章绪论_第2页
模式识别教学课件第一章绪论_第3页
模式识别教学课件第一章绪论_第4页
模式识别教学课件第一章绪论_第5页
已阅读5页,还剩48页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、Pattern Recognition办公地点:主楼501Email:Contents 1Introduction to Pattern Recognition 2Bayesian Decision Theory 3Maximum-Likelihood & Bayesian Parameter Estimation 4Linear Discriminant Functions5Feature Extraction & Selection6Unsupervised Learning & Clustering References1 Richard O. Duda, Peter E. Hart,

2、David G. Stork, Pattern Classification, 2nd Edition, John Wiley & Sons, Inc. 2001(模式分类,李宏东 姚天翔等译,北京:机械工业出版社,2003年9月 2模式识别,边肇祺,张学工等编 著,清华大学出版社,2000年1月第2版3 Vladimir N. Vapnik, The Nature of Statistical Learning, Springer-Verlag, New York, NY, 1995 (中译本统计学习理论的本质,张学工译,清华大学出版社,2000年9月)References主要期刊和会议In

3、ternational Journal of Pattern Recognition and Artificial Intelligence (IJPRAI) (http:/ ) Pattern Recognition Pattern Recognition Letter Machine Learning Neural Computation模式识别与人工智能 CVPR、ICPR、ICML、COLTNIPS1929年 G. Tauschek发明阅读机,能够阅读0-9的数字。30年代 Fisher提出统计分类理论,奠定了统计模式识别的基础。6070年代,统计模式识别发展很快,但由于被识别的模式愈

4、来愈复杂,特征也愈多,出现“维数灾难”。但由于计算机运算速度的迅猛发展,这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。Machine Perception模式识别的发展史模式识别的发展史50年代 Noam Chemsky 提出形式语言理论美籍华人付京荪提出句法(结构)模式识别。60年代 L.A.Zadeh提出了模糊集理论,模糊模式识别理论得到了较广泛的应用。80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。90年代小样本学习理论,支持向量机也受到了很大的重视。Machine PerceptionChapter 1: Int

5、roduction to Pattern Recognition Machine Perception An Example Pattern Recognition Systems The Design Cycle Learning and Adaptation Methods of Pattern Recognition ConclusionMachine PerceptionBuild a machine that can recognize patterns:Speech recognitionFingerprint identificationOCR (Optical Characte

6、r Recognition)DNA sequence identification IntroductionPattern recognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)模式识别:把一组研究对

7、象,根据其某些特征进行识别并分类。Machine PerceptionWhat is a Pattern ?模式是指人所生活的客观世界的总称。模式(Pattern):指一组包含了对事物所具有的特征和信息的描述。a fingerprint imagea handwritten cursive worda human facea speech signalA irisMachine Perception识别(Recognition)识别(Recognition)再认知(Re-Cognition) 主要研究相似和分类问题 有监督分类 无监督分类模式识别是模拟人的某些功能:模拟人的视觉:计算机+光学系

8、统模拟人的听觉:计算机+声音传感器模拟人的嗅觉和触觉:计算机+传感器Machine PerceptionAn example设想有一个鱼类加工厂,希望能将传送带上鱼的品种分类过程自动进行。SpeciesSea bass(鲈鱼)Salmon(鲑鱼)Problem AnalysisSet up a camera and take some sample images to extract featuresLength长度Lightness光泽Width宽度Number and shape of fins鳍的数目和形状Position of the mouth, etc嘴的位置等This is th

9、e set of all suggested features to explore for use in our classifier!An examplePreprocessing用分割技术将不同的鱼分离开来,或者将鱼同背景分开 将每条鱼的数据送入特征提取器,其作用是通过测量特定的“特征”或“属性”来简化原始数据 The features are passed to a classifierClassificationSelect the length of the fish as a possible feature for discrimination An exampleSampli

10、ngAn exampleAn exampleThe length is a poor feature alone!Select the lightness as a possible feature.An exampleThreshold decision boundary and cost relationship Move our decision boundary toward smaller values of lightness in order to minimize the cost (reduce the number of sea bass that are classifi

11、ed salmon!)Task of decision theoryAn exampleAdopt the lightness and add the width of the fishLightnessWidthFishx = x1, x2TAn exampleAn example怎样才能事先知道其中哪个特征对分类性能最重要呢?因为其中某些特征很可能是冗余的。比如,如果鱼眼睛的颜色、与宽度完全相关,那么分类器的性能将不因增加了鱼眼颜色这一特征而有任何改善。An example即使不考虑获得更多特征时所需的额外的计算量。是否真的有必要采用非常多的特性呢?这样作是否会给将来在非常高维的空间中进行

12、分类操作埋下了“祸根”?假设在上述任务中,其他的特征要么太难以测量,要么对分类器毫无用处(甚至起反作用)。这样,将只有两个特征好用。An example如果分类的判决模型非常复杂,分界面也十分复杂(而不再像图1-4那样是一简单分界直线),所有的训练样本可以被完美的正确分类(如图1-5所示),虽然如此,这样一个结果也依然不令人满意。 An exampleAn example过分复杂的模型将导致复杂的判决曲线。设计分类器的中心目标是能够对新样本(比如以前从未见过的某条鱼)做出正确的反应,这就是“推广能力”(generalization) 。图1-5那种复杂的判决边界过分“调谐” (tune)到某些

13、特定的训练样本上了,而不是类别的共同特征,或者说是待分类的全部鲈鱼(或者鲑鱼)的总体模型。An example虽然这种判决曲线对训练样本可以得到完美的分类效果,但是对将来的新模式推广能力很差。例如,图1-5中标记“?”的新模式应该更像是鲑鱼。然而却被分类为鲈鱼。An example自然地,想采集更多的训练样本,以获得特征向量的更好估计。例如,可以使用类别样本的概率分布。可是,在某些模式识别问题中,能够比较容易获得的样本数据十分有限。即使在连续的特征空间中已经有大量的样本点,可是如果按照图1-5的思路,分类器将给出极度复杂的判决边界,而且将不太可能很好地处理全新的样本模式。An example寻

14、求某种“简化”分类器的方案。分类器所需的模型或判别边界将不需要像图1-5那样复杂。如果已经能够更好的分类新的测试样本,那么即使它对训练样本集的分类性能不够好,也应该接受它。但是,假如在设计“复杂”的分类器时其推广能力可能不是很好,那么,又将如何精确和定量的设计相对“简单”一些的分类器呢?An exampleAn example图1-6图中标示出的判决曲线是对训练样本的分类性能和分界面复杂度的一个最优折中。系统怎样才能自动得出图1-6所示的那种相对简单的分界曲线,以使得其性能比图1-4的直线分界面,或者图1-5复杂分界曲线更为优越?假设能够做到“推广能力”和“复杂度”的折中,又将怎么样去预测系统

15、对新模式的推广能力如何呢?统计模式识别要研究的中心问题。An exampleConclusionAn example错误率0.1500 0.03330.13330.0833An exampleConclusionAn exampleConclusionAn exampleConclusionAn exampleConclusionPattern Recognition SystemsPattern Recognition SystemsPattern Recognition SystemsSensingUse of a transducer (camera or microphone)PR s

16、ystem depends of the bandwidth, the resolution sensitivity distortion of the transducerSegmentation and groupingPatterns should be well separated and should not overlapFeature extractionDiscriminative featuresInvariant features with respect to translation, rotation and scale.ClassificationUse a feat

17、ure vector provided by a feature extractor to assign the object to a categoryPost ProcessingExploit context input dependent information other than from the target pattern itself to improve performancePattern Recognition SystemsThe Design CycleData collectionFeature ChoiceModel ChoiceTrainingEvaluati

18、onComputational ComplexityThe Design CycleData CollectionHow do we know when we have collected an adequately large and representative set of examples for training and testing the system?Feature ChoiceDepends on the characteristics of the problem domain. Simple to extract, invariant to irrelevant tra

19、nsformation insensitive to noise.The Design CycleModel ChoiceUse data to determine the classifier. Many different procedures for training classifiers and choosing modelsTrainingUnsatisfied with the performance of our fish classifier and want to jump to another class of modelEvaluationMeasure the err

20、or rate (or performance and switch from one set of features to another one)The Design CycleComputational ComplexityWhat is the trade-off between computational ease and performance?(How an algorithm scales as a function of the number of features, patterns or categories?)The Design CycleLearning and A

21、daptationSupervised learningA teacher provides a category label or cost for each pattern in the training setUnsupervised learningThe system forms clusters or “natural groupings” of the input patternsReinforcement LearningThe most typical way to train a classifier is to present an input, compute its

22、tentative category label, and use the known target category label to improve the classifier. In reinforcement learning or learning with a critic, no desired category signal is given; instead, the only teaching feedback is that the tentative category is right or wrong.模板匹配统计方法句法方法神经网络Methods of Pattern Recognition模板匹配首先对每个类别建立一个或多个模板输入样本和数据库中每个类别的模板进行比较,求相关或距离根据相关性或距离大小进行决策优点:直接、简单缺点:适应性差变形模板Met

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论