模式识别课件-1

硕士研究生学位课程模式识别PatternRecognition主讲教师：陶青川●使用教材：孙即祥等编著，现代模式识别，长沙，国防科技大学出版社，２００２模式识别的基本定义

模式(pattern)------存在于时间，空间中可观察的事物，具有时间或空间分布的信息。模式识别(PatternRecognition)------

用计算机（机器系统）实现人对各种事物或现象的分析,描述,判断,识别。

模式识别与图象识别，图象处理的关系模式识别是模拟人的某些功能模拟人的视觉:计算机+光学系统模拟人的听觉:计算机+声音传感器模拟人的嗅觉和触觉:计算机+传感器

基于统计方法的模式识别系统组成信息获取预处理特征提取和选取分类器设计分类决策（1）、信息获取二维图象如文字、指纹、地图、照片一维波形如脑电图、心电图、机械震动波形物理参量和逻辑值通过测量、采样和量化，可以用矩阵或向量表示二维图象或一维波形（2）、预处理目的：去除噪声，加强有用信息，复原信息预处理：包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等,主要指图象处理。（3）、特征提取和选取特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征测量空间：原始数据组成的空间特征空间：分类识别赖以进行的空间模式表示：维数较高的测量空间->维数较低的特征空间例如，一幅64x64的图象可以得到4096个数据，这种在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征。（4）、分类决策在特征空间中用统计方法把被识别对象归为某一类别基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类时所造成的错误识别率最小或引起的损失最小教学要求及目的

模式识别是控制科学与工程一级学科所包含的所有硕士点硕士研究生必修的学位课程，也是通信与信息系统、信号与信息处理、电路与系统等专业研究生的必修课或选修课。模式识别是现代高科技研究和应用的重要领域，它为21世纪人类进入智能化奠定了基础。本课程的目的就是系统地介绍模式识别的基本理论、基本技术和基本方法。为研究生掌握和应用这门高新技术奠定坚实的基础。要求学生熟练地掌握统计模式识别技术、句法模式识别技术、模糊模式识别技术和智能模式识别技术的基本原理与方法。

教学方法着重讲述模式识别的基本概念，基本方法和算法原理。注重理论与实践紧密结合避免引用过多的、繁琐的数学推导。当务之急模式识别与人工智能需要更多的数学知识。简单的写程序的工作，将逐渐变为软件工人的事情。信息科学面临来自数学家与物理学家的严重生存挑战补充数学也许是信息科学研究者的当务之急。

尽管数学不是万能的，但是没有数学是万万不能的！作业：上机作业题考试：闭卷考试（70％)+平时成绩（30％）主要参考文献1．边肇祺等，模式识别（第二版），北京，清华大学出版社，2000年1月.2．杨光正等，模式识别，合肥，中国科技大学出版社，2001年3．(美)RichardO.DudaPeterE.HartDovidG.Stork著李宏东姚天翔等译，模式分类（第二版）（ＰatternClassificationSecondEdition）北京，机械工业出版、中信出版社（中英两种版本）2003.

4．(希腊)Theodoridis.Ｓ(西奥多里蒂斯)等著，模式识别(第三版)（PatternRecognitionSecondEdition）英文影印版北京，机械工业出版社，２００３.中译版李晶皎等译，北京电子工业出版社，２００４５．（英）ＡndrewR.Webb著，王萍等译统计模式识别（第二版）（ＳtatisticalPatternRecognitionSecondEdition）北京，电子工业出版社，２００４.6．沈青等，模式识别导论，国防科技大学出版社，1991年5月7．J.T.Tou&R.C.Gonzalez.PatteRecognitionPrinciples,Addison-WesleyPublishingCompany,London,19748．J.Sklansky,G.N.Wassel.PattenClassificationandTrainableMachines,Springer-Verlag,NewYork,1981主要期刊

IEEETrans.OnPAMI,NNPatternRecognitionPatternRecognitionLetterMachineLearningNeuralComputation《模式识别与人工智能》1973年IEEE发起了第一次关于模式识别的国际会议“ICPR”，成立了国际模式识别协会---“IAPR”，每2年召开一次国际学术会议。1977年IEEE的计算机学会成立了模式分析与机器智能（PAMI）委员会，每2年召开一次模式识别与图象处理学术会议。国内的组织有电子学会，通信学会，自动化协会，中文信息学会….。CVPR:IEEEConfonCompVisionandPatternRecognition(0.96)ICML:IntlConfonMachineLearning(0.95)ICPR:IntlConfonPatternRecognition(0.76)

关于模式识别的学术组织和重要会议课程主要内容一、引论模式识别的基本概念；模式识别系统；模式识别理论与技术；模式识别的发展和应用；二、统计模式识别1．聚类分析：聚类分析的概念；模式相似性测度及聚类准则函数；谱系聚类算法；动态聚类算法；最小张树分类法；聚类有效性评价。2．线性判别函数线性判别函数；Fisher线性判别；感知准则函数和梯度下降法；最小均方误差准则函数及算法；广义线性判别函数；二次判别函数；非线性分类器及分类方法。3．统计决策最小错误率的Bayes决策；最小风险的Bayes决策；正态分布时的统计决策；最小最大损失决策；N-P（Neyman-Pearson）决策；Fisher准则判别4．概率密度函数的估计统计推断概述；参数估计；非参数估计；错误率测试；平均损失及最小误判概率的估计方法；经验风险设计；隐马尔可夫模型。5．近邻法最近邻法：K—近邻法；剪辑近邻法；引入拒绝决策的近邻法；近邻法中最佳距离及其实际计算。6．特征提取与选择基本概念：类别可分性判据；基于可分性判据的特征提取和选择；基于K—L变换的特征提取与选择；特征选择的新方法（模拟退火算法、Tabu搜索算法、遗传算法）三、模糊模式识别模糊集合论基础；基于识别算法的模糊模式识别；模糊关系与模糊聚类分析；统计模糊方法四、句法模式识别概述；形式语言；高维文法与随机文法；模式的描述；句法分析；文法推断

五、智能模式识别智能模式识别概述；知识表示方法；基于知识的推理；知识获取；人工神经网络概述；前馈神经网络及其主要算法；Hopfield网络及其在模式识别中的应用；支持向量机。六、模式识别应用

1．语音识别技术及应用2．图象识别技术3．汉字识别及应用Ch1引论模式识别——智能科学的基础一、智能科学——人类的梦想

1.1001夜的故事：芝麻开门2.好莱坞大导演斯皮尔博格的大片：《人工智能》——新版铁臂阿童木的故事3.1997年美国微软总裁比尔·盖茨在清华大学演讲时播放的录相——电脑识别人体语言4.2001年中国电子工业博览会（大连）：女机器人“温文雅”。

模式识别（PatternRecognition）是20世纪60年代初迅速发展起来的、与高新技术研究开发密切相关的一门新兴学科。它所研究的理论与方法在很多科学和技术领域中得到了广泛应用，取得了一系列重大成果，为人类迈进智能时代奠定了基础。其研究方兴未艾，前景诱人！二、人工智能

1.定义（人工智能）：使机器具有人类智能活动的学科推理、学习、规划、感知、识别、知识获取、知识搜索、其它博奕定理证明模式识别专家系统机器人学人工智能哲学与认知科学数学心理学计算机科学电子信息科学控制科学2.分类（1）专家系统：是使计算机具有某种专门知识或若干常识，并能综合运用这些知识，以便在某些特定领域内代替或帮助专家从事某项工作的知识系统。人机接口知识工程师和领域专家知识获取机制推理机解释机制用户知识库(动态库)(2)模式识别：

●20世纪60年代开始，美国科学家G.Tauschek提出光学模板匹配：●20世纪60年代：数学发展——统计决策理论，计算机技术发展，——模式识别；代表人物：(美)付京荪、黄煦涛●20世纪80年代：中国模式识别开始（3）机器人：三、模式识别技术

1.模式：人类能用其感官直接或间接接收到的外界信息。可用本质属性（特征）或结构信息（基元）表示。

2.模式识别：是研究人类识别机理和实现实别功能的科学。声信息模式信息光信息视觉能力图像识别与理解，景像分析与识别听觉能力语音识别与理解3.模式识别技术过程

例1指纹识别系统