哈工大模式识别总结

1、模式识别基础模式识别基础总总 结结第一章第一章 绪论绪论 (1)模式识别学科建立的背景；学科要解决的根本任务；模式识别学科建立的背景；学科要解决的根本任务；通过与人学会辨认事物的过程的对比，说明模式识别典型系通过与人学会辨认事物的过程的对比，说明模式识别典型系统的功能。统的功能。(2)模式的描述方法。说明特征向量表示与结构表示法模式的描述方法。说明特征向量表示与结构表示法的概念；通过典型事例说明这两种表示法的基本概念与两者的概念；通过典型事例说明这两种表示法的基本概念与两者之间的区别；由特征向量引入特征空间的概念。之间的区别；由特征向量引入特征空间的概念。(3)统计模式识别与结构模式识别统计模

2、式识别与结构模式识别基于特征向量表示法相应的模式识别方法基于特征向量表示法相应的模式识别方法统计模式识别。统计模式识别。基于结构描述法的模式识别方法基于结构描述法的模式识别方法结构模式识别。结构模式识别。(4)模式识别系统典型框图模式识别系统典型框图模式识别系统模式识别系统信息信息获取获取模式识别的含义模式识别的含义 - -机器自动识别及分类机器自动识别及分类预处理预处理：对信息规范化对事物进行描述：对事物进行描述：特征形成，特征提取与选择训练与学习：训练与学习：确定分类规则、分类函数及参数定量描述：定量描述：特征向量表示定性描述：定性描述：结构表示统计模式识别结构（句法）模式识别第二章第二章

3、 贝叶斯决策理论贝叶斯决策理论v (1)样本的若干概率的定义：先验概率、概率密度函数以及样本的若干概率的定义：先验概率、概率密度函数以及后验概率，这些概率值之间的关系后验概率，这些概率值之间的关系贝叶斯公式。贝叶斯公式。v(2)基于最小错误率的贝叶斯决策方法基于最小错误率的贝叶斯决策方法 基于后验概率最大的决策方法，是错误率最小的方法；基于后验概率最大的决策方法，是错误率最小的方法； 基于最小错误率的其他表示方法。基于最小错误率的其他表示方法。v(3)基于最小风险的贝叶斯决策方法基于最小风险的贝叶斯决策方法基于最小风险与最小错误率两种方法对比与联系。基于最小风险与最小错误率两种方法对比与联系。

4、v(4) 利用正态分布进一步从定性与定量对贝叶斯决策方法进利用正态分布进一步从定性与定量对贝叶斯决策方法进行分析并导出判别函数、决策域、决策面方程等概念。行分析并导出判别函数、决策域、决策面方程等概念。v(5) 从贝叶斯决策方法需要统计参数作基础，引入参数估计、从贝叶斯决策方法需要统计参数作基础，引入参数估计、非参数估计概念。非参数估计概念。先验概率、类条件概率密度、后验概率，贝叶斯公式一个样本错分的可能性与后验概率的关系将一个样本错分的可能性降到最低的方法：基于最基于最小错误率的贝叶斯决策小错误率的贝叶斯决策控制错分类造成的危害的方法：基于最小基于最小风险的贝叶斯决策风险的贝叶斯决策模式识别

5、的计算框架：设计准则函数，使分类器达到准则函数的极值（最优）判别函数、决策域、分界面、决策面方程正态分布下基于最小错误率的贝叶斯决策的分界面线性分类器，正态分布下基于最小错误率的贝叶斯决策的判别函数是线性判别函数的条件Neyman-Person准则最小最大准则第三章第三章 判别函数及分类器的设计判别函数及分类器的设计v (1)非参数分类决策方法的定义；与贝叶斯决策方法进行比非参数分类决策方法的定义；与贝叶斯决策方法进行比较，分析非参数分类方法的基本特点。较，分析非参数分类方法的基本特点。v(2)线性分类器。说明这种分类器的定义及其数学表达式，线性分类器。说明这种分类器的定义及其数学表达式，进一

6、步分析数学表达式的各种表示方法，从而导出典型的线进一步分析数学表达式的各种表示方法，从而导出典型的线性分类器设计原理：性分类器设计原理：Fisher准则函数、感知准则函数。准则函数、感知准则函数。v(3)非线性判别函数。从样本的线性不可分例子说明线性判非线性判别函数。从样本的线性不可分例子说明线性判别函数的局限性，从而引入分段线性判别函数概念及相应计别函数的局限性，从而引入分段线性判别函数概念及相应计算方法。算方法。v(4)近邻法的定义及性能分析。从近邻法的优缺点导入改进近邻法的定义及性能分析。从近邻法的优缺点导入改进的近邻法；的近邻法；线性分类器线性分类器Fisher准则准则非参数非参数判别

7、分类方法原理-有监督有监督学习方法感知准则感知准则函数函数支持向量机支持向量机SVM改进的近邻法：改进的近邻法：-剪辑近邻法-压缩近邻法扩展：分段扩展：分段线性分类器线性分类器方法实现非方法实现非线性分类器线性分类器特征映射方法实特征映射方法实现非线性分类器现非线性分类器多层感知器(神经网络)近邻法：近邻法：最近邻法，K近邻法错误修正算法可实现最小分段数的局部训练算法第四章第四章 特征选择及提取方法特征选择及提取方法v(1)特征向量的降维问题，说明降维的两种基本方法：特征向量的降维问题，说明降维的两种基本方法：特征选择、特征的提取与组合优化。特征选择、特征的提取与组合优化。 v(2)判断特征集

8、性能的评价标准。判断特征集性能的评价标准。 v(3)基于线性变换的特征组合降维方法；引入基于线性变换的特征组合降维方法；引入KL变变换的分析方法。换的分析方法。 v(4)典型的特征选择方法。典型的特征选择方法。特征选择方法的主要难点，引入基于搜索的各种特征选择方法的主要难点，引入基于搜索的各种方法。方法。两种优化方法：特征选择、特征提取特征提取特征提取特征空间优化：概念、目的及意义特征选择特征选择基于距离的特征提取J2，J5KL变换变换基于概率的特征提取JC，JB， J JD D最优方法评判标准：判据-基于距离的可分性判据-基于概率的可分性判据次优方法分 支定 界算法顺序前进法，广义顺序前进法

9、顺序后退法，广义顺序后退法从 类 平 均信 息 提 取判别信息包含在类平均信息中判别信息的最优压缩产生矩阵产生矩阵第五章第五章 非监督学习方法非监督学习方法v(1)非监督学习方法的定义、用途举例。非监督学习方法的定义、用途举例。v(2)基于非参数估计的非监督学习方法。基于非参数估计的非监督学习方法。v(3)按密度估计的直接方法：单峰子类分离方法（投影法等）按密度估计的直接方法：单峰子类分离方法（投影法等）v(4)从按样本相似度划分的原理，引入聚类的概念；说明聚从按样本相似度划分的原理，引入聚类的概念；说明聚类的两种典型方法类的两种典型方法动态聚类与分级聚类方法的特点与差别。动态聚类与分级聚类方法的特点与差别。v(5)典型的聚类方法，动态聚类方法的基本原理。典型的聚类方法，动态聚类方法的基本原理。重点分析重点分析C-均值聚类方法；说明基本原理以及实现方法。均值聚类方法；说明基本原理以及实现方法。 v(6)分级聚类方法分析，以及使用不同相似度计算方法的影分级聚类方法分析，以及使用不同相似度计算方法的影响。响。主要任务：数据分析主要任务：数据分析直接方法：按概率密度划分直接方法：按概率密度划分非监督学习方法非监督学习方法间接