模式识别方法

1、华东理工大学East China University of Science And Technology模式识别理论及其应用简模式识别理论及其应用简介介 Pattern Recognition and its Application模式识别计算过程示意图模式识别计算过程示意图有监督模式识别（判别分析）有监督模式识别（判别分析）l如果样本的类别数是已知的，先用一组已如果样本的类别数是已知的，先用一组已知类别的化合物作为训练集，建立判别模知类别的化合物作为训练集，建立判别模型，再用建立的模型根据相似性原则来对型，再用建立的模型根据相似性原则来对未知样本进行识别，称为判别分析。判别未知样本进行识别

2、，称为判别分析。判别分析是在事先知道类别特征的情况下建立分析是在事先知道类别特征的情况下建立判别模型对样本进行识别归属，是一种有判别模型对样本进行识别归属，是一种有监督模式识别。监督模式识别。 无监督模式识别（聚类分析）无监督模式识别（聚类分析）l如果预先不知道样本的类别，要在如果预先不知道样本的类别，要在学习过程中根据样本的相似性对被学习过程中根据样本的相似性对被识别的样品进行识别分类和归类，识别的样品进行识别分类和归类，称为聚类分析。聚类分析是完全依称为聚类分析。聚类分析是完全依靠样本自然特性进行识别的方法，靠样本自然特性进行识别的方法，是一种无监督模式识别。是一种无监督模式识别。 常用术

3、语常用术语l特征抽提（Feature Extraction）l训练集（Training Set）l预报集（Prediction Set）l识别率（Recognition Rate）l预报能力（Predictive Ability） l留一法（Leaving One Method）注意事项注意事项 训练集的数据一定要可靠。训练集的数据一定要可靠。 训练集的样本数目要足够多，样本数训练集的样本数目要足够多，样本数m与与模式空间维数模式空间维数n 的比值至少应满足的比值至少应满足m/n3，最，最好好m/n10。 模式空间特征的选择是成败的关键，要选模式空间特征的选择是成败的关键，要选取与样本分类有关

4、的特征，如果不能包括与分取与样本分类有关的特征，如果不能包括与分类有关的主要特征，模式识别就不会有好的效类有关的主要特征，模式识别就不会有好的效果。果。模式识别的数据预处理 特征抽提特征抽提模式间相似度的度量模式间相似度的度量马氏距离（Mahalanobis Distance）l 设设Xi ,是从均值为是从均值为 ，协方差阵为，协方差阵为Z的总的总体体G中的样本，则它们的马氏距离为中的样本，则它们的马氏距离为l 而而Xi与总体与总体G的距离为它与均值的距离为它与均值 的距离的距离 )()(1jiTjiijXXZXXD)()(1iTiijXZXD马氏距离（Mahalanobis Distance

5、） l其中其中Xi为样本为样本i所有变量构成的所有变量构成的p1维维向量，向量，Z为关于为关于p个变量的协方差阵个变量的协方差阵（pp维）。维）。l当采用主成分得分向量当采用主成分得分向量Ti替代替代Xi时，时，由于主成分向量正交，由于主成分向量正交，Z成为由其方成为由其方差（特征值）构成的对角阵，此时马差（特征值）构成的对角阵，此时马氏距离为氏距离为：mkkjkikijTTD12/)( K-Nearest Neighbors Discrimination MethodlKNNKNN法的基本假设：法的基本假设：“同类样本在模式空同类样本在模式空间中相互较靠近间中相互较靠近” 。l K K最近邻

6、法考查未知样本点的最近邻法考查未知样本点的K K个近邻（个近邻（K K为单数整为单数整数），若近邻某一类样本最多，则可将未知样本数），若近邻某一类样本最多，则可将未知样本判为该类。判为该类。 l 为了进行定量判别，可先找出待分类样本的最近为了进行定量判别，可先找出待分类样本的最近邻，并事先约定最近邻区域中的训练集样本数。邻，并事先约定最近邻区域中的训练集样本数。如果只取一个最近邻样本点，即样本数为，则如果只取一个最近邻样本点，即样本数为，则称称1NN1NN法；如果取个最近邻样本点，即样本数为法；如果取个最近邻样本点，即样本数为2 2，则称，则称2NN2NN法；如果样本数为法；如果样本数为K K

7、，则称，则称K K近邻法，近邻法，简称简称KNNKNN法。法。KNNKNN算法算法l 计算未知样本点和所有训练集样本点之间的距离。计算未知样本点和所有训练集样本点之间的距离。l 从最小距离开始计样本数，一直计到有从最小距离开始计样本数，一直计到有K个样本数个样本数为止，此时所对应的距离就为最近邻的最小距离。为止，此时所对应的距离就为最近邻的最小距离。l 如果在这个最小距离中，距某一类训练集中的样如果在这个最小距离中，距某一类训练集中的样本数多，距离又小，则可将待分类样本划到该类本数多，距离又小，则可将待分类样本划到该类中。中。l 优点：对数据结构无特殊要求，简单易行，不需优点：对数据结构无特殊

8、要求，简单易行，不需要训练过程。要训练过程。l 缺点：未对训练点进行信息压缩，每判断一个点缺点：未对训练点进行信息压缩，每判断一个点都要将其对所有已知点的距离计算一遍都要将其对所有已知点的距离计算一遍, ,工作量较工作量较大。大。 简化的简化的KNNKNN法法类重心法类重心法l将训练集中每类样本点的重心求出，将训练集中每类样本点的重心求出，然后判别未知样本点与各类重心的距然后判别未知样本点与各类重心的距离。未知样本点距哪一类重心距离最离。未知样本点距哪一类重心距离最近，即未知样本属于哪一类。近，即未知样本属于哪一类。l例：有两种地层，用有两种地层，用7 7种指标的分析种指标的分析数据判别，先从

9、已经准确判断的地层数据判别，先从已经准确判断的地层中各取中各取9 9个样本，测得的数据如下表：个样本，测得的数据如下表： 将上表数据进行归一化处理后将上表数据进行归一化处理后计算两计算两类的重心得：类的重心得：C C1 1=-0.0103,0.0402,-0.0246,0.0166, =-0.0103,0.0402,-0.0246,0.0166, 0.0313,-0.0246,-0.0174 0.0313,-0.0246,-0.0174 C C2 2=0.0103,-0.0402,0.0246,-0.0166,=0.0103,-0.0402,0.0246,-0.0166, -0.0313,0.

10、0246,0.0174 -0.0313,0.0246,0.0174 地层地层I I、IIII的每一个矢量与的每一个矢量与C C1 1和和C C2 2的距的距离分别如表离分别如表a a和表和表b b所示：所示： 线性学习机法线性学习机法Linear learning machineLLMl 作为模式识别中决策分类的一种方作为模式识别中决策分类的一种方法，该法希望通过某种方法，在模法，该法希望通过某种方法，在模式空间中到找到一个式空间中到找到一个判决面（此面叫做分类器），使不同类的模式点，使不同类的模式点分别位于判别面的两侧。未知模式分别位于判别面的两侧。未知模式的分类可根据它位于判别面的哪一的分

11、类可根据它位于判别面的哪一侧来定。若判别面是一个线性超平侧来定。若判别面是一个线性超平面，面，就叫就叫线性分类器。 l例：现有甲状腺病人（记为类例：现有甲状腺病人（记为类1）和正）和正常人（记为类常人（记为类2）各）各10例，分别测试例，分别测试5项功能指标，测试结果见表项功能指标，测试结果见表a a和表和表b所所示。以每一类的前示。以每一类的前8个个 样本作为训练样本作为训练集（表集（表a），后），后2个作为测试集（表个作为测试集（表b）。用）。用LLM法对其进行判别。法对其进行判别。 基于主成分对近红外光谱进行基于主成分对近红外光谱进行discrimination analysis的方法原

12、理的方法原理l 对建模样品的近红外光谱进行主成分分对建模样品的近红外光谱进行主成分分析，将原来上千个波长点下的近红外吸析，将原来上千个波长点下的近红外吸光值压缩为光值压缩为m个主成分得分来表示；个主成分得分来表示；l 计算每一类样品在计算每一类样品在主成分坐标系（即载主成分坐标系（即载荷轴、特征向量，又叫主成分光谱）荷轴、特征向量，又叫主成分光谱）下下的类重心坐标；的类重心坐标；l 求每个样品到每一类重心的马氏距离，求每个样品到每一类重心的马氏距离，距哪一类马氏距离最小，该样品就归哪距哪一类马氏距离最小，该样品就归哪一类。一类。无监督模式识别法 l不需要训练集，对所研究的模式进不需要训练集，对

13、所研究的模式进行适当分类的问题则需要用无监督行适当分类的问题则需要用无监督模式识别方法，这类模式识别方法模式识别方法，这类模式识别方法又 叫 聚 类 分 析 法又 叫 聚 类 分 析 法 ( c l u s t e r i n g analysis method)。l常用聚类分析方法有：常用聚类分析方法有：l 分级聚类分析法Hierarchical clustering methods l 最小（大）生成树法Minimun（Max） Spanning Tree Methodl K均值聚类法K-means Clustering Methodl 模糊聚类法Fuzzy clustering meth

14、od l PCA投影分类法等等1 基于PCA的聚类分析法l 因为因为 X =USVt 即即XV=USl 亦即亦即XV= v1, v2,., vA = USl 可见矩阵可见矩阵US=T (亦称非标准化的得分矩阵亦称非标准化的得分矩阵) 的每一的每一个元素实际是每一个样本向量个元素实际是每一个样本向量xit(i=1,2,.,n)对荷载对荷载矩阵矩阵V中的每一相互正交的荷载矢量上的投影坐标中的每一相互正交的荷载矢量上的投影坐标（内积本质上就是投影），它反映了样本与样本之（内积本质上就是投影），它反映了样本与样本之间的相互关系间的相互关系; 同理可得，载荷矩阵的每一个元素实同理可得，载荷矩阵的每一个元

15、素实际是每一个变量向量际是每一个变量向量xj(j=1,2,.,d)对得分矩阵中的每对得分矩阵中的每一相互正交的得分矢量上的投影坐标，它反映了变一相互正交的得分矢量上的投影坐标，它反映了变量与变量之间的相互关系。量与变量之间的相互关系。 主成分分析的数学与几何意义示意图Projection discrimination based onprincipal component analysis2 基于相似统计量的分类方法l （1） 一次计算形成法 该法根据相似矩阵直接按相似性的大小连接成图。该法根据相似矩阵直接按相似性的大小连接成图。首先选出最相似的一对样本，连接成组，并随时首先选出最相似的一对样

16、本，连接成组，并随时把有关连接顺序、被连接的样品号和相似性水平把有关连接顺序、被连接的样品号和相似性水平记入连接顺序表中，连接完一对样本后，再选择记入连接顺序表中，连接完一对样本后，再选择相似性大的一对，如此依次进行，直到把所有点相似性大的一对，如此依次进行，直到把所有点都聚合为一群并得到一个连接顺序表，根据该表都聚合为一群并得到一个连接顺序表，根据该表作出分类谱系图。作出分类谱系图。 l i) 若选出的一对样本在已形成的组中均未若选出的一对样本在已形成的组中均未出现过，则将它们形成一个独立的新组。出现过，则将它们形成一个独立的新组。l ii) 若选出的一对样本中有一个在已经分好若选出的一对样

17、本中有一个在已经分好的组中出现过，则把另一个样品加入该组的组中出现过，则把另一个样品加入该组中。中。l iii) 若选出的两对样品都分别出现在两个若选出的两对样品都分别出现在两个组中，则把这两个组合并为一个组。组中，则把这两个组合并为一个组。l iv) 若选出的一对样品都在同一组中则不若选出的一对样品都在同一组中则不需再分组。需再分组。 某铜镍矿床样品的聚类分析谱系图某铜镍矿床样品的聚类分析谱系图l（2）最大生成树法Largest Spanning Tree Methodl 上图点与点之间的数据叫作上图点与点之间的数据叫作路径强度，表示，表示两样本点间的相似程度。如果一个路径的起两样本点间的相

18、似程度。如果一个路径的起点与终点重合，称这条路径构成一个点与终点重合，称这条路径构成一个回路，对于图中砍去某些边得到的树叫对于图中砍去某些边得到的树叫生成树。若。若某生成树所有路径的强度都大于或等于其它某生成树所有路径的强度都大于或等于其它生成树的路径强度，则称此生成树为生成树的路径强度，则称此生成树为最大生成树。l 只要找到相似关图的最大生成树，就可以根只要找到相似关图的最大生成树，就可以根据最大生成树进行模糊聚类分析，其分类准据最大生成树进行模糊聚类分析，其分类准则是：对于规定的阈值水平则是：对于规定的阈值水平 ，路径强度大，路径强度大于于 的顶点可归为一类。的顶点可归为一类。根据最大生成

19、树进行聚类分析的方法如下：根据最大生成树进行聚类分析的方法如下： （1）先连接路径强度最大的两点，然后连接路）先连接路径强度最大的两点，然后连接路径强度次大的两点；径强度次大的两点； （2）继续连接所剩下点的最大路径强度的两点，）继续连接所剩下点的最大路径强度的两点，直到所有的点都被连接；直到所有的点都被连接； （3）对连接所得到的树进行检查，找到最小路）对连接所得到的树进行检查，找到最小路径的边，将其割断就得到两类，如此继续分割，径的边，将其割断就得到两类，如此继续分割，直至类数已达到所要分的类数。直至类数已达到所要分的类数。l l l 模式识别在分析化学中的应用l谱图解析 理想的谱图解析方

20、法是彻底弄清各种理想的谱图解析方法是彻底弄清各种谱图产生的机理，从理论上完成从实谱图产生的机理，从理论上完成从实测谱图到化学成分、分子结构、化学测谱图到化学成分、分子结构、化学键等化学信息的变换。但实际上很难键等化学信息的变换。但实际上很难完全做到这点。完全做到这点。 谱图数据的急剧增加使得单凭少数有谱图数据的急剧增加使得单凭少数有经验的专家来做谱图解析已不能满足经验的专家来做谱图解析已不能满足需要。需要。 l计算机图谱解析技术：计算机图谱解析技术：（1）数据库图谱显示方法将大量已将大量已知化合物的图谱存入数据库，通过检知化合物的图谱存入数据库，通过检索的方祛来识别谱图。索的方祛来识别谱图。（2）模式识别法利用已知谱图作训利用已知谱图作训练集，对未知物的谱图作分类、鉴别练集，对未知物的谱图作分类、鉴别以至结构测