模式识别方法精选课件

模式识别方法模式识别计算过程示意图有监督模式识别（判别分析）如果样本的类别数是已知的，先用一组已知类别的化合物作为训练集，建立判别模型，再用建立的模型根据相似性原则来对未知样本进行识别，称为判别分析。判别分析是在事先知道类别特征的情况下建立判别模型对样本进行识别归属，是一种有监督模式识别。无监督模式识别（聚类分析）如果预先不知道样本的类别，要在学习过程中根据样本的相似性对被识别的样品进行识别分类和归类，称为聚类分析。聚类分析是完全依靠样本自然特性进行识别的方法，是一种无监督模式识别。

常用术语特征抽提（FeatureExtraction）训练集（TrainingSet）预报集（PredictionSet）识别率（RecognitionRate）预报能力（PredictiveAbility）

留一法（LeavingOneMethod）注意事项①

训练集的数据一定要可靠。②

训练集的样本数目要足够多，样本数m与模式空间维数n的比值至少应满足m/n≥3，最好m/n≥10。③

模式空间特征的选择是成败的关键，要选取与样本分类有关的特征，如果不能包括与分类有关的主要特征，模式识别就不会有好的效果。模式识别的数据预处理

将训练集中每类样本点的重心求出，然后判别未知样本点与各类重心的距离。但实际上很难完全做到这点。结构确定等方面有重要的实际意义。义的规律，用来对未知化合物的谱图分类。若某生成树所有路径的强度都大于或等于其它生成树的路径强度，则称此生成树为最大生成树。iii)

若选出的两对样品都分别出现在两个组中，则把这两个组合并为一个组。线性学习机法

Linearlearningmachine—LLM识别率（RecognitionRate）可见矩阵US=T(亦称非标准化的得分矩阵)的每一个元素实际是每一个样本向量xit(i=1,2,.i)若选出的一对样本在已形成的组中均未出现过，则将它们形成一个独立的新组。相似性大的一对，如此依次进行，直到把所有点模式识别方法有某种“举一反三”的功能，i)若选出的一对样本在已形成的组中均未出现过，则将它们形成一个独立的新组。根据最大生成树进行聚类分析的方法如下：,vA]==US只要找到相似关图的最大生成树，就可以根据最大生成树进行模糊聚类分析，其分类准则是：对于规定的阈值水平，路径强度大于的顶点可归为一类。理想的谱图解析方法是彻底弄清各种谱图产生的机理，从理论上完成从实测谱图到化学成分、分子结构、化学键等化学信息的变换。识别率（RecognitionRate）相似性大的一对，如此依次进行，直到把所有点特征抽提模式识别的数据预处理当采用主成分得分向量Ti替代Xi时，由于主成分向量正交，Z成为由其方差（特征值）构成的对角阵，此时马氏距离为：有监督模式识别（判别分析）训练集（TrainingSet）某铜镍矿床样品的聚类分析谱系图预报能力（PredictiveAbility）可见矩阵US=T(亦称非标准化的得分矩阵)的每一个元素实际是每一个样本向量xit(i=1,2,.记入连接顺序表中，连接完一对样本后，再选择未知样本点距哪一类重心距离最近，即未知样本属于哪一类。设Xi,是从均值为，协方差阵为Z的总体G中的样本，则它们的马氏距离为K最近邻法考查未知样本点的K个近邻（K为单数整数），若近邻某一类样本最多，则可将未知样本判为该类。判别分析是在事先知道类别特征的情况下建立判别模型对样本进行识别归属，是一种有监督模式识别。如果样本的类别数是已知的，先用一组已知类别的化合物作为训练集，建立判别模型，再用建立的模型根据相似性原则来对未知样本进行识别，称为判别分析。识别率（RecognitionRate）把有关连接顺序、被连接的样品号和相似性水平马氏距离（MahalanobisDistance）求每个样品到每一类重心的马氏距离，距哪一类马氏距离最小，该样品就归哪一类。用LLM法对其进行判别。模式识别计算过程示意图用LLM法对其进行判别。优点：对数据结构无特殊要求，简单易行，不需要训练过程。计算每一类样品在主成分坐标系（即载荷轴、特征向量，又叫主成分光谱）下的类重心坐标；模式间相似度的度量马氏距离（MahalanobisDistance）

设Xi,是从均值为，协方差阵为Z的总体G中的样本，则它们的马氏距离为而Xi与总体G的距离为它与均值的距离马氏距离（MahalanobisDistance）

其中Xi为样本i所有变量构成的p×1维向量，Z为关于p个变量的协方差阵（p×p维）。当采用主成分得分向量Ti替代Xi时，由于主成分向量正交，Z成为由其方差（特征值）构成的对角阵，此时马氏距离为：K-NearestNeighborsDiscriminationMethodKNN法的基本假设：“同类样本在模式空间中相互较靠近”。K最近邻法考查未知样本点的K个近邻（K为单数整数），若近邻某一类样本最多，则可将未知样本判为该类。

为了进行定量判别，可先找出待分类样本的最近邻，并事先约定最近邻区域中的训练集样本数。如果只取一个最近邻样本点，即样本数为１，则称1NN法；如果取２个最近邻样本点，即样本数为2，则称2NN法；如果样本数为K，则称K近邻法，简称KNN法。KNN算法计算未知样本点和所有训练集样本点之间的距离。从最小距离开始计样本数，一直计到有K个样本数为止，此时所对应的距离就为最近邻的最小距离。如果在这个最小距离中，距某一类训练集中的样本数多，距离又小，则可将待分类样本划到该类中。优点：对数据结构无特殊要求，简单易行，不需要训练过程。缺点：未对训练点进行信息压缩，每判断一个点都要将其对所有已知点的距离计算一遍,工作量较大。

简化的KNN法—类重心法将训练集中每类样本点的重心求出，然后判别未知样本点与各类重心的距离。未知样本点距哪一类重心距离最近，即未知样本属于哪一类。例：有两种地层，用7种指标的分析数据判别，先从已经准确判断的地层中各取9个样本，测得的数据如下表：

将上表数据进行归一化处理后计算两类的重心得：C1=[-0.0103,0.0402,-0.0246,0.0166,0.0313,-0.0246,-0.0174]´C2=[0.0103,-0.0402,0.0246,-0.0166,-0.0313,0.0246,0.0174]´地层I、II的每一个矢量与C1和C2的距离分别如表a和表b所示：

计算每一类样品在主成分坐标系（即载荷轴、特征向量，又叫主成分光谱）下的类重心坐标；如果预先不知道样本的类别，要在学习过程中根据样本的相似性对被识别的样品进行识别分类和归类，称为聚类分析。,vA]==US某铜镍矿床样品的聚类分析谱系图预报能力（PredictiveAbility）将训练集中每类样本点的重心求出，然后判别未知样本点与各类重心的距离。因为X=USVt 即XV=US模式识别方法有某种“举一反三”的功能，1

基于PCA的聚类分析法留一法（LeavingOneMethod）可见矩阵US=T(亦称非标准化的得分矩阵)的每一个元素实际是每一个样本向量xit(i=1,2,.作为模式识别中决策分类的一种方法，该法希望通过某种方法，在模式空间中到找到一个判决面（此面叫做分类器），使不同类的模式点分别位于判别面的两侧。模式识别计算过程示意图如果在这个最小距离中，距某一类训练集中的样本数多，距离又小，则可将待分类样本划到该类中。预报能力（PredictiveAbility）,n)对荷载矩阵V中的每一相互正交的荷载矢量上的投影坐标（内积本质上就是投影），它反映了样本与样本之间的相互关系;同理可得，载荷矩阵的每一个元素实际是每一个变量向量xj(j=1,2,.模式识别在分析化学中的应用预报集（PredictionSet）结构确定等方面有重要的实际意义。识别率（RecognitionRate）未知样本点距哪一类重心距离最近，即未知样本属于哪一类。线性学习机法

Linearlearningmachine—LLM

作为模式识别中决策分类的一种方法，该法希望通过某种方法，在模式空间中到找到一个判决面（此面叫做分类器），使不同类的模式点分别位于判别面的两侧。未知模式的分类可根据它位于判别面的哪一侧来定。若判别面是一个线性超平面，就叫线性分类器。

例：现有甲状腺病人（记为类1）和正常人（记为类2）各10例，分别测试5项功能指标，测试结果见表a和表b所示。以每一类的前8个

样本作为训练集（表a），后2个作为测试集（表b）。用LLM法对其进行判别。

基于主成分对近红外光谱进行discriminationanalysis的方法原理对建模样品的近红外光谱进行主成分分析，将原来上千个波长点下的近红外吸光值压缩为m个主成分得分来表示；计算每一类样品在主成分坐标系（即载荷轴、特征向量，又叫主成分光谱）下的类重心坐标；求每个样品到每一类重心的马氏距离，距哪一类马氏距离最小，该样品就归哪一类。无监督模式识别法

不需要训练集，对所研究的模式进行适当分类的问题则需要用无监督模式识别方法，这类模式识别方法又叫聚类分析法(clusteringanalysismethod)。常用聚类分析方法有：分级聚类分析法—Hierarchicalclusteringmethods最小（大）生成树法—Minimun（Max）SpanningTreeMethodK均值聚类法—K-meansClusteringMethod模糊聚类法—FuzzyclusteringmethodPCA投影分类法等等亦即XV=[v1,v2,.识别率（RecognitionRate）识别率（RecognitionRate）如果样本的类别数是已知的，先用一组已知类别的化合物作为训练集，建立判别模型，再用建立的模型根据相似性原则来对未知样本进行识别，称为判别分析。离分别如表a和表b所示：最小（大）生成树法—Minimun（Max）SpanningTreeMethod上图点与点之间的数据叫作路径强度，表示两样本点间的相似程度。迄今为止，质谱、原子光谱、红外光谱、核用LLM法对其进行判别。理想的谱图解析方法是彻底弄清各种谱图产生的机理，从理论上完成从实测谱图到化学成分、分子结构、化学键等化学信息的变换。（2）继续连接所剩下点的最大路径强度的两点，直到所有的点都被连接；（2）模式识别法—利用已知谱图作训练集，对未知物的谱图作分类、鉴别以至结构测定等等(例如近红外仪软件中的定性分析软件）。模式识别在分析化学中的应用未知样本点距哪一类重心距离最近，即未知样本属于哪一类。未知样本点距哪一类重心距离最近，即未知样本属于哪一类。迄今为止，质谱、原子光谱、红外光谱、核而Xi与总体G的距离为它与均值的距离预报能力（PredictiveAbility）模糊聚类法—Fuzzyclusteringmethod离分别如表a和表b所示：1

基于PCA的聚类分析法某铜镍矿床样品的聚类分析谱系图1

基于PCA的聚类分析法因为X=USVt

即XV=US亦即XV=[v1,v2,...,vA]

==US可见矩阵US=T(亦称非标准化的得分矩阵)的每一个元素实际是每一个样本向量xit(i=1,2,...,n)对荷载矩阵V中的每一相互正交的荷载矢量上的投影坐标（内积本质上就是投影），它反映了样本与样本之间的相互关系;同理可得，载荷矩阵的每一个元素实际是每一个变量向量xj(j=1,2,...,d)对得分矩阵中的每一相互正交的得分矢量上的投影坐标，它反映了变量与变量之间的相互关系。

主成分分析的数学

与几何意义示意图Projectiondiscriminationbasedon

principalcomponentanalysis2

基于相似统计量的分类方法（1）一次计算形成法

该法根据相似矩阵直接按相似性的大小连接成图。首先选出最相似的一对样本，连接成组，并随时把有关连接顺序、被连接的样品号和相似性水平记入连接顺序表中，连接完一对样本后，再选择相似性大的一对，如此依次进行，直到把所有点都聚合为一群并得到一个连接顺序表，根据该表作出分类谱系图。

i)若选出的一对样本在已形成的组中均未出现过，则将它们形成一个独立的新组。ii)若选出的一对样本中有一个在已经分好的组中出现过，则把另一个样品加入该组中。iii)

若选出的两对样品都分别出现在两个组中，则把这两个组合并为一个组。iv)若选出的一对样品都在同一组中则不需再分组。可见矩阵US=T(亦称非标准化的得分矩阵)的每一个元素实际是每一个样本向量xit(i=1,2,.磁共振谱、γ射线谱、色谱、极谱等的谱图例：现有甲状腺病人（记为类1）和正常人（记为类2）各10例，分别测试5项功能指标，测试结果见表a和表b所示。当采用主成分得分向量Ti替代Xi时，由于主成分向量正交，Z成为由其方差（特征值）构成的对角阵，此时马氏距离为：离分别如表a和表b所示：聚类分析是完全依靠样本自然特性进行识别的方法，是一种无监督模式识别。iii)

若选出的两对样品都分别出现在两个组中，则把这两个组合并为一个组。（3）对连接所得到的树进行检查，找到最小路径的边，将其割断就得到两类，如此继续分割，直至类数已达到所要分的类数。未知样本点距哪一类重心距离最近，即未知样本属于哪一类。聚类分析是完全依靠样本自然特性进行识别的方法，是一种无监督模式识别。亦即XV=[v1,v2,.上图点与点之间的数据叫作路径强度，表示两样本点间的相似程度。缺点：未对训练点进行信息压缩，每判断一个点都要将其对所有已知点的距离计算一遍,工作量较大。相似性大的一对，如此依次进行，直到把所有点而Xi与总体G的距离为它与均值的距离离分别如表a和表b所示：模式识别在分析化学中的应用理想的谱图解析方法是彻底弄清各种谱图产生的机理，从理论上完成从实测谱图到化学成分、分子结构、化学键等化学信息的变换。不需要训练集，对所研究的模式进行适当分类的问题则需要用无监督模式识别方法，这类模式识别方法又叫聚类分析法(clusteringanalysismethod)。上图点与点之间的数据叫作路径强度，表示两样本点间的相似程度。如果一个路径的起点与终点重合，称这条路径构成一个回路，对于图中砍去某些边得到的树叫生成树。如果取２个最近邻样本点，即样本数为2，则称2NN法；

某铜镍矿床样品的聚类分析谱系图

（2）最大生成树法

LargestSpanningTreeMethod上图点与点之间的数据叫作路径强度，表示两样本点间的相似程度。如果一个路径的起点与终点重合，称这条路径构成一个回路，对于图中砍去某些边得到的树叫生成树。若某生成树所有路径的强度都大于或等于其它生成树的路径强度，则称此生成树为最大生成树。只要找到相似关图的最大生成树，就可以根据最大生成树进行模糊聚类分析，其分类准则是：对于规定的阈值水平，路径强度大于的顶点可归为一类。根据最大生成树进行聚类分析的方法如下：（1）先连接路径强度最大的两点，然后连接路径强度次大的两点；（2）继续连接所剩下点的最大路径强度的两点，直到所有的点都被连接；（3）对连接所得到的树进行检查，找到最小路径的边，将其割断就得到两类，如此继续分割，直至类数已达到所要分的类数。

模式识别在分析化学中的应用谱图解析

理想的谱图解析方法是彻底弄清各种谱图产生的机理，从理论上完成从实测谱图到化学成分、分子结构、化学键等化学信息的变换。但实际上很难完全做到这点。谱图数据的急剧增加使得单凭少数有经验的专家来做谱图解析已不能满足需要。计算机图谱解析技术：（1）数据库图谱显示方法—将大量已知化合物的图谱存入数据库，通过检索的方祛来识别谱图。（2）模式识别法—利用已知谱图作训练集，对未知物的谱图作分类、鉴别以至结构测定等等(例如近红外仪软件中的定性分析软件）。

聚类分析是完全依靠样本自然特性进行识别的方法，是一种无监督模式识别。迄今为止，质谱、原子光谱、红外光谱、核识别都已用了模式识别方法，不同程度地收如果样本的类别数是已知的，先用一组已知类别的化合物作为训练集，建立判别模型，再用建立的模型根据相似性原则来对未知样本进行识别，称为判别分析。如果一个路径的起点与终点重合，称这条路径构成一个回路，对于图中砍去某些边得到的树叫生成树。求每个样品到每一类重心的马氏距离，距哪一类马氏距离最小，该样品就归哪一类。只要找到相似关图的最大生成树，就可以根据最大生成树进行模糊聚类分析，其分类准则是：对于规定的阈值水平，路径强度大于的顶点可归为一类。留一法（LeavingOneMethod）若判别面是一个线性超平面，就叫线性分类器。结构确定等方面有重要的实际意义。iii)

若选出的两对样品都分别出现在两个组中，则把这两个组合并为一个组。模式识别在分析化学中的应用而Xi与总体G的距离为它与均值的距离模式识别的数据预处理该法根据相似矩阵直接按相似性的大小连接成图。用LLM法对其进行判别。线性学习机法

Linearlearningmachine—LLM优点：对数据结构无特殊要求，简单易行，不需要训练过程。②

训练集的样本数目要足够多，样本数m与模式空间维数n的比值至少应满足m/n≥3，最好m/n≥10。聚类分析是完全依靠样本自然特性进行识别的方法，是一种无监督模式识别。识别率（RecognitionRate）未知样本点距哪一类重心距离最近，即未知样本属于哪一类。计算每一类样品在主成分坐标系（即载荷轴、特征向量，又叫主成分光谱）下的类重心坐标；i)若选出的一对样本在已形成的组中均未出现过，则将它们形成一个独立的新组。1

基于PCA的聚类分析法优点：对数据结构无特殊要求，简单易行，不需要训练过程。模式识别方法有某种“举一反三”的功能，聚类分析是完全依靠样本自然特性进行识别的方法，是一种无监督模式识别。马氏距离（MahalanobisDistance）缺点：未对训练点进行信息压缩，每判断一个点都要将其对所有已知点的距离计算一遍,工作量较大。分级聚类分析法—Hierarchicalclusteringmethods模式识别在分析化学中的应用模式识别方法有某种“举一反三”的功能，未知样本点距哪一类重心距离最近，即未知样本属于哪一类。识别率（RecognitionRate）某铜镍矿床样品的聚类分析谱系图亦即XV=[v1,v2,.最小（大）生成树法—Minimun（Max）SpanningTreeMethod结构确定等方面有重要的实际意义。（1）数据库图谱显示方法—将大量已知化合物的图谱存入数据库，通过检索的方祛来识别谱图。作为模式识别中决策分类的一种方法，该法希望通过某种方法，在模式空间中到找到一个判决面（此面叫做分类器），使不同类的模式点分别位于判别面的两侧。某铜镍矿床样品的聚类分析谱系图该法根据相似矩阵直接按相似性的大小连接成图。只要找到相似关图的最大生成树，就可以根据最大生成树进行模糊聚类分析，其分类准则是：对于规定的阈值水平，路径强度大于的顶点可归为一类。能从大量已知化合物图谱抽提具有较普遍意上图点与点之间的数据叫作路径强度，表示两样本点间的相似程度。识别率（RecognitionRate）作为模式识别中决策分类的一种方法，该法希望通过某种方法，在模式空间中到找到一个判决面（此面叫做分类器），使不同类的模式点分别位于判别面的两侧。简化的KNN法—类重心法马氏距离（MahalanobisDistance）迄今为止，质谱、原子光谱、红外光谱、核迄今为止，质谱、原子光谱、红外光谱、核如果取２个最近邻样本点，即样本数为2，则称2NN法；（3）对连接所得到的树进行检查，找到最小路径的边，将其割断就得到两类，如此继续分割，直至类数已达到所要分的类数。以每一类的前8个样本作为训练集（表a），后2个作为测试集（表b）。马氏距离（MahalanobisDistance）iii)

若选出的两对样品都分别出现在两个组中，则把这两个组合并为一个组。结构确定等方面有重要的实际意义。预报能力（PredictiveAbility）可见矩阵US=T(亦称非标准化的得分矩阵)的每一个元素实际是每一个样本向量xit(i=1,2,.预报集（PredictionSet）从最小距离开始计样本数，一直计到有K个样本数为止，此时所对应的距离就为最近邻的最小距离。K最近邻法考查未知样本点的K个近邻（K为单数整数），若近邻某一类样本最多，则可将未知样本判为该类。K-NearestNeighborsDiscri