空间数据挖掘课件

1、空间数据挖掘课件空间数据挖掘课件思考题基于Fisher准则的分类原理（Fisher准则）基于Bayes准则的分类原理（Bayes准则）思考题基于Fisher准则的分类原理（Fisher准则）本讲的主要内容分类方法（基于fisher准则的分类，贝叶斯分类、神经网络和支撑向量机）本讲的主要内容 分类是根据已知类别母体的多种特征建立起一个或多个分类函数用其来判断未知样本的归属。 它与聚类方法的不同之处在于是否知道数据的先验知识。 基于费歇尔准则的分类方法 基于贝叶斯准则的分类方法1 分类算法 分类是根据已知类别母体的多种特征建立起一个或多个分类函数基于费歇尔准则的分类方法 费歇尔准则：设有两类母体A

2、和B，分别抽取a和b个样本。求一个分割面，使得样本在分割面上的两类投影点，类间离差最大而类内离差最小。基于费歇尔准则的分类方法 费歇尔准则：设有两类母体A和B试验数据X1X2Y试验数据X1X2Y 基于费歇尔准则的分类方法判别函数中的简单形式为线性函数： 基于费歇尔准则分类方法的结果就是求出线性函数中的系数。 基于费歇尔准则的分类方法判别函数中的简单形式为线基于费歇尔准则分类方法具体算法 设Xk,i(A)设为A类母体中第k个样本的第i个变量观测值，Xh,i(B)为B类母体中第h个样本的第i个变量观测值。它们在分类平面上的投影为yk,i(A) 和yh,i(B)。 其中(k=1,2,a; h=1,2

3、,b; i=1,2,p) 它们的重心分别记为： 基于费歇尔准则分类 设Xk,i(A)设为A类母体中第k个基于费歇尔准则分类方法具体算法 则A，B两类母体之间的离差为： 则A，B两类母体类内的离差为： 要满足类内离差最小和类间离差最大，则必须使基于费歇尔准则分类 则A，B两类母体之间的离差为： 最小二成法求系数Cj最小二成法求系数Cj最小二成法求系数Cj最小二成法求系数Cj空间数据挖掘课件将未知样品带入判别方程得到yi，若yi y0 则样品属于A，否在属于B。未知样品的判别将未知样品带入判别方程得到yi，若yi y0 则样品属于Fisher准则分类的算法过程数据 计算Sij和 求解判别方程系数C

4、k 检验方程系数的有效性 将未知数据带入判别方程进行分类Fisher准则分类的算法过程数据 计算Sij和 求解判别x1x2x312.251.982.581.0600.9522.161.802.901.061.231.0032.331.743.551.101.151.0041.961.482.351.041.150.7951.941.403.541.001.850.7963.001.302.701.002.231.308910111213x1x2x372.701.700.482.781.201.4814Fisher准则分类的实例A类B类x1x2x312.251.982.581.0600.9522

5、求解判别方程的系数求解判别方程的系数基于Fisher准则的多类判别如果有N类样本就需要建立N(N1)/2个判别函数基于Fisher准则的多类判别如果有N类样本就需要建立贝叶斯分类（决策）Bayes贝叶斯公式贝叶斯分类贝叶斯决策贝叶斯分类（决策）Bayes贝叶斯公式条件概率 盒中装有16个球，其中6个是玻璃球，另外10个是木质球。玻璃球中有2个红色球和4个蓝色球；木质球中有3个红色球和7个蓝色球。A”取到蓝色球”B”取到玻璃球”P(A)11/16P(B)6/16P(B|A)4/11 如果已知取到球为蓝色球，那么它为玻璃球的概率是多少？P(A|B)4/6 如果已知取到球为玻璃球，那么它为蓝色球的概

6、率是多少？条件概率 盒中装有16个球，其中6个是玻璃球，另外10个全概公式 五个乒乓球，3个新，2个旧，每次取一个无放回地取两次。问第二次取到新球的概率。A”第一次取到新球”B”第二次取到新球”P(A)3/5P(B|A)1/2P(B)=P(BA)+P(BA)=P(A)P(B|A)+P(A)P(B|A)=3/52/4+2/53/4=3/5全概公式 五个乒乓球，3个新，2个旧，每次取一个无放回地全概公式和联合概率P(AB)P(A|B)P(B) P(B|A)P(A)P(B)=P(BA)+P(BA)全概公式和联合概率P(AB)P(A|B)P(B) P(B贝叶斯公式及实例 发报台分别以概率0.6和0.4

7、发出“.”和“”信号。当发报台发出“.”时，由于干扰，收报台则以0.8和0.2分别收到“.”和“”。当发报台发出“”时，收报台则以0.9和0.1分别收到“”和“.”。求收报台收到信号“.”时，发报台发出“.”的概率。A发出“.”B收到“.”求P(A|B)P(AB)P(A|B)P(B) P(A|B)P(AB)/P(B)贝叶斯公式及实例 发报台分别以概率0.6和0.4发出“.P(AB)P(A)P(B|A)=0.60.8=0.48P(B)=P(BA)+P(BA)=P(A)P(B|A)+P(A)P(B|A) P(A|B)P(AB)/P(B)=0.48/0.52=0.923计算结果=(0.60.8+0.

8、40.1)=0.52P(AB)P(A)P(B|A)=0.60.8=0.48P贝叶斯公式贝叶斯公式贝叶斯分类以医学中癌细胞的识别为例：如果在一般情况下：即在先验的概率下，细胞处于正常状态的概率较大贝叶斯分类以医学中癌细胞的识别为例：条件概率密度反光率概率密度条件概率密度反光率概率密度条件概率反光率概率条件概率反光率概率后验概率贝叶斯分类的标准：若则把x归为异常态，否则视为常态。后验概率贝叶斯分类的标准：若则把x归为异常态，否则视为常态。应用实例先有一待识别的细胞其反光率为x，从条件概率密度曲线上查得：已知细胞的正常和异常的先验概率分别为：试对该细胞分类。应用实例先有一待识别的细胞其反光率为x，从条件概率密度曲线上分类结果分类结果贝叶斯决策表示当真实状态为 而采取决策时所带来的损失。这样在作出决策之前就必须考虑错判所造成的损失，因此在决策 条件下，其损失为：贝叶斯决策表示当真实状态为 而采取决策时所带来的损失。贝叶斯决策实例0610为将细胞定为正常细胞。为