《模式识别》实验报告贝叶斯分类

1、 模式识别实验报告最小错误率贝叶斯决策分类一、实验原理对于具有多个特征参数的样本（如本实验的iris数据样本有d4个参数）,其正态分布的概率密度函数可定义为p(x)1d1(2兀)22I1exp，2(x-”)-1(x-”)t式中，X=X,x2，,叮是d维行向量，H=中，卩2，巴是d维行向量，是dXd维协方差矩阵，智是的逆矩阵，|是的行列式。.本实验我们采用最小错误率的贝叶斯决策，使用如下的函数作为判别函数g（x）p（xI）P（）,i1,2,3（3个类别）TOC o 1-5 h ziii其中P（O）为类别发生的先验概率，p（XI）为类别的类条件概率密度函数。iiii由其判决规则，如果使g（X）g（

2、X）对一切ji成立，则将X归为类。iji我们根据假设：类别，i=l,2,N的类条件概率密度函数p（XI），iii=1,2-,N服从正态分布，即有（xI）N（p，），那么上式就可以写为iii()P(c)g(X)id(2兀)2-exp|，1（x-”）一1（x-”）tj,i1,2,32对上式右端取对数，可得g（x）一.l（x-卩）一1（x-卩）t+InP（）一丄1口一dln（2兀）i2iiii2i2上式中的第二项与样本所属类别无关，将其从判别函数中消去，不会改变分类结果。则判别函数g(x)可简化为以下形式ig(x)一-!(x-卩)-1(x-卩)t+InP()一ilni2iiii2i二、实验步骤（1）

3、从Iris.txt文件中读取估计参数用的样本，每求其均值，公式如下1卩/，-NiiXGclear%原始数据导入iris=load(C:MATLAB7work模式识另Uiris.txt);N=40;%每组取N=40个样本%求第一类样本均值fori=1:Nforj=1:4w1(i,j)=iris(i,j+1);endendsumx1=sum(w1,1);fori=1:4meanx1(1,i)=sumx1(1,i)/N;end%求第二类样本均值类样本抽出前40个，分别i，1,2,3fori=1:Nforj=1:4w2(i,j)=iris(i+50,j+1);endendsumx2=sum(w2,1)

4、;fori=1:4meanx2(1,i)=sumx2(1,i)/N;end%求第三类样本均值fori=1:Nforj=1:4w3(i,j)=iris(i+100,j+1);endendsumx3=sum(w3,1);fori=1:4meanx3(1,i)=sumx3(1,i)/N;end（2）求每一类样本的协方差矩阵、协方差矩阵计算公式如下Gijk上迓（x厂号）（丁呼）j,k，1,2,3,4其中x代表类的第l个样本，第j个特征值；TOC o 1-5 h zlji卩,代表类的N个样品第j个特征的平均值jiix代表类的第l个样品，第k个特征值；lki Wi代表类的N个样品第k个特征的平均值。kii

5、%求第一类样本协方差矩阵z1(4,4)=0;var1(4,4)=0;fori=1:4forj=1:4fork=1:Nz1(i,j)=z1(i,j)+(w1(k,i)-meanx1(1,i)*(w1(k,j)-meanx1(1,j);endvar1(i,j)=z1(i,j)/(N-1);endend%求第二类样本协方差矩阵z2(4,4)=0;var2(4,4)=0;fori=1:4forj=1:4fork=1:Nz2(i,j)=z2(i,j)+(w2(k,i)-meanx2(1,i)*(w2(k,j)-meanx2(1,j);endar2(i,j)=z2(i,j)/(N-1);endend%求第

6、三类样本协方差矩阵z3(4,4)=0;var3(4,4)=0;fori=1:4forj=1:4fork=1:Nz3(i,j)=z3(i,j)+(w3(k,i)-meanx3(1,i)*(w3(k,j)-meanx3(1,j);endvar3(i,j)=z3(i,j)/(N-1);endend%求各类的协方差矩阵逆矩阵及行列式var1_inv=;var1_det=;var2_inv=;var2_det=;var3_inv=;var3_det=;var1_inv=inv(var1)var2_inv=inv(var2)var3_inv=inv(var3)var1_det=det(var1)var2_

7、det=det(var2)var3_det=det(var3) # (3)对三个类别，分别取每组剩下的10个样本，每两组进行分类。由于每一类样本都相等，且每一类选取用作训练的样本也相等，在每两组进行分类时，待分类样本的类先验概率P()，0.5。将各个样本代入判别函数ig(x)，-!(x-u)-i(x-u)t+InP()-Ini2iiii2i根据判决规则，如果使g(x)g(x)对一切j幻成立，则将x归为类。iji若取第一类后10个数据和第二类进行分类，代码如下M=i0;fori=i:Mforj=i:4test(i,j)=iris(i+50,j+i);%取测试数据endendt1=0;t2=0;t

8、3=0;fori=1:Mx=test(i,1);y=test(i,2);z=test(i,3);h=test(i,4);g1=(-0.5)*(x,y,z,h-meanx1)*var1_inv*(x,y,z,h-meanx1)-0.5*log(abs(var1_det)+log(p1);g2=(-0.5)*(x,y,z,h-meanx2)*var2_inv*(x,y,z,h-meanx2)-0.5*log(abs(var2_det)+log(p2);ifg1g2tl=tl+l%若g1g2,则属于第一类，否则属于第二类，并统计属于每一类的个数elset2=t2+lendend同理第二类和第三类、第

9、一类和第三类可进行分类。三、实验结果及分析(1)取第一类样本的后10个数据，按1、2分类，由t1=10可知，此10个数据属于l，分类正确；同理，按l、3分类，由tl=l0可知，此l0个数据属于1，分类正确。(2)取第二类样本的后10个数据，按1、2分类，由t2=10可知，此10个数据属于2，分类正确；同理，按2、3分类，由t2=10可知，此10个数据属于2，分类正确。(3)取第三类样本的后10个数据，按1、3分类，由t3=10可知，此10个数据属于2，分类正确；同理，按2、3分类，由t3=10可知，此10个数据属于3，分类正确。(4)表1为1、2、3的样本类的均值。表1三类样本均值类J征xiX

10、2X3X41类5.03753.45251.460.235类6.012.784.31751.353类6.62252.965.60751.99、3三个类样本，它们的第二个特征均值x2相由上表可知，对于1、22.62-05-丁I1曰口1:-吐口1口-一一逋；+*+畅：十口i討萨土丄*训1类十泌类留3类35100差不大，对于分类取得作用不如其他3个特征作用大，因此我们略去第二个特征,在三维坐标空间画出降为3维主特征的3类样本点的空间分布，如图1所示图i去掉第二维特征的三类样本空间位置上图中，“*”为1类，“+”为2类，“”为3类，显然1类和2类以及3类特征差异比较明显，而2类与3类差异较小，对于位于2

11、、3类类间分解面附近的样本，使用最小错误率贝叶斯决策时，可能会出现错分情况。在实验中，我们对2类50个样本分类，结果为t2=48,t3=2,错分2个到3类；对3类50个样本分类，结果为t2=0,t3=50，分类正确。附：iris数据15.13.51.40.2345.54.21.40.2675.63.04.51.524.93.01.40.2354.93.11.50.2685.82.74.11.034.73.21.30.2365.03.21.20.2696.22.24.51.544.63.11.50.2375.53.51.30.2705.62.53.91.155.03.61.40.2384.93.

12、61.40.1715.93.24.81.865.43.91.70.4394.43.01.30.2726.12.84.01.374.63.41.40.3405.13.41.50.2736.32.54.91.585.03.41.50.2415.03.51.30.3746.12.84.71.294.42.91.40.2424.52.31.30.3756.42.94.31.3104.93.11.50.1434.43.21.30.2766.63.04.41.4115.43.71.50.2445.03.51.60.6776.82.84.81.4124.83.41.60.2455.13.81.90.4786

13、.73.05.01.7134.83.01.40.1464.83.01.40.3796.02.94.51.5144.33.01.10.1475.13.81.60.2805.72.63.51.0155.84.01.20.2484.63.21.40.2815.52.43.81.1165.74.41.50.4495.33.71.50.2825.52.43.71.0175.43.91.30.4505.03.31.40.2835.82.73.91.2185.13.51.40.3517.03.24.71.4846.02.75.11.6195.73.81.70.3526.43.24.51.5855.43.04

14、.51.5205.13.81.50.3536.93.14.91.5866.03.44.51.6215.43.41.70.2545.52.34.01.3876.73.14.71.5225.13.71.50.4556.52.84.61.5886.32.34.41.3234.63.61.00.2565.72.84.51.3895.634.11.3245.13.31.70.5576.33.34.71.6905.52.54.01.3254.83.41.90.2584.92.43.31.0915.52.64.41.2265.03.01.60.2596.62.94.61.3926.13.04.61.4275

15、.03.41.60.4605.22.73.91.4935.82.64.01.2285.23.51.50.2615.02.03.51.0945.02.33.31.0295.23.41.40.2625.93.04.21.5955.62.74.21.3304.73.21.60.2636.02.24.01.0965.73.04.21.2314.83.11.60.2646.12.94.71.4975.72.94.21.3325.43.41.50.4655.62.93.61.3986.22.94.31.3335.24.11.50.1666.73.14.41.4995.12.53.01.1 1005.72.

16、84.11.31446.83.25.92.31016.33.36.02.51456.73.35.72.51025.82.75.11.91466.735.22.31037.13.05.92.11476.32.551.91046.32.95.61.81486.535.221056.53.05.82.21496.23.45.42.31067.63.06.62.11505.935.11.81074.92.54.51.71087.32.96.31.81096.72.55.81.81107.23.66.12.51116.53.25.12.01126.42.75.31.91136.83.05.52.11145.72.55.02.01155.82.85.12.41166.43.25.32.31176.53.05.51.81187.73.86.72.21197.72.66.92.31206.02.25.01.51216.93.25.72.31225.62.84.92.01237.72.86.72.01246.32.74.91.81256.73.35.72.11267.23.