《模式识别》实验报告贝叶斯分类

模式识别试验报告西安交通大学高海南模式识别试验报告西安交通大学高海南1《模式识别》试验报告---最小错误率贝叶斯决策分类一、试验原理对于具有多个特征参数的样本〔irisd4个参数其正态分布的概率密度函数可定义为1 1 p(x) exp (xμ)1(xμ)T1d 2 1(2)2 2x是dx是d

dμ,

,

1 2 1 2 d维协方差矩阵，1是的逆矩阵，是的行列式。本试验我们承受最小错误率的贝叶斯决策，使用如下的函数作为判别函数g(x)p(x|)P(), i1,2,3〔3个类别〕i i i

为类别发生的先验概率，p(x|为类别

的类条件概率密度函数。i i i ig(xg(xjix归为类。i j i我们依据假设：类别i

，i=1,2,……,N的类条件概率密度函数 p(x|)，ii=1,2,……,Np(x|~N(μi i i

，那么上式就可以写为g(x)

i

exp (x-μ)1(x-μ)T, i1,2,3 1 22i (2)d 1 1 22

2 对上式右端取对数，可得1 1 dg(x) (x-μ)1(x-μ)TlnP() ln ln(2)i 2 i i i i 2 i 2g(x可简化为以下形式i1 1g(x) (x-μi 2

)1(x-μi

) lni 2 i二、试验步骤40个，分别求其均值，公式如下i i

1 xiNiixii

i1,2,3clear fori=1:Nforj=1:4%原始数据导入iris=load(”C:\MATLAB7\work\模式识别\iris.txt”); endend

w2(i,j)=iris(i+50,j+1);N=40;%N=40

sumx2=sum(w2,1);fori=1:4%求第一类样本均值fori=1:Nforj=1:4

end

meanx2(1,i)=sumx2(1,i)/N;w1(i,j)=iris(i,j+1); %求第三类样本均值end fori=1:Nend forj=1:4sumx1=sum(w1,1); w3(i,j)=iris(i+100,j+1);fori=1:4 endmeanx1(1,i)=sumx1(1,i)/N; endend sumx3=sum(w3,1);fori=1:4%求其次类样本均值

end

meanx3(1,i)=sumx3(1,i)/N;求每一类样本的协方差矩阵、逆矩阵1以及协方差矩阵的行列式 ，i i协方差矩阵计算公式如下i

i(x

)(x ) j,k1,2,3,4Njk N1Ni

ljl1

i ij lk k其中x 代表lj

lj个特征值；ii代表N

j个特征的平均值j i ix 代表lk i

lk个特征值；wi代表k

i

k个特征的平均值。i%求第一类样本协方差矩阵z1(4,4)=0;var1(4,4)=0;fori=1:4forj=1:4fork=1:Nz1(i,j)=z1(i,j)+(w1(k,i)-meanx1(1,i))*(w1(k,j)-meanx1(1,j));endvar1(i,j)=z1(i,j)/(N-1);endend%求其次类样本协方差矩阵z2(4,4)=0;var2(4,4)=0;fori=1:4forj=1:4fork=1:Nz2(i,j)=z2(i,j)+(w2(k,i)-meanx2(1,i))*(w2(k,j)-meanx2(1,j));endar2(i,j)=z2(i,j)/(N-1);endend

%求第三类样本协方差矩阵z3(4,4)=0;var3(4,4)=0;fori=1:4forj=1:4fork=1:Nz3(i,j)=z3(i,j)+(w3(k,i)-meanx3(1,i))*(w3(k,j)-meanx3(1,j));endvar3(i,j)=z3(i,j)/(N-1);endend%求各类的协方差矩阵逆矩阵及行列式var1_inv=[];var1_det=[];var2_inv=[];var2_det=[];var3_inv=[];var3_det=[];var1_inv=inv(var1)var2_inv=inv(var2)var3_inv=inv(var3)var1_det=det(var1)var2_det=det(var2)var3_det=det(var3)对三个类别，分别取每组剩下的10个样本，每两组进展分类。由于每一类P()0.5。将各个样本代入判别函数i1 1g(x) (x-μi 2

)1(x-μi

) lni 2 igi(xgj(xjix归为i类。假设取第一类后10个数据和其次类进展分类，代码如下M=10;fori=1:Mforj=1:4test(i,j)=iris(i+50,j+1);%取测试数据endendt1=0;t2=0;t3=0;fori=1:Mx=test(i,1);y=test(i,2);z=test(i,3);h=test(i,4);g1=(-0.5)*([x,y,z,h]-meanx1)*var1_inv*([x,y,z,h]”-meanx1”)-0.5*log(abs(var1_det))+log(p1);g2=(-0.5)*([x,y,z,h]-meanx2)*var2_inv*([x,y,z,h]”-meanx2”)-0.5*log(abs(var2_det))+log(p2);ifg1>g2t1=t1+1 %假设g1>g2,则属于第一类，否则属于其次类，并统计属于每一类的个数end

elseend

t2=t2+1同理其次类和第三类、第一类和第三类可进展分类。三、试验结果及分析110个数据，按1

2t1=1010个2数据属于1

，分类正确；同理，按1

、t1=1010个数据3属于31

，分类正确。1210个数据，按t2=1010个12数据属于2

，分类正确；同理，按2

、t2=1010个数据3属于32

，分类正确。1310个数据，按、t3=1010个13数据属于2

，分类正确；同理，按2

、t3=1010个数据3属于33

，分类正确。11为1

、2

的样本类的均值。表1 三类样本均值模式识别试验报告 西安交通大学 高海南征特 x征类别 1类 5.0375类1

x23.4525

x31.46

x40.2352类类类3

6.016.6225

2.782.96

4.31755.6075

1.351.991、、2 由上表可知，对于 三个类样本，它们的其次个特征均值x21、、2 3331所示图1 去掉其次维特征的三类样本空间位置1*”为1

”为

类，明显

类和类以2312及23类特征差异比较明显，而2312及23

类与

类差异较小，对于位于

类类间32、332、323验中，我们对50t2=48，t3=22个到类；23对350t2=0，t3=50，分类正确。对35模式识别试验报告西安交通大学高海南模式识别试验报告西安交通大学高海南6附：iris15.13.51.40.2345.54.21.40.2675.63.04.51.524.93.01.40.2354.93.11.50.2685.82.74.11.034.73.21.30.2365.03.21.20.2696.22.24.51.544.63.11.50.2375.53.51.30.2705.62.53.91.155.03.61.40.2384.93.61.40.1715.93.24.81.865.43.91.70.4394.43.01.30.2726.12.84.01.374.63.41.40.3405.13.41.50.2736.32.54.91.585.03.41.50.2415.03.51.30.3746.12.84.71.294.42.91.40.2424.52.31.30.3756.42.94.31.3104.93.11.50.1434.43.21.30.2766.63.04.41.4115.43.71.50.2445.03.51.60.6776.82.84.81.4124.83.41.60.2455.13.81.90.4786.73.05.01.7134.83.01.40.1464.83.01.40.3796.02.94.51.5144.33.01.10.1475.13.81.60.2805.72.63.51.0155.84.01.20.2484.63.21.40.2815.52.43.81.1165.74.41.50.4495.33.71.50.2825.52.43.71.0175.43.91.30.4505.03.31.40.2835.82.73.91.2185.13.51.40.3517.03.24.71.4846.02.75.11.6195.73.81.70.3526.43.24.51.5855.43.04.51.5205.13.81.50.3536.93.14.91.5866.03.44.51.6215.43.41.70.2545.52.34.01.3876.73.14.71.5225.13.71.50.4556.52.84.61.5886.32.34.41.3234.63.61.00.2565.72.84.51.3895.634.11.3245.13.31.70.5576.33.34.71.6905.52.54.01.3254.83.41.90.2584.92.43.31.0915.52.64.41.2265.03.01.60.2596.62.94.61.3926.13.04.61.4275.03.41.60.4605.22.73.91.4935.82.64.01.2285.23.51.50.2615.02.03.51.0945.02.33.31.0295.23.41.40.2625.93.04.21.5955.62.74.21.3304.73.21.60.2636.02.24.01.0965.73.04.21.2314.83.11.60.2646.12.94.71.4975.72.94.21.3325.43.41.50.4655.62.93.61.3986.22.94.31.3335.24.11.50.1666.73.14.41.4995.12.53.01.11005.72.84.11.31446.83.25.92.31016.33.36.02.51456.73.35.72.51025.82.75.11.91466.735.22.31037.13.05.92.11476.32.551.91046.32.95.61.81486.535.221056.53.05.82.21496.23.45.42.31067.63.06.62.11505.935.11.81074.92.54.51.71087.32.96.31.81096.72.55.81.81107.23.66.12.51116.53.25.12.01126.42.75.31.91136.83.05.52.11145.72.55.02.01155.82.85.12.41166.43.25.32.31176.53.05.51.81187.73.86.72.21197.72.66.92.31206.02.25.01.51216.93.25.72.31225.62.84.92.01237.72.86.72.01246.32.74.91.81256.73.35.72.1