模式识别作业

1、根据最小错误率贝叶斯判别函数和决策面的有关公式，在多元正态概率型(p(x|i)N(i，i)，i=1 ，c)，根据判别函数gi(x)=lnp(x|i)+lnp(i)，可得到多元正态型判别函数为：gi(x)=-12(x-i)Ti-1(x-i)-d2ln2-12ln|i|+lnP(i) 而相应的决策面方程为:决策面方程通用表达式:gi(X)gj(X)0策面方程为gi(x)=gj(x)由题目说明可知，由于先验概率相等，故公式中最后一项不加考虑，第二项与类别i无关，亦不考虑。并且当类协方差矩阵相同或不同时对应决策面方程如下：各类协方差矩阵都相等时决策面方程为wT(x-x0)=0，其中w=-1(i-j)，

2、且当各类先验概率相同时x0=1/2 (i+j)。各类协方差不相同时决策面方程为xT(Wi-Wj)x+(wi-wj)Tx+i0-j0=0。式中Wi=-1/2i-1(d×d矩阵)，wi=i-1i(d维列向量)，i0=-1/2Tii-1i-1/2ln|i|+lnP(i)。而此时的判别函数为gi(x)=xTWix+iTx+i0式中i为类协方差矩阵，在题中对应aa1 (i=1)。i-1为类协方差逆矩阵，在题中对应aa11(i=1)。xT表示矩阵x的转置矩阵，i表示i类矩阵的均值矩阵(列向量形式)，题中对应ui(i=1)。一,1.当两类协方差不相等时：D1=1,1;1,0;2,-1; %向量每一

3、行为一个样本，共三个样本。disp(D1) %第一列第二列分别为特征值x1、x2 1 1 1 0 2 -1D2=-1,1;-1,0;-2,-1;disp(D2) -1 1 -1 0 -2 -1aa1=cov(D1) %cov()求矩阵的协方差矩阵 aa1 = 0.3333 -0.5000 -0.5000 1.0000aa11=inv(aa1) %inv()求矩阵的逆矩阵 aa11 = 12.0000 6.0000 6.0000 4.0000a2=cov(D2) a2 = 0.3333 0.5000 0.5000 1.0000a22=inv(a2) a22 = 12.0000 -6.0000 -

4、6.0000 4.0000u1=mean(D1',2) %求矩阵D1每一列的均值，且以列向量结果形式给出 u1 = 1.3333 0u2=mean(D2',2) u2 = -1.3333 0W1=-0.5* aa11 W1 = -6.0000 -3.0000 -3.0000 -2.0000W2=-0.5*a22 W2 = -6.0000 3.0000 3.0000 -2.0000w1= aa11*u1 w1 = 16.0000 8.0000w2=a22*u2 w2 = -16.0000 8.0000w10=-0.5*u1'* aa11*u1-0.5*log(det(aa

5、1) w10 = -9.4242w20=-0.5*u2'*a22*u2-0.5*log(det(a2) w20 = -9.4242syms x1 x2; %定义变量x1、x2x=x1;x2; %定义列向量xfprintf('决策面方程为:')D=x'*(W1-W2)*x+(w1-w2)'*x+(w10-w20);pretty(D) %给出函数D的直观表达形式 -6 conj(x2) x1 - 6 conj(x1) x2 + 32 x1value=subs(D,x1,x2,2 0) %把待定样本点2 0带入函数Dvalue =64figure %绘制函数D

6、的图形ezplot(D)hold onplot(D1(:,1),D1(:,2),'bo') %绘制样本点所在位置plot(D2(:,1),D2(:,2),'ks') plot(2,0,'rp')绘图结果如下：可见，将待定样本x=（2，0）T带入决策面方程结果为64>0，所以该样本点被判定为应属于第一类。而且从图中也可以直观地看出，红色的五角星即为待定样本点，落在第一类决策域中。2.当两类协方差相同时a12= aa1+a2 %即他们两个协方差矩阵的和来当作他们两个共同的协方差矩阵a12 = 0.6667 0 0 2.0000a1212=inv

7、(a12) %a1212就表示这个相同协方差矩阵的逆矩阵 a1212 = 1.5000 0 0 0.5000w=a1212*(u1-u2) w = 4 0x0=0.5*(u1+u2) %两类先验概率相等，此时x0=12(u1+u2)x0 = 0 0syms x1 x2;x=x1;x2;D=w'*(x-x0)D = 4*x1pretty(D) 4 x1value=subs(D,x1,x2,2 0) value = 8figureezplot(D)hold onplot(D1(:,1),D1(:,2),'bo')plot(D2(:,1),D2(:,2),'ks

8、9;)plot(2,0,'rp')绘图结果如下：当两类协方差相同时，待定样本点带入新的决策面方程结果为8>0，故也认为该样本点属于第一类。从图上也可以明显的看出(此时的两类分界线为一条直线)。二1.三类协方差不相等时：>> D1=0,0;2,1;1,0; %给出三类样本矩阵disp(D1) 0 0 2 1 1 0>> D2=-1,1;-2,0;-2,-1;>> D3=0,-2;0,-1;1,-2;>> a1=cov(D1) %求协方差矩阵 a1 = 1.0000 0.5000 0.5000 0.3333 >> a

9、2=cov(D2) a2 = 0.3333 0.5000 0.5000 1.0000 >> a3=cov(D3) a3 = 0.3333 -0.1667 -0.1667 0.3333 >> a11=inv(a1) %求协方差矩阵的逆矩阵 a11 = 4.0000 -6.0000 -6.0000 12.0000 >> a22=inv(a2) a22 = 12.0000 -6.0000 -6.0000 4.0000 >> a33=inv(a3) a33 = 4.0000 2.0000 2.0000 4.0000 >> u1=mean(D1

10、',2) %求均值矩阵 u1 = 1.0000 0.3333 >> u2=mean(D2',2) u2 = -1.6667 0 >> u3=mean(D3',2) u3 = 0.3333 -1.6667 >> W1=-0.5*a11 W1 = -2.0000 3.0000 3.0000 -6.0000 >> W2=-0.5*a22 W2 = -6.0000 3.0000 3.0000 -2.0000 >> W3=-0.5*a33 W3 = -2.0000 -1.0000 -1.0000 -2.0000 >

11、> w1=a11*u1 w1 = 2.0000 -2.0000 >> w2=a22*u2 w2 = -20.0000 10.0000 >> w3=a33*u3 w3 = -2.0000 -6.0000 >> w10=-0.5*u1'*a11*u1-0.5*log(det(a1) w10 = 0.5758 >> w20=-0.5*u2'*a22*u2-0.5*log(det(a2) w20 = -15.4242 >> w30=-0.5*u3'*a33*u3-0.5*log(det(a3) w30 = -3.

12、4242 >> syms x1 x2 real;>> x=x1;x2;>> D12=x'*(W1-W2)*x+(w1-w2)'*x+(w10-w20); %分界线函数>> D13=x'*(W1-W3)*x+(w1-w3)'*x+(w10-w30);>> D23=x'*(W2-W3)*x+(w2-w3)'*x+(w20-w30);>> fprintf('一二类决策面方程为：')一二类决策面方程为：>> pretty(D12) (4 x1 - 5/22

13、51799813685248 x2) x1 + (- 5/2251799813685248 x1 - 4 x2) x2 + 22 x1 - 12 x2 + 16>> fprintf('一三类决策面方程为：')一三类决策面方程为：>> pretty(D13) (3/4503599627370496 x1 + 4 x2) x1 + (4 x1 - 4 x2) x2 + 4 x1 + 4 x2 + 4>> fprintf('二三类决策面方程为：')二三类决策面方程为：>> pretty(D23) (-4 x1 + 4 x

14、2) x1 + 4 x1 x2 - 18 x1 + 16 x2 - 12>> DD1=x'*W1*x+w1'*x+w10; %判别函数>> DD2=x'*W2*x+w2'*x+w20;>> DD3=x'*W3*x+w3'*x+w30;>> v1=subs(DD1,x1,x2,-2,2) v1 = -63.4242 >> v2=subs(DD2,x1,x2,-2 2) v2 = -11.4242 >> v3=subs(DD3,x1,x2,-2 2) v3 = -19.4242

15、>> figure>> hold on>> h=ezplot(D12);>> set(h,'color','r')>> h=ezplot(D13);>> set(h,'color','b')>> h=ezplot(D23);>> set(h,'color','g')>> plot(D1(:,1),D1(:,2),'ko')>> plot(D2(:,1),D2(:,2

16、),'ks')>> plot(D3(:,1),D3(:,2),'kp')>> plot(-2,2,'rp')绘图结果如下：因为把待定样本点分别带入三类判别函数，得到结果：g(1)= -63.4242，g(2)= -11.4242，g(3)= -19.4242。因为g(2)的值最大，所以认为该样本点应该属于第二类。从图形上看，红线是一二类分界线，蓝线是一三类分界线，绿线是二三类分界线。由已知样本点所属类知小圆圈是属于第一类，小正方形属于第二类，黑色小五角星属于第三类。根据所需判定的样本点（即图中红色小五角星）的位置看，它距离

17、第二类的小正方形较近，他们都位于二三类分界线（即图中两条绿线）之间，故也应该判定待定样本点属于第二类。2. 三类协方差相同时>> D1=0,0;2,1;1,0;>> D2=-1,1;-2,0;-2,-1;>> D3=0,-2;0,-1;1,-2;>> a123=a1+a2+a3 %三个矩阵协方差矩阵之和作为它们共同的协方差阵 a123 = 1.6667 0.8333 0.8333 1.6667 >> a123123=inv(a123) %共同的逆协方差矩阵 a123123 = 0.8000 -0.4000 -0.4000 0.8000

18、 >> W1=-0.5*a123123 W1 = -0.4000 0.2000 0.2000 -0.4000 >> W2=-0.5*a123123 W2 = -0.4000 0.2000 0.2000 -0.4000>> W3=-0.5*a123123 W3 = -0.4000 0.2000 0.2000 -0.4000 >> w1=a123123*u1 w1 = 0.6667 -0.1333 >> w2=a123123*u2 w2 = -1.3333 0.6667 >> w3=a123123*u3 w3 = 0.9333

19、 -1.4667>> w10=-0.5*u1'*a123123*u1-0.5*log(det(a123) w10 = -0.6781 >> w20=-0.5*u2'*a123123*u2-0.5*log(det(a123) w20 = -1.4781 >> w30=-0.5*u3'*a123123*u3-0.5*log(det(a123) w30 = -1.7448 >> syms x1 x2 real;>> x=x1;x2;>> D12=x'*(W1-W2)*x+(w1-w2)'*

20、x+(w10-w20);>> D13=x'*(W1-W3)*x+(w1-w3)'*x+(w10-w30);>> D23=x'*(W2-W3)*x+(w2-w3)'*x+(w20-w30);>> fprintf('一二类决策面方程为：')一二类决策面方程为：>> pretty(D12) 2 x1 - 4/5 x2 + 4/5>> fprintf('一三类决策面方程为：')一三类决策面方程为：>> pretty(D13) 16 - 4/15 x1 + 4/3 x2

21、 + - 15>> fprintf('二三类决策面方程为：')二三类决策面方程为：>> pretty(D23) 34 32 - - x1 + - x2 + 4/15 15 15>> DD1=x'*W1*x+w1'*x+w10;>> DD2=x'*W2*x+w2'*x+w20;>> DD3=x'*W3*x+w3'*x+w30;>> v1=subs(DD1,x1,x2,-2,2) v1 = -7.0781 >> v2=subs(DD2,x1,x2,-2