模式识别上机试验报告讲解

1、模式识别课程上机实验报告 实验一、二维随机数的产生 1、实验目的 1) 学习采用 Matlab 程序产生正态分布的二维随机数 2) 掌握估计类均值向量和协方差矩阵的方法 3) 掌握类间离散度矩阵、类内离散度矩阵的计算方法 4) 熟悉 matlab 中运用 mvnrnd 函数产生二维随机数等 matlab 语言 2、实验原理 多元正态分布概率密度函数： p(X) 1 (2 )d /2 | |1/ 2 12( X)T 1( X ) 其中： 是 d维均值向量：EX 1, 2 ,., dT 是 dd 维协方差矩阵：E(X)( X)T 1) 估计类均值向量和协方差矩阵的估计 1 各类均值向量 miX N

2、i X i 1T 各类协方差矩阵 i (Xi)(Xi)T Ni X i 2) 类间离散度矩阵、类内离散度矩阵的计算 类内离散度矩阵： Si(X mi)(X mi)T ， i=1,2 Xi 总的类内离散度矩阵： SW S1 S2 类间离散度矩阵： Sb (m1 m2)(m1 m2)T 50 个。 3、实验内容及要求 产生两类均值向量、协方差矩阵如下的样本数据，每类样本各 1 2, 2 ， 1 2 2,2 ， 2 1) 画出样本的分布图； 2) 编写程序，估计类均值向量和协方差矩阵； 3) 编写程序，计算类间离散度矩阵、类内离散度矩阵； 4) 每类样本数增加到 500 个，重复( 1)-( 3)

3、模式识别课程上机实验报告 4、实验结果 (1) 、样本的分布图 模式识别课程上机实验报告 (2) 、类均值向量、类协方差矩阵 根据 matlab 程序得出的类均值向量为： m2=2.1485 1.7678 m2=2.0428 2.1270 N=50 : m1=-1.7160 -2.0374 N=500: m1=-2.0379 -2.0352 根据 matlab 程序得出的类协方差矩阵为： 1.6428 0.1354 N=50: 1 0.1354 1.0628 N=500 ： 0.9187 0.0162 1 00.9.0118672 10.0.0314642 0.8800 0.0624 2 0.

4、0624 4.5687 0.9939 0.0211 2 2 0.0211 3.9038 (3) 、类间离散度矩阵、类内离散度矩阵 根据 matlab 程序得出的类间离散度矩阵为： 14.9343 14.7068 N=50： Sb b 14.7068 14.482 N=500 ： 16.6519 16.9843 Sb 16.9843 17.3233 根据 matlab 程序得出的类内离散度矩阵为： 78.1052 7.3088 42.8975 1.3966 N=50 ： S1 7.3088 53.0703 S2 1.3966 225.7397 121.0026 5.9123 5.9123 278

5、.8100 458.6203 8.7490 496.0178 7.8420 N=500: S1 S2 8.7490 516.5964 7.8420 1943.8 954.6381 0.9071 0.9071 2460.4 5、结论 由 mvnrnd 函数产生的结果是一个 N*D 的一个矩阵，在本实验中 D 是 2，N是 50和 500. 根据实验数据可以看出，当样本容量变多的时候，两个变量的总体误差变小，观测变量各个取值之间的差 异程度减小。 6、实验程序 clc;close all ;clear all ; %parameter N = 50; N_1 = 500; mu_1 = -2,-2

6、; Sigma_1 = 1,0;0,1; r_1 = mvnrnd(mu_1,Sigma_1,N); r_11 = mvnrnd(mu_1,Sigma_1,N_1); 模式识别课程上机实验报告 mu_2 = 2,2; Sigma_2 = 1,0;0,4; r_2 = mvnrnd(mu_2,Sigma_2,N); r_22 = mvnrnd(mu_2,Sigma_2,N_1); %figures figure(1); plot(r_1(:,1),r_1(:,2), . ); %将矩阵 r_1 的第一列当成横坐标，第二列当作纵坐标。 title( 样本数为 50 时的第一类样本分布图 ); fi

7、gure(2); plot(r_2(:,1),r_2(:,2), . ); title( 样本数为 50 时的第二类样本分布图 ); figure(3); plot(r_11(:,1),r_11(:,2), . ); title( 样本数为 500 时的第一类样本分布图 ); figure(4); plot(r_22(:,1),r_22(:,2), . ); title( 样本数为 500 时的第二类样本分布图 ); %类均值向量和类协方差矩阵 m_1 = mean(r_1);%样本数为 50 时第一类 类均值向量 m_2 = mean(r_2);%样本数为 50 时第二类 类均值向量 m_1

8、1 = mean(r_11);%样本数为 500 时第一类 类均值向量 m_22 = mean(r_22);%样本数为 500 时第二类 类均值向量 sum1 = 0,0;0,0; for n = 1:N sum1 =sum1 + (r_1(n,:)-mu_1)*(r_1(n,:)-mu_1); end E_1 = sum1/N; %样本数为 50 时，第一类 类协方差矩阵 sum2 = 0,0;0,0; for n = 1:N sum2 =sum2 + (r_2(n,:)-mu_2)*(r_2(n,:)-mu_2); end E_2 = sum2/N;%样本数为 50 时，第二类 类协方差矩

9、阵 sum3 = 0,0;0,0; for n = 1:N_1 sum3 =sum3 + (r_11(n,:)-mu_1)*(r_11(n,:)-mu_1); end E_11 = sum3/N_1;%样本数为 500 时，第一类 类协方差矩阵 模式识别课程上机实验报告 sum4 = 0,0;0,0; for n = 1:N_1 sum4 =sum4 + (r_22(n,:)-mu_2)*(r_22(n,:)-mu_2); end E_22 = sum4/N_1;%样本数为 500 时，第二类 类协方差矩阵 %计算类间离散度和类内离散度 Sb_1 = (m_1 - m_2)*(m_1 - m_

10、2); Sb_2 = (m_11 - m_22)*(m_11 - m_22); %样本数为 50 时的，类间离散度矩阵 %样本数为 500 时的，类间离散度矩阵 S_1 = 0,0;0,0; S_2 = 0,0;0,0; for n = 1:N S_1 = S_1 + (r_1(n,:) - m_1)*(r_1(n,:) - m_1); S_2 = S_2 + (r_2(n,:) - m_2)*(r_2(n,:) - m_2); end SW1 = S_1 + S_2;%样本数为 50 时的，总的类内离散度矩阵 S_11 = 0,0;0,0; S_22 = 0,0;0,0; for n = 1

11、:N_1 S_11 = S_11 + (r_11(n,:) - m_11)*(r_11(n,:) - m_11); S_22 = S_22 + (r_22(n,:) - m_22)*(r_22(n,:) - m_22); end SW2 = S_11 + S_22;%样本数为 500 时的，总的类内离散度矩阵 模式识别课程上机实验报告 实验二、 Fisher 线性分类器的设计 1、实验目的 1) 掌握 Fisher 线性判别方法 2) 掌握 Bayes 决策的错误率的计算 3) 掌握分类器错误率的估算方法 4) 对模式识别有一个初步的理解 2、实验原理 Fisher 准则基本原理： 如果在二维

12、空间中一条直线能将两类样本分开，或者错分类很少，则同一类别样本数据在该直线的单 位法向量上的投影的绝大多数都应该超过某一值。而另一类数据的投影都应该小于(或绝大多数都小于 )该 值，则这条直线就有可能将两类分开。 准则：向量 W 的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽 可能小。这就是 Fisher 准则函数的基本思路。 评价投影方向 W 的函数 JF(W) WTSbW WTSWW 最佳 W 值的确定：求取使 JF 达极大值时的 w* ： W* SW1(m1 m2) 向量 W* 就是使 Fisher 准则函数 JF (W )达极大值的解， 也就是按 Fishe

13、r 准则将 d维 X空间投影到一 维 Y空间的最佳投影方向，该向量 W* 的各分量值是对原 d 维特征向量求加权和的权值。 w0 确定 m1 m2 2 当 W0 确定之后，则可按以下规则分类， WT X w0 X 1 WT X w0 X 2 使用 Fisher 准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早， 仍见有人使用。 3、实验内容及要求 50 及 500 时)，计算： 考虑 Fisher线性判别方法，利用实验 1 中程序产生的数据(分别在各类样本数均为 1) 求解最优投影方向 W ； 2) 画出表示最优投影方向的直线，并且标记出投影后的点在直线上的位置；

14、3) 计算投影后的阈值权； 4) 计算分类器的各类错误率及总的平均错误率； 模式识别课程上机实验报告 5）计算按最小错误率 Bayes 决策的错误率（各类先验概率相同） 4、实验结果 上图可以看出在 N=50 时的情况下绿色的点是第一类样本点， 蓝色的 *给出了第二类样本点， 红色的直线 是最优投影方向的直线， +标出的点是 W0 点，直线上不同颜色代表了不同类样本点所投影的点的位置。 N=50 时，类一的错误概率为 0 类二的错误概率为 8% 平均错误概率为 1% Bayes决策错误率为 0% 最佳投影方向 W * 0.0311 0.1432 5、结论 通过对实验结果的探究，可以得出当样本数

15、比较大的时候类错误概率会上升。 W 的比例因子对于 Fisher 判别函数没有影响的原因： 在本实验中，最重要的是 W 的方向，或者说是在此方向上数据的投影，所以 W 的比例因子，即它是单位 向量的多少倍长就没那么重要了，不管比例因子大小是多少，在最后求投影时都会被消掉。 6、实验程序 N = 50; %样本数为 50 时 mu_1 = -2,-2; 模式识别课程上机实验报告 Sigma_1 = 1,0;0,1; r_1 = mvnrnd(mu_1,Sigma_1,N); mu_2 = 2,2; Sigma_2 = 1,0;0,4; r_2 = mvnrnd(mu_2,Sigma_2,N);

16、m_1 = mean(r_1); m_2 = mean(r_2); S_1 = 0,0;0,0; S_2 = 0,0;0,0; for n = 1:N S_1 = S_1 + (r_1(n,:) - m_1)*(r_1(n,:) - m_1); S_2 = S_2 + (r_2(n,:) - m_2)*(r_2(n,:) - m_2); end SW1 = S_1 + S_2; W_0 = -(m_1+m_2)/2; w = (m_1-m_2)*inv(SW1);%投影向量 S k = w(:,2)/w(:,1);%最优投影方向直线的斜率。 x=-7:0.01:7; y = k*(x-W_0(

17、:,1) + W_0(:,2);%最优投影方向直线 figure(3); plot(r_1(:,1),r_1(:,2), g. ); title( 样本数为 50 时的样本分布图 ); hold on; plot(r_2(:,1),r_2(:,2), * ); plot(W_0(1),W_0(2), + ); plot(x,y, r ); %画出最优投影方向直线 A0=k -1;1 k; X0=zeros(2,N); for n=1:N b=k*W_0(:,1)-W_0(:,2) r_1(n,1)+k*r_1(n,2); X0(:,n)=inv(A0)*b; end A1=k -1;1 k;

18、X1=zeros(2,N); for n=1:N b1=k*W_0(:,1)-W_0(:,2) r_2(n,1)+k*r_2(n,2); X1(:,n)=inv(A1)*b1; end plot(X0(1,:),X0(2,:), g ); 模式识别课程上机实验报告 plot(X1(1,:),X1(2,:), b ); hold off ; en1=0;en2=0; for m=1:N if X0(1,m) W_0(:,1) en1=en1+1; end if X1(1,m) N2 erro1=erro1+1; end end end end for i=1:N1 for j=1:N2 distance2(i,j)=sqrt(X2(1,i)-Y1(1,j)2+(X2(2,i)-Y1(2,j)2); distance2(i,j+N2)=sqrt(X2(1,i)-Y2(1,j)2+(X2(2,i)-Y2(2,j)2); end zuixiao=min(distance2(i,:); for j=1:2*N2 if distance2(i,j)=zuixiao if jN2 erro2=erro2+1