大功告成模式识别

1、模式识别作业报告一、实验目的 用famale.txt和male.txt的数据作为训练样本集，建立bayes分类器，用测试样本数据对该分类器进行测试。调整特征、分类器等方面的一些因素，考察它们对分类器性能的影响，从而加深对所学内容的理解和感性认识。二、基本要求1) 应用单个特征进行实验：以身高或者体重数据作为特征，在正态分布假设下利用最大似然法或者贝叶斯估计法估计分布密度参数，建立最小错误率bayes分类器，写出得到的决策规则，将该分类器应用到测试样本，考察测试错误情况。在分类器设计时可以考察采用不同先验概率（如0.5对0.5, 0.75对0.25, 0.9对0.1等）进行实验，考察对决策规则和

2、错误率的影响。2）应用两个特征进行实验：同时采用身高和体重数据作为特征，分别假设二者在正态分布假设下估计概率密度，建立最小错误率bayes分类器，写出得到的决策规则，将该分类器应用到训练/测试样本，考察训练/测试错误情况。比较相关假设和不相关假设下结果的差异。在分类器设计时可以考察采用不同先验概率（如0.5vs0.5,0.75vs0.25,0.9vs0.1等）进行实验，决策考察对和错误率的影响。3) 自行给出一个决策表，采用最小风险的bayes决策重复上面的某个或全部实验。三、实验步骤及前期准备实验一：首先，以两个训练样本身高数据作为特征，利用最大似然法分别算出均值的最大似然估计和方差的最大似

3、然估计，分别带入到假设模型一维正态分布中得出类条件概率密度，通过结合不同的先验概率计算出后验概率并对test1和test2进行基于最小错误率的bayes决策，待测样本属于后验概率较大的一方。最后考察测试错误情况及对决策和错误率的影响。实验二：采用身高和体重数据作为特征量，在协方差相等和不相等的条件下分别计算出它们的判别函数，将原模型以及test1和test2的样本特征分别带入两个判别函数中，比较其大小，待测样本的类别属于大者，然后考察测试错误情况及对决策和错误率的影响。实验三原理：基于试验一，利用已有两个训练样本的后验概率，然后计算条件期望损失，比较二者大小，待测样本属于小者。实验中所需要用到

4、的知识：1、 正态分布的分布形式：，其中=，。2、 最大似然法计算正态分布的参数：，。3、bayes公式 ； 基于最小错误率的bayes决策规则： 若，则x属于；反之则x属于。4、先验概率：从以往的数据分析中得到的经验值；即根据大量统计确定某类事物出现的比例。5、类条件概率密度函数：同一类事物的各个属性都有一定的变化范围，在这些变化范围内的分布概率用一种函数形式表示，则称为类条件概率密度函数。6、后验概率：得到信息之后，对以往数据加以修正的概率（一般也是条件概率）；或一个具体事物属于某种类别的概率。7、基于最小风险的bayes决策：若条件风险则x属于；反之则x属于。四、试验流程图提取样本特征向

5、量参数估计得概率密度函数设计分类器建立决策函数求取协方差矩阵代入变量参数值代入决策函数，求出判决结果求出相应决策的风险比较风险大小得出最终决策结果五、实验结果（一）、最大似然估计1、 先验概率相等（输入0.5vs0.5）最小错误率的bayes决策规则：若，则x属于；反之则x属于；在此条件下，带入测试样本test1与test2后得，分类的错误率error1=5.71%，error2=9%，error总=14.71%。2、 先验概率不相等最小错误率的bayes决策规则：若（女）（男），则x属于；反之则x属于；当，带入测试样本test1与test2后得，分类的错误率error1=11.43%，err

6、or2=22.00%，error总=33.43%。当，带入测试样本test1与test2后得，分类的错误率error1=8.57%，error2=6.67%，error总=15.24%。当，带入测试样本test1与test2后得，分类的错误率error1=20%，error2=49%，error总=69%。当，带入测试样本test1与test2后得，分类的错误率error1=11.43%，error2=5.67%，error总=17.1%。当，带入测试样本test1与test2后得，分类的错误率error1=8.57%，error2=10.67%，error总=19.24%。当，带入测试样本t

7、est1与test2后得，分类的错误率error1=5.71%，error2=6.67%，error总=12.38%。表一 用最大似然估计建立的基于最小错误率的bayes决策对test1和test2测试错误率情况0.75|0.250.25|0.750.6|0.40.4|0.60.9|0.10.1|0.90.5|0.5error111.43%8.57%8.57%5.71%20%11.43%5.71%error222.00%6.67%10.67%6.67%49%5.67%9%error总33.43%15.24%19.24%12.38%69%17.1%14.71%3、 结论从上表可以看出，在先验概率

8、相等与否对决策和错误率有影响。（1） 先验概率两极越分化严重时，错误率越高，但其中也有波动，；（2） 当男女生训练样本先验概率对调时，女生先验概率大时，错误率大，原因可能是两个测试样本的女生数量相对比较多，不确定性比较大造成的。（二）、贝叶斯估计1、先验概率相等（输入0.5vs0.5）：（1）协方差矩阵不相等时：决策函数：；;x表示对应的特征向量；1）首先对模型本身进行测试：可得训练样本集合1与2的分类错误率分别为error1=12%，error2=12%。 2）带入测试样本test1与test2后得，分类的错误率则为error3=28.6%，error4=10.67%。（2） 协方差矩阵相等

9、时：判决函数 ；，1）首先对模型本身进行测试可得训练样本集合1与2的分类错误率分别为error5=8%，error6=16%，与协方差矩阵不相等时1）中相比结果差距较大，可知协方差矩阵是否相等对分类错误率有一定的影响。2）带入测试样本集合test1与test2计算，error7=2.86%，error8=9.67%。从上述可看出，当协方差矩阵相等或者不相等时，虽然判决函数不同，分类错误率也是有所不同的，但对于同一样本二者在整体决策结果上相对一致。2、 先验概率不相等时 当（1）协方差矩阵不相等时：1）首先对模型本身进行测试：可得训练样本集合1与2的分类错误率分别为error1=26%，erro

10、r2=6%。 2）带入测试样本test1与test2后得，分类的错误率则为error3=8.57%， error4=4.67%。（2）协方差矩阵相等时：1）首先对模型本身进行测试：可得训练样本集合1与2的分类错误率分别为error5=46%，error6=0。 2）带入测试样本test1与test2后得，分类的错误率则为error7=17.14%， error8=6%。 当（1）协方差矩阵不相等时：1）首先对模型本身进行测试：可得训练样本集合1与2的分类错误率分别为error1=2%，error2=28%。 2）带入测试样本test1与test2后得，分类的错误率则为error3=14.29%

11、， error4=20.33%。（2）协方差矩阵相等时：1）首先对模型本身进行测试：可得训练样本集合1与2的分类错误率分别为error5=2%，error6=46%。 2）带入测试样本test1与test2后得，分类的错误率则为error7=17.14%， error8=31.33%。当（1）协方差矩阵不相等时：1）首先对模型本身进行测试：可得训练样本集合1与2的分类错误率分别为error1=2%，error2=40%。 2）带入测试样本test1与test2后得，分类的错误率则为error3=20%， error4=33.33%。（2）协方差矩阵相等时：1）首先对模型本身进行测试：可得训练样

12、本集合1与2的分类错误率分别为error5=2%，error6=84%。 2）带入测试样本test1与test2后得，分类的错误率则为error7=40%， error8=64%。当（1）协方差矩阵不相等时：1）首先对模型本身进行测试：可得训练样本集合1与2的分类错误率分别为error1=48%，error2=0。 2）带入测试样本test1与test2后得，分类的错误率则为error3=11.43%， error4=5.67%。（2）协方差矩阵相等时：1）首先对模型本身进行测试：可得训练样本集合1与2的分类错误率分别为error5=86%，error6=0。 2）带入测试样本test1与te

13、st2后得，分类的错误率则为error7=28.57%， error8=14.33%。表二 采用最小错误率的bayes决策对模型本身以及test1和test2测试错误率情况0.5|0.50.25|0.750.75|0.250.9|0.10.1|0.9error1总24%32%30%42%59.43%error2总39.27%13.24%34.62%53.33%91.67%error3总24%46%48%86%86%error4总12.5%23.14%48.47%100.4%42.9%注：1）为女生先验概率，为男生先验概率。 2）error1总为协方差不等时对模型男女测试的总错误率，error2

14、总为协方差不等时对test1和test2测试的总错误率，error3总为协方差相等时对模型男女测试的总错误率，error4总为协方差相等时对test1和test2测试的总错误率。3、结论综合上述结果，可看出，当协方差矩阵相等或者不相等，先验概率是否相等对错误率都有影响。（1)先验概率两极分化越严重，错误率越高。 (2）当男女生训练样本先验概率对调时，女生先验概率大时，错误率大，原因可能是两个测试样本的女生数量相对比较多，不确定性比较大造成的。 (3)（三）、最小风险的估计：决策表设计： 损失 状态 (男生) （女生） 决策 0 b c 0 则对于决策(归为男生）和（归为女生）的风险分别为：1、

15、当先验概率相等时(0.5/0.5)： 由类条件概率以及先验概率可得测试样本集合test1和test2的后验概率，可得决策所造成的风险为,对于具体的损失比较二者大小即可作出决策判断。当b=0.5,c=0.5,相应错误率为error1=5.71%，error2=9%;当b= 5 ,c=5,相应错误率为error1=5.71%，error2=9%;当b=0.1,c=10.相应错误率为error1=28.57%，error2=13.33%当b=10,c=0.1.相应错误率为error1=57.14%，error2=83.33%.当b=0.1,c=100.相应错误率为error1=31.43%，erro

16、r2=14.67%2、 当先验概率不等时：px1(男生）=0.25，px2（女生）=0.75，对于具体的损失比较二者大小即可作出决策判断。当b=0.5,c=0.5.相应错误率为error1=11.43%，error2=22%.当b=5,c=5.相应错误率为error1=11.43%，error2=22%.当b=0.1,c=10.相应错误率为error1=22.86%，error2=8%.当b=0.1,c=100.相应错误率为error1=28.57%，error2=13.33%.px1=0.75，px2=0.25，当b=0.5,c=0.5.相应错误率为error1=8.57%，error2=6

17、.67%.当b=5,c=5.相应错误率为error1=8.57%，error2=6.67%.当b=0.1,c=10.相应错误率为error1=28.57%，error2=13.33%.当b=0.1,c=100.相应错误率为error1=42.86%，error2=16.67%.px1=0.9.px2=0.1当b=0.5,c=0.5.相应错误率为error1=11.43%，error2=5.67%.当b=5,c=5.相应错误率为error1=11.43%，error2=5.67%.当b=0.1,c=10.相应错误率为error1=28.57%，error2=14%.当b=0.1,c=100.相应

18、错误率为error1=42.86%，error2=16.67%.px1=0.1.px2=0.9当b=0.5,c=0.5.相应错误率为error1=20%，error2=49%.当b=5,c=5.相应错误率为error1=20%，error2=49%.当b=0.1,c=10.相应错误率为error1=11.43%，error2=5.67%.当b=0.1,c=100.相应错误率为error1=28.57%，error2=13.33%.b|cerror总| 0.5|0.50.25|0.750.75|0.250.9|0.10.1|0.90.5|0.514.71%33.43%15.24%17.1%69%5|514.7%33.43%15.24%17.1%69%0.1|1041.9%30.86%41.90%42.57%17.1%0.1|10046.1%41.90%59.53%59.53%41.9%表三 采用最小风险的bayes决策对test1和test2测试错误