设计一贝叶斯最小错误率分类器设计

1、实验报告课程名称模式识别实验名称贝叶斯实验仪器学 院自动化班 级姓名/学号实验日期成 绩指导教师设计一贝叶斯最小错误率分类器设计一、实验目的(1) 通过本次综合设计，了解模式识别的基本原理、贝叶斯最小错误率分类 器的原理。(2) 本实验旨在让同学对模式识别有一个初步的理解，能够根据自己的设计 对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的。二、实验设备及条件matlab软件三、实验原理分类是一项非常基本和重要的任务，并有着极其广泛的应用。分类是利用预定的已分类数据集构造出一个分类函数或分类模型(也称作分类器)，并利用该模型把未分类数据映射到某一给定类别中的过程。分类器的构造方法很多，主

2、要包括规则归纳、决策树、 贝叶斯、神经网络、粗糙集、以及支持向量机(SVM)等方法。其中贝叶斯分类方法建立在贝叶斯统计学v1和贝叶斯网络S1基础上，能够有效地处理不完整数据， 并且具有模型可解释、精度高等优点，而被认为是最优分类模型之一9。尤其是最早的朴素贝叶斯分类器101虽然结构简单，但在很多情况下却具有相当高的分类精 度，可以达到甚至超过其它成熟算法如c4.5l '的分类精度，而且对噪声数据具有很强的抗干扰能力。因此，对贝叶斯分类算法的深入研究，无论对其理论的发展， 还是在实际中的应用，都具有很重要的意义。贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概

3、率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。目前研究较多的贝叶斯分类器主要有四种，分别是：Naive Bayes、TAN、BAN和GBN。贝叶斯网络是一个带有概率注释的有向无环图，图中的每一个结点均表示一个随机变量图中两结点间若存在着一条弧，则表示这两结点相对应的随机变量是概率相依的，反之则说明这两个随机变量是条件独立的。网络中任意一个结点X均有一个相应的条件概率表(Conditional Probability Table ，CPT)，用以表示结点 X在其父结点取各可能值时的条件概 率。若结点X无父结点，则X的CPT为其先验概率分布。贝叶斯网络的结构及各结点的

4、CPT定义了网络中各变量的概率分布。贝叶斯分类器是用于分类的贝叶斯网络。该网络中应包含类结点C，其中C的取值来自于类集合(c1 , c2 , . , cm)，还包含一组结点 X = ( X1 , X2 , . , Xn)，表示用于分类的特 征。对于贝叶斯网络分类器，若某一待分类的样本 D，其分类特征值为x = ( x1 , x2 , . , x n)，则样本 D 属于类别 ci 的概率 P( C = ci | X1 = x1 , X2 = x 2 , . , Xn = x n) ， ( i = 1 ,2 , . , m)应满足下式：P( C = ci | X = x) = Max P( C =

5、 c1 | X = x) , P( C = c2 | X = x ) , . , P( C = cm | X = x ) 而由贝叶斯公式：P( C = ci | X = x) = P( X = x | C = ci) * P( C = ci) / P( X = x)其中，P( C = ci)可由领域专家的经验得到，而P( X = x | C = ci) 和P( X = x)的计算则较困难。应用贝叶斯网络分类器进行分类主要分成两阶段。第一阶段是贝叶斯网络分类器的学习， 即从样本数据中构造分类器，包括结构学习和CPT学习；第二阶段是贝叶斯网络分类器的推理，即计算类结点的条件概率，对分类数据进行分类

6、。这两个阶段的时间复杂性均取决于特征值间的依赖程度，甚至可以是NP完全问题，因而在实际应用中，往往需要对贝叶斯网络分类器进行简化。根据对特征值间不同关联程度的假设，可以得出各种贝叶斯分类器，Naive Bayes、TAN、BAN、GBN就是其中较典型、研究较深入的贝叶斯分类器。贝叶斯网络分类器是一种典型的基于统计方法的分类模型。它以贝叶斯定理为理论基础，巧妙地将事件的先验概率与后验概率联系起来，利用先验信息和样本数据确定事件的后验概率。错误率最小的贝叶斯分类器设计思想是寻找一种划分方式，使“错判”率最小。四、实验内容与步骤(1) 实验内容：假定某个局部区域细胞识别中正常()和非正常()两类先验

7、概率分别 为正常状态：P( )=0.9 ；异常状态：P()=0.1 o现有一系列待观察的细胞，其观察值为：-3.9847 -3.5549-1.2401 -0.9780 -0.7932-2.8531-2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752-3.99342.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 -0.7431 -0.4221 -1.11864.2532已知类条件概率的曲线如下图：类条件概率分布正态分布分别为(-2 , 0.25 ) (2,4 )试对观察的结果进行分类。(2) 最小风险贝

8、叶斯决策可按下列步骤进行：(1) 在已知P(Wi) , P(X|Wi) , i=1, , , c及给出待识别的X的情况下，根据贝叶斯公 式计算出后验概率：j=1, , x(2) 利用计算出的后验概率及决策表，根据贝叶斯公式计算。(3) 对 中得到的a个条件风险值,i=1, , , a进行比较，找出使其条件风险最小的 决策，即则就是最小风险贝叶斯决策。五、实验报告要求1) 用matlab完成基于最小错误率的贝叶斯分类器的设计，要求程序相应语句有说明文字，要求有子程序的调用过程。2）根据例子画出后验概率的分布曲线以及分类的结果示意图。3）如果是最小风险贝叶斯决策，决策表如下：最小风险贝叶斯决策表：

9、状态决策a 104a 220请重新设计程序，完成基于最小风险的贝叶斯分类器，画出相应的条件风险的分布曲线和分类结果，并比较两个结果。4）根据课程设计结果，编写课程设计报告。在报告中应写出设计的方法、步骤、控制方案、实验接线图、实验结果。5）实验报告成绩评分标准（1）实验成绩：实验考勤（10%） +实验动手情况（20%） +实验报告（70%）;（2）实验报告评分标准：书面整洁规范（10%） +实验内容（90%）（3）实验内容：实验目的（5%） +实验器材（5%） +实验原理（10%） +实验步骤及方法（10%） +实验数 据处理（40%） +思考题（30%）（4）实验数据处理：数据表（30%）

10、+最小二乘法（30%） +图形（20%） +结论（20%）最小二乘法：手算（50%） +matlab编程（50%）图形：坐标纸画出离散点和拟合图形或用matlab生成图形打印（5）思考题：思考题：实验指导书（30%） +实验课堂留的（30%） +正确性（40%）六、思考题附参考算法代码和实验参考结果:close 注11.clear all.K=-S:0. 0001:6;pvl=0- 9;pw2=C. 1 ；ul=-2; si£l=a. 25;u2=2 ;si?2=4 ；酸设置采样范围及精度畫设蚩発验槪率机匚置炎迄件概率“4布遂救yl=(l./sqrt (2*pi*si«l)

11、*«aussmf (X, sqrt (eigl) ul>:K计算类别一(正常细胞)的粪爭件槪率分布 y2=(l./sqrt (2*pi*5i2)*«aus£mf sqrt (sig2) u2) ;%计Sf真别二(异制fl胞)的粪条件槪率分布 Kfiiursd)Kplot XyLX, y2);subplot (3, lj 1) ;plot (I,yl, b： , Xj r-)；title件概率片布曲线J；legend(n正常赛B馳S'异常细胞)；Pl=pwl*yL/(pwl*yl+pw2*y2);P 2=p<2 *y2. / (pw L *y 1

12、 +pw2 *y2),KfigurS(2);subplot (3, 1,2); plot (爲 Pl,; 后鲨概率外布曲线J;"沪nd正常细胞S'异常细胞)；xj y = g input (2);s amplest eat read (' test, txt1,' %fr)由读入禅本 Samplewl=ieros(lj length(sanple);sample -3. 9841-3. 5545-1.2401-0.9780-0. 7932-2. S531-比 7605-3.7237-3. 5414-2, 2692-3,4543-3. 0752-3, 99342

13、. 8792-0. B78D0.70321.18823. 0682-L5793-1.4885-0. 7431-0.42217 11S64.2E32 a=l;b=l :for n= 1:24if (sample (n)(1)6 (sample (n) <=k (2)sanplewl(a)=sample(n);a=a+l;elsesamplers (b)=sample (n);b=b+l;endendsanplewh ssjnplew2;subplot (3f lj 2) tplot 仕,Pb L b:'X-'j samplewL, 0, 5» jho,、sajup

14、le, 0. 6, ' c* )(titleC后验概率分布曲线J;血enM正常细胞'，异常细胞J；f=0 4；2 0；贾设置风险矩陈81=1(1, l)*Fl+f Clj 2)*P2；R2=f (2, l)*Pl-kf (2?2)*P2;subplot (爲 lj 3)；plotR2J r-)；tit let*凤险曲线>legendC正常细胞'/异常细胞);pj ql = ginput (2):c= 1; d= 1;for n=1:24if (sanple Cn)>=p(l) )&&. (sanple(n)<=p)sampler 1(c

15、) = sample(n) bc=c+l;elsesajwpler2 (d)=£ajnple(n):d= d+1 ；endendsubplot (3,3);plot Qj KU b: Xj R2j r- a samplerl, 2 £ ' no' j sampler2j 2. 5, T c* ); titled风险曲线')；Legend(-正當细胞；异常细胞');运行结果示意:oliiI Succcri*Binymu *ni mltil E> Ei 田Miii刃小<3l I. J).p«C «. RJ J b.

16、 .LIE/ h lup«tl. LL'k 3«apLL 去 4.'丹.)X Hrri4 苗 dvp4nftao4J=wi 3. pSIlTeirii _L kdvihjrM C |«4«|伺 回 lad>l二血 fitJ nulhhJr:* rTMllabjma 'mbuldlkMt rTMfihun rrwtpl 石 rmird.bil u_ 他.，nw*MlP"：. mp h-wf -.-i： 544 KTt3iJ»d-J3K vorknr.bat雷HWiHW-H>BCS5< r

17、63;p+ 证i期吐_皆二EM皆KftQQ删erm 帀黔«E5ttA?；RAw«凯币就皆SfeZ ST；nsSWS±d!-皆ABen学丐.1.U- Lj 3Hew "- ffle® ,ci - *nj0CuffWnFoMM>UpJ«Ed.!lli-=3UCJ« inP. d-W."E >：-.» *O!3* PWoikceNum 中-Lctfnnurdi Histcxy5-HpLer?W-Mn>LeiiiEhtt-Lran-馳Hh#*-Lqfn«rE»air.>SNF：i:nfepLvtti, 1.31 j: x-l-iUEl.'b-*, t LtlirHIfiHEf F： IvinuIC irMJBII'. 'Sl【实验分析与说明】类条件概率分布曲线根据事先给定的正态分布参数正常细胞(-2