模式识别课程论文

1、模式识别课程设计模式识别中基于概率统计的 Bayes算 法分析学号：1102100119班级：自动化111班 姓名：许世坚首先对模式识别所用到的理论、研究背景、研究现状及典型应用进行全面的阐述；其次,探讨了如何提取数字字符的特征值，并对各种 分类器的设计方法及其优缺点进行了比较；最后采用了以模板库为基 础的基于二值数据的Bayes分类实现的识别方法，并以VC+作为编程 工具实现了具有友好的图形用户界面的自由手写体数字识别系统。给出了部分实现算法的代码。实现了对字体数字的识别。下面介绍阐述模式识别中用到的 Bayes算法理论，研究背景及其典型 应用，在典型应用中，探讨提取数字字符bayes算法分

2、类器的设计方 法并比较其优缺点，给出其算法的C+实现，利用VC+实现编程工具 实现图形界面。模式识别就是机器识别，计算机识别或者机器自动识别，目的在 于让机器自动识别事物，如手写数字的识别，智能交通管理信号的识 别，文字识别，语音识别等。模式识别这个学科的目的就是让机器能 做人类能做的事情，具备人类所具有的对各种事物与现象进行分析， 描述与判断的部分能力。模式识别是直观的，无所不在。人与动物具 有模式识别的能力是非常平常的事情，但是对计算机来说实现模式识 别是非常困难的。让机器能够识别，分类需要研究识别的方法。而模式识别可以概括为两个类型，一个是直接形象的，例如图片，相片, 图案，字符图案等；

3、另外的就是无知觉形象而只有数据或信号的波形， 如语音，声音，心电图，地震波等。Bayes决策所讨论的问题：基于最小错误率的Bayes决策指出机器自动识别出现错分类的条件， 错分类的可能性如何计算，如何实现使错分类实现可能性最小； 基于 最小错误风险的Bayes决策，引入了风险与损失概念，希望做到使风 险最小，减小危害大的错分类情况。错分类造成损失不一样，不同的 错误分类造成的损失也是不一样的，不同的错误分类造成的损失会不 相同，后一种错误更加可怕，因此就考虑减小因错误分类造成的危害 损失。2.Bayes 算法若已知总共有M类物体，以及各类在这d维特征空间的统计分布，具 体说来就是已知各类别 w

4、i=1,2,M的先验概率P (wi)及类条件概 率密度函数P (X|wi )。对于待测样品，Bayes公式可以计算出该样品 分属于各类别的概率，叫做后验概率，看X属于哪个类的可能性最大， 就把X归于可能性最大的那个类，后验概率作为识别对象归属的依 据。Bayes公式如下：P(wtX) =P(Xwi)P(wi)/=)识别的状态就是一个随机变量，而某种状态出现概率是可以估 计的。Bayes公式体现了先验概率，类概率密度函数，后验概率三者 之间的关系。2.1先验概率P (wi)先验概率P (wi)针对M个事件出现的可能性而言，不考虑其他条件。例如由统计资料表明总药品数为n,其中正常药品数为n 1，异

5、 常药品数为n2，则P(w1)nP(w2)卫n称P(w1)和P(w2)为先验概率。显然在一般情况下正常药品所占 比例比较大，即P( w1)P(w2)，仅按照先验概率来决策，就会把所 有药品都划归为正常药品，并没有达到将正常药品与异常药品区分开 的目的。这表明先验概率所提供的信息太少。2.2类条件概率密度函数P(X/wi)是指在已知某类别的特征空间中，出现特征值X的概率密度，即第wi类样品它的属性X是如何分布的。在工程上很多的问题中，统计数据往往满足正态分布规律。 正态分 布简单，分析方便，参量少，是一种适宜的数学模型。如果采用正态 密度函数是作为类条件概率密度的函数形式，则函数内的参数如期望

6、方差是未知的，那么问题就变成了如何利用大量样品对这些参数进行估计，只要估计出这些参数，类条件概率密度函数P(X|wi )也就可以确定了。单变量正态分布概率密度函数为:P( A )=ex2tt(tI其中：u为数学期望(均值)； 为方差 多维正态密度函数为:IIP(x) =(2卫 门 exp- (x _ 诃 ST (x _ 型其中：S为N维协方差矩阵；SA-1为S的逆矩阵J = (u1,u2,un ) 为N维均值向量；X= (x1,x2,xN)为N维特征向量 在大多数情况下，类条件概率密度函数是可以采用多维变量的正太概率密度函数来模拟，即:2.3后验概率后验概率是指呈现状态X时，该样品分属各类别的

7、概率，这个概率值可以作为识别对象归属的依据。由于属于不同类的待识别对象存在着呈现相同的观察值的可能，即所观察到的某一样品的特征向量为X，而在类中有不止一类可能呈现这一值，它属于各类的概率可用P(wi|X )表示。可以利用Bayes公式来计算这条件概率，称之为状态 的后验概率：Pi X/wi P( wirrn工卩(.丫/心)“(uj)i= 1P(wi|X)是表示在X出现条件下，样品为wi类的概率。2.4 P(w1|X) 和 P( w2|X)与 P(X|w1)和 P(X|w2)的区别P(w1|X) 和P( w2|X)是在同一条件下，比较 w1与w2出现的概 率，女口 P(w1|X)P (w2|X)

8、,则可能的以下结论，在 X条件下，事件 w1出现的可能性比事件w2出现的可能性大。P(w1|X) 与P (w2|X)都是指各自条件下出现X的可能性，两者 之间没有联系，比较两者没有意义。 P(w1|X)与P( w2|X)是在不同 条件下讨论问题，不能因为 P(w1|X)P( w2|X),就认为X是第一类 事物的可能性较大。3算法的实现3.1基于最小错误率Bayes分类实现数字样品的识别实现: 在手写的数字识别中属于多类情况，每类样品呈正态分布。(1) 求出每一类手写数字样品的均值1 Ni Txixij = (xi1,xi2,., xin) , i = 0,1,2,.,9Ni j吕Ni代表wi类

9、的样品个数，n代表特征数目。(2) 求每一类的协方差矩阵1 Ni sjki(xlj xj)(xlk -xk),j,k = 1,2,., nNi 1 i 二L代表样品在wi类中的序号，其中l=0,1,2 ,，NiXlj代表wi类的第L个样品，第J个特征值。xj代表wi类的Ni个样品第j个特征的平均值。Xlk代表wi类的第l个样品，第K个特征值。xk代表wi类的Ni个样品第K个特征的平均值。Wi类的协方差矩阵为：sW1$12,sins2Vs2nl 4)* * v*Si =577 T snl!snn1(3) 计算出每一类的协方差矩阵的逆矩阵SiA-1以及协方差矩阵的 行列式|Si|。(4) 求出每一

10、类的先验概率：P(wi) ： Ni /N,i =0,1,2,.,9其中P(wi)为类别为数字i的先验概率，Ni为数字i的样品数，N 为样品总数。(5) 将各个数带入判别函数1t 11hi(X) (X -Xi)T)Si(X -Xi) In P(wi) -?ln |Si|(6) 判别函数最大值所对应就是手写数字的类别。3.2基于最小风险的Bayes分类实现(1) 求出每一类手写数字样品的均值。1 FTXiXij =(xi1,xi2,., xin) ,i =0,1,2,.,9Ni j 4Nj代表wi类的样品个数，n代表特征数目。(2) 求每一类的协方差矩阵。i1sjk(Xlj -xj)(xik -X

11、k), j,k =1,2,., nNi T i#Wi类的协方差矩阵为(3)|Si|(4)Si =s 1;s2sins2V$22s2nf 4 sni1* asnl1 f snn1计算出每一类协方差矩阵的逆矩阵站以及协方差矩阵行列式求出每一类的先验概率P(wJNi,i =0,1,2,9N其中P(wi)为类别为数字i的先验概率，Ni为数字i的样品数,N为样品总数。(5)定义损失数组为loss1010.设初值为lossij = f二11乞(6)计算每一类损失riski9riski=為 lossi jP jj =0(7) 找出最小损失所对应的类，该类即是待测样品所属的类别。附录:/最小错误率Bayes分

12、离器算法实现int Classfication:BayesLeastError()double X 25; / 待测样品double Xmeans25; / 样品的均值double S 25 25; / 协方差矩阵double S_ 25 25; S 的逆矩阵double Pw； /先验概率、double hx 10; / 判别函数int i ，j,k,n;for (n= 0;n 10;n+) / 循环类别 9int num=paternn.number; / 样品的个数*Fu nctio ns:求样品的平均值*/for (i= 0;i 25;i+)Xmeansi=0.0;for (k= 0;

13、knum;k+)for (i= 0;i for (i= 0;i 25:i+)Xmea nsi/=(double) num;/*Fu nctio ns: 求协方差矩阵*/double mode200 25;for (i= 0;inum;i+)for (j= 0;j0.1 ?1.04 : 0.0 ;for (i= 0;i 25;i+) for (j= 0;j 25;j+)double s= 0.0;for (k=0;knum;k+)s=s+(modeki-Xmea nsi*(modekj-Xmea nsj);s=s/( double) (num-1);Sij=s;/*Fu nctio ns:求先验

14、概率*/int total= 0;for (i= 0;i 10;i+) total+=paterni. nu mber; Pw=( double )num/( double )total;/*Fu nctio ns:求S的逆矩阵*/for (i= 0;i 25;i+)for (j= 0;j 25;j+)S_ij=Sij;double (*p) 25=S_;brin v(*p,25);Ikkkkkkkkkkkkkkkkkkkkkk*Fu nctio ns:求S的行列式*/double (*pp) 25=S; double DetS;DetS=bsdet(*pp, 25);*Fu nctio ns:求判别函数for (i= 0;i0.1 ?1.0 : 0.0 ;for (i= 0;i 25;i+)Xi-=Xmea nsi;double t 25;for (i= 0;i 25;i+)ti=0;brmul(X,S_