概率神经网络

--专业资料---专业资料-概率神经网络概述概率神经网络(ProbabilisticNeuralNetwork,PNN)是由D.F.Specht在1990年提出的。主要思想是贝叶斯决策规则，即错误分类的期望风险最小，在多维输入空间内分离决策空间。它是一种基于统计原理的人工神经网络，它是以Parazen窗口函数为激活函数的一种前馈网络模型。PNN吸收了径向基神经网络与经典的概率密度估计原理的优点，与传统的前馈神经网络相比，在模式分类方面尤其具有较为显著的优势。1.1概率神经网络分类器的理论推导if由贝叶斯决策理论：if（1-1）p（wI尤）＞P（wIx）Vj丰i,then（1-1）其中p(wIx)=p(w)p(xIw)其中 i i i。一般情况下，类的概率密度函数？(坟1x)是未知的，用高斯核的Parzen估——2x——2x_x,7ikeXP（一「一）

202（1-2）11p（x|w）=七iNk=i2兀26i其中，£是属于第w类的第卜个训练样本，’是样本向量的维数，0是平ik i滑参数，N是第叩,类的训练样本总数。去掉共有的元素，判别函数可简化为：ff2“、 X_xikg(x)=p(w)小exp(-_^)(1-3)i Nk=1 251.2概率神经元网络的结构模型PNN的结构以及各层的输入输出关系量如图1所示，共由四层组成，当进行并行处理时，能有效地进行上式的计算。Input Pattern Summation OutputLayer Layer Layer Layer(TrainingSe1)图1概率神经网络结构如图1所示，PNN网络由四部分组成：输入层、样本层、求和层和竞争层。PNN的工作过程：首先将输入向量X输入到输入层，在输入层中，网络计算输入向量与训练样本向量之间的差值|xf-xf|的大小代表着两个向量之间的距ik离，所得的向量由输入层输出，该向量反映了向量间的接近程度；接着，输入层

的输出向量尤的输出向量尤-£ik和，N二区N,其中M是类的总数。样本层的主要工作是：先判断哪些类ii=1别输入向量有关，再将相关度高的类别集中起来，样本层的输出值就代表相识度；然后，将样本层的输出值送入到求和层，求和层的结点个数是乂，每个结点对应一个类，通过求和层的竞争传递函数进行判决；最后，判决的结果由竞争层输出，输出结果中只有一个1，其余结果都是0，概率值最大的那一类输出结果为1。2.基本学习算法X=X11X21•••X12X22•••X1nXX=X11X21•••X12X22•••X1nX2n•••（2-1）Xm1Xm2Xmn从样本的矩阵如式（2-1）中可以看出该矩阵的学习样本由m个，每一个样本的特征属性有门个。在求归一化因子之前，必须先计算Bt矩阵:BT=.■'；.■'；］n：X1k2k=1Wx2k2,k=1然后计算：x11x12x1nC=b111…1]mx11xx11x12x1nC=b111…1]mx11xn•Xmxn州x21X22•••YM1X2n・严•••xm1xm2xmn・\.；MmC11C21•••C12C22•••C1nC2n•••Cm1Cm2Cmn（2-2）式中，M=Xn式中，M=Xnxk=11k2,M2=Xx2卜"…,Mk=1=Xxk=12mk则归一化后的学习矩阵为心在式（2-2）中，符号表示矩阵在做乘法运算时，相应元素之间的乘积。第二步：将归一化好的印个样本送入网络样本层中。因为是有监督的学习算法，所以很容易就知道每个样本属于哪种类型。假设样本有印个，那么一共可以分为c类，并且各类样本的数目相同，设为心于是印=卜"。第三步：模式距离的计算，该距离是指样本矩阵与学习矩阵中相应元素之间的距离。假设将由Pj『维向量组成的矩阵称为待识别样本矩阵，则经归一化后，需要待识别的输入样本矩阵为：--专业资料-- - -专业资料-d11d21d12d22d1nd2n(2-3)dd…dp1 p2 pn计算欧氏距离：就是需要是别的样本向量，样本层中各个网络节点的中心向量，这两个向量相应量之间的距离:国d11d21d12d22d1nd2n(2-3)dd…dp1 p2 pn计算欧氏距离：就是需要是别的样本向量，样本层中各个网络节点的中心向量，这两个向量相应量之间的距离:国d—C2收d—c:人ukC1kA1kDc c2k \। plx ±lx \। plx 乙lxkk=1 k=1EE…E一11 12 1mEE…E21 22 2m1d1k~cmk*,k=1/1d2jCmk\k=1…/Xd7-c7pppkmkvk=1EE…Ep1 p2 pm(2-4)第四步：样本层径向基函数的神经元被激活。学习样本与待识别样本被归一化后，通常取标准差。=0.1的高斯型函数。激活后得到出事概率矩阵:Ee-R2。2Ee-k2。2P P .…\o"CurrentDocument"11 12P P .…21 22••• •• • • ••e-二2。2」PPp1 p2P1mP2m…Ppm(2-5)第五步：假设样本有m个，那么一共可以分为c类，并且各类样本的数目相同，设为k,则可以在网络的求和层求得各个样本属于各类的初始概率和:£p1ll=1£p2ll=1•••£p1ll=1£p2ll=1•••艺P1ll=k+1艺P2ll=k+1•••Ep1ll=m-k+1EmP2ll=m-k+1•••S11S21•••S12S22•••S1cS2c•••Ekppll=1E2kPpll=k+1Eppll=m-k+1Sp1Sp2Spc（2-6）上式中，S上式中，S代表的意思是：ij将要被识别的样本中，第》个样本属于第）类的初始概率和。第六步：probij计算概率probSijE第六步：probij计算概率probSijESl=1il，ij（2-7）即第》个样本属于第）类的概率。3.特点概率神经网络具有如下特性：训练容易，收敛速度快，从而非常适用于实时处理；可以完成任意的非线性变换，所形成的判决曲面与贝叶斯最优准则下的曲面相接近；具有很强的容错性；模式层的传递函数可以选用各种用来估计概率密度的核函数并，且，各分类结果对核函数的形式不敏感；各层神经元的数目比较固定，因而易于硬件实现。.不足之处概率神经网络的不足主要集中在其结构的复杂性和网络参数的选择上。PNN网络进行模式分类的机理是基于贝叶斯最小风险决策，为了获得贝叶斯准则下的最优解，必须保证有足够多的训练样本。PNN的拓扑结构和训练样本数目成直接比例关系，每个训练样本决定一个隐含层神经元，所以当训练样本数量巨大时，将导致规模庞大的神经网络结构，阻碍了PNN网络的推广和应用。而且