概率神经网络

1、概率神经网络概述概率神经网络(Probabilistic Neural Network , PNN 是由 D. F. Specht 在 1990年提出的。主栗思想是贝叶斯决策规则，即错误分类的期望风险最小，在多维输入空间内 分离决策空间。它是一种基于统计原理的人工神经网络，它是以Parazen窗口函数为激活函数的一种前馈网络模型。PNN吸收了径向基神经网络与经典的概率密度估计原理的优点，与传统的前馈神经网络相比，在模式分类方面尤其具有较为显著的优势。1. 1概率神经网络分类器的理论推导由贝叶斯决策理论：if p(w/x) p (wj | x) j i, then x 匕 (i-i)其中 p (

2、w I x) p (w) p(X I w) o一般情况下，类的概率密度函数 P(w X)是未知的，用高斯核的Parzen估计如下：1X XikM O 2 n / exp(P(X I w j(1-2)其中，Xik是属于弟 W 类的第k个训练样本，I 是样本向量的维数，是 平滑参数，N i是第w类的训练样本总数去掉共有的元素，判别函数可简化为：X Xikg,(x) P()：exp(1-3)Ni k11. 2概率神经元网络的结构模型时，能有效地进行上式的计算。 /一 / /(X, 15一丫31'、图1概，网络绻树e < in putPatternLayerLayer(Training

3、Set)如图1所示，PNN网络由四部分组成：输入层、样本层、PNN的工作过程：首先将输入向量 X 输入到输入层，在输入训 练样本向 量之间 的差值k > 1 <11. _ _ -4-近产火田卢咤5A9/Zf / Maxtgj； g2B（3）SummationOutputLayerLayer求和层和竞争层O»层中，网络计算输入 向量与PNN的结构以及各层的输入输出关系量如囱1所示，共由四层组成，当进行并行处理X- Xik 的大小代表着两个向量之间的距离，所得的向量由输入层输出，该向量反映了向量间的接近程度；接着，输入层的输出向量X- Xik送入到样本层i M中，样本层节点的

4、数目等于训练样本数目的总和，NNi,其中m是类的i 1总数。样本层的主栗工作是：先判断哪些类别输入向量有关，再将相关度高的类 别集中起 来，样本层的输出值就代表相识度；然后，将样本层的输出值送入到求 和层，求和层的结 点个数是 M每个结点对应一个类，通过求和层的竞争传递函 数进行判决；最后，判决的结 果由竞争层输出，输出结果中只有一个1,其余结果都是0,概率值最大的那一类输出结果为lo第一步：首先必须对输入矩阵进行归一化处理,2.基本学习算法小的值呗较大的住“吃掉”。设原始输入矩阵为：这样可以减小误差，避免较XnXXinX21 X22x2nXm1xm2(2-1)xmn从样本的矩阵如式(2-1

5、)中可以看出，该矩阵的学习样本由m个，每一个样本的特征属性有n个。在求归一化因子之前，必须先计算Bt矩阵:然后计算:Mi MLMiCra n Bra x 111 ?XChci2clnc21c22C?nm2 m2m2M m M mMCV/mn(2-2)式中，Min2k 1 Xik lz 1M2n2k 1 X2k - M U 1n2mkk1 x则归一化后的学习矩阵为Co在式（2-2）中，符号：表示矩阵在做乘法运算时，相应元素之间的乘积。第二步：将归一化好的m个样本送入网络样本层中。因为是有监督的学习算法，所以很容易就知道每个样本属于哪种类型。假设样本有m个，那么一共可以分为c类，并且各类样本的数目

6、相同，设为k, 于是m=k*co第三步：模式距离的计算，该距离是指样本矩阵与学习矩阵中相应元素 之间的距离。假设将由P个n维向量组成的矩阵称为待识别样本矩阵，则经归一化后，需要待识别的 输入样本矩阵为：dind2nd11 d12D d21 d22dp d P2d pn(2-3)计算欧氏距离：就是需要是别的样本向量,样本层中各个网络节点的中心向量，这两个向量相应量之间的距离:CmkCmk21 E 22C2kEP1EP2Pm(2-4)第四步：样本层径向基函数的神经元被激活学习样本与待识别样本被归dlkchkC2kd 2k C2kd 2k C2kd pk Clkd pk Cmke厂F .e厂R .e

7、厂Pnpi2EE：2E：m22e2 e2 ep2ip22E pipDiPd2(2-5)第五步：假设样本有m个，那么一共可以分为c类，并且各类样本的数目相同，设为k, 则可以在网络的求和层求得各个样本属于各类的初始#1率和：kPn2kPumPuSuS122kp”mPot1 m k 1Sois”kPpi2kPpimPpiSpiSp2Spc(2-6)和。上式中，Sj代表的急思是：将要被识别的样本中,第 i个样本属于第j类 的初始概率第六步：计算概率probj,即第i个样本属于第j类的概率。sprobji jcSn(2-7)3.特点概率神经网络具有如下特性：(1) 训练容易，收敛速度快，从而非常适用于

8、实时处理；(2) 可以完成任怠的非线性变换，所形成的判决曲面与贝叶斯最优准则下的曲面相接 近；(3)具有很强的容错性；(4) 模式层的传递函数可以选用各种用来估计概率密度的核函数，并且，各分类结果 对核函数的形式不敏感；(5 ) 各层神经元的数 目 比较固定，因而易于硬件实现。4 .不足之处概率神经网络的不足主要集中在其结构的复杂性和网络参数的选择上。PNN网络进行 模式分类的机理是基于贝叶斯最小风险决策，为了获得贝叶斯准则下的 最优解，必须保证 有足够多的训练样本。PNN勺拓扑结构和训练样本数目成直接比例关系，每个训练样本决定 一个隐含层神经元，所以当训练样本数量巨大时，将导致规模庞大的神经网络结构，阻碍了 PNN网络的推广和应用。而且，PNN的 网络参数(比如连接杈重，Parzen 窗函数的平滑因