概率神经网络

1、概率神经网络概述概率神经网络( Probabilistic Neural Network , PNN 是由 D. F. Specht在 1990 年提出的。主要思想是贝叶斯决策规则，即错误分类的期望风险最小， 在多维输入空间内分离决策空间。 它是一种基于统计原理的人工神经网络， 它是以Parazen窗口函数为激活函数的一种前馈网络模型。PNNM收了径向基神经网络与经典的概率密度估计原理的优点， 与传统的前馈神经网络相比，在模式分类方面尤其具有较为显著的优势。1.1 概率神经网络分类器的理论推导由贝叶斯决策理论：if p3|x) p( wj | x) j i,then x w、( 1-1 )其中

2、 p(w|x) p( w)p(x| w)。般情况下，类的概率密度函数 p(w|x)是未知的，用高斯核的Parzen估 计如下:p(x|wi)(1-2 )1 Nik 1 Nix Xik:exp( -)其中， Xk 是属于第 w 类的第 k 个训练样本， I 是样本向量的维数，平滑参数， N i 是第 w 类的训练样本总数。去掉共有的元素，判别函数可简化为：x xikg(x)(1-3 )1.2 概率神经元网络的结构模型PNMa结构以及各层的输入输出关系M如图1所示，共由四层组成，当进行并行处理时，能有效地进行上式的计算。欢迎下载10A S2(X)Hl +InputLayerPattern Laye

3、r(Training Set)g3(XCla&s ofSummation OutputLayerLayer图i概率神经网络结构如图1所示，PNN网络由四部分组成：输入层、样本层、求和层和竞争层。PNN的工作过程：首先将输入向M X输入到输入层，在输入层中，网络计算输入向M与训练样本向M之间的差值| X- Xik |的大小代表着两个向M之间的距离,所得的向M由输入层输出，该向M反映了向M间的接近程度；接着，输入层的输出向M X-Xik送入到样本层中，样本层节点的数目等于训练样本数目的总和,1 MN Ni,其中m是类的总数。样本层的主要工作是：先判断哪些类别输入 i 1向M有关，再将相关度

4、高的类别集中起来，样本层的输出值就代表相识度；然后 ,将样本层的输出值送入到求和层，求和层的结点个数是M每个结点对应一个类， 通过求和层的竞争传递函数进行判决；最后，判决的结果由竞争层输出，输出结 果中只有一个1,其余结果都是0,概率值最大的那一类输出结果为 1。2 .基本学习算法这样可以减小误差，避免较第一步：首先必须对输入矩阵进行归一化处理Xin小的值呗较大的值“吃掉”。设原始输入矩阵为：X2nX11 X12X21 X22从样本的矩阵如式（个样本的特征属性有Xm1 Xm2(2-1 )Xmn2-1 ）中可以看出，该矩阵的学习样本由在求归一化因子之前，必须先计算m个，每BT矩阵:然后计算：k

5、1X1k2XmkCm1111 in?XmnX11X12XmC11Cl2C1nC21C22C?nC mlCm2CmnM1X21M1X22M1X2nM2M2M2Xm1Xm2XmnMm(2-2)式中，Min2Xik ,Mkk1X2k,M mk12mkX则归一化后的学习矩阵为C。在式（2-2 ）中，符号“徐示矩阵在做乘法运算时，相应元素之间的乘积。习算法,第二步：将归一化好的 m个样本送入网络样本层中。因为是有监督的学所以很容易就知道每个样本属于哪种类型。假设样本有m个，那么一共可以分为c类，并且各类样本的数目相同，设为 k,于是m=k*co第三步：模式距离的计算，该距离是指样本矩阵与学习矩阵中相应元

6、素之间的距离。假设将由P个n维向M组成的矩阵称为待识别样本矩阵，则经 归一化后，需要待 识别的输入样本矩阵为：dud12dmd21d22d2ndp1dp2d Pn(2-3)计算欧氏距离：就是需要是别的样本向量,样本层中各个网络节点的中心向这两个向M相应M之间的距离dikCik2,Jdik C2kd 2kC2kd 2k1d pkCikEll E12E 21 E 22E p i E P2pmd pk k 1C2kd pk Cmk(2-4 )第四步：样本层径向基函数的神经元被激活学习样本与待识别样本被归化后，通常取标准差0.1的高斯型函数。激活后得到出事概率矩阵E112 2e2 22 2e2 2E2

7、22 2e2 2E piEp2El m2 2P11 P12PmP21 P22PE pmPpi Pp2Ppm(2-5)第五步：假设样本有 m个，那么一共可以分为c类，并且各类样本的数目相同，设为k,则可以在网络的求和层求得各个样本属于各类的初始概率和2kP11P1l l k 1P11S11S12S1C2kP21l k 1P2IP2IS21S22S2c2kPplPpl1PplSp1 SP2S pc(2-6)上式中，Sj代表的意思是：将要被识别的样本中，第 i个样本属于第j类 的初始概率和。第六步：计算概率probj,即第i个样本属于第j类的概率。probj(2-7)3 .特点概率神经网络具有如下特

8、性：(1)训练容易，收敛速度快，从而非常适用于实时处理；(2)可以完成任意的非线性变换，所形成的判决曲面与贝叶斯最优准则下的曲面相接近；(3)具有很强的容错性；(4)模式层的传递函数可以选用各种用来估计概率密度的核函数，并且，各分类结果对核函数的形式不敏感；(5)各层神经元的数目比较固定，因而易于硬件实现。4 .不足之处概率神经网络的不足主要集中在其结构的复杂性和网络参数的选择上。PNN网络进行模式分类的机理是基于贝叶斯最小风险决策，为了获得贝叶斯准则下的 最优解，必须保证有足够多的训练样本。PNM拓扑结构和训练样本数目成宜接比例关系，每个训练样本决定一个隐含层神经元，所以当训练样本数量巨大时， 将导致规模庞大的神经网络结构，阻碍了 PNN网络的推广和应用。而且，PNN的 网络参数（比如连接权重，Parzen窗函数的平