概率神经网络

概率神网概述概率神经网络（ProbabilisticNeural）由D.F.Specht在1990年提出的。主要思想是贝叶斯决策规则，即错误分类的期望风险最小多维入空间内分离决策空间。它是一种基于统计原理的人工神经网络以Parazen窗口函数为激活函数的一种前馈网络模型PNN吸收了径向基神经网络与经典的概率密度估计原理的优点，与传统的前馈神经网络相比，在模式分类方面尤其具有较为显著的优势。1.1概率神经网络分类器的理论推导由贝叶斯决策理论：if(w|)(w)ithen

ij

i（1-1其中|i

p)p|)ii

。一般情况下类的概率密度函数核的Parzen估如下：

w|x)i

是未知的用高斯令狐采学创作

ilikliik令狐采学创作ilikliikpx|)i

1

i

Nk

12

l

2

)（1-2其中，是属于第类的第k个训练样本，是样本向量ik

i的维数，是平滑参数，是第w的训练样本总数。i

i去掉共有的元素，判别函数可简化为：g

i

()

p(w)i

Nk

22

)i（1-31.2概率神经元网络的结构模型PNN的结构以及各层的输入输出关系量如图1所示，共由四层组成，当进行并行处理时，能有效地进行上式的计算。图1概率神经网络结构如图1所示，PNN网络由四部分组成：输入层、样本层、求和层和竞争层。PNN的工作过程：首先将输入向量

输入到输入层，在输入层中，网络计算输入向量与训练样本向量之间令狐采学创作

i的差值

|-|ik

令狐采学创作的大小代表着两个向量之间的距离得的向量由输入层输出，该向量反映了向量间的接近程度；接着，输入层的输出向量

ik

送入到样本层中层节点的数目等于训练样本数目的总和，

Ni

N，其中M是类的总数。样本层i的主要工作是：先判断哪些类别输入向量有关，再将相关度高的类别集中起来，样本层的输出值就代表相识度；然后，将样本层的输出值送入到求和层，求和层的结点个数是M，每个结点对应一个类，通过求和层的竞争传递函数进行判决；最后，判决的结果由竞争层输出，输出结果中只有一个1，其余结果都是0，概率值最大的那一类输出结果为12.

基本学习算法第一步：首先必须对输入矩阵进行归一化处理，这样可以减小误差，避免较小的值呗较大的值“吃掉”。设原始输入矩阵为：X

XX

XXXX

m

X

Xm（2-1）令狐采学创作

n2kn2k令n2kn2k从样本的矩阵如（2-1中可以看出该矩阵的习样本由m一个样本的特征属性有n个求归一化因子之前，必须先计算然后计算：

T

矩阵：C

Bm

X

m

MM

MM

MM

CC

C

xm2mnMMMmmm

12CC22

C1

m2

Cmn（2-2式中，

1

,

2

2,m

2k

kk则归一化后的学习矩阵为C。在式中，符表示矩阵在做乘法运算时，相应元素之间的乘积。第二步归一化好的m个样本送入网络样本层中令狐采学创作

nkkpkknkkpkkkdmk为是有监督的学习算法以很容易就知道每个样本属于哪种类型假设样本有m个么一共可以分为c类并且各类样本的数目相同，设为k于是m=k*c。第三步：模式距离的计算，该距离是指样本矩阵与学习矩阵中相应元素之间的距离设将由P个n维向量组成的矩阵称为待识别样本矩阵，则经归一化后，需要待识别的输入样本矩阵为：

d

D

12ddp

（2-3）计算欧氏距离：就是需要是别的样本向量，样本层中各个网络节点的中心向量，这两个向量相应量之间的距离：ddEdE

ddpk2

pk

E1p

pm令狐采学创作

k1lk2llk22l2k1lk2llk22l2m1lmlm（2-4第四步：样本层径向基函数的神经元被激活。学习样本与待识别样本被归一化后，通常取标准差激活后得到出事概率矩阵：

的高斯型函数。(2-5)第五步：假设样本有m，那么一共可以分为c类，并且各类样本的数目相同，设为k则可以在网络的求和层求得各个样本属于各类的初始概率和：

Pl

pl

P1llP2lPpll

PSS111lPSSS2lPSSpl1ppcl（2-6上式中，S

ij

代表的意思是：将要被识别的样本中，第i个样本属于第j类的初始概率和。第六步率

prob

i个样本属于j类的概率。ij令狐采学创作

令狐采学创作probij（2-7特点3.

ijcl

il概率神经网络具有如下特性：（1)（2)

训练容易，收敛速度快，从而非常适用于实时处理；可以完成任意的非线性变换形成的判决曲面与贝叶斯最优准则下的曲面相接近；（3)（4)

具有很强的容错性；模式层的传递函数可以选用各种用来估计概率密度的核函数，并且，各分类结果对核函数的形式不敏感；（5)

各层神经元的数目比较固定，因而易于硬件实现。4.不足之处概率神经网络的不足主要集中在其结构的复杂性和网络参数的选择上PNN网络进行模式分类的机理是基于贝叶斯最小风险决策，为了获得贝叶斯准则下的最优解，必须保证有足够多的训练样本PNN拓扑结构和训练样本数目成直接比例关系，每个训练样本决定一个隐含层神经元，所以当训练样本数量巨大时导致规模庞大的神经网络结构碍了PNN络令狐采学创作

令狐采学创作的推广和应用且PNN的网络参比如连