人工神经网络3感知机网络.ppt

1,人工神经网络 (Artifical Neural Network),张 凯 副教授,武汉科技大学 计算机学院,2,第三章 感知机网络,1. 研究背景,2. 学习规则,3. 感知机结构,4. 感知机学习规则,学习规则,学习规则 所谓学习规则就是修改神经网络的权值和偏置值的方法和过程（也称这种过程是训练算法）。学习规则的目的是为了训练网络来完成某些工作。 大致可以将其分为三大类：,学习规则,有监督学习（有导师学习） 提供一组能代表网络行为的实例集合(训练集)。 增强学习（半监督学习） 仅提供一个级别(或评分)，作为网络在某些输入序列上的性能测度。 无监督学习（无导师学习） 学习仅根据网络的输入来学会将输入模式分类（聚类）。,(输入,目标输出),感知机的结构,感知机的结构,首先考虑如下权值矩阵,第i个行向量定义为,权值矩阵W重写为,感知机的结构,传输函数,由于hardlim传输函数的定义是,传输函数,所以，如果权值矩阵的第i个行向量与输入向量的内积大于等于-bi，该输出为1，否则输出为0。因此网络中的每个神经元将输入空间划分为两个区域。,单个神经元感知机,该网络的输出由下式所决定,单个神经元感知机,判定边界由那些使得净输入n为零的输入向量确定,为了使该实例更加具体，现将权值和偏置值设置为,那么判定边界是,定义了一条直线。为了画这条直线，必须找到该直线穿过轴p1和p2的点。,单个神经元感知机工作原理,为了确定边界的哪一边对应的输出为1，我们只需检测输入空间的一个点。对于输入p=2 0T，网络的输出为,所以，对于判定边界右上方的区域网络输出为1。在图中用阴影表示该区域。另外，也可用图解的方法找到该网络相应的判定边界。必须注意的是该边界与1w垂直,判定边界, 所有在判定边界上的点与权向量的内积相同。 这些点一定是在一条与权向量垂直的线上。,例子 “与(AND)”,下面将运用上述一些概念设计出能够实现“与门”逻辑功能的感知机网络。与门的输入/目标对为,该图依据输入向量的目标显示输入空间。目标值为1的输入向量用黑色圆圈 表示，而目标值为0的输入向量用空心圆圈 表示。,例子 “与(AND)”,“与”的解答（图解法）,设计的第一步是选择一个判定边界。选择一个判定边界，把两类模式向量分割在两个区。能够实现这种划分的边界有无穷多个。合理的选择是判定边界易于确定，且处于这两类模式向量的间隔正中。,“与”的解答（图解法）, 选择与判定边界垂直的权向量，该权向量可以是任意长度向量，它同样有无穷多个。这里选择：,“与”的解答（图解法）,最后，为了求解偏置值b，可以从判定边界上选取一个满足式子的点。,如果选p=1.5 0T代入，有：,“与”的解答（图解法）,现在可以通过选择上述的输入/目标对来对网络进行测试。如果选择p2作为网络的输入，则输出为,感知机学习规则,为满足给定的训练样本：,设计一般性的方法来确定感知机的权和偏置值。,其中pq是网络的输入，tq是该输出相应的目标输出。,在该测试问题中，输入/目标对为,学习规则测试实例,此问题可以用下图说明，图中目标输出为0的两个输入向量用空心圆圈表示，目标输出为1的输入向量用黑色圆圈表示。,测试问题的网络,为了简化其学习规则的开发，这里首先采用一种没有偏置值的网络。于是网络只需调整两个参数w1,1和w1,2,由于在网络中去掉了偏置值，所以网络的判定边界必定穿过坐标轴的原点，如图所示。,上图给出了这些判定边界相应的权值向量（记住权值向量与判定边界垂直,判定边界,初始化,对应的初始判定边界如图,2.学习规则的构造 在训练开始时，为网络的参数赋一些初始值。这里仅需对其两个权值进行初始化。这里将1w的两个元素设置为如下两个随机生成的数:,构造学习规则,将p1送入网络：,错误分类,构造学习规则,将p1加到1w上，如果t=1,且a=0,则1wnew= 1wold+p,将会得到新的1w值，新的 1w的指向偏向p1,构造学习规则,错误分类,将p2送入网络：,现在考虑另一个输入向量，并继续对权值进行调整。不断重复这一过程，直到所有输入向量被正确分类。,构造学习规则,将p2送入网络：,现在考虑另一个输入向量，并继续对权值进行调整。不断重复这一过程，直到所有输入向量被正确分类。,p2的目标值t2等于0，而该网络的世纪输出a是1。所以一个属于类0的向量被错误划分为类1了。 既然现在的目的是将1W从输入向量所指的方向移开，因此可以将式中的加法变为减法 如果t=0且a=1,则1wnew=1wold-p,构造学习规则,如果在测试问题中应用该规则，可求出,构造学习规则,将p3送入网络：,p2的目标值t2等于0，而该网络的世纪输出a是1。所以一个属于类0的向量被错误划分为类1了。,构造学习规则,已有规则,构造学习规则,该感知机最终可以对上述三个输入向量进行正确的分类。,构造学习规则,三个模式现在都正确分类了,第三条规则：如果感知机能够正确工作，则不用改变权值向量：,下面是涵盖了实际输出值和目标输出值所有可能组合的三条规则：,统一的学习规则,可以将上述三条规则统一成一个表达式,将上式中的p用偏置值的输入1替换，得到感知机的偏置值学习规则：,多神经元感知机,给出的感知机规则，修改单神经元感知机的权值向量。我们能把这个规则按照如下方法推广到多神经元感知机。权值矩阵的第i行用下式进行修改：,多神经元感知机,矩阵表示：,收敛性证明,证明是建立在下面三条假设基础上的： (1)问题的解存在； (2)仅在输入被错分时才改变权值； (3)输入向量的长度(模