人工神经网络3感知机网络ppt课件

1、武汉科技大学1人工神经网络(Artifical Neural Network)张凯 副教授武汉科技大学 计算机学院2第三章第三章 感知机网络感知机网络1. 研讨背景研讨背景2. 学习规那么学习规那么3. 感知机构造感知机构造4. 感知机学习规那么感知机学习规那么学习规那么学习规那么学习规那么 所谓学习规那么就是修正神经网络的权值和偏置值的方法和过程也称这种过程是训练算法。学习规那么的目的是为了训练网络来完成某些任务。大致可以将其分为三大类：学习规那么学习规那么有监视学习有导师学习提供一组能代表网络行为的实例集合(训练集)。加强学习半监视学习仅提供一个级别(或评分)，作为网络在某些输入序列上的性

2、能测度。无监视学习无导师学习学习仅根据网络的输入来学会将输入方式分类聚类。p1t1, p2t2, pQtQ,(输入,目的输出)感知机的构造感知机的构造感知机的构造感知机的构造首先思索如下权值矩阵第i个行向量定义为权值矩阵W重写为感知机的构造感知机的构造传输函数传输函数1(0)( )hardlim( )0(0)naf nnn由于hardlim传输函数的定义是传输函数传输函数1(0)( )hardlim( )0(0)naf nnn所以，假设权值矩阵的第i个行向量与输入向量的内积大于等于-bi，该输出为1，否那么输出为0。因此网络中的每个神经元将输入空间划分为两个区域。单个神经元感知机单个神经元感知

3、机该网络的输出由下式所决议单个神经元感知机单个神经元感知机断定边境由那些使得净输入n为零的输入向量确定为了使该实例更加详细，现将权值和偏置值设置为那么断定边境是 定义了一条直线。为了画这条直线，必需找到该直线穿过轴p1和p2的点。单个神经元感知机任务原理单个神经元感知机任务原理为了确定边境的哪一边对应的输出为1，我们只需检测输入空间的一个点。对于输入p=2 0T，网络的输出为所以，对于断定边境右上方的区域网络输出为1。在图中用阴影表示该区域。另外，也可用图解的方法找到该网络相应的断定边境。必需留意的是该边境与1w垂直断定边境断定边境 一切在断定边境上的点与权向量的内积一样。 这些点一定是在一条

4、与权向量垂直的线上。 例子例子 “与与(AND)下面将运用上述一些概念设计出可以实现“与门逻辑功能的感知机网络。与门的输入/目的对为该图根据输入向量的目的显示输入空间。目的值为1的输入向量用黑色圆圈 表示，而目的值为0的输入向量用空心圆圈 表示。例子例子 “与与(AND)“与的解答图解法与的解答图解法设计的第一步是选择一个断定边境。选择一个断定边境，把两类方式向量分割在两个区。可以实现这种划分的边境有无穷多个。合理的选择是断定边境易于确定，且处于这两类方式向量的间隔正中。 “与的解答图解法与的解答图解法 选择与断定边境垂直的权向量，该权向量可以是恣意长度向量，它同样有无穷多个。这里选择： “与

5、的解答图解法与的解答图解法最后，为了求解偏置值b，可以从断定边境上选取一个满足式子的点。假设选p=1.5 0T代入，有：“与的解答图解法与的解答图解法如今可以经过选择上述的输入/目的对来对网络进展测试。假设选择p2作为网络的输入，那么输出为感知机学习规那么感知机学习规那么为满足给定的训练样本： 设计普通性的方法来确定感知机的权和偏置值。 其中pq是网络的输入，tq是该输出相应的目的输出。在该测试问题中，输入/目的对为学习规那么测试实例学习规那么测试实例此问题可以用以下图阐明，图中目的输出为0的两个输入向量用空心圆圈表示，目的输出为1的输入向量用黑色圆圈表示。测试问题的网络测试问题的网络为了简化

6、其学习规那么的开发，这里首先采用一种没有偏置值的网络。于是网络只需调整两个参数w1,1和w1,2 由于在网络中去掉了偏置值，所以网络的断定边境必定穿过坐标轴的原点，如下图。上图给出了这些断定边境相应的权值向量记住权值向量与断定边境垂直断定边境断定边境初始化初始化对应的初始断定边境如图2.学习规那么的构造 在训练开场时，为网络的参数赋一些初始值。这里仅需对其两个权值进展初始化。这里将1w的两个元素设置为如下两个随机生成的数:构造学习规那么构造学习规那么将p1送入网络： 错误分类 构造学习规那么构造学习规那么 将p1加到1w上，假设t=1,且a=0,那么1wnew= 1wold+p将会得到新的1w

7、值，新的 1w的指向偏向p1 构造学习规那么构造学习规那么错误分类将p2送入网络： 如今思索另一个输入向量，并继续对权值进展调整。不断反复这一过程，直到一切输入向量被正确分类。构造学习规那么构造学习规那么将p2送入网络： 如今思索另一个输入向量，并继续对权值进展调整。不断反复这一过程，直到一切输入向量被正确分类。 p2的目的值t2等于0，而该网络的世纪输出a是1。所以一个属于类0的向量被错误划分为类1了。 既然如今的目的是将1W从输入向量所指的方向移开，因此可以将式中的加法变为减法 假设t=0且a=1,那么1wnew=1wold-p 构造学习规那么构造学习规那么 假设在测试问题中运用该规那么，

8、可求出构造学习规那么构造学习规那么将p3送入网络： p2的目的值t2等于0，而该网络的世纪输出a是1。所以一个属于类0的向量被错误划分为类1了。构造学习规那么构造学习规那么已有规那么构造学习规那么构造学习规那么该感知机最终可以对上述三个输入向量进展正确的分类。构造学习规那么构造学习规那么三个方式如今都正确分类了 第三条规那么：假设感知机可以正确任务，那么不用改动权值向量：下面是涵盖了实践输出值和目的输出值一切能够组合的三条规那么：一致的学习规那么一致的学习规那么可以将上述三条规那么一致成一个表达式将上式中的p用偏置值的输入1交换，得到感知机的偏置值学习规那么： 多神经元感知机多神经元感知机给出的感知机规那么，修正单神经元感知机的权值向量。我们能把这个规那么按照如下方法推行到多神经元感知机。权值矩阵的第i行用下式进展修正：多神经元感知机多神经元感知机矩阵表示： 收敛性证明收敛性证明证明是建立在下面三条假设根底上的：(1)问题的解存在； (2)仅在输入被错分时才改动权值；(3)输入向