BP人工神经网络的基本原理、模型与实例

1、第8章 人工神经网络方法 2016年4月27日 本讲大纲本讲大纲： 人工神经网络的基本概念 误差反向传播(BP)神经网络 8.1人工神经网络的基本人工神经网络的基本概念概念 从数学和物理方法以及信息处理的角度，对人脑神经 网络进行抽象，并建立某种简化模型，称为人工神经网络。 应用领域：应用领域： 模式识别 系统辨识 预测预估 数据挖掘 经济学 8.1人工神经网络的基本概念人工神经网络的基本概念 人工神经网络在本质上是由许多小的非线性函数组成 的大的非线性函数，反映的是输入变量到输出变量间的复 杂映射关系。先给出单个人工神经网络的一般模型描述： 8.1人工神经网络的基本概念人工神经网络的基本概念

2、 先来看一个单一输入的神经元模型 输入变量：x1 连接权重：w1 激活函数：f () w1 x1 f () w1x1 8.1人工神经网络的基本概念人工神经网络的基本概念 8.1人工神经网络的基本概念人工神经网络的基本概念 单极sigmoid函数 8.1人工神经网络的基本概念人工神经网络的基本概念 双曲函数 8.1人工神经网络的基本概念人工神经网络的基本概念 增加激活阈值后的神经元模型 输入变量：x1 连接权重：w1 激活函数：f () w1 x1 f () w1x1- -1 小练习：小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神 经元的净输入和输出分别是多少？ x1w1 10

3、.20.4 8.1人工神经网络的基本概念人工神经网络的基本概念 当输入增加时的神经元模型 输入变量：x1， x2 连接权重：w1，w2 激活函数：f () w1 x1 f () w1x1 +w2x2- -1 w2 x2 小练习：小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经 元的净输入和输出分别是多少？ x1x2w1w2 100.20.40.4 8.1人工神经网络的基本概念人工神经网络的基本概念 w1 w2 wm xm x2 x1 . . f () -1 8.1人工神经网络的基本概念人工神经网络的基本概念 当多个神经元组合起来时，人工神经网络的总体结构如下： 输入层隐 藏

4、层 -1-1-1 f f . . . . xm x2 x1 . . . . y1 y2 yn f f f f f f f -1 输出层 . . 8.1人工神经网络的基本概念人工神经网络的基本概念 当层数增加时的神经元模型 输入变量：x1， x2 连接权重：w1，w2 激活函数：f () w1 x1 f () w1x1 +w2x2- -1 w2 x2 小练习：小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经 元的净输入和输出分别是多少？ x1x2w1w2 100.20.40.4 8.1人工神经网络的基本概念人工神经网络的基本概念 x1x2x3w14w15w24w25w34w35

5、w46w56456 1010.2-0.30.40.1-0.50.2-0.3-0.20.4-0.2-0.1 1 2 3 4 5 6 x1 x3 x2 w14 w15 w24 w25 w34 w35 w46 w56 4 5 6 初始输入、权重和偏倚值 小练习：小练习：请你算一算，各节点的净输入和净输出分别是多少？ 8.1人工神经网络的基本概念人工神经网络的基本概念 单元单元 j净输入净输入 Ij净输出净输出 Oj 1 2 3 4 5 6 x1 x3 x2 w14 w15 w24 w25 w34 w35 w46 w56 4 5 6 净输入和输出的计算 -0.7 0.1 0.332 0.525 -0.

6、105 0.474 40.2+0-0.5-0.4=-0.7 5-0.3+0+0.2+0.2=0.1 6-(0.3)(0.332)-(0.2)(0.525)+0.1=-0.105 1/(1+e0.7)=0.332 1/(1+e-0.1)=0.525 1/(1+e0.105)=0.474 8.1人工神经网络的基本概念人工神经网络的基本概念 思考：思考： 如果想要让神经网络的期望输出尽可能接近如果想要让神经网络的期望输出尽可能接近“1”这这 个数值，请问应该调整网络的哪些参数？个数值，请问应该调整网络的哪些参数？ 8.1人工神经网络的基本概念人工神经网络的基本概念 1 2 3 4 5 6 x1 x3

7、 x2 w14 w15 w24 w25 w34 w35 w46 w56 4 5 6 x1x2x3w14w15w24w25w34w35w46w56456 1010.192-0.3060.40.1-0.5080.194-0.261-0.1380.408-0.194-0.218 初始输入、权重和偏倚值 小练习小练习：若将各权值与阈值换成以上各值，各节点的净输入和净输出分别是多 少？ 8.1人工神经网络的基本概念人工神经网络的基本概念 单元单元 j净输入净输入 Ij净输出净输出 Oj 1 2 3 4 5 6 x1 x3 x2 w14 w15 w24 w25 w34 w35 w46 w56 4 5 6

8、净输入和输出的计算 -0.522 0.082 0.6276 0.4795 -0.1842 0.5459 40.192+0-0.306-0.408=-0.522 5-0.306+0+0.194+0.194=0.082 6-(0.3)(0.6276)-(0.2)(0.4795)+0.1=-0.1842 1/(1+e-0.522)=0.6276 1/(1+e-0.1)=0.4795 1/(1+e-0.1842)=0.5459 与0.474相比相比 更接近更接近“1”了了 8.1人工神经网络的基本概念人工神经网络的基本概念 神经网络运算的难点之一：神经网络运算的难点之一： 如何高效地确定各个连接权值W

9、与激活阈值 自动确定权值与阈值的过程称为神经网络学习（训练）神经网络学习（训练）。 8.1人工神经网络的基本概念人工神经网络的基本概念 神经网络的学习方式： 监督学习监督学习 非监督学习 激励学习 8.2 误差误差反向传播反向传播(BP)神经网络神经网络 反向传播算法分二步进行，即正向传播和反向传播正向传播和反向传播。 1正向传播 输入的样本从输入层经过隐单元一层一层进行处理， 通过所有的隐层之后，则传向输出层；在逐层处理的过程 中，每一层神经元的状态只对下一层神经元的状态产生影 响。在输出层把现行输出和期望输出进行比较，如果现行 输出不等于期望输出，则进入反向传播过程。 2反向传播 反向传播

10、时，把误差信号按原来正向传播的通路反向 传回，并对每个隐层的各个神经元的权系数进行修改，以 望误差信号趋向最小。 8.2 误差反向传播误差反向传播(BP)神经网络神经网络 8.2 误差反向传播误差反向传播(BP)神经网络神经网络 单元单元 j计算误差计算误差Errj 1 2 3 4 5 6 x1 x3 x2 w14 w15 w24 w25 w34 w35 w46 w56 4 5 6 每个节点输入端误差Errj的计算 Err4= -0.0087 Err5= -0.0065 0.332 0.525 Err6= 0.1311 1-0.474 40.332(1-0.332)(0.1311)(-0.3)

11、 50.525(1-0.525)(0.1311)(-0.2) 60.474(1-0.474)(1-0.474) -0.0087 -0.0065 0.1311 0.1311 w46 0.1311 w56 8.2 误差反向传播误差反向传播(BP)神经网络神经网络 权重或偏差权重或偏差新值新值 w46-0.3+(0.9)(0.1311)(0.332)=-0.261 w56-0.2+(0.9) (0.1311)(0.525)=-0.138 w140.2+(0.9) (-0.0087)(1)=0.192 w15-0.3+(0.9) (-0.0065)(1)=-0.306 w240.4+(0.9) (-0.0087)(0)=0.4 w250.1+(0.9) (-0.0065)(0)=0.1 w34-0.5+(0.9) (-0.0087)(1)=-0.508 w350.2+(0.9) (-0.0065)(1)=0.194 6-0.1+(0.9) (0.1311)(-1)=-0.218 5-0