BP神经网络基本原理与应用课件

BP神经网络基本原理与应用BP神经网络基本原理与应用目录1.神经网络的来源2.ANN初识3.BP神经网络4.BP神经网络与应用BP神经网络目录1.神经网络的来源2.ANN初识3.BP神经网络4.BP人工神经网络来源1人工神经网络来源1大脑可视作为10的12次方个神经元组成的神经网络。

图

神经元的解剖图大脑可视作为10的12次方个神经元组成的神人类神经元的速度100m/s至150m/s，比计算机的要慢，且电位传播有延时但人类的情感、行为、思维、想法，至今还是计算机没法完全实现为什么计算机暂时还赶不上人脑？人类神经元的速度100m/s至150m/s，比计算机的要慢，因为人与动物神经网络足够复杂一个神经元一般会与100到10000个神经元连接，所构成的网络是一个巨复杂网络！并行的运作与存贮同时进行有自我学习因为人与动物神经网络足够复杂一个神经元一般从动物神经网络到人工神经网络神经元的数学模型

图

神经元的数学模型X为输入，W为权值，y为输出，b为阈值，f(*)为激活函数从动物神经网络到人工神经网络神经元的数学模型图神经元的数从动物神经网络到人工神经网络神经元的数学公式X为输入，W为权值，y为输出，b为阈值，f(*)为激活函数

输入值求和：输出值计算：

从动物神经网络到人工神经网络神经元的数学公式X为输入，W为从动物神经网络到人工神经网络激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f（net）

1、线性函数（LinerFunction）

f（net）=k*net+c

netooc从动物神经网络到人工神经网络激活函数执行对该神经元所获得从动物神经网络到人工神经网络

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均为非负实数，θ为阈值二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ双极形式：

1 ifnet>θf（net）= -1 ifnet≤θ

2、阈值函数（ThresholdFunction）阶跃函数从动物神经网络到人工神经网络 β ifnet>θ2从动物神经网络到人工神经网络从动物神经网络到人工神经网络人工神经网络初识2人工神经网络初识2人工神经网络（ANN）众多神经元之间组合形成神经网络，例如下图的含有中间层（隐层）的网络

人工神经网络（ANN）众多神经元之间组合形成神经网络，例如下人工神经网络（ANN）基本神经网络的拓扑结构b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp输出层LC隐含层LB输入层LAWV人工神经网络（ANN）基本神经网络的拓扑结构b1bia1c1人工神经网络（ANN）分类从网络性能角度，可分为连续型与离散型网络、确定性与随机性网络从网络结构角度，可分为前向网络与反馈网络从学习方法角度，可分为有导师学习网络和无导师学习网络按连接突触性质，可分为一阶线性关联网络和高阶非线性关联网络人工神经网络（ANN）分类从网络性能角度，可分为连续型与离散BP神经网络3BP神经网络3何为BP神经网络BP（BackPropagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络。是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。何为BP神经网络BP（BackPropaBP神经网络核心思想BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。BP神经网络核心思想BP算法由数据流的前向BP网络常用传递函数:BP网络的传递函数有多种。Log-sigmoid型函数的输入值可取任意值，输出值在0和1之间；tan-sigmod型传递函数tansig的输入值可取任意值，输出值在-1到+1之间；线性传递函数purelin的输入与输出值可取任意值。BP网络通常有一个或多个隐层，该层中的神经元均采用sigmoid型传递函数，输出层的神经元则采用线性传递函数，整个网络的输出可以取任意值。BP网络常用传递函数:BP网络的传递函数有多种。Log-siBP网络常用传递函数:BP网络的传递函数：BP网络常用传递函数:BP网络的传递函数：输入层和输出层可以根据实际问题确定，但权值和阈值初始化，却没有严格的理论基础。而BP神经网络可以通过误差最速下降法，从而调整权值与阈值。权值和阈值如何确定、学习？输入层和输出层可以根据实际问题确定，但权值和阈值初始化，却没BP神经网络的学习

学习过程：

神经网络在外界输入样本的刺激下不断改变网络连接的权值，阈值。以使网络的输出不断地接近期望的输出。学习的本质：

对各连接权值、阈值的动态调整学习规则：

权值、阈值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则BP神经网络的学习学习过程：BP神经网络的学习网络结构输入层有n个神经元，隐含层有q个神经元,

输出层有m个神经元BP神经网络的学习网络结构BP神经网络的学习输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:BP神经网络的学习输入层与中间层的连接权值:BP神经网络的学习(一)误差函数的确定网络学习误差函数分为两类：（t为预期值，y为输出值）A、网络对样本逐个的顺序输入而不断学习，是基于单个样本误差e的最小值进行。B、第二是待样本全部输入后，基于E的最小值来完成权值空间的梯度搜索，即批处理过程。BP神经网络的学习(一)误差函数的确定BP神经网络的学习(二)误差梯度下降法梯度下降的基本原理：梯度下降法又称最速下降法。函数J(a)在某点ak的梯度是一个向量，其方向是J(a)增长最快的方向。显然，负梯度方向是J(a)减少最快的方向。在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。BP神经网络的学习(二)误差梯度下降法BP神经网络的学习(二)误差梯度下降法求函数J(a)极小值的问题，可以选择任意初始点a0,从a0出发沿着负梯度方向走，可使得J(a)下降最快。s(0)：点a0的搜索方向。BP神经网络的学习(二)误差梯度下降法求函BP神经网络的学习(三)BP算法调整，输出层的权值调整直观解释当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。BP神经网络的学习(三)BP算法调整，输BP神经网络的学习(三)BP算法调整，输出层的权值调整式中：—学习率最终形式为：BP神经网络的学习(三)BP算法调整，输BP神经网络的学习(三)BP算法调整，隐藏层的权值调整隐层各神经元的权值调整公式为：同理，输出层、隐藏层的阈值调整就是误差函数对阈值的偏导函数。BP神经网络的学习(三)BP算法调整，隐BP学习算法的步骤:Step1

选定学习的数据,p=1,…,P,随机确定初始权矩阵W（0）Step2

用（10）式反向修正,直到用完所有学习数据.用学习数据计算网络输出Step3

BP学习算法的步骤:Step1选定学习的数据,p=1,…,BP网络设计：1.输入层和输出层的设计输入层和输出层节点点数的选择由应用要求决定。输入层节点数一般等于要训练的样本矢量维数，可以是原始数据的维数或提取的特征维数；输出层节点数在分类网络中去类别数m或lbm，在拟合网络中取要拟合的函数输出空间维数。2.隐含层结构设计（1）隐含层数设计1989年，RobertHecht-Nielsen证明了对于任何闭区间内的一个连续函数都可以用一个隐含层的BP网络来逼近。因而，一个3层的BP网络可以完成任意的n维到m维的映射。BP网络设计：1.输入层和输出层的设计BP网络设计：

BP网络设计：

BP神经网络与分类（应用）4BP神经网络与分类（应用）4人工神经网络

（ArtificialNeuronNets=ANN）

例

1981年生物学家格若根（W．Grogan）和维什（W．Wirth）发现了两类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：翼长触角长类别

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼长触角长类别1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af人工神经网络

（ArtificialNeuronNets问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．问它们应分别属于哪一个种类？

如果如下图那么直观的分清，则问题将会很容易解决问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。但是，如果图是下面这样的话：新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作输入数据有15个，即,p=1,…,15;j=1,2;对应15个输出。建模：（输入层，中间层，输出层，每层的元素应取多少个？）建立神经网络输入数据有15个，即,p=1,…,15;j=1,2规定目标为：当t(1)=0.9时表示属于Apf类，t(2)=0.1表示属于Af类。设两个权重系数矩阵为：为阈值

其中规定目标为：当t(1)=0.9时表示属于Apf类，t(2（1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句：

令p=0具体算法如下：=rand(2,3);=rand(1,3);(2)根据输入数据利用公式算出网络的输出

=（1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以取（3）计算因为所以

（4）取

（或其他正数，可调整大小）

取（3）计算因为所以（4）取（或其他正数，可调整大小(5)计算