机器学习算法之神经网络课件

机器学习算法

——人工神经网络

（ArtificialNeuralNetwroks）报告人：曹杰（湖大团队）1编辑版pppt神经网络基本概念1神经网络的学习方法2BP神经网络3BP神经网络实例（Python）4目录2编辑版pppt生物神经元的模型神经网络的基本概念3编辑版pppt神经元的数学模型神经元的n个输入

接收的信息(其它神经元的输出)

作比较的阈值互连强度/连接权值激活函数输出连接的权值：两个互连的神经元之间相互作用的强弱。神经元模型：神经元相当于一个多元输入一元输出的信息处理单元4编辑版pppt神经元的数学模型

上面的神经元模型可以用一个数学表达式进行抽象与概括，从而得到神经元的数学模型：神经元的网络输入记为net，即

有时为了方便，设则有：其中，5编辑版pppt激活函数1.阈值型激活函数2.S型激活函数3.分段线性激活函数6编辑版pppt数学神经元例子7编辑版pppt8编辑版pppt神经网络学习方法学习：神经网络的最重要特征之一。实质：同一个训练集的样本输入输出模式反复作用于网络，网络按照一定的训练规则自动调节神经元之间的连接强度或拓扑结构，使实际输出满足期望的要求或者趋于稳定。学习规则（典型的权值修正方法）：δ误差修正学习、Hebb学习规则学习方法：有监督学习、无监督学习9编辑版ppptδ学习规则（1）选择一组初始权值wij(1)；（2）计算某一输入模式对应的实际输出与期望输出的误差；（3）更新权值，阈值可视为输入恒为（－1）的一个权值；式中，η：学习因子；dj，yj(t)：第j个神经元的期望输出与实际输出；xi(t)：第j个神经元的第i个输入。（4）返回(2)，直到对所有训练模式网络输出均能满足要求。神经网络的学习体现在：权值变化；网络结构变化。10编辑版pppt感知器*双层（输入层、输出层）；*两层单元之间为全互连；*连接权值可调。结构特点：*输出层神经元个数等于类别数（两类问题时输出层为一个神经元）。

感知器结构示意图11编辑版pppt设输入模式向量，，共M类。输出层第j个神经元对应第j个模式类，输出为wij：输入模式第i个分量与输出层第j个神经元间的连接权。θj：第j个神经元的阈值；

输出单元对所有输入数值加权求和，经阈值型输出函数产生一组输出模式。令。取有12编辑版pppt感知器例子权重向量w。训练样本x1.把权重向量初始化为0，或把每个分量初始化为[0,1]间的任意小数2.把训练样本输入感知器，得到分类结果（-1或1）3.根据分类结果更新权重向量13编辑版pppt权重更新算法14编辑版pppt权重更新示例15编辑版pppt阈值更新16编辑版pppt神经网络模型输出层第二隐层第一隐层输入层神经网络模型

神经元的连接方式不同，网络的拓扑结构也不同，人工神经网络的拓扑结构是决定人工神经网络特征的第二要素，根据神经元之间连接的拓扑结构不同，可将人工神经网络分成两类，即分层网络和相互连接型网络。17编辑版pppt分层网络

分层网络将一个神经网络中的所有神经元按功能分为若干层，一般有输入层、中间层（隐藏层）和输出层。

分层网络按照信息的传递方向可分为前向式网络（如图a）和反馈网络（如图b、c）。18编辑版ppptBP神经网络BP网络主要用于1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。2）模式识别：用一个特定的输出向量将它与输入向量联系起来。3）分类：把输入向量以所定义的合适方式进行分类。4）数据压缩：减少输出向量维数以便于传输或存储。

BP神经网络（BackPropagationNeuralNetwork），即误差后向传播神经网络，是一种按误差逆向传播算法训练的多层前馈网络，是目前应用最广泛的网络模型之一。19编辑版ppptBP神经网络结构BP神经元的网络结构注：与感知器模型不同的是，BP网络的激活函数f（·）要求是可微的，所以不能用二值函数，常用S型的对数、正切函数或线性函数。BP神经节点20编辑版ppptBP神经网络BP算法的两个阶段：BP算法由数据流的正向传播和误差信号的反向传播两个过程构成。设：某层任一神经元j的输入为netj，输出为yj；相邻低一层中任一神经元i的输出为yi。wij：神经元i与j之间的连接权；f(∙)：神经元的输出函数。ji21编辑版ppptS型输出函数：θj：神经元阈值；h0：修改输出函数形状的参数。设：输出层中第k个神经元的实际输出为yk，输入为netk；与输出层相邻的隐层中任一神经元j的输出为yj。22编辑版pppt

对输入模式Xp，若输出层中第k个神经元的期望输出为dpk，实际输出为ypk。输出层的输出方差：若输入N个模式，网络的系统均方差为：当输入Xp时，wjk的修正增量：其中，由式得到：23编辑版pppt令，可得输出单元的误差：输出单元的修正增量：

对于与输出层相邻的隐层中的神经元j和该隐层前低一层中的神经元i

：

输出层中神经元输出的误差反向传播到前面各层，对各层之间的权值进行修正。24编辑版ppptBP算法建模步骤：第二步：输入样本，指定输出层各神经元的希望输出值。第三步：依次计算每层神经元的实际输出，直到输出层。第四步：从输出层开始修正每个权值，直到第一隐层。若j是输出层神经元，则：若j是隐层神经元，则：第五步：转到第二步，循环至权值稳定为止。第一步：对权值和神经元阈值初始化：(0，1)上分布的随机数。25编辑版ppptBP算法建模步骤：26编辑版ppptBP算法步骤：27编辑版ppptBP神经网络的设计分析1、产生数据样本集2、确定网络的类型和结构

选择网络的层数、每层的节点数、初始权值、阈值、学习算法、数值修改频度、结点变换函数及参数、学习率等参数。3、训练和测试包括原始数据的收集、数据分析、变量选择以及数据的预处理对所有样本数据正向运行一次并反向修改连接权一次称为一次训练(或一次学习)。训练次数均方误差训练数据测试数据28编辑版ppptBP神经网络的应用实例

BP神经网络训练数据1.问题的描述下面列表中的数据是某地区20年公路运量数据，在作为下一节的神经网络程序的输入。其中属性“人口数量”、“机动车数量”和“公路面积”作为神经网络的三个输入，属性“公路客运量”和“公路货运量”作为神经网络的两个输出。29编辑版pppt某地区20年公路运量数据年份人口数量机动车数量公路面积公路客运量公路货运量20.550.60.095126123722.440.750.116217137925.370.850.117730138527.130.900.149145139929.451.050.2010460166330.11.350.2311387171430.961.450.2312353183434.061.600.3215750432236.421.700.3218304813238.091.850.3419836893639.132.150.362102411099200139.992.200.361949011203200241.932.250.382043310524200344.592.350.49225981111530编辑版pppt年份人口数量机动车数量公路面积公路客运量公路货运量

47.302.500.56251071332052.892.600.59334421676255.732.700.59368361867356.762.850.67405482072459.172.950.694292720803200960.633.100.794346