人工神经网络课件

1、人工神经网络课件人工神经网络课件第1页7.1 引言一. 产生背景 非线性复杂数学问题求解需求 股票预测 故障检测 气象与灾害(地震/水文/农业生产等)预报预测 函数迫近与非线性拟合 方案与决议: 排课表,生产调度等 各类模式识别问题: 语音/字符/图像/视频 人工智能(如打牌下棋麻将等)人工神经网络课件第2页二. 人脑思维及神经系统研究进展人脑:140亿神经元人工神经网络课件第3页三.人工神经网络研究进展计算机科学发展1943 提出神经元模型1949 提出学习算法及规则1957 提出感知器-人工神经元模型1969 发表,串行计算机全胜1982 建立人工神经网络模型1986 提出BP神经网络算法

2、人工神经网络课件第4页 图中，xi(i1，2，n)为加于输入端(突触)上输入信号；i为对应突触连接权系数，它是模拟突触传递强度个百分比系数, 表示突触后信号空间累加；表示神经元阈值，表示神经元响应函数。该模型数学表示式为：7.2 人工神经元与感知器一.人工神经元模型人工神经网络课件第5页与生物神经元区分:(1)生物神经元传递信息是脉冲，而上述模型传递信息是模拟电压。(2)因为在上述模型中用一个等效模拟电压来模拟生物神经元脉冲密度，所以在模型中只有空间累加而没有时间累加(能够认为时间累加已隐含在等效模拟电压之中)。(3)上述模型未考虑时延、不应期和疲劳等。人工神经网络课件第6页人工神经元普通模型

3、神经元模型及其简化模型如图所表示，输入向量 、权值矩阵 ，与阈值加权和（内积运算）送入累加器，形成净输入人工神经网络课件第7页响应函数 基础作用：1、控制输入对输出激活作用；2、对输入、输出进行函数转换；3、将可能无限域输入变换成指定有限范围内输出。 人工神经网络课件第8页依据响应函数不一样，人工神经元有以下几个类型：人工神经网络课件第9页 阈值单元响应函数如图a所表示,人工神经网络课件第10页线性单元 其响应函数如图b所表示人工神经网络课件第11页非线性单元 常见响应函数为S型(Sigmoid)函数，如图c、d所表示人工神经网络课件第12页二. 感知器X1X2Y1Y2W11W12W21W22

4、举例: 逻辑运算人工神经网络课件第13页人工神经网络组成 单个神经元功效是很有限，人工神经网络只有用许多神经元按一定规则连接组成神经网络才含有强大功效。神经元模型确定之后，一个神经网络特征及能力主要取决于网络拓扑结构及学习方法。 7.3 人工神经网络数学模型人工神经网络课件第14页1前向网络 网络结构如图所表示。网络中神经元是分层排列，每个神经元只与前一层神经元相连接。最右一层为输出层，隐含层层数能够是一层或多层。前向网络在神经网络中应用很广泛，比如，感知器就属于这种类型。一. 基础结构人工神经网络课件第15页2. 反馈前向网络网络本身是前向型，与前一个不一样是从输出到输入有反馈回路。人工神经

5、网络课件第16页3. 内层互连前馈网络经过层内神经元之间相互连接，能够实现同一层神经元之间横向抑制或兴奋机制，从而限制层内能同时动作神经数，或者把层内神经元分为若干组，让每组作为一个整体来动作。一些自组织竞争型神经网络就属于这种类型。人工神经网络课件第17页4. 互连网络 互连网络有局部互连和全互连两种。全互连网络中每个神经元都与其它神经元相连。局部互连是指互连只是局部，有些神经元之间没有连接关系。Hopfield网络和Boltzmann机属于互连网络类型。人工神经网络课件第18页二.神经网络学习与训练方式有老师学习(监督学习)人工神经网络课件第19页(1)均方误差mse(mean squar

6、ed error)误差信号不一样定义:人工神经网络课件第20页(2)平均绝对误差mae (mean absolute error)人工神经网络课件第21页(3)误差平方和sse(sum squared error)人工神经网络课件第22页无老师学习(无监督学习)人工神经网络课件第23页三. 应用神经网络求解问题普通过程确定信息表示方式数据样本已知且数据样本之间相互关系不确定输入数据按照模式进行分类数据样本预处理将数据样本分为训练样本和测试样本确定网络模型选择模型类型和结构，也可对原网络进行变形和扩充确定输入输出神经元数目选择合理训练算法，确定适当训练步数，指定适当训练目标误差训练模型利用训练样

7、本进行机器训练,确定网络参数网络测试选择适当测试样本进行实际测试人工神经网络课件第24页7.4 BP神经网络 (Error Back Propogation)见笔记人工神经网络课件第25页人工神经网络课件第26页BP神经网络训练步骤1 设置权系数初始数值(普通是01之间随 机数)2 提供训练样本3 从前向后计算各层各单元输出4 计算输出层误差5 判断是否满足终止条件:如满足,训练结束, 不然继续下一步骤6 从后向前计算各隐层误差7 计算并保留各权值修正量8 修正各权值系数,返回步骤3.人工神经网络课件第27页7.5 人工神经网络MATLAB工具箱一. 引言MATLAB 神经网络工具箱neura

8、l network toolbox提供了图形用户界面(graph user interface , GUI) ,从而使用户在图形界面上,经过与计算机交互操作设计和仿真神经网络,使得神经网络设计和仿真变得简单易学.人工神经网络课件第28页二. 图形用户界面介绍 函数nntool 详解见help文档。在MATLAB 命令窗口(command window)输入nntool, 按Enter后即可打networkdata manager(网络数据管理器窗补如图1 所表示。)（或点击Start/Toolboxes/Neural Network）人工神经网络课件第29页图1 图形用户界面人工神经网络课件第

9、30页三.人工神经网络课件第31页四.人工神经网络课件第32页五.MATLAB工具箱中常见函数线性神经网络函数初始化：initlin设计：solvelin仿真：simulin离线训练：trainwh在线自适应训练：adaptwh学习规则：learnwh人工神经网络课件第33页BP网络函数：initff：初始化不超出3层前向网络；simuff：仿真不超出3层前向网络；trainbp，trainbpx，trainlm：训练BP trainbp：最慢； trainbpx：次之； trainlm：速度最快，但需要更多存放空间。learnbp： 学习规则人工神经网络课件第34页自组织网络初始化：init

10、sm仿真： simuc训练： trainc：利用竞争规则训练 trainsm：利用Kohonen规则训练人工神经网络课件第35页反馈网络（Hopfield网络）仿真：simuhop设计：solvehopsolvehop设计Hopfield网络solvelin设计线性网络rands产生对称随机数learnbp反向传输学习规则learnhHebb学习规则learnp感知层学习规则learnwhWidrowHoff学习规则initlin线性层初始化initp感知层初始化initsm自组织映射初始化plotsm绘制自组织映射图trainbp利用反向传输训练前向网络trainp利用感知规则训练感知层tr

11、ainwh利用WidrowHoff规则训练线性层trainsm利用Kohonen规则训练自组织映射人工神经网络课件第36页六. 神经网络工具箱使用流程 nntool使用过程数据结构与预处理训练数据导入nntool建立网络训练网络仿真网络输出与存放模拟结果加载先前仿真过网络于nntool人工神经网络课件第37页数据结构与预处理人工神经网络课件第38页训练数据导入nntool依据数据多少，数据文件格式等获取样本数据方法有：1）直接输入数据：经过采取元素列表方式输入。适合用于样本数目较少时。New按钮2）Import from Matlab Workspace：Import按钮。3）Load fro

12、m disk file：适合从M-file 文件中读取数据。 Import按钮。 人工神经网络课件第39页Import from Matlab Workspace人工神经网络课件第40页Load from disk file人工神经网络课件第41页建立网络Network/Data Manager窗口中New打开Create Network or Data，如右图。Name：定义网络名为network1选择Input/Target Data,设置训练函数等参数。View：查看模型人工神经网络课件第42页训练网络Network/Data Manager窗口中选中network1，双击或Open。打

13、开以下列图在Train中，见下页图，人工神经网络课件第43页人工神经网络课件第44页能够看出,该窗口为一个多页面对话框,在Train 页面有2个子页面：Training ：训练数据(Training Data)输入向量(Inputs )选择为p,目标向量(Targets)选择为t;训练结果(Training Results)输出变量(outputs ) 和误差性能变量(Errors)采取系统自动生成network1 _ output,和network1 _ errors,当然它们也能够由用户重新定义。人工神经网络课件第45页TrainingParameters ：设置训练各种参数,这要依据详细

14、训练和学习函数进行确定,相关内容可参看各神经网络模型训练和学习算法。本例采取其默认值即可。epochs：训练最大循环次数goal：性能目标max_fail：最大验证数据失败次数mem_reduc：降低内存需求系数min_grad：最小性能梯度mu：动量初始值mu_dec：动量降低系数mu_inc：动量增加系数mu_max：动量最大值show：每格多少训练循环次数会显示训练过程time：最大训练所须时间，单位为秒人工神经网络课件第46页 以上过程完成后,单击该页面Train Network按钮,开始训练,其训练过程如图9所表示。图9 训练误差性能曲线 Algorithms：相关参数Progres

15、s：终止条件（只要一个满足则停顿）Plots：各种图形曲线人工神经网络课件第47页 训练完成后,在Network/Data Manager窗口能够看到,在Outputs区域显示出输出变量名network1 _outputs,在Errors区域显示出误差性能变量名network1 _ errors。选中变量名,单击该窗口Open按钮,则弹出数据(Data)窗口,在该窗口能够查看到该所选中变量详细数据。人工神经网络课件第48页仿真Network/Data Manager窗口中选中network1，双击或Open。在Simulate中，见图，人工神经网络课件第49页 将仿真数据选择为testX,仿真结果选择为network1_outputs_sim；Targets选为TestY，误差errors为network1_errors_sim。单击Simulate Network按钮,则在Network/ Data Manager窗口Outputs和Errors区域分别显示出对应仿真结果，选中变量名,单击该窗口Open按钮,弹出数据窗口,在该窗口能够查看仿真结果详细数据,如图 所表示。人工神经网络课件第50页结果Expor