MATLAB神经网络工具箱中的神经网络模型

MATLAB神经网络工具箱中的神经网络模型第一页，共53页。神经网络工具箱简介MATLAB7对应的神经网络工具箱的版本为Version4.0.3,它以神经网络理论为基础,利用MATLAB脚本语言构造出典型神经网络的激活函数,如线性、竞争性和饱和线性等激活函数，使设计者对所选定网络输出的计算变成对激活函数的调用。还可根据各种典型的修正网络权值规则，加上网络的训练过程，利用MATLAB编写出各种网络设计和训练的子程序，用户根据自己的需要去调用。第二页，共53页。神经网络工具箱的主要应用函数逼近和模型拟合信息处理和预测神经网络控制故障诊断第三页，共53页。应用神经网络工具箱求解问题的一般过程确定信息表达方式数据样本已知数据样本之间相互关系不确定输入/输出模式为连续的或者离散的输入数据按照模式进行分类，模式可能会具有平移、旋转或伸缩等变化形式数据样本的预处理将数据样本分为训练样本和测试样本确定网络模型选择模型的类型和结构，也可对原网络进行变形和扩充网络参数的选择确定输入输出神经元数目训练模型的确定选择合理的训练算法，确定合适的训练步数，指定适当的训练目标误差网络测试选择合适的测试样本第四页，共53页。人工神经元的一般模型神经元模型及其简化模型如图所示，输入向量、权值矩阵，与阈值的加权和（内积运算）送入累加器，形成净输入，即：第五页，共53页。人工神经元模型图中，xi(i＝1，2，…，n)为加于输入端(突触)上的输入信号；ωi为相应的突触连接权系数，它是模拟突触传递强度的—个比例系数,∑表示突触后信号的空间累加；θ表示神经元的阈值，σ表示神经元的响应函数。该模型的数学表达式为：第六页，共53页。与生物神经元的区别:(1)生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。(2)由于在上述模型中用一个等效的模拟电压来模拟生物神经元的脉冲密度，所以在模型中只有空间累加而没有时间累加(可以认为时间累加已隐含在等效的模拟电压之中)。(3)上述模型未考虑时延、不应期和疲劳等。第七页，共53页。响应函数的基本作用：

1、控制输入对输出的激活作用；2、对输入、输出进行函数转换；3、将可能无限域的输入变换成指定的有限范围内的输出。第八页，共53页。根据响应函数的不同，人工神经元有以下几种类型：第九页，共53页。阈值单元响应函数如图a所示,第十页，共53页。线性单元其响应函数如图b所示第十一页，共53页。非线性单元常用响应函数为S型(Sigmoid)函数，如图c、d所示第十二页，共53页。Hardlimx>=0y=1;x<0y=0Hardlims:x>=0y=1;x<0y=-1Purelin:y=xSatlin:x<0y=0;x>1y=1;x>=0&&x<=1y=x;Logsig:y=第十三页，共53页。人工神经网络的构成单个神经元的功能是很有限的，人工神经网络只有用许多神经元按一定规则连接构成的神经网络才具有强大的功能。神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。第十四页，共53页。人工神经网络连接的基本形式：1．前向网络网络的结构如图所示。网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。最右一层为输出层，隐含层的层数可以是一层或多层。前向网络在神经网络中应用很广泛，例如，感知器就属于这种类型。第十五页，共53页。2.反馈前向网络网络的本身是前向型的，与前一种不同的是从输出到输入有反馈回路。第十六页，共53页。内层互连前馈网络通过层内神经元之间的相互连接，可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层内能同时动作的神经数，或者把层内神经元分为若干组，让每组作为一个整体来动作。一些自组织竞争型神经网络就属于这种类型。第十七页，共53页。互连网络互连网络有局部互连和全互连两种。全互连网络中的每个神经元都与其他神经元相连。局部互连是指互连只是局部的，有些神经元之间没有连接关系。Hopfield网络和Boltzmann机属于互连网络的类型。第十八页，共53页。神经网络的学习方式有教师学习(监督学习)第十九页，共53页。(1)均方误差mse(meansquarederror)

误差信号的不同定义:第二十页，共53页。(2)平均绝对误差mae(meanabsoluteerror)第二十一页，共53页。(3)误差平方和sse(sumsquarederror)第二十二页，共53页。无教师学习(无监督学习)第二十三页，共53页。MATLAB工具箱中的神经网络结构在中，令，,则第二十四页，共53页。人工神经元的一般模型由此构成人工神经元的一般模型，如下图所示。上式可写成矩阵向量形式：a=f(Wp+b)第二十五页，共53页。由S个神经元组成的单层网络第二十六页，共53页。MATLAB工具箱中的神经网络结构第二十七页，共53页。多层网络的简化表示:第二十八页，共53页。MATLAB神经网络工具箱中的神经网络模型基本概念:标量:小写字母,如a,b,c等;列向量:小写黑体字母,如a,b,c等,意为一列数;矩阵向量:大写黑体字母,如A,B,C等第二十九页，共53页。权值矩阵向量W(t)

标量元素,i为行,j为列,t为时间或迭代函数列向量行向量第三十页，共53页。阈值向量b(t)标量元素,i为行,t为时间或迭代函数第三十一页，共53页。网络层符号加权和:,m为第m个网络层,为第个神经元,n为加权和网络层输出:,m为第m个网络层,为第个神经元,a为输出输入层权值矩阵,网络层权值矩阵,其中,上标k,l表示第l个网络层到第k个网络层的连接权值矩阵向量第三十二页，共53页。

例:表示输入向量的第R个输入元素到输入层的第个神经元的连接权.

表示……表示…第i个网络层的第个神经元的阈值第三十三页，共53页。例:第三十四页，共53页。n1为第一层神经元的中间运算结果,即连接权向量与阈值向量的加权和,大小为,即a1为第一层神经元的输出向量,大小为,第三十五页，共53页。

神经网络的层数为神经元网络层的数目加1,即隐层数目加1.第三十六页，共53页。多层神经网络结构第三十七页，共53页。多层网络简化形式图中:第三十八页，共53页。说明:输入层神经元的个数决定IW的行数,输入向量元素的个数决定IW的列数,即S1行R列.第三十九页，共53页。细胞矩阵:将多个矩阵向量作为细胞矩阵的”细胞”(Cell),细胞矩阵的各个元素值为对应细胞的大小和数值类型,,第四十页，共53页。访问元素:m{1}=n{1,1}=第四十一页，共53页。m{2}=n{2,1}=n{2,1}(4)=5第四十二页，共53页。变量符号在MATLAB中的表示(1)上标变量以细胞矩阵(Cellarray)即大括号表示p1={1}(2)下标变量以圆括号表示,p1=p(1),,第四十三页，共53页。例:=第四十四页，共53页。第四十五页，共53页。神经网络工具箱常用函数列表重要的感知器神经网络函数：初始化： initp训练： trainp仿真： simup学习规则： learnp第四十六页，共53页。线性神经网络函数初始化： initlin设计： solvelin仿真： simulin离线训练： trainwh在线自适应训练： adaptwh学习规则： learnwh第四十七页，共53页。BP网络函数：initff： 初始化不超过3层的前向网络；simuff：仿真不超过3层的前向网络；trainbp，trainbpx，trainlm：训练BPtrainbp：最慢；trainbpx：次之；trainlm：速度最快，但需要更多的存储空间。learnbp：学习规则第四十八页，共53页。自组织网络

初始化：initsm仿真：simuc训练：trainc：利用竞争规则训练 trainsm：利用Kohonen规则训练第四十九页，共53页。反馈网络（Hopfield网络）

仿真： simuhop设计： solvehopsolvehop 设计Hopfield网络solvelin 设计线性网络rands 产生对称随机数learnbp 反向传播学习规则learnh Hebb学习规则learnp 感知层学习规则learnwh Widrow－Hoff学习规则initlin 线性层初始化initp 感知层初始化initsm 自组织映射初始化plotsm 绘制自组织映射图trainbp 利用反向传播训练前向网络trainp 利用感知规则训练感知层trainwh 利用Widrow－Hoff规则训练线性层trainsm 利用Kohonen规则训练自组织映射第五十页，共53页。神经网络例子

第五十一页，