神经信息学专题知识培训

神经信息学专题知识培训神经信息学专题知识培训第1页2023/4/272目录1.神经计算2.并行分布式理论框架3.交互与竞争神经网络4.误差反向传输神经网络5.Hopfield神经网络神经信息学专题知识培训第2页2023/4/273神经网络一个神经网络是由简单处理元组成规模宏大并行分布处理器。天然含有存放经验知识和使之可用特征。神经网络从两个方面上模拟大脑：

神经网络获取知识是从外界环境中学习得来。

内部神经元连接强度，即突触权值，用于储存获取知识。神经信息学专题知识培训第3页2023/4/274发展历史

萌芽期（20世纪40年代）人工神经网络研究最早能够追溯到人类开始研究自己智能时期，到1949年止。

1943年，心理学家McCulloch和数学家Pitts建立起了著名阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《BulletinofMethematicalBiophysics》

949年，心理学家D.O.Hebb提出神经元之间突触联络是可变假说——Hebb学习律。

神经信息学专题知识培训第4页2023/4/275发展历史第一高潮期（1950~1968）

以MarvinMinsky，FrankRosenblatt，BernardWidrow等为代表人物，代表作是单级感知器（Perceptron）。

可用电子线路模拟。

大家乐观地认为几乎已经找到了智能关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。

神经信息学专题知识培训第5页2023/4/276发展历史反思期（1969~1982）

M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年

异或”运算不可表示

二十世纪70年代和80年代早期研究结果神经信息学专题知识培训第6页2023/4/277发展历史第二高潮期（1983~1990）

1982年，J.Hopfield提出Hopfield网络用Lyapunov函数作为网络性能判定能量函数，建立ANN稳定性判别依据说明了ANN与动力学关系用非线性动力学方法来研究ANN特征指出信息被存放在网络中神经元联接上

神经信息学专题知识培训第7页2023/4/278发展历史第二高潮期（1983~1990）

1984年，

J.Hopfield设计研制了以后被大家称为Hopfield网-Tank

电路。很好地处理了著名TSP问题，找到了最正确解近似解，引发了较大轰动。

1985年，UCSDHinton、Sejnowsky、Rumelhart等人所在并行分布处理（PDP）小组研究者在Hopfield网络中引入了随机机制，提出所谓Boltzmann机。

神经信息学专题知识培训第8页2023/4/279发展历史

1986年，并行分布处理小组Rumelhart等研究者重新独立地提出多层网络学习算法——BP算法，很好地处理了多层网络学习问题。（Paker1982和Werbos1974年）

自适应共振理论（ART）

自组织特征映射理论神经信息学专题知识培训第9页2023/4/2710发展历史Hinton等人最近提出了Helmboltz机

徐雷提出Ying-Yang机理论模型

甘利俊一(S.Amari)开创和发展基于统计流形方法应用于人工神经网络研究,

我国首届神经网络大会是1990年12月在北京举行。神经信息学专题知识培训第10页2023/4/2711并行分布式理论框架

1986年，美国加州大学圣地亚哥分校（UCSD）Rumellhart，McClelland，Hinton：

ParallelandDistributedProcessing,MITPress,Cambridge神经信息学专题知识培训第11页2023/4/2712并行分布式理论框架PDP模型1）

一组处理单元（PE或AN）2）

处理单元激活状态（ai）3）

每个处理单元输出函数（fi）4）

处理单元之间连接模式5）

传递规则（∑wijoi）6）

把处理单元输入及当前状态结合起来产生激活值激活规则（Fi）7）

经过经验修改连接强度学习规则8）

系统运行环境（样本集合）神经信息学专题知识培训第12页2023/4/2713神经网络维数VarioustypesofneuronsVariousnetworkarchitecturesVariouslearningalgorithmsVariousapplications神经信息学专题知识培训第13页2023/4/2714自组织神经网络经典结构交互与竞争IAC神经网络竞争层输入层神经信息学专题知识培训第14页2023/4/2715竞争学习相同性测量＿欧式距离法神经信息学专题知识培训第15页2023/4/2716相同性测量＿余弦法竞争学习神经信息学专题知识培训第16页2023/4/2717竞争学习规则——Winner-Take-All

网络输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活神经元称为竞争获胜神经元，而其它神经元状态被抑制，故称为WinnerTakeAll。竞争学习原理神经信息学专题知识培训第17页2023/4/2718寻找获胜神经元

当网络得到一个输入模式向量时，竞争层全部神经元对应内星权向量均与其进行相同性比较，并将最相同内星权向量判为竞争获胜神经元。欲使两单位向量最相同，须使其点积最大。即：竞争学习原理神经信息学专题知识培训第18页2023/4/2719

从上式能够看出，欲使两单位向量欧式距离最小，须使两向量点积最大。即：竞争学习原理神经信息学专题知识培训第19页2023/4/27203.网络输出与权值调整

jj*

步骤3完成后回到步骤1继续训练，直到学习率衰减到0。竞争学习原理神经信息学专题知识培训第20页2023/4/2721单层感知器模型前馈神经网络j=1,2,…,m

神经信息学专题知识培训第21页2023/4/2722净输入：输出：ojx1-1xn…单层感知器神经信息学专题知识培训第22页2023/4/2723感知器功效(1)设输入向量X=(x1,x2)T输出：则由方程w1jx1+w2jx2-Tj=0

确定了二维平面上一条分界限。ojx1-1x2单计算节点感知器单层感知器神经信息学专题知识培训第23页2023/4/2724感知器功效单层感知器神经信息学专题知识培训第24页2023/4/2725感知器功效(2)设输入向量X=(x1,x2,x3)T输出：则由方程w1jx1+w2jx2+w3j

x3–Tj=0(3.4)确定了三维空间上一个分界平面。x2ojx1x3-1单层感知器神经信息学专题知识培训第25页2023/4/2726感知器功效单层感知器神经信息学专题知识培训第26页2023/4/2727多层感知器x1o1输出层隐藏层输入层x2o2omxn…………………W(1)W(2)W(3)W(L)网络拓扑结构神经信息学专题知识培训第27页2023/4/2728双层感知器“异或”问题分类用两计算层感知器处理“异或”问题。“异或”真值表x1x2y1y2o001011100111多层感知器神经信息学专题知识培训第28页2023/4/2729双层感知器“异或”问题分类用两计算层感知器处理“异或”问题“异或”真值表x1x2y1y2o001010101111多层感知器神经信息学专题知识培训第29页2023/4/2730双层感知器“异或”问题分类用两计算层感知器处理“异或”问题。“异或”真值表x1x2y1y2o0011011010011111多层感知器神经信息学专题知识培训第30页2023/4/2731双层感知器“异或”问题分类例四用两计算层感知器处理“异或”问题。“异或”真值表x1x2y1y2o00110011011001111110多层感知器神经信息学专题知识培训第31页2023/4/2732含有不一样隐层数感知器分类能力对比多层感知器神经信息学专题知识培训第32页2023/4/2733基于BP算法多层前馈网络模型误差反向传输（BP）网路神经信息学专题知识培训第33页2023/4/2734基于BP算法多层前馈网络模型输入向量：

X=(x1,x2,…,xi,…,xn)T隐层输出向量：

Y=(y1,y2,…,yj,…,ym)T输出层输出向量：

O=(o1,o2,…,ok,…,ol)T期望输出向量：d=(d1,d2,…,dk,…,dl)T输入层到隐层之间权值矩阵：V=(V1,V2,…,Vj,…,Vm)隐层到输出层之间权值矩阵：W=(W1,W2,…,Wk,…,Wl)误差反向传输（BP）网路神经信息学专题知识培训第34页2023/4/27353.4.1基于BP算法多层前馈网络模型对于输出层：k=1,2,…,lk=1,2,…,l对于隐层：j=1,2,…,mj=1,2,…,m误差反向传输（BP）网路神经信息学专题知识培训第35页2023/4/27363.4.1基于BP算法多层前馈网络模型双极性Sigmoid函数：单极性Sigmoid函数：误差反向传输（BP）网路神经信息学专题知识培训第36页2023/4/2737一、网络误差定义与权值调整思绪输出误差E定义：将以上误差定义式展开至隐层：BP学习算法神经信息学专题知识培训第37页2023/4/2738一、网络误差与权值调整深入展开至输入层：BP学习算法神经信息学专题知识培训第38页2023/4/2739BP学习算法j=0,1,2,…,m;k=1,2,…,li=0,1,2,…,n;j=1,2,…,m式中负号表示梯度下降，常数η∈(0,1)表示百分比系数。在全部推导过程中，对输出层有j=0,1,2,…,m;k=1,2,…,l对隐层有i=0,1,2,…,n;j=1,2,…,mBP学习算法神经信息学专题知识培训第39页2023/4/2740对于输出层，式(3.4.9a)可写为对隐层，式(3.4.9b)可写为对输出层和隐层各定义一个误差信号，令

(3.4.11a)yjxiBP算法推导神经信息学专题知识培训第40页2023/4/2741(1)初始化；

(4)计算各层误差信号；

(5)调整各层权值；

(6)检验是否对全部样本完成一次轮训；(7)检验网络总误差是否到达精度要求。(2)输入训练样本对XXp、ddp计算各层输出；(3)计算网络输出误差；BP算法程序实现神经信息学专题知识培训第41页2023/4/2742然后依据总误差计算各层误差信号并调整权值。

另一个方法是在全部样本输入之后，计算网络总误差：BP算法程序实现神经信息学专题知识培训第42页2023/4/2743(1)非线性映射能力

多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系数学方程。只要能提供足够多样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间非线性映射。多层前馈网(感知器)主要能力神经信息学专题知识培训第43页2023/4/2744(2)泛化能力

当向网络输入训练时未曾见过非样本数据时，网络也能完成由输入空间向输出空间正确映射。这种能力称为多层前馈网泛化能力。(3)容错能力

输入样本中带有较大误差甚至个别错误对网络输入输出规律影响很小。多层前馈网(感知器)主要能力神经信息学专题知识培训第44页2023/4/2745

误差函数可调整参数个数nw等于各层权值数加上阈值数，即：

误差E是nw+1维空间中一个形状极为复杂曲面，该曲面上每个点“高度”对应于一个误差值，每个点坐标向量对应着nw个权值，所以称这么空间为误差权空间。BP算法不足神经信息学专题知识培训第45页2023/4/2746误差曲面分布有两个特点：特点之一：存在平坦区域

BP算法不足神经信息学专题知识培训第46页2023/4/2747特点之二：存在多个极小点

多数极小点都是局部极小，即使是全局极小往往也不是唯一，但其特点都是误差梯度为零。

误差曲面平坦区域会使训练次数大大增加，从而影响了收敛速度；而误差曲面多极小点会使训练陷入局部极小，从而使训练无法收敛于给定误差。BP算法不足神经信息学专题知识培训第47页2023/4/2748标准BP算法在应用中暴露出不少内在缺点：⑴易形成局部极小而得不到全局最优；⑵训练次数多使得学习效率低，收敛速度慢；⑶隐节点选取缺乏理论指导；⑷训练时学习新样本有遗忘旧样本趋势。

针对上述问题，我国外已提出不少有效改进算法，下面仅介绍其中3种较常见方法。标准BP算法改进神经信息学专题知识培训第48页2023/4/27491增加动量项α为动量系数，普通有α∈(0，1)2自适应调整学习率

设一初始学习率，若经过一批次权值调整后使总误差↑，则此次调整无效，且=β(β<1)；若经过一批次权值调整后使总误差↓，则此次调整有效，且=θ(θ>1)。标准BP算法改进神经信息学专题知识培训第49页2023/4/27503引入陡度因子

实现这一思绪详细作法是，在原转移函数中引入一个陡度因子λ标准BP算法改进神经信息学专题知识培训第50页2023/4/2751概述Hopfield网络是神经网络发展历史上一个主要里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出，是一个单层反馈神经网络。Hopfield网络是一个由非线性元件组成反馈系统，其稳定状态分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型电路，并成功地处理了旅行商(TSP)计算难题(优化问题)。Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。Hello,I’mJohnHopfield神经信息学专题知识培训第51页2023/4/2752离散Hopfield神经网络神经信息学专题知识培训第52页2023/4/2753离散Hopfield神经网络网络模型表示法二神经信息学专题知识培训第53页2023/4/2754离散Hopfield神经网络相关参数说明任意神经元i与

j间突触权值为，神经元之间连接是对称，神经元本身无连接.每个神经元都同其它神经元相连,其输出信号经过其它神经元又有可能反馈给自己设Hopfield网络中有n个神经元，其中任意神经元输入用表示，输出用表示，它们都是时间函数，其中也称为神经元在时刻t

状态。神经信息学专题知识培训第54页2023/4/2755离散Hopfield神经网络激励函数神经信息学专题知识培训第55页2023/4/2756离散Hopfield神经网络离散Hopfield网络运行规则(1)串行(异步)工作方式在任—时刻，只有某—神经元(随机或确定选择)依上式改变，而其它神经元状态不变。(2)并行(同时)工作方式在任一时刻，个别神经元或全部神经元状态同时改变。

神经信息学专题知识培训第56页2023/4/2757离散Hopfield神经网络串行(异步)工作方式运行步骤第一步对网络进行初始化； 第二步从网络中随机选取一个神经元； 第三步按式(2-5)求出该神经元i输出； 第四步按式(2-6)求出该神经元经激活函数处理后输出，此时网络中其它神经元输出保持不变； 第五步判断网络是否到达稳定状态，若到达稳定状态或满足给定条件则结束；不然转到第二步继续运行。

神经信息学专题知识培训第57页2023/4/2758离散Hopfield神经网络稳定状态若网络从某一时刻以后，状态不再发生改变，则称网络处于稳定状态网络为对称连接，即；神经元本身无连接能量函数在网络运行中不停降低，最终到达稳定神经信息学专题知识培训第58页2023/4/2759离散Hopfield神经网络网络中神经元能量函数改变量Hopfield网络状态向着能量函数减小方向演化。因为能量函数有界，所以系统必定会趋于稳定状态。神经信息学专题知识培训第59页2023/4/2760连续Hopfield神经网络网络模型神经信息学专题知识培训第60页2023/4/2761连续Hopfield神经网络稳定性分析将下式代入得：

因为连续Hopfield网络模型是稳定神经信息学专题知识培训第61页2023/4/2762连续Hopfield神经网络连续Hopfield网络模型主要特征1)连续Hopfield网络神经元作为I/O转换，其传输特征含有Sigmoid特征；2)含有时空整合作用；3)在神经元之间存在着大量兴奋性和抑制性连接，这种联接主要是经过反馈来实现。4)含有既代表产生动作电位神经元，又有代表按渐进方式工作神经元，即保留了动态和非线性两个最主要计算特征。Hopfield神经网络设计目标就是使得网络存放一些特定平衡点，当给定网络一个初始条件时，网络最终会在这么点上停下来神经信息学专题知识培训第62页2023/4/2763Hopfield神经网络MATLAB实现函数名功能satlin()饱和线性传递函数satlins()对称饱和线性传递函数newhop()生成一个Hopfield回归网络nnt2hop()更新NNT2.0Hopfield回归网络MATLAB中Hopfield网络主要函数和功效

神经信息学专题知识培训第63页2023/4/2764Hopfield神经网络MATLAB实现MATLAB中与Hopfield网络相关主要函数和功效

newhop()功效生成一个Hopfield回归网络。格式net=newhop(T)说明net为生成神经网络，含有在T中向量上稳定点；T是含有Q个目标向量R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins()函数，层中神经元有来自它本身连接权和阈值。

神经信息学专题知识培训第64页2023/4/2765Hopfield神经网络MATLAB实现MATLAB中与Hopfield网络相关主要函数和功效satlins()功效对称饱和线性传递函数格式A=satlins(N)A输出向量矩阵；N是由网络输入向量组成S*Q矩阵，返回矩阵A与N维数大小一致，A元素取值位于区间[0，1]内。当N中元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。神经信息学专题知识培训第65页2023/4/2766Hopfield神经网络MATLAB实现设印刷体数字由1010点阵组成，就是将数字分成很多小方块，每个方块就对应数字一个别，组成数字本个别方块用1表示，空白处用-1表示。试设计一个Hopfield网络，能够正确识别印刷体数字。由点阵组成数字1由点阵组成数字2神经信息学专题知识培训第66页2023/4/2767程序神经信息学专题知识培训第67页2023/4/2768稳定性分析

网络稳定性是与收敛性不一样问题

Cohen和Grossberg[1983年]:Hopfield网络稳定性定理

假如Hopfield网络联接权矩阵是对角线为0对称矩阵，则它是稳定

用著名Lyapunov函数作为Hopfield网络能量函数

神经信息学专题知识培训第68页2023/4/2769Lyapunov函数——能量函数

作为网络稳定性度量wijoioj：网络一致性测度。xjoj：神经元输入和输出一致性测度。θjoj：神经元本身稳定性测度。

神经信息学专题知识培训第69页2023/4/2770当ANk状态从ok变成ok′

1、ANk是输入神经元

神经信息学专题知识培训第70页2023/4/2771当ANk状态从ok变成ok′wkk=0神经信息学专题知识培训第71页2023/4/2772ΔΕ=-(netk-θk)ΔokANk状态改变：Δok=(ok′-ok)Δok=0，ΔΕ=0Δok>0，ok′=1&ok=0，ok由0变到1，netk>θk，netk-θk>0所以，-(netk-θk)Δok<0故ΔΕ<0结论：网络目标函数总是下降Δok<0,ok′=0&ok=1，ok由1变到0netk<θk，netk-θk<0-(netk-θk)Δok<0故ΔΕ<0神经信息学专题知识培训第72页2023/4/2773当ANk状态从ok变成ok′2、ANk不是输入神经元

神经信息学专题知识培训第73页2023/4/2774当ANk状态从ok变成ok′不论ANk状态是怎样改变，总有ΔΕ≤0

神经信息学专题知识培训第74页2023/4/2775联想记忆结构

自联想异联想双联想记忆（BidirectionalAssociativeMemory—BAM）。双联想记忆含有一定泛化能力它对含有一定缺点输入向量，经过对信号不停变换、修补，最终给出一个正确输出。

神经信息学专题知识培训第75页2023/4/2776基础联想记忆结构

W第1层输入向量第2层输出向量WTx1xnymy1……………神经信息学专题知识培训第76页2023/4/2777网络运行

Y=F(XW)X=F(YWT)X=(x1，x2，…，xn)Y=(y1，y2，…，ym)F为神经元激活函数，普通可采取S形函数

神经信息学专题知识培训第77页2023/4/2778激活函数——阈值函数伴随λ增加，该函数趋近于阈值为0阈值函数。

1 ifneti>0yi= 0 ifneti<0 yi ifneti=0

λ2>λ1λ1λ21/2神经信息学专题知识培训第78页2023/4/2779基础BAM稳定Kosko(1987)：基础双联存放器无条件稳定——联接权矩阵是互为转置矩阵。当输入向量维数与输出向量维数相同时，W为方阵，此时假如联接矩阵W是对称，则基础双联存放器退化成一个Hopfield网

神经信息学专题知识培训第79页2023/4/2780异联想记忆

样本集：S={(X1,Y1)，(X2,Y2)…,(Xs,Ys)}权矩阵网络需要对输入向量进行循环处理情况当输入向量中含有“噪音”样本集所含信息超出网络容量

神经信息学专题知识培训第80页2023/4/2781容量

Kosko（1987），普通情况下，相联存放器容量不会超出网络最小层神