第5章神经网络

神经网络控制技术

NeuralnetworkControl授课教师石庆升2023/9/23内容提要河南工业大学电气工程学院2智能控制智能控制概述模糊控制神经网络控制遗传算法专家系统第五章神经网络控制5.1人工神经网络5.2神经网络的基本知识5.3几种类型的神经网络5.4神经网络控制系统5.5MATLAB神经网络工具箱介绍河南工业大学电气工程学院智能控制:第五章神经网络控制5.1人工神经网络ANNs什么是人工神经网络？T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。”ANNs研究的目的和意义(1)通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。(2)争取构造出尽可能与人脑具有相似功能的计算机，即ANN计算机。(3)研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。

研究ANN方法（1）生理结构的模拟：用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络（ArtificialNeuralNetwroks，简称ANNs）方法。（2）宏观功能的模拟：从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即符号处理方法。ANN的研究内容（1）理论研究：ANN模型及其学习算法，试图从数学上描述ANN的动力学过程，建立相应的ANN模型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。（2）实现技术的研究：探讨利用电子、光学、生物等技术实现神经计算机的途径。（3）应用的研究：探讨如何应用ANN解决实际问题，如模式识别、故障检测、智能机器人等。人工神经网络研究的兴起与发展人工神经网络的研究经历了不少的曲折，大体上可分为四个阶段:

产生时期(20世纪50年代中期之前)

1943年，心理学家Mcculloch和数理逻辑学家Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。(先驱)1948年，冯·诺依曼在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。

高潮时期(20世纪50年代中期到20世纪60年代末期)

50年代末，F·Rosenblatt设计制作了“感知机”。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题。

然而，以下两个原因使得此项研究陷入低潮：

1）当时数字计算机的发展处于全盛时期许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视；2）当时的电子技术工艺水平比较落后要制作在规模上与真实的神经网络相似是完全不可能的；

低潮时期(20世纪60年代末到20世纪80年代初期)

随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。

蓬勃发展时期(20世纪80年代以后)80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。

脑神经信息活动的特征(1)巨量并行性。(2)信息处理和存储单元结合在一起。(3)自组织自学习功能。

生物神经网络智能控制:第五章神经网络控制生物神经网络人工神经网络三层前馈网络智能控制:第五章神经网络控制生物神经网络人工神经网络全局递归型神经网络智能控制:第五章神经网络控制生物神经网络人工神经网络基本Elman网络智能控制:第五章神经网络控制生物神经网络人工神经网络改进型Elman网络智能控制:第五章神经网络控制生物神经网络人工神经网络局部递归型神经网络智能控制:第五章神经网络控制生物神经网络人工神经网络连续型Hopfield网络智能控制:第五章神经网络控制生物神经网络人工神经网络+小脑模型神经网络（CMAC）智能控制:第五章神经网络控制生物神经网络人工神经网络PID神经网络智能控制:第五章神经网络控制5.2神经网络的基本知识5.2.1人工神经网络模型人工神经网络是对人或动物脑神经若干基本特性的抽象和模拟。生物神经元的模型：生物神经元由细胞体、树突和轴突组成河南工业大学电气工程学院21细胞体树突轴突另一个神经元智能控制:第五章神经网络控制河南工业大学电气工程学院22

树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元将产生冲动。智能控制:第五章神经网络控制人工神经网络基本模型河南工业大学电气工程学院23模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型：-θ1

众多的人工神经元连接在一起就构成了人工神经网络，简称神经网络。智能控制:第五章神经网络控制基本人工神经元模型InputsignalSynapticweightsSummingfunctionActivationfunctionLocalFieldvOutputox1x2xnw2wnw1w0x0=+1输入维数增加一维x0，则把域值-θ包括进去W0=-θ智能控制:第五章神经网络控制人工神经元模拟生物神经元的一阶特性。输入：X=（x1，x2，…，xn）联接权：W=（w1，w2，…，wn）T网络输入：net=∑xiwi-θ向量形式：net=XW-θ激活函数：f网络输出：o=f（net）

智能控制:第五章神经网络控制典型激活函数netooc线性函数（LinerFunction）

f（net）=k*net+cnet

γ-γ

θ

-θ

o

非线性斜面函数（RampFunction）或称为饱和线性函数f(net)=(|net+1|-|net-1|)/2a+bo(0,c)netac=a+b/2

S形函数f(net)=(1-e-λnet)/(1+e-λnet)

智能控制:第五章神经网络控制硬限函数（HardLimiterFunction）

f（net）= 1 net≥0

-1或0 net<0net0-11O高斯函数（GaussFunction）

f(net)=e-net2/λ2net01O激活函数的典型应用硬限函数 分类线性函数 函数逼近饱和线性 分类Sigmoid函数

分类、函数逼近或优化Gauss函数 径向基函数神经网络(RBF网络)举例：用MP神经元实现两个输入的逻辑与、或、异或激活函数

f

采用硬限函数。两个输入的逻辑与或异或的逻辑真值表x1 x2 yAND yOR yXOR0 0 0 0 00 1 0 1 11 0 0 1 11 1 1 1 011x1x2θ=2y22x1x2θ=2y22m1m2θ=2yx1x2-12θ=22-1θ=2分析：逻辑与：

net=x1×1+x2×1-θ={-2-1-10} y=f(net)={0001}逻辑或： net=x1×2+x2×2-θ={-2002} y=f(net)={0111}异或：

net1=x1×2+x2×(-1)-2={-2-30-1}

net2=x1×(-1)+x2×2-2={-20-3-1}

m1=f(net1)={0010} m2=f(net2)={0100} net=m1×2+m2×2-2={-200-2} y=f(net)={0110}上述结果与真值表对比结果一致。河南工业大学电气工程学院30（1）分布存储和容错性。信息在神经网络中的存储是按内容分布于许多神经元中的，部分神经元的损坏不会影响整个网络的信息恢复。（2）自适应性与自组织性。神经元之间的连接具有多样性，各神经元之间的连接强度具有可调性，这使得神经网络可以通过学习和训练进行自组织。智能控制:第五章神经网络控制5.2.2人工神经网络基本特性及表示基本特性河南工业大学电气工程学院31（3）并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，处理速度快。（4）能以任意精度逼近任意的非线性函数关系。智能控制:第五章神经网络控制基本特性河南工业大学电气工程学院32信号流图（有向图）表示。信号流图是由一些带方向的连接和节点组成。信号沿连接线按箭头方向流动。连接线：突触连接和函数连接节点：求和节点和分送节点智能控制:第五章神经网络控制神经网络表示河南工业大学电气工程学院335.2.3神经网络的结构从连接方式分为前馈型网络和反馈型网络。前馈网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。…………智能控制:第五章神经网络控制输出层输入层 隐层河南工业大学电气工程学院34反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。智能控制:第五章神经网络控制……输入 输出 神经网络工作过程两个阶段第一阶段学习期各计算单元状态不变，各连线权值可通过学习来修改。第二阶段工作期各连线权值固定，计算单元状态变化，以达到某种稳定状态。作用效果分析：前馈网络主要是函数映射反馈网络按对能量函数的极小点的利用分类：

所有极小点都起作用：用作各种联想存储器

全局极小点起作用：用作求解最优化问题用于模式识别和函数逼近河南工业大学电气工程学院36神经网络的学习方式/网络③强化学习（再励学习）神经网络是有导师学习的特例。只对输出结果给评价，系统通过强化受奖励的输出改善自身性能。①有导师学习（监督学习）神经网络：为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。②无导师学习（非监督学习）神经网络：不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。智能控制:第五章神经网络控制①感知器、误差反传网络（BP）、小脑模型连接控制器（CMAC）、模块（组合）网络、增强学习网络②竞争学习和Kohonen网络、Hopfield网络、双向联想存贮器（BAM）、Boltzman机③GA举例：典型网络结构简单单级网……x1x2…xno1o2onwnmw11w1mw2mwn1输出层输入层 智能控制:第五章神经网络控制输出层x1o1w11w1mx2o2w2m………xnomwn1输入层 net单级横向反馈网智能控制:第五章神经网络控制输出层x1o1w11w1mx2o2w2m………xnomwn1输入层 net多级网输出层隐藏层输入层o1o2om…x1x2xn………………智能控制:第五章神经网络控制循环网x1o1输出层隐藏层输入层x2o2omxn…………………智能控制:第五章神经网络控制河南工业大学电气工程学院415.2.4最简单的神经网络：感知器（Perceptron)模型

Perceptron模型是美国学者Rosenblutt在1957年提出的，首次使神经网络具有了学习的能力，后来的神经网络模型都是在此模型的基础上进行的改进和推广。该模型的结构：-θ1该模型的数学模型：权值或连接强度，可调令wn+1=-θ，xn+1=1，则：，智能控制:第五章神经网络控制河南工业大学电气工程学院42Perceptron模型的学习方法：输入一学习样本X=（x1，x2，……xn，1）和它的希望输出d。计算网络的实际输出：用下式对权值w进行修正：反复修改，直至w稳定不变其实是最优化方法的最速梯度下降法，目标是使函数最小，也就是使网络的输出尽可能地逼近希望输出d。智能控制:第五章神经网络控制河南工业大学电气工程学院43智能控制:第五章神经网络控制 上述模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。状态方程描述每个神经元的输入、输出、权值间的函数关系；学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。单层感知器

用于两类模式分类时，相当于在高维样本空间中，用一个超平面将两类样本分开。已证明若输入的两类模式是线性可分集合（指存在一个超平面能将其分开），则算法一定收敛。局限性若输入模式为线性不可分集合，网络的学习算法不收敛，不能进行正确分类。举例线性可分集合（1）二维平面上的两类模式，见表。用图所示二输入/单输出单层感知器，输入输出描述：

即

可见：输入输出为线性可分集合，因此一定可找到一条直线，将输入模式分为两类，此直线方程：则见图，此直线与权值及阈值有关。举例

线性可分集合平面上的两类模式分类用图所示三输入/单输出的单层感知器，输入输出：

即可见，输入输出为线性可分集合，一定可找到一个平面，将输入模式分为两类，平面方程：则此平面与权值及阈值有关，见图。（2）三维空间上的两类模式

（3）可引伸到n>3维空间上的线性可分集合，一定可找到一超平面，将输入模式分为两类。由n输入/单输出的单层感知器实现。

对二维平面上的另一类模式——异或（XOR）问题见表。二维平面中不存在一条直线，将输入模式分为两类，此输入模式称线性不可分集合，见图。可见：单层感知器不能解决异或问题。感知器网络感知器是前馈(正向传输)网络,所有节点都是线性的.●●●●●●●●●●●●x1x2xny1y2ym权向量W BP网络与感知器的主要差别在于： BP网络的节点是非线性的。采用广义 学习规则。智能控制:第五章神经网络控制输入与输出的关系：权矩阵可以按下式求解：学习规则：代表输入与输出的差别。是学习因子随着学习迭代次数k的增加，保证网络的收敛。这学习规则即是著名的学习规则。智能控制:第五章神经网络控制小结通过向环境学习而获取知识并改进自身性能是神经网络的一个重要特点。一般情况下是按某种预定的度量通过冻结自身参数（如权值）逐步达到的。智能控制:第五章神经网络控制5.3几种类型的神经网络河南工业大学电气工程学院535.3.1前向多层BP神经网络BP算法权值修正……d+-输入层隐层输出层训练算法信息的传播方向智能控制:第五章神经网络控制河南工业大学电气工程学院54沿信息的传播方向，给出网络的状态方程，用和表示第i层第j个神经元的输入和输出，则网络的各层输入输出关系可描述为：第一层（输入层）：将输入引入网络第二层（隐层）：连接强度网络的结构智能控制:第五章神经网络控制河南工业大学电气工程学院55为激活函数，可以取不同的形式，如：S函数：高斯基函数：径向基函数、样条基函数、小波函数等智能控制:第五章神经网络控制其中，河南工业大学电气工程学院56第三层（输出层）：网络的学习学习的基本思想是：通过一定的算法调整网络的权值，使网络的实际输出尽可能接近期望的输出。在本网络中，采用误差反传（BP）算法来调整权值。智能控制:第五章神经网络控制河南工业大学电气工程学院57

假设当网络的输入为X=（x1，x2，……，xn)时，网络的实际输出为Y=（y1，y2，……，ym)，网络的期望输出为D=（d1，d2，……，dm)。则定义学习的目标函数为：平均方差BP算法通过下列公式来调整权值，使目标函数最小：最速梯度下降法学习率智能控制:第五章神经网络控制河南工业大学电气工程学院58具体说来，有：其中：偏差逐步反传智能控制:第五章神经网络控制河南工业大学电气工程学院59学习的流程：输入X，根据网络的状态方程沿信号传播方向计算出网络输出Y假设已知输入为X时，期望输入为D，则网络学习的流程为：计算目标函数J<ε?yes训练完成修正权值No智能控制:第五章神经网络控制●多层前向神经网络的结构图一个输入层，一个输出层，多个隐层。jpp1xp1xpndpk

dpmOp1OpnOp2隐层wj1wjn输入层隐层输出层信息流······pm智能控制:第五章神经网络控制隐层节点j输出和输入节点p的关系：输出节点k和隐层输出节点p的关系：学习过程：定义输出误差多层前向神经网络的BP算法智能控制:第五章神经网络控制学习的目的是要使以下定义的误差平方和最小：因此，要求以下的偏导，引入误差，最后得到二个权值改变的重要公式：智能控制:第五章神经网络控制初始化加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值改变训练样本训练要终止？迭代终止？BP算法的基本流程NoNoyy智能控制:第五章神经网络控制举例：用BP网络逼近非线性函数取BP网络，隐节点作用函数选对称型S函数，输出节点为线性；BP算法，取；（1）训练输入样本集u=-0.5:0.05:0.45，图（a）‘*’；训练输出样本集，图（b）‘*’，样本集长度；（2）测试输入集u1=-0.48:0.05:0.47，图（a）中‘+’；测试数据集，图（b）中‘+’；（5）网络泛化能力见图，训练集目标函数（实线）；测试集目标函数（虚线），t=1~1500；由图知：1000次训练后，再训练：网络的已几乎不减小，说明网络的权系值已几乎不调整了。BP网络训练例河南工业大学电气工程学院685.3.2Hopfield网络（反馈网络）……智能控制:第五章神经网络控制Hopfield网络有离散与连续两种类型。连续Hopfield网结构见图。用模拟电路（电阻、电容和运算放大器）实现网络的神经元（节点）。Hopfield单层反馈非线性网，每一节点的输出反馈至输入。

连续型Hopfield网络网络的描述河南工业大学电气工程学院71网络的状态方程可以描述为网络的学习假设d(k+1)是网络的期望输出，定义目标函数为：同样可以根据BP算法来对网络权值进行训练：智能控制:第五章神经网络控制有关的几个问题

对于具有N个神经元的网络，其状态可以用向量S来确定：

S是N位二进制信息，满足以下条件：

1）时间t趋近无限，允许回归网络达到稳态；

2）在非线性函数的原点，斜率无穷大，具有硬限幅器特性。

工作过程1）存贮阶段。确定权值矩阵。设要存贮的向量为：则按外积规则，神经元i到神经元j的连接权定义为：写成向量形式：2）第二阶段信息检索输入信息，进行随机的、异步的迭代，直到网络达到稳定，这时单元的输出为：稳定条件也称匹配条件。状态向量满足匹配条件的称系统相空间的稳定点或固定点，检索完成，Hopfield收敛到稳态。举例：由3个神经元组成的Hopfield网络，有2个基本存贮器，存贮2个向量[1，-1，1]和[-1，1，-1]，设计权连接矩阵。按公式：相应的连接图形如右：满足匹配条件的固定点或向量计算如下：其它点都是不稳定的点，例如，对[1，1，1]，和[1，1，-1]，迭代结果都移向稳定点。对[1，1，1]对[1，1，-1]此过程可用图表示如右：●关于Hopfield网络的稳定性问题设定网络的能量函数：保证：讨论Hopfield网络的工作过程有4个步骤：1）存贮（学习），异步、随机。2）初始化，加入初始试样，然后移走。3）迭代直至收敛4）输出，得到稳定点。有能量函数，保证迭代过程能量的增量为负。连续Hopfield网络具有同样的性质。●双向联想存贮器BMA是一个双层回归联想存贮器，是Hopfield网络的扩展，也是内容编址存贮器，但各单元可以有自反馈。（一）全反馈型神经网络

反馈型神经网络（RNN）也称互联型网络，是具有反馈的网络，是动态网。分为两种：

全反馈型与局部反馈型。全反馈型（RNN）网络网络结构网络的学习算法：有导师的学习已知希望的输入/输出时间序列，在时间t=t0～t之间，使所定的评价函数（误差平方和函数）最小的权系搜索问题。这一问题，归结到非线性系统的参数最优化问题。有两种算法：

沿时间BP（BPTT）算法实时递归学习（RTRL）算法由于该网络权值多，稳定性与收敛性很难调试，故控制中很少用。（二）Elman网络图

基本Elman网络（2）改进型Elman网络

图改进型Elman网络网络结构见图，与基本Elman比较，反馈节点有增益为的自反馈连接，该网络能模拟更高阶动态系统。反馈层输出：

（三）外时延反馈型网络图

局部递归网络——外时延反馈型网络用BP算法调整权值：

图

外时延反馈型网络河南工业大学电气工程学院865.3.3小脑神经网络（CMAC）

小脑模型关节控制器（CMAC）是由Albus最初于1975年基于神经生理学提出的，它是一种基于局部逼近的简单快速的神经网络，CMAC是一种联想网络，对每一输出只有一小部分神经元与之相关，它的联想具有局部泛化能力。与感知器相似，适合非线性映射。特点：1)具有局部逼近能力，每次修正的权值极少，学习速度快，适合于在线学习。2)一定的泛化能力，相近输入给出相近输出，不同输入给出不同输出。3）具有连续输入输出能力。4）具有寻址编程方式。在利用计算机仿真时，响应速度加快。智能控制:第五章神经网络控制

1.CMAC的原理

智能控制:第五章神经网络控制CMAC是一种模仿人类小脑的学习结构，其一般结构如下图所示。yM/AC＋U输入空间杂散编码AP(W)输出输入向量CMAC结构在这种技术里，每个状态变量被量化并且问题空间被划分成离散状态。量化的输入构成的向量指定了一个离散状态并且被用于产生地址来激活联想单元中存储的联想强度从而恢复这个状态的信息。河南工业大学电气工程学院90

对于输入空间较大的情况，为了减少存储空间，几个联想单元可以通过hash映射被分配同一个存储单元（hash单元）。这时，联想单元中只存储hash单元的散列地址编码，而hash单元中才存储真正的联想强度。由于hash映射增加了分析CMAC行为的难度，所以只有当存储器空间不够时才使用hash映射。智能控制:第五章神经网络控制河南工业大学电气工程学院91下图描述了双变量CMAC的空间划分和量化机制。

超立方体联想单元“块”智能控制:第五章神经网络控制V1V2河南工业大学电气工程学院92

这个简单的例子有两个状态变量（V1和V2），每个变量在论域上被划分为几个离散的区域叫做“块”。块的宽度影响CMAC的概括能力。 为了能够用较简洁的矩阵形式来描述CMAC的机制和特性，在这里我们将块的数量限定为2。譬如，V1被划分为A、B；V2被划分为a、b。区域Aa,Ab,Ba

和Bb被称作“超立方体”（hypercubes）。

智能控制:第五章神经网络控制河南工业大学电气工程学院93

通过将每个变量以相同的方式平移一小段间隔（称为“元素”，如图中1，2，3，4），可以获得不同的超立方体。例如，V1通过平移后的区域C，D和V2的c，d组成一层新的超立方体Cc，Cd，Dc，Dd。 我们规定，相同的划分方式组成一层超立方体，例如V1的第p种划分方式与V2的第p种划分方式对应组成第p层超立方体。用上述方法分解，我们可以得到一共有3层的超立方体，其中每一层对应一种划分方式。智能控制:第五章神经网络控制河南工业大学电气工程学院94

从图中可看出，两变量的每一种状态组合(1,2,…,16)在每一层都被一个超立方体覆盖，则对应所有的划分方式，一共被3个不同的超立方体覆盖。 也就是说，两变量的每一种状态将激活3个不同的超立方体，CMAC为每个超立方体分配一个物理的存储单元（联想单元），每个联想单元中存储着相应的超立方体对于输出的影响强度（联想强度），这样，两变量的每一种状态将激活Ne个不同的联想单元，这被激活的Ne个联想单元又以不同的联想强度影响输出。智能控制:第五章神经网络控制河南工业大学电气工程学院952CMAC学习的数学推导无hash映射的CMAC

在CMAC中，每个量化的状态属于Ne个超立方体（联想单元）。假设Nh是总的联想单元的数量。用CMAC技术，第s个状态对应的输出数据ys可以被表示为：

式中，W是代表存储内容（联想强度）的向量，Cs是存储单元激活向量，该向量包含Ne个1。智能控制:第五章神经网络控制河南工业大学电气工程学院96

在决定了空间的划分方式后，对于指定的状态，单元激活向量Cs也随之确定。例如，对于图中的CMAC，有16个离散状态，并且安排了标号。有12个联想单元分别对应超立方体Aa,Ab,Ba,Bb,Cc,Cd,Dc,Dd,Ee,Ef,Fe和Ff，这些单元从1到12按升序排列。则第1个状态被超立方体Aa、Cc、Ee覆盖，将激活与这三个超立方体相对应的联想单元，对应于该状态的激活向量因此为智能控制:第五章神经网络控制河南工业大学电气工程学院97有hash映射的CMAC

hash映射将几个联想单元和一个物理存储位置(hash单元)相对应。hash单元中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储hash单元的散列地址编码。有hash映射的CMAC特别适用于存储空间小于超立方体数量时的情况。用有hash映射的CMAC技术，第s个状态对应的输出数据ys可以被表示为：智能控制:第五章神经网络控制

式中，Mp是hash单元的数量，它小于联想单元数Nh。hij=1表示联想单元i激活hash单元