神经网络基本理论d

1、神经网络基本理论模糊控制从人的经验出发，解决了智能控制中人类语言的描述和推理问题，尤其是一些不确定性语言的描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发，即从人恼的生理学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分智能行为。神经网络简介神经网络简介人工神经网络（简称神经网络，Neural Network）是模拟人脑思维方式的数学模型。神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如

2、并行信息处理、学习、联想、模式分类、记忆等。20世纪80年代以来，人工神经网络（ANN，Artificial Neural Network）研究所取得的突破性进展。神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。它已成为智能控制的一个新的分支，为解决复杂的非线性、不确定、未知系统的控制问题开辟了新途径。神经网络的发展历程经过4个阶段。1 启蒙期（1890-1969年）1890年，发表专著心理学，讨论了脑的结构和功能。1943年，心理学家和数学家提出了描述脑神经细胞动作的数学模型，即M-P模型（第一个神经网络模型）。1949年，心理学家Hebb实现了对脑细胞之间相互影响的数学描

3、述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。1958年，提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（Perceptron）。1962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规则（即学习规则），并用电路进行了硬件设计。神经网络简介2 低潮期（1969-1982）受当时神经网络理论研究水平的限制及冯诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。例如，19

4、69年，和提出了至今为止最复杂的ART网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。1972年，Kohonen提出了自组织映射的SOM模型。神经网络简介神经网络简介3 复兴期（1982-1986）1982年，物理学家Hoppield提出了Hoppield神经网络模型，该模型通过引入能量函数，实现了问题优化求解，1984年他用此模型成功地解决了旅行商路径优化问题(TSP)。在1986年，在Rumelhart和McCelland等出版Parallel Distributed Processing一书，提出了一种著名的多层神经网络模型，即BP网络。该网络是迄今为止应用最普遍

5、的神经网络。神经网络简介4 新连接机制时期（1986-现在）神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。神经网络主要应用领域有：模式识别与图象处理（语音、指纹、故障检测和图象压缩等）、控制与优化、预测与管理（市场预测、风险分析）、通信等。神经网络简介神经网络原理神经生理学和神经解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑的活动，导致了神经网络的研究。 神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递

6、的基本单元。神经网络简介每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支树突组成。轴突功能是将本神经元的输出信号(兴奋)传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。 神经元的轴突与另外神经元神经末梢相连的部分称为突触。神经网络简介生物神经元模型生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和

7、超过某个阈值，神经元将产生冲动。 神经网络简介神经元由三部分构成：（1）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；（2）树突：用于为细胞体传入信息；（3）轴突：为细胞体传出信息，其末端是轴突末梢，含传递信息的化学物质；（4）突触：是神经元之间的接口（104105个/每个神经元）。一个神经元通过其轴突的神经末梢，经突触与另外一个神经元的树突连接，以实现信息的传递。由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。 通过树突和轴突，神经元之间实现了信息的传递。神经网络简介神经元具有如下功能：(1)兴奋与抑制：如果传入神

8、经元的冲动经整和后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。如果传入神经元的冲动经整和后使细胞膜电位降低，低于动作电位的阈值时即为抑制状态，不产生神经冲动。(2) 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱，因此神经元具有学习与遗忘的功能。人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型x1,xnT为输入向量，y为输出，f()为激发函数，为阈值。 Wi为神经元与其它神经元的连接强度，也称权值。人工神经元模型常用的激发函数f 的种类 ：1）阈值型函数人工神经元模型2）饱和型函数3）双曲

9、函数 人工神经元模型4）S型函数5）高斯函数神经网络的定义和特点 神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。 定义 特点（1）非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。（2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。（3） 并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元

10、存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。（5）便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。 感知器(Perceptron)是由美国学者于1957年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否则为0或-1。它的权系W可变，这样它就可以学习。 感知器的结构感知器模型感知器模型感知器的学习算法为方便起见，将阈值(它也同样需要学习)并入W中，令Wn+1=-，X

11、向量也相应地增加一个分量xn+1=1，则学习算法： 给定初始值：赋给Wi(0)各一个较小的随机非零值，这里Wi(t)为t时刻第i个输入的权(1in)，Wn+1(t)为t时刻的阈值； 输入一样本X=(xi,xn,1)和它的希望输出d； 计算实际输出 修正权W ： Wi(t+1)=Wi(t)+d-Y(t)xi, i=1,2,n+1 转到直到W对一切样本均稳定不变为止。 感知器模型根据某样本训练时，均方差随训练次数的收敛情况神经网络的构成和分类 构成 从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。 状态方程描述每个神经元的输入、输出、权值间的函数关系。 学习方程描

12、述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。 分类 （1）从结构上划分 通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构上来说，主要分为层状和网状结构。 神经网络的构成和分类层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内神经元不能联接。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。 神经网络的构成和分类网状结构：网络中任何两个神经元之间都可能双向联接。反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其它神经

13、元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。 混合型网络：前向网络的同一层神经元之间有互联的网络。神经网络的构成和分类（2）从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等 （3）从网络的学习方式上划分有导师学习神经网络为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。无导师学习神经网络不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。 （4）从学习算法上来划分：基于BP算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。目前神经网络模型的种类相当丰富，

14、已有近40余种神经网络模型。 典型的神经网络有多层前向传播网络 （BP网络）、Hopfield网络、CMAC小脑模型、ART网络、BAM双向联想记忆网络、SOM自组织网络、Blotzman机网络和Madaline网络等。典型神经网络神经网络学习算法是神经网络智能特性的重要标志，神经网络通过学习算法，实现了自适应、自组织和自学习的能力。 目前神经网络的学习算法有多种，按有无导师分类，可分为有教师学习（Supervised Learning）、无教师学习（Unsupervised Learning）和再励学习（Reinforcement Learning）等几大类。神经网络学习算法 在有教师的学习

15、方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。 在无教师的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。 再励学习是介于上述两者之间的一种学习方式。神经网络学习算法图 有导师指导的神经网络学习神经网络学习算法图 无导师指导的神经网络学习神经网络学习算法 最基本的神经网络学习算法：1、 Hebb学习规则 Hebb学习规则是一种联想式学习算法。生物学家基于对生物学和心理学的研究，认为两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为He

16、bb学习规则，即神经网络学习算法其中， 为连接从神经元 到神经元 的当前权值， 和 为神经元的激活水平。 Hebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此，这种方法又称为相关学习或并联学习。神经网络学习算法2 Delta（）学习规则假设误差准则函数为：其中， 代表期望的输出（教师信号）； 为网络的实际输出， ； 为网络所有权值组成的向量： 为输入模式：神经网络学习算法其中训练样本数为 。 神经网络学习的目的是通过调整权值W，使误差准则函数最小。 权值的调整采用梯度下降法来实现，其基本思想是沿着E的负梯度方向不断修正W值，直到E达到最小。数学表达式为：神经网络

17、学习算法其中令 ，则W的修正规则为上式称为学习规则，又称误差修正规则。神经网络学习算法1. 神经网络特征 神经网络具有以下几个特征：（1）能逼近任意非线性函数；（2）信息的并行分布式处理与存储； （3）可以多输入、多输出；（4）便于用超大规模集成电路（VISI）或光学集成电路系统实现，或用现有的计算机技术实现；（5）能进行学习，以适应环境的变化。神经网络特征及要素2 神经网络要素 决定神经网络模型性能的三大要素为：（1）神经元（信息处理单元）的特性；（2）神经元之间相互连接的形式拓扑结构；（3）为适应环境而改善性能的学习规则。神经网络特征及要素神经网络控制的研究领域 （1） 基于神经网络的系统

18、辨识 将神经网络作为被辨识系统的模型，可在已知常规模型结构的情况下，估计模型的参数。 利用神经网络的线性、非线性特性，可建立线性、非线性系统的静态、动态、逆动态及预测模型，实现非线性系统的建模和辨识。(2) 神经网络控制器 神经网络作为实时控制系统的控制器，对不确定、不确知系统及扰动进行有效的控制，使控制系统达到所要求的动态、静态特性。 (3) 神经网络与其他算法相结合 将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可设计新型智能控制系统。神经网络控制的研究领域 (4) 优化计算 在常规的控制系统中，常遇到求解约束优化问题，神经网络为这类问题的解决提供了有效的途径。 目前，神经网络控制已经

19、在多种控制结构中得到应用，如PID控制、模型参考自适应控制、前馈反馈控制、内模控制、预测控制、模糊控制等。神经网络控制的研究领域 多层前向BP神经网络 最早由werbos在1974年提出的，1985年由Rumelhart再次进行发展。 多层前向神经网络的结构多层前向神经网络由输入层、隐层（不少于1层）、输出层组成，信号沿输入输出的方向逐层传递。 多层前向BP神经网络沿信息的传播方向，给出网络的状态方程，用Inj(i)， Outj(i)表示第i层第j个神经元的输入和输出，则各层的输入输出关系可描述为： 第一层（输入层）：将输入引入网络 第二层（隐层）第三层（输出层） 多层前向BP神经网络网络的学

20、习 学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可能接近期望的输出。 假设有M个样本: 将第k个样本Xk输入网络，得到的网络输出为 定义学习的目标函数为 ：多层前向BP神经网络为使目标函数最小，训练算法是：令 则多层前向BP神经网络学习的步骤：（1）依次取第k组样本 ，将Xk输入网络。（2）依次计算 ，如果 ，退出。（3）计算（4）计算（5），修正权值，返回（1） 如果样本数少，则学习知识不够；如果样本多，则需计算更多的dJk/dw, ，训练时间长。可采用随机学习法每次以样本中随机选取几个样本，计算 dJk/dw, ，调整权值。 例4.1 多层前向BP网络训练训练样本SIS

21、O：SampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;网络结构：网络输入输出关系：需训练的量：训练算法：训练初始参数：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;训练后参数：W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775

22、;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.1900 1.5406 1.6665 -0.1441;训练1000次目标函数的变化曲线：训练结束后神经网络的输出与样本的拟和情况BP网络的优点为：（1）只要有足够多的隐层和隐层节点，BP网络可以逼近任意的非线性映射关系；（2）BP网络的学习算法属于全局逼近算法，具有较强的泛化能力。（3）BP网络输入输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。BP网络的主要缺点为：（1）待寻优的参数多，收敛速度慢；（2）

23、目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值；（3）难以确定隐层及隐层节点的数目。目前，如何根据特定的问题来确定具体的网络结构尚无很好的方法，仍需根据经验来试凑。由于BP网络具有很好的逼近非线性映射的能力，该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。 由于BP网络具有很好的逼近特性和泛化能力，可用于神经网络控制器的设计。但由于BP网络收敛速度慢，难以适应实时控制的要求。BP网络逼近仿真实例使用BP网络逼近对象： BP网络逼近程序见chap7_1.m BP网络模式识别由于神经网络具有自学习、自组织和并行处理等特征，

24、并具有很强的容错能力和联想能力，因此，神经网络具有模式识别的能力在神经网络模式识别中，根据标准的输入输出模式对，采用神经网络学习算法，以标准的模式作为学习样本进行训练，通过学习调整神经网络的连接权值。当训练满足要求后，得到的神经网络权值构成了模式识别的知识库，利用神经网络并行推理算法对所需要的输入模式进行识别。当待识别的输入模式与训练样本中的某个输入模式相同时，神经网络识别的结果就是与训练样本中相对应的输出模式。当待识别的输入模式与训练样本中所有输入模式都不完全相同时，则可得到与其相近样本相对应的输出模式。当待识别的输入模式与训练样本中所有输入模式相差较远时，就不能得到正确的识别结果，此时可将

25、这一模式作为新的样本进行训练，使神经网络获取新的知识，并存储到网络的权值矩阵中，从而增强网络的识别能力。BP网络的训练过程如下：正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播RBF神经网络 径向基函数(RBF-Radial Basis Function)神经网络是由和在80年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。 由于它模拟了人脑中局部调整、相互覆盖接收域（或称感受野-Receptive Field）的神经网络结构，因此，RBF网络是一种局部逼近网络，已证明它能任意精度逼近任意连续函数。RBF网络特点(1) RBF网络的

26、作用函数为高斯函数，是局部的，BP网络的作用函数为S函数，是全局的；(2) 如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题；(3) 已证明RBF网络具有唯一最佳逼近的特性，且无局部极小。RBF网络结构 RBF网络是一种三层前向网络，由于输入到输出的映射是非线性的，而隐含层空间到输出空间的映射是线性的，从而可以大大加快学习速度并避免局部极小问题。RBF网络的逼近在RBF网络结构中， 为网络的输入向量。设RBF网络的径向基向量，其中hj为高斯基函数：网络的第j个结点的中心矢量为： 其中，i=1,2,n设网络的基宽向量为： 为节点的基宽度参数，且为大于零的数。网络的权向量为：k时刻网络

27、的输出为： 设理想输出为y(k)，则性能指标函数为： 根据梯度下降法，输出权、节点中心及节点基宽参数的迭代算法如下： 阵(即为对象的输出对控制输入的灵敏度信息)算法为：其中取 。其中, 为学习速率， 为动量因子。RBF网络逼近仿真实例使用RBF网络逼近下列对象：RBF网络逼近程序见。 对角回归型神经网络（DRNN：Diagonal Recurrent Neural Network）是具有反馈的动态神经网络，该网络能够更直接更生动地反映系统的动态特性，它在BP网络基本结构的基础上，通过存储内部状态使其具备映射动态特征的功能，从而使系统具有适应时变特性的能力，DRNN网络代表了神经网络建模和控制的

28、方向。回归神经网络DRNN网络结构 DRNN网络是一种三层前向网络，其隐含层为回归层。正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。反向传播就是将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值和阈值，使误差信号减小。 DRNN网络结构如图7-18所示。图7-18 DRNN神经网络结构 在该网络中, 设 为网络输入向量, 为输入层第 i个神经元的输入，网络回归层第 j 个神经元的输出为 , 为第 个回归神经元输入总和, 为S函数， 为 DRNN网络的输出。 和 为网络回归层和输出层的权值向量, 为

29、网络输入层的权值向量。 DRNN网络逼近的结构如图所示，图中k为网络的迭代步骤，u(k)和y(k)为辨识器的输入。DRNN为网络辨识器。y(k)为被控对象实际输出，ym(k)为DRNN的输出。将系统输出y(k)及输入u(k)的值作为辨识器DRNN的输入，将系统输出与网络输出的误差作为辨识器的调整信号。 网络输出层的输出为网络回归层的输出为网络回归层的输入为逼近误差为：性能指标函数为：学习算法采用梯度下降法其中回归层神经元取双函数为其中， 分别为输入层、回归层和输出层的学习速率， 为惯性系数。DRNN网络逼近仿真实例使用DRNN网络逼近下列对象：DRNN网络逼近程序见。 是一种无导师学习的网络脑

30、神经科学研究表明：传递感觉的神经元排列是按某种规律有序进行的，这种排列往往反映所感受的外部刺激的某些物理特征。 大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的有序排列 在这种网络中，输出节点与其邻域其他节点广泛相连，并互相激励。输入节点和输出节点之间通过强度wij(t)相连接。通过某种规则，不断地调整wij(t)，使得在稳定时，每一邻域的所有节点对某种输入具有类似的输出，并且这种聚类的概率分布与输入模式的概率分布相接近。 大脑自组织神经网络自组织学习算法：权值初始化并选定

31、领域的大小；(2) 输入模式； (3) 计算空间距离式中xi(t)是t时刻i节点的输入，wij(t)是输入节点i与输出节点j 的连接强度，N为输入节点的数目； (4) 选择节点j*，它满足(5) 按下式改变j*和其领域节点的连接强度 wij(t+1)= wij(t)+(t)xi(t)- wij(t), jj*的领域，0iN-1 式中(t)称之为衰减因子。 (6) 返回到第(2)步，直至满足xi(t)- wij(t)2(为给定的误差)。 例4.2 大脑自组织网络的训练输入模式：Xx1,x2,x3网络节点数量：9 邻域：1网络初始权值： 0.4668 0.7241 0.7085 0.4733 0.

32、8045 0.3939 0.5692 0.0877 0.3025;1. 单模式训练情况输入为：X=0 0 1结果： 0.4668 1.0000 1.0000 1.0000 0.8045 0.3939 0.5692 0.0877 0.3025输入为：X=0 1 0结果： 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.00002. 多模式训练情况1 0 00 1 00 0 1Input=训练结果：0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.000

33、0 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000W网络输出：Output=Input*W=0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0

34、.0000 0.0000 0.0000 0.0000模式1模式2模式3模式2模式1模式3模式1模式2模式3小脑神经网络小脑模型关节控制器（CMAC）是由Albus最初于1975年基于神经生理学提出的，它是一种基于局部逼近的简单快速的神经网络，能够学习任意多维非线性映射, 迄今已广泛用于许多领域。CMAC具有优点：具有局部逼近能力，每次修正的权值极少，学习速度快，适合于在线学习；一定的泛化能力，相近输入给出相近输出，不同输入给出不同输出；CMAC的原理CMAC是一种模仿人类小脑的学习结构。在这种技术里，每个状态变量被量化并且输入空间被划分成离散状态。量化的输入构成的向量指定了一个离散状态并且被用

35、于产生地址来激活联想单元中存储的联想强度从而恢复这个状态的信息。对于输入空间大的情况，联想单元数量巨大，为了节省存储空间，Albus提出了hash编码，将联想强度存于数量大大少于联想单元的hash单元中，联想单元中只存储hash单元的散列地址编码CMAC的空间划分和量化机制超立方体联想单元“块”CMAC学习的数学推导1)无hash映射的CMAC在CMAC中，每个量化的状态对应Ne个联想单元。假设Nh是总的联想单元的数量，该数量与没有hash映射时的物理存储空间大小一致。用CMAC技术，第s个状态对应的输出数据ys可以被表示为： 式中W是代表存储内容（联想强度）的向量，Cs是存储单元激活向量，该

36、向量包含Ne个1。在决定了空间的划分方式后，对于指定的状态，单元激活向量Cs也随之确定。 2)有hash映射的CMAC hash映射将几个联想单元和一个物理存储位置(hash单元)相对应。hash单元中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储hash单元的散列地址编码。有hash映射的CMAC特别适用于存储空间小于超立方体数量时的情况。用有hash映射的CMAC技术，第s个状态对应的输出数据ys可以被表示为： 式中Mp是hash单元的数量，它小于联想单元数Nh。hij=1表示联想单元i激活hash单元j。由于每个联想单元仅仅和一个hash单元相对应，所以hash矩阵H的每一行仅有一个单元等于1，其余的都等于0。 没有hash映射的公式和有hash映射的公式可以合并为一个式子： CMAC的学习CMAC用迭代算法来训练联想强度。在学习中，我们将Ns个训练数据重复用于学习。在第i次迭代中用第s个样本学习的迭代算法为： S：样本数i：迭