前向多层人工神经网络01ppt课件

1、2021-12-12第1页第二章第二章 前向多层人工神经网络前向多层人工神经网络 2.1 2.1 概概 述述 ANN ANN的主要功能之一的主要功能之一 方式识别方式识别 ( Pattern ( Pattern Recognition )Recognition ) 方式识别是人类的一项根本智能行为，在日常生活中，方式识别是人类的一项根本智能行为，在日常生活中，我们几乎时辰在进展着我们几乎时辰在进展着“方式识别。方式识别。方式：方式： 广义地说，存在于时间和空间中可察看的事物，假设可以区别它们能广义地说，存在于时间和空间中可察看的事物，假设可以区别它们能否一样或类似，都可以称之为方式；否一样或类

2、似，都可以称之为方式； 狭义地说，方式是经过对详细的个别事物进展观测所得到的具有时间和狭义地说，方式是经过对详细的个别事物进展观测所得到的具有时间和空间分布的信息；空间分布的信息； 方式类：把方式所属的类别或同一类中方式的总体称为方式类方式类：把方式所属的类别或同一类中方式的总体称为方式类(或简称为类或简称为类); 方式识别：在一定量度或观测根底上把待识方式划分到各自的方式类中去方式识别：在一定量度或观测根底上把待识方式划分到各自的方式类中去的过程叫作方式识别；的过程叫作方式识别； 方式识别方式识别 对表征事物或景象的各种方式的数值的，文字的和逻对表征事物或景象的各种方式的数值的，文字的和逻辑

3、关系的信息进展处置和分析，以对事物或景象进展描画、识别、分类辑关系的信息进展处置和分析，以对事物或景象进展描画、识别、分类和解释的过程，是信息科学和人工智能的重要组成部分。和解释的过程，是信息科学和人工智能的重要组成部分。 买西瓜：西瓜可分为生、熟两类，此时，研讨的范畴是买西瓜：西瓜可分为生、熟两类，此时，研讨的范畴是“西瓜西瓜，在此范畴，在此范畴上定义了两类方式：熟瓜和生瓜；上定义了两类方式：熟瓜和生瓜；种西瓜：西瓜分早熟种类、晚熟种类两类，即定义了两类方式：早熟和晚熟；种西瓜：西瓜分早熟种类、晚熟种类两类，即定义了两类方式：早熟和晚熟；河北省早熟种类分类：河北省常见种类有河北省早熟种类分类

4、：河北省常见种类有“新红宝新红宝、“蜜梅蜜梅、“京欣京欣、“冀早冀早2号号等；此时，研讨范畴是等；此时，研讨范畴是“河北常见早熟西瓜种类河北常见早熟西瓜种类，在此范畴，在此范畴上定义了多类方式：新红宝、蜜梅、京欣、冀早上定义了多类方式：新红宝、蜜梅、京欣、冀早2号等等号等等买西瓜：两类方式分类问题，经过声音的频率买西瓜：两类方式分类问题，经过声音的频率x1和声音继续时间长度和声音继续时间长度x2来判来判别瓜的生熟。对编号为别瓜的生熟。对编号为 i 的瓜进展敲击测试，得到矢量元素的瓜进展敲击测试，得到矢量元素 Xi=(x1i，x2i) T ，对对N个有生有熟的瓜进展实验可以得到个有生有熟的瓜进展

5、实验可以得到N个数据：个数据：X=X1,X2,X3,XN ，根，根据瓜的生熟可以将据瓜的生熟可以将X中的元素划分为两类，一类对应于生瓜一类对应于熟瓜。中的元素划分为两类，一类对应于生瓜一类对应于熟瓜。于是，方式其实就是具有特定性质的矢量于是，方式其实就是具有特定性质的矢量/数据。用数据。用C1代表生瓜类，代表生瓜类，C2代表代表熟瓜类，那么熟瓜类，那么X中的恣意一个元素中的恣意一个元素Xn必然满足必然满足: Xn属于属于C1或者或者Xn属于属于C2。2021-12-12第2页 方式识别，举例：水果分级系统。方式识别，举例：水果分级系统。水果质量参数：分量、大小、比重、果形、颜色等水果质量参数：

6、分量、大小、比重、果形、颜色等特征矢量：特征矢量：X = x1, x2, x3, x4, x5T特征空间：用参数张成。特征空间：用参数张成。方式：每个苹果为一个方式，其特征矢量方式：每个苹果为一个方式，其特征矢量 为特征空间中的一个点；为特征空间中的一个点；方式类：一个级别为一个类，一类方式分方式类：一个级别为一个类，一类方式分 布在特征空间的某个特定区域；布在特征空间的某个特定区域；方式识别：找出各类之间的分界面。方式识别：找出各类之间的分界面。2021-12-12第3页 ANN的主要功能之二的主要功能之二 联想联想 ( Associative Memory )联想的心思学定义：联想的心思学

7、定义： 当一个事物的表象被激活时，也就是说该表象所包含的假设干属性单元当一个事物的表象被激活时，也就是说该表象所包含的假设干属性单元同时有效时，我们的留意力焦点就集中在这个表象上，假设对该表象的处置同时有效时，我们的留意力焦点就集中在这个表象上，假设对该表象的处置使的表象被否决时，也就是说由于一些属性单元的失效或被抑制，或处于使的表象被否决时，也就是说由于一些属性单元的失效或被抑制，或处于高阻，导致该表象无法成立的时候，剩余的属性单元或答应以构成另一种高阻，导致该表象无法成立的时候，剩余的属性单元或答应以构成另一种事物的表象，或许还需求结合那些被激活了的新的属性或是由外界事物具事物的表象，或许

8、还需求结合那些被激活了的新的属性或是由外界事物具有的新的属性所激活，或是因降低了对一些属性的抑制所导致的激活。有的新的属性所激活，或是因降低了对一些属性的抑制所导致的激活。 例如：看到柠檬，觉得到嘴里口水增多。由于，由柠檬联想到了酸味。例如：看到柠檬，觉得到嘴里口水增多。由于，由柠檬联想到了酸味。 字符识别：字符识别：2021-12-12第4页 再论方式识别：对表征事物或景象的各种方式的数值的、文字的或逻再论方式识别：对表征事物或景象的各种方式的数值的、文字的或逻辑的信息进展处置和分析，以对事物或景象进展描画、识别、分类和辑的信息进展处置和分析，以对事物或景象进展描画、识别、分类和解释的过程称

9、为解释的过程称为“方式识别，是信息科学和人工智能的重要组成部分。方式识别，是信息科学和人工智能的重要组成部分。 v 人在分辨不同类别的事物时，抽取了同类事物之间的一样点以及不人在分辨不同类别的事物时，抽取了同类事物之间的一样点以及不同类事物之间的不同点；同类事物之间的不同点；字符识别：例如汉字字符识别：例如汉字“中可以有各种写法，但都属于同一类别。中可以有各种写法，但都属于同一类别。更为重要的是，即使对于某个更为重要的是，即使对于某个“中的详细写法从未见过，也能把中的详细写法从未见过，也能把它分到它分到“中这一类别。中这一类别。识别目的：人们走向一个目的地的时候，总是在不断的察看周围的识别目的

10、：人们走向一个目的地的时候，总是在不断的察看周围的景物，判别所选择的道路能否正确。实践上，是对眼睛看到的图象景物，判别所选择的道路能否正确。实践上，是对眼睛看到的图象做做 “正确和正确和“不正确的分类判别。不正确的分类判别。人脑的这种思想才干就构成了人脑的这种思想才干就构成了“方式的概念和方式的概念和“方式识别的过方式识别的过程。程。 方式是和类别集合的概念分不开的，只需认识这个集合的有限数量的事方式是和类别集合的概念分不开的，只需认识这个集合的有限数量的事物或景象，就可以识别这个集合中的恣意多的事物或景象。为了强调能从详物或景象，就可以识别这个集合中的恣意多的事物或景象。为了强调能从详细的事

11、物或景象中推断出总体，我们就把个别的事物或景象称作细的事物或景象中推断出总体，我们就把个别的事物或景象称作“方式，方式，而把总体称作类别或范畴。而把总体称作类别或范畴。特征矢量：最简单的情况是用一组称为特征矢量：最简单的情况是用一组称为“特征参数的数值信息表示一个客观特征参数的数值信息表示一个客观对象。例如，水果质量分类中用到的大小、分量、比重、果型、颜色，其取值对象。例如，水果质量分类中用到的大小、分量、比重、果型、颜色，其取值均为数值。表示成特征矢量方式：均为数值。表示成特征矢量方式：Xi = xi1, xi2, xi3, xi4, xi5 ；样本：对一个详细对象进展观测得到的一个特征矢量

12、称为一个样本：对一个详细对象进展观测得到的一个特征矢量称为一个“样本，样本， Xi 称称为第为第i个样本，或者第个样本，或者第i个样本的特征矢量。个样本的特征矢量。特征空间：即特征矢量张成的空间，每个样本对应于特征空间上的一点。特征空间：即特征矢量张成的空间，每个样本对应于特征空间上的一点。针对一个详细的方式识别问题，选定特征参数非针对一个详细的方式识别问题，选定特征参数非常重要，关乎方式识别的成败。著名国际巨匠傅常重要，关乎方式识别的成败。著名国际巨匠傅京孙教授曾说过方式识别问题的关键是特征提取。京孙教授曾说过方式识别问题的关键是特征提取。特征参数应能区分所定义的方式，同时有没有过特征参数应

13、能区分所定义的方式，同时有没有过多的反复，即：完备而不冗余。选定特征参数的多的反复，即：完备而不冗余。选定特征参数的过程称过程称“为特征提取。特征提取没有一致的方为特征提取。特征提取没有一致的方法，现实上，特征提取是一个不同专业领域范畴法，现实上，特征提取是一个不同专业领域范畴内的问题。正由于如此，方式识别运用问题往往内的问题。正由于如此，方式识别运用问题往往是跨专业领域的工程。是跨专业领域的工程。傅京孙傅京孙(19301985)丽水县城人。丽水县城人。1954年毕业于台年毕业于台湾大学电机系获学士学位，后留学加拿大多伦多大湾大学电机系获学士学位，后留学加拿大多伦多大学获运用科学硕士学位，学获

14、运用科学硕士学位，1956年转入美国伊利诺斯年转入美国伊利诺斯大学，获博士学位。大学，获博士学位。1961年起任美国普渡大学电机年起任美国普渡大学电机工程系助教、副教授、教授，加州大学柏克莱分校工程系助教、副教授、教授，加州大学柏克莱分校及斯坦福大学访问教授。及斯坦福大学访问教授。1971年起中选为美国电机年起中选为美国电机工程学会荣誉会员。同年得顾根汉基金研讨奖助金。工程学会荣誉会员。同年得顾根汉基金研讨奖助金。1975年起任普渡大学高斯工程讲座教授。以后开设年起任普渡大学高斯工程讲座教授。以后开设概率论，创建图形识别科学，影像处置及其在遥测、概率论，创建图形识别科学，影像处置及其在遥测、医

15、学方面的运用，曾任第一届国际图形识别会议主医学方面的运用，曾任第一届国际图形识别会议主席。席。1976年中选为美国国家工程学院院士，获得麦年中选为美国国家工程学院院士，获得麦考艾科学奉献奖。考艾科学奉献奖。1977年获得美国计算机学会出色年获得美国计算机学会出色论文奖。论文奖。1978年任台湾年任台湾“中央研讨院院士。中央研讨院院士。2021-12-12第5页 方式类：特征参数选择合理时，不同类的方式，在特征空间中占据不方式类：特征参数选择合理时，不同类的方式，在特征空间中占据不同的分布区域；同的分布区域；方式识别所要做的事情，包含两个方面：方式识别所要做的事情，包含两个方面：在不同类别样本点

16、集之间，寻觅合理的分界面，或称作在不同类别样本点集之间，寻觅合理的分界面，或称作“判别函数判别函数Decision Function 由于判别函数来自于实践观测数据，因由于判别函数来自于实践观测数据，因此称此阶段为此称此阶段为 “学习学习 或或 “训练训练 ；给定未知方式，判别该样本所属类别，称为给定未知方式，判别该样本所属类别，称为“任务或任务或“运用。运用。 特征选择的好坏是方式识别成败的关键，但如何选择特征选择的好坏是方式识别成败的关键，但如何选择“特征，即，特征，即，选择什么物理量作为特征，是详细专业选择什么物理量作为特征，是详细专业“领域的问题，需求运用领域的问题，需求运用“领域领域

17、的专业知识来处理。的专业知识来处理。 例如，语音识别，如何从自然语音中提取例如，语音识别，如何从自然语音中提取“特征，是语音识别的特征，是语音识别的专业问题；图象识别，如何从专业问题；图象识别，如何从CCD图象获取适当的特征，是图象处置图象获取适当的特征，是图象处置领域的问题，即使在图象处置领域，不同运用目的所取的特征也不同。领域的问题，即使在图象处置领域，不同运用目的所取的特征也不同。 方式识别的全过程，应该包括特征提取阶段。但是，我们这里将要方式识别的全过程，应该包括特征提取阶段。但是，我们这里将要讲到的有关智能方法，都只涉及到特征提取之后的任务。讲到的有关智能方法，都只涉及到特征提取之后

18、的任务。以上所说的以上所说的 “ “学习学习 或或 “ “训练，是根据假设干知样本在空间找到适训练，是根据假设干知样本在空间找到适宜的分类面。对于一个样本宜的分类面。对于一个样本XiXi，用，用yi yi表示它所属的类别，例如，它属于表示它所属的类别，例如，它属于第第k k类。样本知，意思是类。样本知，意思是Xi Xi ， yi yi知。这种知。这种“学习又称为学习又称为“有监视有监视学习，即，经过对知样本学习，即，经过对知样本Xi Xi ，yiyi的学习找到合理的判别函数。的学习找到合理的判别函数。所谓所谓“任务，指的是给定类别未知的样本任务，指的是给定类别未知的样本Xi Xi ，求，求yi

19、 yi 的值。的值。XiXi是对某个是对某个客观对象观测的结果，其取值无法事先限定。但类别客观对象观测的结果，其取值无法事先限定。但类别yi yi的取值是离散的、的取值是离散的、有限的，是事先客观规定的。有限的，是事先客观规定的。2021-12-12第6页神经元模型神经元模型 神经元的输入：神经元的输入：110NxxxX 所完成的运算为：NetfyxwNetiii1 -N0TXW式中：式中：110NwwwW称为神经元的称为神经元的“权值矢量；权值矢量； f称为神经元的称为神经元的“功能函数；功能函数；Net称为神经元的称为神经元的“净输入；净输入；y称为神经元的称为神经元的“输出；输出；称为神

20、经元的称为神经元的“阈值；阈值；2021-12-12第7页常用的神经元功能函数类型常用的神经元功能函数类型 线性函数 uuf又称为又称为“恒同函数恒同函数 硬限幅函数硬限幅函数 0, 00, 1huuufaueuf11s S S函数函数(Sigmoid)(Sigmoid) fs 取值于取值于0,1之间。之间。aueuf11s2021-12-12第8页前项人工神经网络的拓扑构造前项人工神经网络的拓扑构造 前层的输出作为后层的输入；前层的输出作为后层的输入； 各层的神经元个数可以不同；各层的神经元个数可以不同； 层数两层以上，目前大多为层数两层以上，目前大多为3层；层； 输入矢量输入矢量X代表从客

21、观对象观测代表从客观对象观测得到的特征；输出层包含一个或多得到的特征；输出层包含一个或多个神经元，用于表达更为复杂的运个神经元，用于表达更为复杂的运算结果；算结果； 同层神经元不能衔接，后层不同层神经元不能衔接，后层不能向前层反向衔接；能向前层反向衔接； 衔接强度即，权值大小可衔接强度即，权值大小可以为以为0，强度为，强度为0实践上就是没有实践上就是没有衔接；衔接；2021-12-12第9页2.2 采用硬限幅函数时单个神经元的分类功能采用硬限幅函数时单个神经元的分类功能 线性可分性线性可分性( Linear Separable )设有设有C0和和C1两类方式两类方式R0：C0类方式的样本集；类

22、方式的样本集；R1：C1类方式的样本集；类方式的样本集；分类的第一步：在两类样本分布区域分类的第一步：在两类样本分布区域之间寻觅一个分类函数分类线、面之间寻觅一个分类函数分类线、面使得两类样本各处在一边；使得两类样本各处在一边； 实现这一目的的过程，称为实现这一目的的过程，称为“学习或学习或“训练，所用到的计算战略训练，所用到的计算战略称为称为“学习算法；样本集合学习算法；样本集合R0和和R1称为学习样本集合。称为学习样本集合。分类的第二步：当获得了分类函数分类的第二步：当获得了分类函数 l 以后，就可以进入任务阶段了。任给以后，就可以进入任务阶段了。任给未知方式未知方式X，假设它位于，假设它

23、位于R0一侧，那么断定其为一侧，那么断定其为C0类；假设它位于类；假设它位于R1一一侧，那么断定其为侧，那么断定其为C1类；假设它落在分类线类；假设它落在分类线l 上，那么不可识别。上，那么不可识别。 给定两类给定两类C0和和C1的学习样本集合的学习样本集合R0和和R1，假设存在线性分类函数，假设存在线性分类函数直线、平面、超平面直线、平面、超平面l，将两类学，将两类学习样本无误差地分开，那么称该分类习样本无误差地分开，那么称该分类问题为问题为“线性可分问题。线性可分问题。2021-12-12第10页假设，二维分类问题的分类函数为假设，二维分类问题的分类函数为 l：01100 xwxwXWT任

24、给样本任给样本 X = x1, x2 ，l 应该满足：应该满足：111000110000CXxwxwCXxwxw令：令：1100 xwxwNet那么方式识别那么方式识别问题可以表达成：问题可以表达成：1000CXNetCXNet把把 看作权值，看作权值， 看作阈值，用看作阈值，用一个神经元来表示以上二维分类问题，那一个神经元来表示以上二维分类问题，那么：么：10, wwNetfyxwxwNeth1100恣意输入一个方式恣意输入一个方式 X，假设假设X属于属于C0那么那么 y = 1；假设假设X属于属于C1那么那么 y = 0；01110h010hRXRXiiiiiixwfyxwfy其中：其中：

25、X = x1, x2是恣意样本，是恣意样本，W=w0, w1是权值矢是权值矢量。量。 WT.X q = w0.x0 + w1.x1 q =0 是直线的矢量方是直线的矢量方程，假设程，假设W为单位矢量，即：为单位矢量，即： w02 + w12 = 1 那么那么 q 的意义如下图。的意义如下图。2021-12-12第11页学习算法学习算法 将输入矢量将输入矢量 X X 和权矢量和权矢量 W W 作如下扩张：作如下扩张： ,1,1N101N10wwwxxxWX 神经元模型成为：神经元模型成为：NetfyxwNetNnnnh10XW(2-7) 学习的目的，就是要找到权矢量W。对于前面的例子，就是寻觅可

26、以无误差分开两类样本的直线参数 w0, w1, q。 学习是针对给定的学习样本集合进展的，不同的样本集合可以得到不同的学习结果。对于两类可分问题，可以无误差地分开学习样本的结果都是正确的。2021-12-12第12页设二维分类问题，有学习样本：设二维分类问题，有学习样本： kddk00XX其中其中 1010011CkCkkdkxkxkXXX训练样本训练样本 k ；训练样本的值；训练样本的值；起初，我们随意指定一个权矢量：起初，我们随意指定一个权矢量： 000010wwW这相当于在特征空间上随意画了一条线。向神经元这相当于在特征空间上随意画了一条线。向神经元输入一个样本输入一个样本X(k)，用，

27、用y(k)表示得到的输出，显然表示得到的输出，显然y(k)不一定等于不一定等于X(k)的实践类别值的实践类别值d(k)，令：，令： kykd假设假设 fh 为硬限幅函数，为硬限幅函数， 那么必有：那么必有：0110110CCCC判为错将判为错将输出正确(2-29)2021-12-12第13页学习算法：为了找到正确的学习算法：为了找到正确的W，依次向神经元输入学习样本，依次向神经元输入学习样本X(k)，k = 0, 1, 2, ，并且按照误差，并且按照误差e (k)的正负来修正的正负来修正W ：式中式中a 称为称为“步幅，用来控制每次调整的步长。如此不断反步幅，用来控制每次调整的步长。如此不断反

28、复，复，W(k)随着迭代次数随着迭代次数k的添加，逐渐趋于正确答案。的添加，逐渐趋于正确答案。任意设置)0(W( 2-7 ) 假设输出假设输出y (k)与样本类别值与样本类别值d (k)一样，即，一样，即， 那么那么: W(k+1)=W(k)，不调整，不调整W。 0k 0k 假设输出假设输出y(k)与样本类别值与样本类别值d (k)不同，即，不同，即， 那么那么: W 根据根据 e (k)的正负被调的正负被调整；整； kkkWkWX)(1 kkykdkkXWW1 kkXW，210k2021-12-12第14页算法的几何原理：算法的几何原理：为直观起见，设：理想分类线过原点，即：为直观起见，设：

29、理想分类线过原点，即： ，阈值，阈值q 为为0。01100 xwxw训练样本：训练样本： 101001CkCkkdkxkxkXXX权值矢量：权值矢量： kwkwk10W由直线方程可知，由直线方程可知，W(k)是直线是直线 l 的法线的法线 ，即，即:0 :1100TxwxwlXW 假设，假设，X恰好位于恰好位于 l 上，那么：上，那么：01100TxwxwXW 假设，假设，Xa位于位于 l 上方，那么：上方，那么：; 01100TaaaxwxwXW 1ky 假设，假设，Xb位于位于 l 下方，那么：下方，那么：; 01100TbbbxwxwXW 0ky2021-12-12第15页假设曾经输入了

30、假设曾经输入了k个样本，运转到了第个样本，运转到了第 k 步，当前的权值步，当前的权值W(k)。假设。假设输入输入 X(k) 得到得到y(k)=1，但给定的，但给定的 X(k)属于属于C1类，即，类，即，d(k) = 0 ，那，那么：么： 1kykd于是，有：于是，有： kkkkkXWXWW1可见，分类线可见，分类线 l 得到了合理的调整。得到了合理的调整。再假设，接下来输入的再假设，接下来输入的X(k+1)属于属于 C0类，即类，即d(k) = 1，被错，被错分为分为C1类，即，类，即， 由由X(k+1) 和和W(k+1)计算得到计算得到 y(k+1)=0 ： 1kykd于是，有：于是，有：

31、11112kkkkkXWXWW错把错把 C1 当当 C0 ;2021-12-12第16页2.3 线性函数神经元的最小二乘分类算法线性函数神经元的最小二乘分类算法 线性不可分线性不可分 在误差最小的前提下，寻觅分类函数，给定样本集：在误差最小的前提下，寻觅分类函数，给定样本集： kddk00XX其中其中 10110111CkCkkdkxkxkxkNXXX2021-12-12第17页采用线性函数的神经元，即：采用线性函数的神经元，即：输入样本矢量：输入样本矢量：110NxxX10NwwW权值矢量：权值矢量：神经元完成的运算为：神经元完成的运算为：TNnnnxwyXW10判别规那么：判别规那么：10

32、RXRX00y留意到，理想值为：留意到，理想值为：10RXRX11d 对于权矢量对于权矢量W的某个详细取值，其误差定义为：的某个详细取值，其误差定义为： 22ydEE学习的目的是，针对一切学习样本，寻觅学习的目的是，针对一切学习样本，寻觅 x最小的最小的W取值，它即为误差最小取值，它即为误差最小的分类函数。的分类函数。(2-10)2021-12-12第18页设学习样本集设学习样本集X0,d0X0,d0，X1,d1X1,d1，XK1,dK1XK1,dK1， 那么那么 的估计为：的估计为：1021KkkTkdKXW以以 最小为目的的优化过程，统称为最小为目的的优化过程，统称为“最小二乘法最小二乘法

33、 Lst Mn Sur Lst Mn Sur 。 显然，样本的分布给定后显然，样本的分布给定后 是权矢量是权矢量W W的函数，即：的函数，即： W W； 首先需求证明，存在首先需求证明，存在W*使得使得x min= x (W*) 成立。由于是线性函数，所成立。由于是线性函数，所以，神经元的输出可以写成：以，神经元的输出可以写成：10TNnnnxwNetyWX(2-11)代入代入(2-10)得到：得到： TTT2TTT2TTT222222WXWXXWXWWXXWXWXWXWWXdEEdEddEddEdEydET(2-12)2021-12-12第19页用以下符号代表式中一些参量：用以下符号代表式中

34、一些参量： 2dEXXRTEXPdE为了简化，我们思索二维并且阈值为了简化，我们思索二维并且阈值 q = 0 的情况，有：的情况，有： 1110010021011020210110201010rrrrxExxExxExExxxxxxExxxxER(2-13)1010PPxdExdEP(2-14)显然，显然，R是随机矢量是随机矢量X的相关矩阵，它是一个对称矩阵，且正定。的相关矩阵，它是一个对称矩阵，且正定。将以上符号代入将以上符号代入(2-12)，得到：，得到：TT2WPWRW(2-15)1100112101100020222PwPwrwrwwrw2021-12-12第20页 显然，假设存显然，

35、假设存W*在在 使得使得 x min= x (W*) 成立。并且，在成立。并且，在W*点上点上x关于关于W的一切元素的一切元素w0, w1, (二维情况下只需二维情况下只需w 0和和w 1)的偏导数都为的偏导数都为0，或者，说，或者，说x关于矢量关于矢量W的梯度在的梯度在W*点为零矢量。即，对点为零矢量。即，对(2-15)求梯度得到：求梯度得到： PWRWPWRWWWW22210TTddddww(2-16)或用多元函数微分求梯度，重写误差公式：或用多元函数微分求梯度，重写误差公式：0011000110011210110002000222222PrwrwPwPwrwrwwrwww11001121

36、01100020222PwPwrwrwwrw1111010110011210110002011222222PrwrwPwPwrwrwwrwww2021-12-12第21页令：令：022*PRWWWW留意到，留意到，R是正定的，它的逆存在，于是，得到：是正定的，它的逆存在，于是，得到：1*RPW(2-17)代回代回(2.15)式可以得到最小误差平方和：式可以得到最小误差平方和： T*T*T*T*2*minPWPWPWRWWWW(2-18)命题得证，并且找到了最正确的命题得证，并且找到了最正确的W：解：解(2-17)式即可得到式即可得到W*。但这还不是我。但这还不是我们想要的学习算法，为了实现自顺

37、应学习，必需找到求解们想要的学习算法，为了实现自顺应学习，必需找到求解W*的迭代算法。的迭代算法。 PRW2222222222101110010010111010001100010PPrrrrwwPrwrwPrwrwww2021-12-12第22页 LMS学习问题的最陡梯度算法学习问题的最陡梯度算法 k表示迭代学习过程的序号；表示迭代学习过程的序号； p = 0, 1, 2, 表示样本序号，表示样本序号，Xp(k)表示表示当前一轮迭代时的第当前一轮迭代时的第p个输入的学习样本，即，第个输入的学习样本，即，第k步的第步的第p个样本。个样本。 定义误差平方和为：定义误差平方和为： pppppppp

38、kkkdkykdkk222)()(XWJ(2-38)当两类样本的分布不变时统计意义上，当两类样本的分布不变时统计意义上，J(k)是是W的函数。的函数。LMS学习的最学习的最陡梯度法就是以陡梯度法就是以J(k)为目的函数，寻觅使得为目的函数，寻觅使得J(k)最小的权值矢量最小的权值矢量W。 W(k)表示迭代学习第表示迭代学习第k步时的权值矢量，步时的权值矢量，dp(k)和和yp(k)分别为输入学习分别为输入学习样本样本Xp(k) 的实践类别值的实践类别值(dp取取 +1或或 1 )和当前神经元的输出和当前神经元的输出(-1 yp 0，将此结果代入到，将此结果代入到(2-40)，得到：，得到：0)()(102iiwkkJJ此结果