第2节-前向多层人工神经网络01.ppt

1、8/5，2020，第1页，第2章，前向多层人工神经网络，2.1概述了模式识别，人工神经网络的主要功能之一。模式识别是人类的一种基本智能行为。在日常生活中，我们几乎一直在做“模式识别”。广义地说，存在于时间和空间中的可观察的事物如果能相互区分，就可以被称为模式。狭义而言，模式是通过观察特定的个体事物获得的具有时空分布的信息；模式类：模式所属的类别或同一类中的整个模式称为模式类(或简称类)；模式识别：根据一定的测量或观察，把要识别的模式分成它们自己的模式类别的过程称为模式识别；模式识别是处理和分析表示事物或现象的各种形式的信息(数字、文字和逻辑)以描述、识别、分类和解释事物或现象的过程，是信息科学

2、和人工智能的重要组成部分。买西瓜：西瓜可以分为两种类型：生的和熟的。此时，研究范畴是“西瓜”，其中定义了两种类型的模型：熟瓜和生瓜；西瓜：西瓜分为早熟品种和晚熟品种，即定义了两种类型的模式：早熟和晚熟；河北省早熟品种分类：河北省常见品种有“新红宝”、“油桃”、“京欣”和“冀早2号”；此时的研究范畴是“河北省常见早熟西瓜品种”，其中定义了多种模式：新红宝、油桃、京欣、冀早2号等。买西瓜是两种模式的分类问题，生瓜和熟瓜是通过声音频率x1和声音持续时间x2来判断的。向量元素Xi=(x1i，x2i) T是通过对编号为I的甜瓜进行敲击试验得到的，n个数据可以通过对n个成熟甜瓜的试验得到：X=X1，X2，

3、X3，XN。根据未熟瓜和熟瓜，x中的元素可分为两类，一类是生瓜，另一类是熟瓜。因此，模式实际上是具有特定属性的向量/数据。如果C1代表生瓜，C2代表熟瓜，那么X中的任何元素Xn必须满足： Xn属于C1或Xn属于C2。2020年8月5日，第2页，模式识别，例如：水果分级系统。水果质量参数：重量、大小、比重、水果形状、颜色等。特征向量：X=x1，x2，x3，x4，x5T，特征空间：由参数开发。模式：每个苹果都是一个模式，其特征向量是特征空间中的一个点；模式类：一个层次是一个类，一种模式分布在特征空间的特定区域；模式识别：找出不同类型之间的接口。2020/8/5，第3页，神经网络的第二个主要功能是联

4、想记忆。关联的心理学定义：当一个事物的表象被激活时，也就是说，当表象中包含的几个属性单位同时有效时，我们的注意力将集中在这个表象上。如果该表示被该表示的处理拒绝，也就是说，当一些属性单元失败(或被抑制，或处于高阻抗状态)，以致该表示不能被建立时，剩余的属性单元可能构成另一事物的表示，并且可能有必要组合那些已经被激活的新属性(或被外部事物的新属性激活，或通过减少对某些属性的抑制而被激活)。当你看到柠檬时，你会感觉到口腔中的水分增加。因为柠檬有酸味。字符识别：2020年8月5日，第4页，重新讨论模式识别：处理和分析表示事物或现象的各种形式的信息(数字、文字或逻辑)以描述、识别、分类和解释事物或现象

5、的过程称为“模式识别”，它是信息科学和人工智能的重要组成部分。当人们区分不同种类的事物时，他们提取相似事物之间的相似性和不同种类事物之间的差异；汉字识别：例如，汉字“中”可以有多种写法，但它们都属于同一个范畴。更重要的是，即使钟的具体写法是前所未见的，也可以归为钟一类。目标识别：当人们到达目的地时，他们总是观察周围的风景，判断他们选择的路线是否正确。事实上，这是眼睛看到的“正确”和“不正确”图像的分类判断。人脑的这种思维能力构成了“模式”的概念和“模式识别”的过程。模式离不开范畴(集合)的概念。只要你知道这个集合中有限数量的事物或现象，你就可以识别这个集合中任意数量的事物或现象。为了强调整体可

6、以从具体的事物或现象中推断出来，我们称个别的事物或现象为“模式”，而整体被称为范畴或范畴。特征向量：在最简单的情况下，目标对象由一组称为“特征参数”的数字信息表示。例如，在水果质量分类中使用的大小、重量、比重、水果类型和颜色都是数值。以特征向量的形式表示：xi=xi1，xi2，xi3，xi4，xi5样本：通过观察特定物体获得的特征向量被称为“样本”，Xi被称为ith样本或ith样本的特征向量。特征空间：即由特征向量构成的空间，每个样本对应于特征空间上的一个点。对于特定的模式识别问题，特征参数的选择非常重要，它关系到模式识别的成败。国际著名专家傅教授曾说过，特征提取是模式识别的关键。特征参数应该

7、能够区分定义的模式，以及是否有太多的重复，即完整但不冗余。选择特征参数的过程称为“特征提取”。没有统一的特征提取方法。事实上，特征提取在不同的专业领域都是一个问题。因此，模式识别的应用通常是一个跨学科的项目。傅(1930-1985)出生于溧水县。1954年，他毕业于台湾大学电机工程系，获得学士学位。在加拿大多伦多大学学习后，他获得了应用科学硕士学位。1956年，他转到美国伊利诺伊大学，并获得博士学位。自1961年以来，他一直是普渡大学电气工程系的助理教授、副教授和教授，以及加州大学伯克利分校和斯坦福大学的客座教授。自1971年以来，他一直被选为美国电气工程学会的荣誉会员。同年，他获得了顾根汉基

8、金研究资助。自1975年以来，他一直是普渡大学高斯工程的教授。后来，他创立了概率论，创立了图形识别、图像处理及其在遥测和医学中的应用的科学，并担任第一届图形识别国际会议的主席。1976年，他被选为美国国家工程学院的院士，并获得了麦考伊科学贡献奖。1977年，他获得了美国计算机学会杰出论文奖。1978年，他担任台湾中央研究院院士。2020年8月5日，第5页，模式类：当特征参数选择合理时，不同类型的模式在特征空间中占据不同的分布区域；模式识别需要做两个方面的工作：在不同类型的样本点集之间找到一个合理的接口，即“决策函数”。由于决策函数来自实际观测数据，这一阶段称为“学习”或“训练”；给定未知模式，

9、判断样本的类别，称为“工作”或“应用”。特征选择的质量是模式识别成败的关键，但如何选择“特征”，即选择什么物理量作为特征，是特定专业“领域”的问题，需要用“领域”的专业知识来解决。例如，语音识别，如何从自然语音中提取“特征”是语音识别的一个专业问题；图像识别是图像处理领域的一个难题，如何从CCD图像中获取合适的特征。甚至在图像处理领域，不同的特征被用于不同的应用目的。模式识别的整个过程应该包括特征提取阶段。然而，我们在这里将要讨论的所有智能方法仅涉及特征提取之后的工作。上述“学习”或“训练”指的是根据以下条件在空间中找到合适的分类面这种“学习”也称为“监督”学习，即通过学习已知样本Xi和易找到

10、一个合理的判别函数。所谓“工作”是指为一个类别未知的Xi样本寻找易的价值。Xi是一个客观物体的观察结果，它的价值是不能预先确定的。然而，易范畴的价值是离散的、有限的，是主观预先规定的。2020年8月5日，第6页，神经元模型，神经元输入：完成的操作是：其中：被称为神经元的“权重向量”；称为神经元的“功能函数”;称为神经元的“净输入”;称为神经元的“输出”;称为神经元的“阈值”;2020年8月5日，第7页，常用的神经元函数类型，线性函数，又称“恒等式函数”，硬极限函数，S函数(Sigmoid)，fs值在0和1之间。2020年8月5日，第8页，前一段中人工神经网络的拓扑结构，前一层的输出作为后一层的

11、输入；每层神经元的数量可以不同；有两层以上，目前大部分是三层；输入向量x表示从目标物体观察到的特征；输出层包含一个或多个神经元以表达更复杂的运算结果；同一层的神经元不能连接，后一层不能与前一层反向连接；连接强度(即重量大小)可以是0，而0的强度实际上是没有连接的；2020年8月5日，第9页，2.2单神经元的分类函数与硬限幅函数，线性可分，与C0和C1模式R0:C0模式的样本集；R1:C1班级模式样本集；分类的第一步：在两种类型的样本分布区域之间找到一个分类函数(分类线和分类面)，这样两种类型的样本就在一边的任何地方；实现这一目标的过程称为“学习”或“训练”，使用的计算策略称为“学习算法”；样本

12、集R0和R1称为学习样本集。分类的第二步：获得分类函数l后，就可以进入工作阶段了。给定未知模式x，如果它位于R0侧，则判断为C0类；如果它位于R1一侧，则被判定为C1级；如果它落在分类线l上，就无法识别。给定C0和C1的两组学习样本R0和R1，如果有一个线性分类函数(直线、平面、超平面)l可以无误差地分离这两类学习样本，那么分类问题称为“线性可分问题”。2020年8月5日，第10页，假设二维分类问题的分类函数为l:且任何给定样本X=x1，x2，l应满足：则模式识别问题可表示为：将其作为权重和阈值，并使用神经元来表示上述二维分类问题，然后：其中：X=x1，x2。重量X q=w0.x0 w1.x1

13、 q=0是直线的向量方程。如果w是单位向量，即w02 w12=1，q的含义如图所示。2020年8月5日，第11页，学习算法，扩展输入向量x和权重向量w如下：神经元模型变为：(2-7)，学习的目的是找到权重向量w。对于前面的例子，它是找到直线参数W0，W1和Q，可以无误差地分离两种类型的样本。学习是针对给定的一组学习样本进行的，不同的样本集可以得到不同的学习结果。对于两类可分问题，分别学习样本没有错误的结果是正确的。2020年8月5日，第12页，用学习样本建立了一个二维分类问题：训练样本的值；首先，我们随机分配一个权重向量：这相当于在特征空间上随机画一条线。将样本X(k)输入神经元，并用y(k)

14、表示输出。显然，y(k)不一定等于X(k)的实际类值d(k)，所以如果fh是一个硬限幅函数，则必须有：(2-29)，2020年8月5日，第13页，学习算法。通过这种重复，随着迭代次数k的增加，W(k)趋向于正确答案(2-7)，如果输出y (k)与样本类别值d (k)相同，即： W(k 1)=W(k)，则不调整W。，如果输出y(k)与样本类别值d (k)不同，即根据e (k)的正负调整： W；2020年8月5日，第14页，算法的几何原理：为了直观起见，让：理想的分类线穿过原点，即，并且阈值q为0。训练样本：权重向量：从直线方程来看，W(k)是直线l的法线，即：如果x在l的右边，那么：如果Xa在l

15、的上面，那么：如果Xb在l的下面，那么：2020/8/5，第15页，假设它已经被输入。假设y(k)=1是通过输入X(k)得到的，但给定的X(k)属于C1类，即d(k)=0，那么：由此可见，分类线L已经得到了合理的调整。让我们假设下一个输入X(k 1)属于C0类，即d(k)=1，它被错误地分类为C1类，即y(k 1)=0:从X(k 1)和W(k 1)计算，所以有：错误地把C1当作C0；2020年8月5日，第16页，2.3线性函数神经元的最小二乘分类算法是线性且不可分的。在误差最小的前提下，找到分类函数并给出样本集：其中，2020年8月5日，第17页，使用了具有线性函数的神经元，即输入样本向量：权

16、重向量：(2-10)，2020/8/5，第18页，假设学习样本集(X0，d0)，(X1，d1)，(XK-1，dK-1)，x的估计为：以x最小化为目标的优化过程统称为“最小均值”。显然，给定样本的分布，x是权重向量w的函数，即x=x(w)；首先，需要证明W*的存在使得x min=x (W*)成立。因为它是一个线性函数，神经元的输出可以写成：(2-11)，并代入(2-10)得到：(2-12)，2020年8月5日，第19页，公式中的一些参数用下列符号表示：为了简化，我们考虑二维和阈值q=0的情况，包括：将上述符号代入(2-12)，得到：(2-15)，2020年8月5日，第20页。显然，如果W*存在，x最小值=x (W*)成立。此外，x相对于W的所有元素w 0、w 1(在二维情况下仅w0和w1)的偏导数都是0，或者x相对于向量W的梯度是在W*处的零向量。即(2-15)分等级得到：(2-16)，或用多元函数的微分得到梯度，并改写误差公式：2020年8月5日，