第11章 人工神经网络

1、 模 式 识 别 徐蔚然北京邮电大学信息工程学院北京邮电大学信息工程学院11.1引言n研究模式识别与人工智能的两个方面n自顶向下：从实际的功能出发n自底向上：模拟人脑n人工神经网络与传统模式识别相同点n要解决的问题是相同的 n人工神经网络的不同点 n计算是体现在一种网络结构中实现的n网络结构中的参数是通过学习而逐渐修正的 引言n人工神经网络发展n1943年，心理学家McCulloch和数学家Pitts，形似神经元的数学模型；n1949年，心理学家D.O.Hebb，神经网络的学习准则，为神经网络的学习奠定了基础n20世纪50年代末，Rosenblatt，感知器模型n1969年，Minsky和Pa

2、pert，感知器n进入低谷引言n人工神经网络发展n1982年，Hopfield，神经网络的数学模型n能量函数概念，网络的动力学特性n电子线路实现这一网络方案n1986年，Rumelhart和LeCun，多层感知器的反向传播算法引言 n人工神经元网络方法 n神经元网络的复兴与发展，它在信息领域，以及其它领域都得到广泛的应用 n传统的模式识别方法 n人工神经元网络方法解决模式识别问题 引言n学习目标学习目标n(1) 通过本章学习要掌握人工神经元网络实现各种计算功能的原理，及通过学习方法确定网络参数的原理 n(2)典型的人工神经元网络结构：前馈网络 n(3)了解误差回传算法的原理11.2人工神经元n

3、人工神经元网络的组成 n基本组成部分:n结点和网络11.2人工神经元11.2人工神经元n结点n作为人工神经元网络的结点是仿照生物细胞结构而造出的 n典型的结点模型是1940年提出的McCulloch-Pitts模型人工神经元n结点这种模型所实现的功能正是前面提到的线性分类器。 非线性的映射单元人工神经元n结点n几十年来，结点模型变化不大n主要的变化是所使用的非线性映射函数 n非线性映射函数:如S型，高斯型 n S型函数(0,1) (-1,1) Sigmoid函数人工神经元Sigmoid函数人工神经元nS型函数好处n非线性n单调性n无限次可微n当权值很大时可近似阈值函数n当权值很小时可近似线性函

4、数使用哪一种非线性函数取决于具体的网络结构及应用而使用McCulloch-Pitts模型只能实现二值的映射 人工神经元n人工神经网络：也就是结点之间的连接 n人工神经元网络之所以能有许多复杂的功能，主要体现在将这些结点组合成网络 n将执行最简单计算的结点组合起来，实现复杂的运算，这就是人工神经元网络最根本的特点 n而之所以能将简单的运算组合成复杂的运算，最主要是一条是结点的运算中具有的非线性映射 n有了结点运算的非线性映射，才使得人工神经元网络作为一个整体能实现复杂的非线性映射功能 能够实现任意复杂的函数人工神经元n人工神经网络n人工神经元网络的成功体现在通过学习机制确定参数这一点 n感知准则

5、函数方法在人工神经元网络中就是单层感知器 n学习确定网络各参数则成为人工神经元网络确定参数的最基本方法 神经网络为什么会实现复杂计算 n感知器(perceptron)n感知器:感知准则函数方法设计的分类器n只能实现对两类样本的线性分类或者说他只能将特征空间用线性函数划分成两个区域 f(x)是x的一个线性函数McCulloch-Pitts模型中的阈值函数，可以写成 人工神经元网络工作原理n复杂一些的判别函数 n将特征空间划分成两个区域 两条射线组成的折线来划分在折线的一边为y=1，在折线的另一边y=0 显然用一个神经元是不行 人工神经元网络工作原理n复杂一些的判别函数整个空间将因这两个函数值的极

6、性不同分成四个区域y=0这个区域所具有的特点是 与 都小于零 需要增加一个逻辑运算才能解决问题三个运算可以通过三个神经元结点 人工神经元网络工作原理n复杂一些的判别函数Whereas a two-layer network classifier can only implement a linear decisionboundary, given an adequate number of hidden units, three-, four- and higher-layernetworks can implement arbitrary decision boundaries. The d

7、ecision regions need notbe convex or simply connected. From: Richard O. Duda, Peter E. Hart, and David G.Stork, Pattern Classification. Copyright c 2001 by John Wiley & Sons, Inc.人工神经元网络工作原理n人工神经元网络的工作原理与特点：n(1) 人工神经元网络由数量较多的结点(每个结点是一个神经元)以适当的方式相互连接组成，每个结点的输入可以是输入数据的某一个分量，也可以是其他结点的输出。n(2) 每个结点都执

8、行简单的两步运算：对输入信号实现加权和；对加权和执行非线性映射。n(3) 由于结点之间的相互连接，可实现对简单运算的组合，而实现复杂的运算。n(4) 人工神经元网络实现各种功能取决于所采用的结点间连接方式以及每个结点的参数值的选择。 11.3前馈网络 n感知器的局限性n解决不了异或(XOR)或奇偶校验n如果在输入端与输出结点之间引入隐含层，则上述一些运算的执行就不成问题n问题在于在人工神经网络研究的早期，人们还不知道如何用训练方式确定含隐含层结点网络的所有参数 n1985年前后分别发表了基于误差回传的训练算法，从而在原理上解决了多层网格的训练问题 前馈网络n多层前馈网络的结构特点及基本功能 结

9、构特点是将结点分层安排 处于最低层的输入端子从外界接收输入信号，并将输入信号各分量经过不同加权往送第一隐含层 该层的运算结果又依次送往其高一层，直至输出层 前馈网络n多层前馈网络的结构特点及基本功能 由于在这种网络中信息具有沿单方向传送的特点，因此被称为前馈网络。 习惯上把含有一个隐含层的网络称为两层网络 前馈网络n多层前馈网络的结构特点及基本功能 iiijjOnet)(jjnetfO 前馈网络n前馈网络学习的任务n已知网络的结构n即，网络层数和每层结点个数n已知结点的数学模型n非线性函数的数学模型n问题:确定各个结点之间的连接系数Wijn利用训练样本n使得经验误差最小前馈网络:反向传播算法n

10、反向传播算法基本思想n(1) 设计一个代价函数作为迭代学习过程的目标函数。 n(2) 利用代价函数对各参数的偏导数来确定各参数的修正量。 n(3) 利用网络计算的分层结构导出计算的分层表示函数 前馈网络:反向传播算法n反向传播算法基本思想n误差回传算法是一种通过迭代求优化解的方法。n其根本目的是使输出与输入之间的实际映射关系与所期望的映射关系一致。n因此首先要确定一个衡量上述关系一致性的代价函数，然后找到各参数值的变化对代价函数所起的作用，从而沿使代价函数值递降的方向调整各个参数值。前馈网络:反向传播算法n反向传播算法n经验风险最小化训练方法1 正向计算输出2 计算实际输出和期望输出之间的误差3 计算梯度4 计算修改量5 判断是否继续迭代还是结束前馈网络:反向传播算法iiijjOnet1 正向计算输出)(jjnetfO 前馈网络:反向传播算法2 计算实际输出和期望输出之间的误差2)(21jjjyyE前馈网络:反向传播算法ijijjjijOnetnetEE3 计算梯度jjnetE前馈网络:反向传播算法4 计算修改量)()() 1(tttijijijijijO前馈网络:反向传播算法4 j的计算如果节点j是输出单元)( )(jjjjjjjnetfyynetyyEjjyO前馈网络:反向传播算法jjkjkkjjnetOOnetn