【毕业学位论文】（Word原稿）用精神网络方法来实现手写体数字识别的方案模式识别系统-计算机技术及电气自动化

毕 业 设 计 （ 论 文 ） 1 目 录 目录 . 1 第一章 绪论 . 3 第二章 神经网络 . 4 经网络的发展和应用 . 4 经网络的产生 . 4 经网络的发展 . 5 经网络的应用 . 6 工神经网络实现原理 . 7 工神经元 . 7 工神经网络的基本原理及构成 . 8 种典型的神经网络简介 . 8 经网络的相关知识 . 10 工神经网络的基本特征 . 10 经网络的学习方式 . 11 工神经网络的实现及应用举例 . 12 工神经网络的发展前景 . 13 第三章 络 . 14 法 . 14 P 算法的主要思想 . 14 P 算法的组成 . 14 P 网络的一般学习算法 . 15 P 学习算法的局限性与对策 . 17 P 学习算法存在的局限性 . 17 服 习算法的对策 . 18 法的改进 . 21 进误差函数 . 21 进激励函数 . 22 毕 业 设 计 （ 论 文 ） 2 进优化算法 . 23 第四章 手写数 字识别 . 24 式识别 . 24 式和模式识别的概念 . 24 式识别系统的构成 . 25 写体数字识别 . 26 题概述 . 26 写体数字识别的主要方法 . 27 写数字识别的一般方法及其难点 . 29 机字符识别原理 . 30 处理及模板的建立 . 31 本集对识别结果的影响 . 33 序实现 . 36 第五章 软件开发环境 . 37 件开发平台 . 37 +的组成 . 37 +的特点 . 38 致谢 . 错误 !未定义书签。 参考文献 . 40 毕 业 设 计 （ 论 文 ） 3 第一章 绪论 二十多年来，人们在数字识别领域做了大量的研究工作，所提出的各种方法在印刷体和手写印刷体数字识别方面已经取得了较好的成绩，识别率稳定在96%左右。但是自由手写体数字的识别工作目前尚处于探索性阶段，仍旧是文字识别中最有挑战性的课题之一。 字符识别长期以来都是采用传统的识别方法，对印刷体字符的识别率一般只是稳定在 96左右，不能进一步提高；而对手写体字符的识别，其研究还处于探索阶段，其识别率还相当低，因此，为了提高识别率，就必须寻求新的方法和途径 。 揭示与模拟人脑神经系统机理是研制新一代智能计算机的关键之一。进入九十年代以来，人工神经网络（ 术发展十分迅速，它具有模拟人类部分形象思维的能力，是一种模仿人脑学习、记忆、推理等认知功能的新方法。特别是它的信息并行分布式处理能力和自学习功能等显著优点，更是激起了人们对它的极大的兴趣。为模式识别开辟了新的途径，成了模拟人工智能的一种重要方法。 人工神经网络是由一些类似人脑神经元的简单处理单元相互连接而成的复杂网络。已涌现出许多不同类型的 相应的学习算法，其中 络及学习算法得到了广泛关注和研究，并在模式识别与分类、机器人控制、数据压缩等领域取得了许多有意义的应用成果。 在认真地研究了精神网络的基本原理和机制的基础上，结合手写体数字识别这一具体课题，提出了用精神网络方法来实现手写体数字识别的方案。在自由手写体数字识别方面，许多研究工作者使用 术做了不少尝试，有了较大的进展。 毕 业 设 计 （ 论 文 ） 4 第二章 神经网络 经网络的发展和应用 经网络的产生 现代计算机有着很强的计算和信息处理能力，但是它解决像模式识别、感知、评判和决策等复杂问 题的能力却远不如人，特别是它只能按人事先编好的程序机械地执行。人是地球上具有最高智慧的生物，人脑在处理语言理解、模式识别等方面问题时具有现有计算机无法比拟的优越性。长期以来，很多科学家一直在致力于人脑的内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机。 人的大脑可以在几秒内判断出人在一个动态的十字路口是否应该过马路，而若要计算机来做这个工作，其计算量大到几乎不可能做到。一个三岁小孩可以轻而易举地从一堆照片中找出自己的父母亲来，而若要计算机来完成这个任务，其计算量同样大的惊人。人脑具有的自组织功能、 联想功能及容错性都是计算机所不具备的。 尽管目前人们对大脑神经网络的结构、运行机制，甚至单个神经细胞的工作原理的细节了解还比较肤浅，但人们可以根据选择已有的大脑微观组成（神经元）及大脑的宏观功能两方面的知识来构造人工精神网络系统，模拟大脑的某些功能。这正如人类在模拟鸟的飞行过程中造出了飞机一样，产生了以模仿人脑功能为目的，涉及到生物、生理、控制论、数学及光电子信息等科学的综合科学 人工精神网络。 人工神经网络（ 称 是一门发展十分 迅速的交叉学科，它涉及到生物、计算机、数学、电子、物理、心理学、认知科学等许多学科。简单来说就是为模仿人脑工作方式而设计一种机器，它可用电子或光电元件实现，也可以用软件在常规计算机上仿真，具有通过学习获取知识并解决问题的能力。 毕 业 设 计 （ 论 文 ） 5 经网络的发展 对人工神经网络的研究早在 40 年代就已开始， 1943 年，心理学家麦卡洛克（ 数学家皮茨（ 据动物神经元的生理特点，合作提出了神经元的数学模型，称为 型，如图 1 1 所示。开创了从信息处理的观点出发，采用数理模型的 方法对神经网络进行研究的先例。但是在此之后的一个长时期内冯诺依曼计算机取得了突飞猛进的发展，而神经网络的研究却没有取得长足进展。 50 年代中期，由于感知机（ 其学习算法获得局部成功，曾风行一时。但很快又因感知机分类能力的局限性而转入低潮。 经过近 20 年的沉默和少数先驱者的艰苦努力，到 80 年代初又重新兴起。一方面是由于传统的人工智能方法在解决像视觉处理、语言理解等方面问题时陷于困境；另一方面，神经网络的一些研究成果有了很大的突破。 1982 年，美国物理学家霍普菲尔德（ 出了一种新的精神网络模型，引入“能量”函数，使得网络稳定性研究有了明显的依据。特别是这种模型所具有的联想记忆、分类与误差自动校正等智能功能，尤其引起人们的兴趣。 1984 年，毕 业 设 计 （ 论 文 ） 6 霍普菲尔德将这种模型用简明模拟电子电路实现，并应用于目前电子计算机尚难于解决的著名的“巡回推销员问题（ ，获得了很好的答案。 人发表了 论，提出了误差反向传播（ 习方法，使得原以为不可能的多层网络的学习问题得到了解决。此后，在美国、日本、欧洲掀起了一股神经网络研究热潮。 现在， 经成为诸多科学与技术学科共同关注的重大课题，神经网络的研究涉及众多学科领域。不同领域的科学家和技术学家从各自学科的兴趣和特色出发，提出不同的问题，从不同的角度着手研究，解决自己领域内的种种问题。 经网络的应用 人工神经网络在应用上已迅速扩展到许多重要领域。 模式识别与图像处理 印刷体和手写体字符识别，语音识别，签字识别，指纹识别，人脸识 别，癌细胞检测，心电图和脑电图分类， 别，油气贮藏勘测，加速器事故检测，目标检测与识别，图像压缩，图像复原等。 控制与优化 化工过程控制，机械手运动，电弧炉电极控制，半导体生产中掺杂控制，石油精炼和食品工业中优化控制， 大规模集成电路）布线设计等。 预测与管理 股票市场预测，有价证券管理，信贷风险分析，信用卡管理，机票管理。 通信 自适应均衡，回波抵消，路由选择， 络中的呼叫接纳识别及控制等。 毕 业 设 计 （ 论 文 ） 7 其它应用如导航，光学望远镜聚焦，运载体轨迹控制，电机故障 检测以及多媒体技术等。 工神经网络实现原理 神经元（ 神经系统内直接从事信息的接收或产生、传递以及处理工作的神经细胞。对大脑神经元的研究表明，当其处于兴奋状态时，输出侧的轴突就会发出脉冲信号，每个神经元的树状突起与来自其他神经元轴突的互相结合部（此结合部称为 突触），接收由轴突传来的信号。如果一神经元所接收到的信号的总和超过了它本身的“阙值”，则该神经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。人脑大约由1011 1012 个神经元组成，人工神 经网络是由多个神经元按照一定的排列顺序构成的。神经元是人工神经网络的基本单元。 工神经元 图 2人工神经元模型，W 为联接强度， U 为内部状态， 是阙值， 有三个基本要素： （ 1）一组连接权（对应于生物神经元的突触），连接强度由各连接上的权值表示，权值为正表示激励，为负表示抑制。 （ 2）一个求和单元，用于求取各输入信息的加权和（线性组合）。 （ 3）一个非线性激励函数，起非线性映射作用并限制神经元输出幅度在一定的范围之内（ 一般限制在 0， 1或 1， 1之间。此外还有阙值 k（或偏置 k）。以上作用可以用数学式表达为： 毕 业 设 计 （ 论 文 ） 8 j 人工神经元具有多个输入和一个输出，每一个输入都是前一层神经元的输出，并且每一个输入都又可以改变的权重，输入加权求和后通过一定的函数关系输出。对应于人体生理神经系统的概念是：神经元的每一输入为相关神经元的轴突输出，输入的权重为本神经元与相关神经元的突触的 联接强度，并且权重的值可正可负，正表示兴奋性突触，负表示抑制性突触。神经元在输入信号作用下产生输出信号的规律由神经元功能函数给出，这是神经元模型的外特性。由于神经元功能函数形式的不同，形成了多种多样的神经元模型。 工神经网络的基本原理及构成 一般而言，神经元功能函数有简单映射、动态系统方程、概率统计模型和多项式阙值函数模型四类。简单映射是神经网络中各神经元输入与输出具有一种简单的线性或者非线性的函数关系。动态系统方程反映了网络的动态特性，其输入与输出具有时延关系。概率统计模型描述神经元输 入与输出之间不存在确定关系，而是一个随机函数，多项式阙值函数模型反映输入信号自身相关性，它表征神经元输入与输出之间不但存在一阶函数关系，而且还存在着输出与多个输入的乘积之间的关系。 神经网络是一个复杂的互联系统，神经元之间的连接模式种类繁多，形成了多种人工神经网络模型。 种典型的神经网络简介 现有的人工神经网络模型已经不下百种。随着应用研究的不断深入，新的人工神经网络模型也在不断推出。其中最具代表性的人工神经网络模型有多层前馈网络（ 经网络（ 随 机神经网络和自组织神经毕 业 设 计 （ 论 文 ） 9 网络。 （ 1）多层前馈网络及 法 自从 1985 年 出了反向传播（ 法以来，前馈网络的研究取得了重大进展。但是人工神经网络硬件芯片的进展还十分缓慢，大部分工作是在计算机上对标准 法进行改进。目前，在天气预报、行情预测、数学分类、建筑设计等领域得到了广泛的应用。 （ 2） 经网络 （ 经网络是一种带有反馈的动力学系统，它分离散和连续两种模型。离散模型可以用一种加权无向图来表示，它多应用 于联想存储、模式识别与优化计算。连续模型引入了能量函数的概念，使求解优化组合问题转化为求解能量最小问题。其思想是将求解的问题表达为一个动力学系统（即神经网络），并研究其收敛性，构造一种合适的能量函数，使其最小值点对应于优化组合问题的最佳解。目前研究的焦点是构造一种符合问题的能量函数以求解不同的问题，其中最著名的旅行商（ 题，八皇后问题都是利用连续 得到了满意结果。 （ 3）随机神经网络与模拟退火算法 1983 年 提出的 是随机 神经网络模型的典型代表。它可以看成 想记忆模型的推广，与 络不同的是，它是具有概率状态随机转移机制而 确定性的。此外， 还允许含有隐单元来捕获学习中的高阶规则。目前常用的算法有模拟退火算法和快速模拟退火算法及一些改进算法，利用 ，主要应用于优化计算，由于引入一定程度的随机性扰动，以保证系统从局部极小中爬出来，找到全局极小，即得到全局最优。 （ 4）自组织神经网络 自组织神经网络是一类无教师监督学习的网络，它的两 个核心是自适应共振理论（ 自组织特征映射。由于这类网络具有无教师监督学习的特点，因此它可以实时学习，并可适应非平稳的环境。目前，主要工作是对自适应算法进行研究。实际应用中，自组织特征映射网络主要用于自联想最临近分类器。 毕 业 设 计 （ 论 文 ） 10 经网络的相关知识 工神经网络的基本特征 人工神经网络是一种模仿人类神经系统的数学模型，是在现代脑神经科学基础上提出来的，它反映了人脑功能的基本特性。但它并不是人脑的真实描写，而只是它的某种抽象、简化和模拟。人工神经网络这些特点使得它不同于一般计算机和人工智 能。 （ 1）人工神经网络为广泛连接的巨型系统。神经科学研究表明，人类中枢神经的主要部分大脑皮层由 1011 1012个神经元组成，每个神经元共有 101105 个突触，突触为神经元之间的结合部，决定神经元之间的连接强度与性质。这表明大脑皮层是一个广泛连接的巨型复杂系统。人工神经网络的连接机制模仿了人脑的这一特性。 （ 2）人工神经网络有其并行结构和并行处理机制。人工神经网络不但结构上是并行的，它的处理顺序也是并行的和同时的。在同一层内处理单元都是同时操作的，即神经网络的计算功能分布在多个处理单元上 。 （ 3）人工神经网络具有分布式结构。在神经网络中，知识不是存储在特定的存储单元中，而是分布在整个系统中，要存储多个知识就需要很多连接。而存储知识的获得采用“联想”的办法，这类似人类和动物的联想记忆。当一个神经网络输入一个激励时，它要在已存储的知识中寻找与输入匹配最好的存储知识为其解。联想记忆有两个主要特点：一是具有存储大量复杂图形的能力（像语音的样本可视为图像，其它像机器人的活动，时空图形的状态，社会的情况等），一是可以很快地将新的输入图形归并分类为已存储图形的某一类。 （ 4）人工神经网络 具有很强的容错性。大脑具有很强的容错能力。我们知道，每天都有大脑细胞自动死去，但并没有影响人们的记忆和思考能力。这正是由于大脑中知识是存储在很多处理单元和它们的连接上的结果。人工神经网络也是如此，由于知识存储在整个系统中，而不是在一个存储单元中，一定比例的结点不参与运算，对整个系统性能不会产生重大影响。 （ 5）人工神经网络具有自学习、自组织、自适应能力。人脑功能受先天因素的制约，但后天因素（如经历、学习与训练等）起着重要作用。人工神经毕 业 设 计 （ 论 文 ） 11 网络很好地模拟了人脑的这一特性。如果最后的输出不正确，系统可以调整 加到每个输入上去的权重以产生一个新的结果，这可以通过一定的训练算法来实现。训练过程是复杂的，通过网络重复地进行输入数据，且每次都调整权重以改善结果，最终达到所希望的输出。网络便在训练过程中学到了经验。 经网络的学习方式 通过向环境学习获取知识并改进自身性能是 一个重要特点。在一般情况下，性能的改善是按某种预定的度量通过调节自身参数（如权值）随时间逐步达到的。学习方式 (按照环境提供信息量的多少 )有三种： 1监督学习（有教师学习） 如图 2 2 所示，这种学习方式需要外界存在一个“教师”，它可 对给定一组输入提供应有的输出结果（正确答案），这组已知的输入输出数据称为训练样本集，学习系统可根据已知输出与实际输入之间的差值（误差信号）来调节系统参数。 2非监督学习（无教师学习） 如图 2 3 所示，非监督学习时不存在外部教师，学习系统完全按照环境提供数据的某些统计规律来调节自身参数或结构（这是一种自组织过程），以表示出外部输入的某种固有特性（如聚类或某种统计上的分布特征）。 毕 业 设 计 （ 论 文 ） 12 3再励学习（强化学习） 如图 2 4 所示，这种学习介于上述两种情况之间，外部环境对系统输出结果只给出评价信息（奖或 惩）而不是给出正确答案。学习系统通过强化那些受奖的动作来改善自身的性能。 图 2 4 再励学习框图 当学习系统所处环境平稳时（统计特性不随时间变化），从理论上讲通过监督学习可以学到环境的统计特性，这些统计特性可被学习系统（神经网络）作为经验记住。如果环境是非平稳的（统计特性随时间变化），通常的监督学习没有能力跟踪这种变化，此时需要对每一不同输入都作为一个新的例子来对待。 工神经网络的实现及应用举例 目前，人工神经网络的实现方法有以下四种途径： 1软件模拟 2超大规模集成电路（ 3光电混合 4全光实现 软件模拟尽管由于受现行计算机串行处理的限制而发挥不出神经网络并行计算速度快的优点来，学习速度慢，但因为其容易实现，因而是用来研究网络模型性能特点的很好工具。对于改变网络模型性能，为硬件实现提供可靠资料方面，软件模拟起着重要作用。对一些可以离线学习的实际应用问题，也可以用软件模拟的方法来实现。 毕 业 设 计 （ 论 文 ） 13 由于超大规模集成电路技术的成熟，目前国外已经研制出各种神经芯片。全光实现神经网络的典型例子是 型的实现，即 Y. 出的关联存储器，它充分利用了光学二维并行处理的特点。光电混合的实现方法将光的二维并行处理特点同电子控制的灵活性结合起来，各取所长。利用光学方法实现并行的矩阵矢量乘法运算，即光学乘法器，用电子或计算机方法来取阙值，控制反馈并调节互联权重，其发展相当迅速。 工神经网络的发展前景 近几年来，人工神经网络无论在理论研究上，还是再实践应用中，都取得了突飞猛进的发展。但是我们必须清醒的认识到，人工神经网络与生物神经系统相比，无论在结构还是在规模上，都只是极其简单的模拟。另外，现在人工 神经网络的应用，都是为某种特定的用途而开展的，其设计规则没有推广性。因此，人工神经网络的研究还存在着许多待研究的问题。具体来讲，今后的研究还需致力于以下几个方面： （ 1）研究人工神经网络的通用网络规模及算法，包括网络的层数、每层节点数、连接方式、激发函数的类型等。 （ 2）研究学习算法，使网络的训练能既快又稳地收敛到全局最小点，即全局最优解。 （ 3）研制人工神经网络硬件芯片以提高运行速度。 （ 4）研究人工神经网络类似人类的知识获取过程。人类的知识获取是循序渐进、逐渐积累、至始到 终的。一般是经过训练，从无知一跃变为具有某种专门知识，并停留在这一水平上。若要加入新知识则需要重新开始学习。这种方式限制了人工神经网络的发展。 目前，人工神经网络还处于算法研究阶段，硬件实现进展还十分缓慢。但是随着超大规模集成电路 学与电子器件的发展，人工神经网络将会得到越来越广泛的应用和迅猛发展。 毕 业 设 计 （ 论 文 ） 14 第三章 法 自 1985 年 出 法以来，神经网络的研究和应用已经迅速发展并渗透到各个学科，神经网络算法已不再是只供研究，而在实际的生产中开始 了广泛的应用。如：数据库系统的数据挖掘、产品的自动分捡系统的图像识别等。对应地在计算机辅助设计的软件开发中，神经网络算法的设计也越来越多。 神经网络以其快速的并行处理能力和其强有力的学习能力而获得越来越广泛的重视，其中应用最多的是 经网络。 习算法，即反向传播（ 习算法是一种有导师的示例学习算法。这种学习算法在模式识别领域中，尤其在字符识别的研究中被广泛使用。其原因是 法学习规则的坚韧性和学习能力很强，当给定模式与 络学会的模式很相似时， 别任务。 P 算法的主要思想 法是一种有监督式的学习算法。其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，通过误差的反向传播，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。 P 算法的组成 法由两部分组成：信息的正向传递与误差的反向传播。在正向传播过程中 ,输入信息从输入层经过隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层没有得到期望的输 出，则计算输出层的误差变化值，然后转向反向传播，通过网络将连接权关于误差函数的导数沿着原来的连接通路反传回来，通过修改各层神经元的权值使得误差减毕 业 设 计 （ 论 文 ） 15 小，直至达到期望目标。 P 网络的一般学习算法 络是一种有监督的前馈运行的神经网络，它由输入层 i、隐含层 h、输出层 k 以及各层之间的节点的连接权所组成。 络的拓扑结构如图 3 1和图 3 2 所示。 1正向传播过程 输入层 输入值一般为样本各分量输入值，输出值一般等于输入值。 隐含层 对于节点 j，其输入值 其前一层各节点输出值 加 权和： i （ 1） 输出值： （ 2） 式中 ）称为激励函数或者作用函数。一般采用 数： 式中 j 称为阙值， 称为温度系数。 毕 业 设 计 （ 论 文 ） 16 隐含层可为一层或者多层，但是随着隐含层的增多，网格的复杂程度也随之增加，学习速度减慢，另外网络的推导能力也有可能下降，即所谓的“ 象。网络隐含层以及节点数目的选取是 络学习算法有待解决的一个问题。 输出层 输出层的输入 输出 隐含层类似，分别为： i （ 4） （ 5） 2反向传播过程 习算法的误差函数一般定义为实际输出与期望输出的均方误差和。通过使误差函数最小化的过程不断的改变权重，完成从输入到输出的非线性映射。 设网络输入模式样本为 期望输出为 均方误差函数 ： 1 （ 6） 而对于所有的学习样本，系统的均方误差为： 1 （ 7） 为了达到 学习目的，要根据误差函数来相应地调整网络间的连接权值。一般来说经典的 习算法采用最速梯度下降法调整权值，每次调整的增量为： 式中 01 称为学习率。 从（ 8）式可推出下列连接权值的修正量公式 （ 9） 对于输出节点： k（ （ 10） 对于隐节点： j 1 k （ 11） 毕 业 设 计 （ 论 文 ） 17 P 学习算法的局限性与对策 习算法解决了多层前馈网络的训练与非线性映射问题，在实际应用中具有重大意义，在应用 习算法的过程中，人们逐渐发现它存在的某些缺陷，存在局部极小值、学习速度慢、 网络隐节点和初始权值的选取只能凭经验、新加入的样本要影响已经学完的样本，并且每个样本的输入样本的特征数目也要求必须相同；学习过程能否收敛，什么时候收敛已经学习后所生成的权重空间的分布状况等，这些至今还是一个未知数。 P 学习算法存在的局限性 习算法存在的局限性总结如下： 1归纳能力（ 基于 习算法的神经网络具有较强的归纳能力。这里，归纳是指当用一组同类型的样本集训练时， 络能将一些不相关的信息忽略掉，而学习样本集中共同的特征，通过这样的学习， 络很容易记住了这一类型的样本。然而， 习算法对不同类型微小特征差异的样本缺乏足够的归纳能力。 2外推能力（ 和归纳能力相对， 络的外推能力是指 络对一类样本训练完后，对其它非训练样本测试其识别能力。实验结果表明，外推能力与训练样本的种类和数量有关。只有将各种不同类型的充足的样本训练后，才能对各种样本的测试达到较好的推广能力。 3学习速度 经网络的学习过程是一种超大规模的反复的浮点数值运算过程，因此，无论从学习算法本身考虑，还是从使用的微机设 备上考虑，学习速度一般是较慢的。 4收敛性 毕 业 设 计 （ 论 文 ） 18 习算法的收敛性至今没能用完整的理论来证明它。网络学习过程中极易陷入局部极小点。一旦网络的权重陷入一个极小点，无论是全局极小点还是局部极小点，学习均告终止。如果在该点的状态下所要求的问题解是正确的，那么，该点是局部的还是全局的极小点就显得不那么重要了。但若所求问题的解是不正确的，那么只有再次调整权值，直到找到另一个极小点对所求问题的解是正确时为止，即要逃离原来的局部极小点。 5解释能力 神经网络对自身解决问题的方式不能形成一个规范的推导 过程。它通过学习所形成的“自我认识”对人来说是透明的。这对有导师训练的 习算法而言，大大阻碍了指导人与被指导对象的交流。 服 上面论述的 习算法局限性，它既受 习算法本身不足之处的限制，也受所采用的网络结构形式的限制，而且还受训练者所积累的经验和训练方法的限制。因此，从以下 3 个方面改进，实验效果良好。 1多神经网络组合结构 图 3 3 为有限类模式识别的多神经网络组合结构简图。设所要求解的问毕 业 设 计 （ 论 文 ） 19 题划分为 m 类，分别由 ， m 组神经 网络分类器完成。每一类问题又由该组的若干个规模较小的神经网络共同完成。决策判断将 m 组的神经网络分类器输出综合考虑，根据输出结果的要求，可采用不同的决策判断策略，最后输出结果。多神经网络组合结构具有如下的特点： （ 1）多神经网络组合结构，将以往 络规模大小与问题复杂性的矛盾转化为系统规模大小与问题复杂性的矛盾。后一矛盾比较容易由软件模拟或硬件方法解决。 （ 2）神经网络组合结构使得一个复杂的问题得以细分为一个个小问题，分别由不同的小神经网络完成。做到每个小神经网络解决的问题简单，规模变小，从而确定了对小神经 网络的规模和识别能力要求。因此，网络的学习速度得到有效的提高，收敛性问题也容易得到技术上的解决。这样带来的好处是学习样本可以方便、快速地进入系统，从而不断提高整个系统地识别率。 （ 3）神经网络组合结构具有极强地扩充能力。根据所需识别对象的模式类型可方便地确定出所需的分类器组数。并能在系统不断学习的过程中，灵活地增加或减少每组分类器内小神经网络地个数。 （ 4）组合结构使大量地训练样本分散到各个小神经网络中训练，每个小神经网络结构相同，规模不尽相同，所训练的样本集也不尽相同。 （ 5）各个小神经网络之间是相互独 立的，每当对其中的一个神经网络进行学习训练时，只是该小神经网络内的神经元之间连接权重的改变，而对其它小神经网络的权重没有任何影响。各个小神经网络之间又是相互补充的，每组内各个小神经网络完成对一个特定问题的学习、训练和识别。 （ 6）各组神经网络分类器之间是相互排斥的。每组神经网络分类器既完成对本组模式的识别，也完成对其它各组模式的拒识。同时，它们又是相互联系的，各组神经网络分类器的组合共同完成对所有模式的识别。 毕 业 设 计 （ 论 文 ） 20 2对 习算法的改进 详见 3改进训练策略 a批量学习方式 批量学习方法是将样 本集的所有样本一一输入，分别求出其输出误差。选取最大的误差对权重进行调整。可是这样做会带来新局部极小点的缺点，实验表明确实如此。出现这类情况，采用如下策略能有效地逃离该局部极小点。 （ 1）将所有训练样本集样本再输入一次或者几次，进行调整权值。因为每次重新输入样本时，初值较前一次有变化。 （ 2）将期望误差改小。 （ 3）等新的样本添加进来后再一起训练。 b人工干预的学习方式 （ 1）限制 络的学习时间 一般规定一分钟以内学习结束，否则认为学习速度过于缓慢，此时人为中断这次的学习过程。 （ 2）限制单个网络的规 模及其学习的样本数。当单个小网络达到限定的规模，并且学习的样本数也达到限定的范围时，则认为小网络的识别能力已经足够了。再增加进来的学习样本，则只有当它在半分钟内学习结束的，才被网络接受，否则认为该小网络不接受它，也即表明此样本跟该网络所能识别的样本是不合群的。 （ 3）交叉训练方法 对于一批训练样本集，假设有 2 种类型，不能把集中同一类型的样本都训练完后才转去训练另一种类型的样本。而应该将一部分第一种类型的样本训练完后，再将一部分第二种类型的样本进行训练，然后再输入另一部分第一种类型的样本训练，如此反复。实验表 明，这样训练的单个小网络有较好的识别能力。 （ 4）一次性整批样本添加训练法 将这次所需训练的样本一次性地全部添加到原有训练样本集后面训练，直毕 业 设 计 （ 论 文 ） 21 到学习结束。 （ 5）分批样本添加训练法 即将这次所需训练的全部样本分成几批，一次添加一批样本到原有训练样本集后面训练，等学习结束后，再添加第二批样本集进行训练，直到将所有样本训练完。 （ 6）单个样本添加训练法 即每次只添加一个样本进行训练，直到将所有样本训练完。 （ 7）改变样本顺序的训练法 当新样本添加到已有训练样本集时，新样本可插入已有训练样本集中任何位置，同时可改变 已有训练样本的顺序。 针对 法存在的问题，许多研究者从不从的角度提出了许多的解决方法，这些方法都在一定程度上改进了 法，并且由此繁衍出了很多变型的法。对 法的改进可分为以下几类： 进误差函数 经典的 法采用 式（ 7）的平方型误差函数，根据优化理论，误差函数可以是多种多样的。一般来说， 法的误差函数应该具有如下性质： （ i）可微 （ | （ 负 所以我们只要找到满足上面三个条件的函数，就可以把它作为 法的误差函数。经典的 法权值的调节增量 W 与系统误差成线性关系。这种调节容易陷入局部极小，或者产生振荡。造成这种现象的原因之一是因为在利用系统误差调节权值的时候只考虑了误差函数的一次项而忽略了高次项的作用。有人提出了一种类似的改进方法：取误差函数为： 毕 业 设 计 （ 论 文 ） 22 1 比较这两个式子的导数，可以发现该算法较经典的 法多了一项。由开式可知该项因子包含了系统误差的高次项，它的作用是能根据期望输出与实际输出之间的误差动态的调整学习率，提高了学习速度，避免了局部极小值的出现和振荡现象的出现，实例运行表明效果提高显著。 提出了采用包含系统误差的高次项的误差函数的改进方法。 进激励函数 经典的 法采用 数，其输出的动态范围为 0， 1，其导数为： fs f（ x）（ 1 f（ x） 把 数的值接近于 0 或 1 的定义域两端定义为饱和区，中间为非饱和区。在饱和区函数值对自变量 变化不敏感。因此，当某神经元 j 的输入总值 于饱和区时，那么权值的微小的变化不会对该神经元的输出产生什么影响，所以当一个神经元处于饱和区后，它所受到后面样本学习的影响不会很大。如果此时神经元的输出不是期望的输出值，而权值调节量又很小，就很难将神经元的状态调整过来，因而影响了网络的收敛速度。这就是所谓的“平台”现象。 多层前馈神经网络的一种快速学习算法（参考文献 7）中提出了一种方法，当判断某个神经元处于假饱和时， 便不用经典的 学习规则调整权值，而是用一个固定的常数 s 代替 fs，促使神经元迅速地从假饱和状态摆脱出来，从而加速网络的收敛，解决了平台现象。 提出了一种动态调整温度系数 的方法。随着温度系数 的减小，数的饱和区间也变小，对网络的收敛很有帮助。但是在网络的学习初期，这样的 数同时也会减慢权值的调整，学习速度不会有明显的提高。针对这种情况该方法让温度系数也随着网络的误差的变化而做相应的调整， 根据网络目前的状态取值，从而避免神经元的假饱和。 对激励函数的修改并不只限于以上两种方法。由于激励函数对学习速度毕 业 设 计 （ 论 文 ） 23 的影响主要体现在假饱和现象上，因此只要能够克服假饱和现象就有可能提高学习速度。据此还可以做进一步的研究，找出更多的满足要求的激励函数。 进优化算法 经典的 法采用梯度下降法。当误差曲面为窄长型时，该算法在谷的两壁跳来跳去，影响了网络的收敛速度。最普通的改进方法为附加动量法，将式（ 9）改为： 式中 称为动量因子。 利用附加的动量项可以起到平滑梯度方向的剧烈变化。更进一步可以在学习过程中动态地调整 和 的值，使 随系统总误差 E 不断的变化，以避免出现 W 取值过小，尤其是在接近系统最小值的时候。 实验中发现，