（应用数学专业论文）基于bp神经网络的脱机手写体数字识别.pdf

基于b p 神经网络的脱机手写体数字识别 摘要 b p 神经网络广泛应用于非线性建模，模式识别、预测等方面。本文主要研究b p 神经网络在脱机手写体数字识别方面的应用。神经网络具有生物神经网络的某些特征， 是一个信息处理系统。神经网络结构简单、能够大规模并行、容易用硬件实现，并且具 有学习和记忆能力、自适应和多样性等特性。 本文用m a t l a b 的i m r e a d m 函数读取自采集的手写体数字图像，用自定义的归一 化算法进行图像预处理，再用逐像素特征提取法提取数字特征，最后将提取到的数字特 征进行编码作为神经网络的输入。抽取输入样本的特征向量，并选取足够的样本对b p 神 经网络进行训练，然后将测试样本输入到训练好的网络中，就可以根据网络的输出得到识 别结果。 另外，针对b p 网络收敛速度慢，计算量大等缺点，改进了网络的初始值，保证网 络稳定快速收敛。还介绍了几种b p 神经网络的改进训练算法，利用m a t l a b 神经网 络工具箱提供的丰富的训练函数，对几种典型的b p 网络训练算法的训练速度进行了比 较。仿真结果表明本文提出的用于手写体数字识别的b p 神经网络模型具有一定的识别 能力，其算法可操作性强，只要相关参数选择得当，系统就能够得到较好的识别效果。 本文的手写体数字识别正确率为6 5 3 3 。 关键词：b p 神经网络，手写体数字，模式识别，特征提取 中北大学学位论文 o f f - l i n eh a n d w r i t t e n d i g i t sr e c o g n i t i o n b a s e do nb pn e u r a ln e t w o r k a b s t r a c t b pn e u r a ln e t w o r ki sw i d e l yu s e di nn o n l i n e a rm o d e l i n gp a t t e r nr e c o g n i t i o ne t c i nt h i s p a p e rw eg i v eak i n do fh a n d w r i t t e nd i g i t sr e c o g n i t i o nm e t h o db a s e d o nb pn e u r a ln e t w o r k a na r t i f i c i a ln e u r a ln e t w o r t si sa ni n f o r m a t i o np r o c e s s i n gs y s t e mt h a th a sc e r t a i np e r f o r m a n c e c h a r a c t e r i s t i c si nc o m n l o nw i t hb i o l o g i c a ln e u r a ln e t w o r k s n e u r a ln e t w o r k sl 眍) s s e a s c sm a n y o fa d v a n t a g e s ：s j l n p l cs t r u c t u r e , e a s yi m p l e m e n t a t i o ni nh a r d w a r e ，t h eb a s i cp a r a l l e l c o m p u t a t i o n a la r ；c h i t e e t u r e , a n dt h em o d e lh a sf e a t u r e so fs t u d y ，m e m o r y , s e l fa d a p t i n ga n d d i v e r s i t y t h i sp a p e ru s e st h em a t l a bi m r e a d mf u n c t i o nt or e a dt h eu s e r - d e f i n e dh a n d w r i t t e n d i g i t a lp i e t u r e ，a n du s e st h en o r m a l i z a t i o nm e t h o dt op r e p r o c e s si m a g e s t h e nw ee x t r a c t f e a t u r e sp i x e lb yp i x e l a f t e rp r e - p r o c e s s i n ga n df e a t u r ee x t r a c t i o no ft h es e l fc o l l e c t i v e h a n d - w r i t t e nd i 酉t a ls a m p l e s ，w eg a i nt h ei n p u tv e c t o r s b yd i s t i l l i n gt h ec h a r a c t e r i s t i cv e c t o r f r o ms a m p l e s , s e l e c t i n ge n o u g hs t o r e ds a m p l e st ot r a i nt h eb pn e u r a ln e t w o r k , a n dp u t t i n g t h e s a m p l e ss t a n d i n gf o r t h eh a n d - w r i t t e nd i 西t si n t 0t r a i n e dn e u r a ln e t w o r k , t h e d i s t i n g n i s h e dd i g i t a ls c r i p t sa r eo b t a i n e da c c o r d i n g t ot h eo u t p u to ft h en e u r a ln e t w o r k s o m em o d i f i e db pa l g o r i t h m sa x ed i s c u s s e di no r d e rt oe l i m i n a t et h ed i s a d v a n t a g e so f s t a n d a r d b a c k - p r o p a g a t i o na l g o r i t h m ，s u c h a s a l o w l yc o n v e r g e n c es p e e da n dg r e a t c o m p u t a t i o n a lc o m p l e x i t y u s e i n gm a t l a bn e u r a ln e t w o r kt o o l b o xo ft h el a t e sv e r t i o n ，t h e t r a i n i n gs p e e do fs e v e r a lt y p i c a lb pt r a i n i n ga l g o r i t h m s i sc o m p a r e d t h es i m u l a t i o n e x p e r i m e n to nd i g i t a ls a m p l e ss h o w st h a tt h eb p n e u r a ln e t w o r km o d e lu s e df o rt h ep r o b l e m o ft h eh a n d - w r i t t e nd i g i t sr e c o g n i t i o ni sc a p a b l eo fr e c o g n i t i o nt oc e r t a i ne x t e n t ，a n dt h e a l g o r i t l n n i s o p e r a t e de a s i l y t h er e l a t i v ev a r i a b l e sc a nb ec h o u s e dp r o p e r l y , b e t t e r r e c o g n i t i o ne f f e c to ft h es y s t e mc a nb eg e t t i n g i nt h i sp a p e r , t h ec o i t e c tr a t ei sa b o u t6 5 3 3 k e y w o r d s ：b pn e u r a ln e t w o r k , h a n d w r i t t e nd i g i t s ，p a t t e r nr e c o g n i t i o n ，f e a t u r ee x t r a c t i o n ， 1 原创性声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含 其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人 承担。 论文作者签名： 绻盘企 日期： 婴! z ! 堕! ! 堑 关于学位论文使用权的说明 本人完全了解中北大学有关保管、使用学位论文的规定，其中包括： 学校有权保管、并向有关部门送交学位论文的原件与复印件；学校可 以采用影印、缩印或其它复制手段复制并保存学位论文；学校可允许学 位论文被查阅或借阅；学校可以学术交流为目的，复制赠送和交换学位 论文；学校可以公布学位论文的全部或部分内容( 保密学位论文在解密 后遵守此规定) 。 签名： 导师签名； 日期： 丝! z 丛! ! 壁 日期：坦乙2 圭l 理 中北大学学位论文 1 1 目的和意义 第一章引言 计算机是现代最有效的信息处理工具，大量的信息处理工作只能由计算机来完成。 要用计算机来进行信息处理，首先必须把信息转换成可由计算机直接处理的形式，也就 是把信息量化或符号化。在当今高度信息化的社会里，如何快速高效地将文字输入计算 机，己成为影响人机接口效率的一个重要瓶颈。围绕这一问题，人们提出了各种解决方 案。目前，文字输入主要分为人工键盘输入和机器自动识别输入两种。人工键盘输入是 指用手工击键方式按照一定的规律把文字输入到计算机。但是，人们需要经过一定时间 的学习训练才能掌握某种键入方法，更为严重的是：对于大量已有的文档资料，采用人 工键入方法将要花费大量的人力和时间。为此，机器自动识别输入就成为了必须研究的 课题。 作为光学字符识别技术( o c r ) r p ( o p t i c a lc h a r a c t e rr e c o g n i t i o n ) 技术的一个分支，手 写数字识别( h a n d w r i t t e nn u m b e rr e c o g n i t i o n ) ，它研究的对象是：如何利用电子计算机自 动辨认人手写在纸张上的阿拉伯数字。它的工作原理是通过扫描仪等光学输入设备获取 纸张上的文字图片信息，利用各种模式识别算法分析文字形态特征，判断出文字的标准 编码，并按通用格式存储为计算机的文本文件。 字符识别和处理的信息可分为两大类：一类是文字信息，处理的主要是用各国家、 各民族的文字( 如：汉字，英文等) 书写或印刷的文本信息，目前在印刷体和联机手写识 别方面，技术己趋向成熟，并推出了很多应用系统；另一类是数据信息，主要是由阿拉 伯数字及少量特殊符号组成的各种编号和统计数据，如：邮政编码、统计报表、财务报 表、银行票据等等，处理这类信息的核心技术是手写体数字的识别。如果能通过手写数 字识别技术实现信息的自动录入，无疑会促进这一事业的进展乜1 。 1 2 光学字符识别方法的介绍 手写体数字识别是光学字符识别技术( 即o c r ) 的一个经典的模式识别问题，o c r 的识别方法同样适用于手写体数字识别。文献“州“。1 ”对o c r 方法作了详细的综述并概 中北大学学位论文 括了各种方法的优缺点，大致可以分为以下6 种情况： 1 模板匹配法 这是模式识别中最常用的基本方法之一，其基本原理是：对每个模式类都定义一个 标准的模式并将它作为本模式类的模板。识别字符时，把字符同所有的模板做比较，差 别最小的模板所属的类别即认为是待识别字符所属的类别。这种方法一般只适用于印刷 字符或受到相当限制的手写体字符，对于一般性的手写体字符，这种方法很难适用。 2 统计决策法 在概率论和数理统计的基础上产生了模式识别中的一个经典方法，即统计决策法 这一方法由于有着严格的数学基础，因此发展得较为成熟，同时它也是模式识别中能用 严格的数学计算来识别字符的方法之一这种分类方法的一个重要代表是基于b a r e s 法 则的分类法，其基本原理是：将模式类嘞o 一1 ，z 席) 的分布视为条件概率p o i q ) ，其 中x 是待识别字符的特征，然后由b a r e s 公式求出后验概率p ( 妈i 茗) 。如果后验概率为 所有类别中的最大者则石属于该模式类。统计决策的优点是抗干扰能力强，但是较难抽 取到好的特征，且难以反映模式的精细结构特征。 3 结构特征法 这种技术首先要提取字符的结构根据识别策略的不同，结构的选择也有所不同。 可以选择字根、笔划，也可以选择比笔划更小的笔段。提取出的结构又称作字符的子模 式、部件、基元，所有基元按照某种顺序排列起来就成了字符的特征。基于结构的文字 识别实际上是将字符映射到了基元组成的结构空间进行识别。常用的结构特征有：笔划 的走向、孤立的点，以及是否含有闭合笔画等字符的结构识别法更加便于区分字型变 化大的字符和字型相近的字符。但是由于对结构特征的描述和比较要占用大量的存储和 计算资源，因此算法在实现上相对复杂、识别速度慢。 4 模糊判别法 这一方法的理论基础是模糊数学，其基本原理就是：用模糊集合 a 一 ( 肛墨，五) ，( 肛邑，五) ，( p 以，以) 表示模式类，用隶属度将模糊集合a 划分为着干 子集，子集总数与模式的类别总数相同，然后根据择近原则来分类。由于隶属度函数度 量了未知样本同标准模式之间的相似程度，因此这一方法可以反映出字符模式的整体特 2 中北大学学位论文 征，这样就允许待识别样本有一定的干扰和变形，但是建立合理的隶属度函数却比较困 难。 5 逻辑推理法 逻辑推理法的基础是人工智能，其基本原理是：用知识描述每个模式类，从事实出 发运用知识库中的一系列规则进行推理以得到不同的结果，而每个结果都是相应的模式 类。在这里，所谓的知识就是待识别字符的构成规则，事实就是待识别字符的构成实例。 这一方法的缺点是难以得到待识别字符的事实。 6 神经网络法 神经网络法，其基本原理就是利用神经网络的学习和记忆功能，先让神经网络学习 各个模式类别中的大量学习样本，以记住各模式类别中的样本特征，然后在识别样本时， 神经网络回忆起以前记住的各模式类别的特征并将他们逐个与样本特征相比较，从而确 定样本所属的模式类别。网络的输入是字符的特征向量，输出是字符的分类结果，即识 别结果。由于识别策略的不同和对问题理解水平的限制，输入的特征向量所包含的信息 常常是冗余的，甚至是矛盾的。经过反复学习，神经网络可以智能地将特征向量优化， 去除冗余、矛盾的信息，强化类间的差异。其次，由于神经网络采用分布式的网络结构， 本身具备可以并行的条件，可以加快大规模问题的求解速度“4 。 这种方法的优点是抗干扰能力强，允许样本有较大的变化，但是它也依赖特征向量 的选取。此外，由于人工神经网络是对生物的神经网络的一种极端的简化，以及人们对 大脑活动的认知还停留在初级阶段，人工神经网络在学习效率和算法收敛性等方面还存 在很多亟待解决的问题“埘 1 3 手写体数字识别的发展与现状 早在1 9 2 9 年，德国人d a u s h e c k 就取得了o c r 专利权，四年后，美国人h a n d e l 也 取得了同样的专利权。但真正的o c r 系统是在2 0 世纪5 0 年代随着计算机的出现而产 生的。 第一代商用的o c r 系统出现于2 0 世纪6 0 年代初，其主要特点是能识别有限字型 的字符。其中最具代表性的是o c r 4 2 0 它能识别特定字体的字符。另一个具有代表性的 o c r 系统是f a r r i n g t o n 3 0 1 0 ，同n c r 4 2 0 一样，它也只能识别一些特定字体的字符。另 3 中北大学学位论文 外，还有一些系统如i b m 的1 4 1 8 ，1 4 2 8 ，1 2 8 5 和n e c 的n 2 4 0 d - 1 ，他们只能识别字体 非常特定的字符。 第二代的o c r 系统出现于2 0 世纪6 0 年代中期到7 0 年代早期，其主要特点是能够 识别比较工整的手写体字符。一个著名系统是i b m l 2 8 7 ，它利用了数字技术和模拟技术 实现了这一功能。第一台邮政编码自动分拣机由日本的t o s h i b a 公司研制成功，后来n e c 也推出了自己的邮政编码自动分拣机。第二代的o c r 系统也能识别一些规整的印刷字 符。r e c o g n i t i o ne q u i p m e n t 公司r e t i n a 就具有这一功能。因为手写体阿拉伯数字识别 系统在这一代系统中占有较大的比例，因而可以说第二代的o c r 系统是手写体阿拉伯 数字识别系统的开端。 第三代的o c r 系统的目标是使计算机能处理更复杂的一般情况，能够识别没有限 制的手写体字符，目前只能说还处于刚刚开端阶段。近年来出现的手写体阿拉伯数字识 别系统都属于第三代的o c r 系统，其中银行支票自动处理系统成为手写体阿拉伯数字 识别系统中的热点。它的无限制手写体阿拉伯数字的识别是数字识别中的最困难一部 分。 我国在o c r 技术方面的研究工作起步较晚，2 0 世纪7 0 年代才由中科院自动化所 的戴汝为院士牵头进行手写体字符识别晦。1 ，并在1 9 7 4 年将所研究的手写体数字识别系 统应用到邮政信件的自动分拣中。7 0 年代末开始进行汉字识别的研究，到1 9 8 6 年汉字 识别的研究进入一个实质性阶段，取得了较大的成果，不少研究单位相继推出了中文 o c r 产品。匡家的 8 6 3 计划”对o c r 技术的研究给予了很大的资助，促进了o c r 的重 大成果的取得。目前，联机手写汉字识别技术已经相当成熟，市场上已经出现了多项具 有代表性的产品。脱机印刷体识别也有成熟产品出现，识别率也基本能够达到实用的要 求。脱机手写汉字识别的研究也取得了很大的进展，小字符集单字识别技术相对更为成 熟，例如北京邮电大学在1 9 9 8 年开发的金融汉字识别系统在国家8 6 3 测试中获得9 9 7 的识别正确率；同时大字符集汉字识别方法，如余弦整形变换方法等也达到了很高的精 度“”。文字识别理论与技术在强烈的社会需求推动下产生并不断向前发展。 1 4 识别系统性能的评价 作为一个识别系统，最终要用某些参数来评价其性能的高低，手写数字识别也不 4 中北大学学位论文 例外。评价的指标除了借用一般文字识别里的通常做法外，还要根据数字识别的特点 进行修改和补充。 对一个手写数字识别系统，可以用两方面的指标表征系统的性能： 正确识别率a 文正确识别样本数，全部样本数) 1 误识率s = ( 误识样本数全部样本数) 1 0 0 两者的关系是：a + s = 1 0 0 一个理想的系统应是s 尽量小，而a 尽可能大。而在一个实际系统中，随着误识率 s 的下降，识别率a 将提高。另外，由于手写数字的书写风格、工整程度可以有相当大 的差别，因此必须弄清一个指标在怎样的样本集合下获得的。 1 5 本文内容及安排 第一章综述了光学字符识别( o c r ) 的各种方法，手写体数字的识别是光学字符识别 的重要内容，总结了手写体数字识别技术的发展和现状。 第二章介绍了人工神经网络的基本概念，如神经元、激活函数、学习算法等。重 点介绍了b p 神经网络模型及其误差反向传播的原理。本文采用b p 神经网络进行手写 体数字的识别。 第三章介绍了图像处理和识别的基本概念和基础知识，以及m a t l a b 图像处理工 具箱的基本函数。重点介绍了数字图像的数学描述形式和几种图像特征提取的方法。 第四章详细介绍了本文数字样本图像的预处理过程，包括图像的批量读取，本文 提出的一种新的图像归一化算法以及图像数据的编码，将编码后的向量作为网络的输 入。 第五章详细介绍了基于b p 神经网络的手写体数字识别模型的设计过程，如：网络 结构的设计，输入、输出向量的选择，隐含层神经元数目的确定，初始值的改进，隐含 层和输出层学习算法的选择，目标误差，学习速率的确定等。 第六章b p 神经网络模型的训练和测试结果，分析了该模型的准确性。 1 6 本文创新点 1 本文将逐像素特征提取方法应用到脱机手写体数字识别中，并采用b p 神经网络 5 中北大学学位论文 建立了识别模型。 2 提出了一种统一图像大小的归一化算法，用于将不同规格的图像压缩到同一尺 寸。 3 改进了经n e w f f m 函数初始化后的神经网络的初始值，保证网络能够快速稳定收 敛。 4 由于隐含层神经元数目的确定没有统一标准，通常是根据具体问题经过实验得出 的。本文经过大量实验最终确定隐含层神经元数目为1 5 ，这样既保证网络收敛并达到目 标误差，又获得比较理想的测试结果。 中北大学学位论文 第二章b p 神经网络介绍 人工神经网络( 简称神经网络) 是神经系统的模拟，包括了大脑神经系统的许多特 征“订。人脑是一个高度复杂的、非线性的和并行的计算机器( 信息处理系统) 人脑能 够组织它的组成成分，即神经元，以比今天已有的最快的计算机还要快许多倍的速度进 行特定的计算( 如模式识别、感知和运动神经控制) 。由于目前人类对大脑神经系统及 其智能机理研究水平以及相关科学技术水平有限，神经网络对大脑神经系统进行了合理 的简化和抽象。神经网络是一个由大量结构简单的处理单元，即神经元，通过广泛的连 接而形成的神经系统。通过大量神经元的并行计算和分布存储，神经网络具有很强的计 算能力和存储能力，因此神经网络是一种基于大规模并行的分布式处理系统渊。神经网 络在两方面与大脑相似： 1 神经网络获取的知识是从外界环境中学习得来的。 2 互连神经元的连接强度，即突触权值，用于存储获取的知识。 2 1 神经元 神经元是神经网络操作的基本信息处理单位。图2 1 表示神经元的模型，它是神经 网络的设计基础。下面给出神经元模型的三种基本元素： 1 突触或连接链，每一个都由其权值或者强度作为特征。神经元k 的突触，上的输 入信号吩被乘以k 的突触权值m ，每。注意突触权值精的下标的写法很重要。第一个下 标指查询神经元，第二个下标指权值所在的突触的输入端。人工神经元的突触权值有一 个范围，可以取正值也可以取负值。 2 加法器，用于求输入信号被神经元的相应突触加权的和。这个操作构成一个线性 组合器。 3 激活函数，用来限制神经元输出振幅。激活函数也称为压制函数，由于它将输出 信号压制( 限制) 到允许范围之内的一定值。通常，一个神经元输出的正常幅度范围可 写成单位闭区间i o ，1 1 或者另一种区间【1 ，+ 1 1 。 图2 1 的神经元模型也包括了一个外部偏置，记为以。偏置的作用是根据其为正或 为负，相应地增加或降低激活函数的网络输入。 7 中北大学学位论文 输入 信号 偏置 “ 输出 摊 突触权值 图2 1 神经元的非线性模型 用数学术语，我们可以用如下一对方程描述一个神经元k ： - 工， ( 2 1 ) y t - 伊 t + 以) ( 2 2 ) 其中工l ，x 2 ，是输入信号，w k l , w k 2 , ，w k 。是神经元k 的突触权值，u k 是输 入信号的线性组合器的输出，偏置为k ，激活函数为妒0 ，y k 是神经元输出信号。偏置 “的作用是对图2 1 模型中的线性组合器的输出做映射变换： v k 一心+ 以( 2 3 ) 激活函数纠 通常一般是非线性函数，常见的有四种基本的激活函数： 1 阈值函数。这种激活函数如图2 撕示，可写为： 卅) t 岳i f 矿v v o 。 ( 2 4 ) 在工程文献中，这种函数一般称为h e a v i s i d e 函数。 2 分段线性函数。分段线性函数由图2 2 所示，有 妒o ) 一 8 5 q 1 2 1 2 1 2。卜2。卜2。一2 i s s e ( k - 1 ) 1 0 4 m c j o 9 5 当s s e ( k ) s s g ( k 一1 ) ( 3 3 ) i 眦其他 、 5 3 2 自适应学习速率法 对于一个特定的问题，要选择适当的学习速率不容易，通常是凭经验或实验获取， 但即使这样，对训练开始初期功效较好的学习速率，不见得对后来的训练合适。自适应 学习速率法使得网络在训练过程中自动调整学习速率。通常调节学习速率的准则是：检 查权值的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值 太小了，可以对其增加一个量；若不是这样，而是产生了过调，那么就应该减小学习速 率的值。当新误差超过旧误差一定的倍数时，学习速率将减少；否则其学习速率保持不 变；当新误差小于旧误差时，学习速率将增加。此方法可以保证网络总是以最大的可接 受的学习速率进行训练。当一个较大的学习速率仍能够使网络稳定学习，使其误差继续 下降，则增加学习速率，使其以更大的学习速率进行学习。一旦学习速率调得过大，而 不能保证误差继续减少，则减少学习速率直到使其学习过程稳定为止。下式给出了一种 自适应学习速率的调整公式： f 1 0 5 ，7 ( 七) s s e ( k + 1 ) s s e ( k ) g ( k + 1 ) - o 砌似) s s e ( k + 1 ) 1 0 4 + s s e ( k ) 。 ( 3 4 ) l 叩他) 其他 5 3 3 l - m 法 l e v e n b e r g - m a r q u a r d t 法，简称l - m 法，实际上是梯度下降法和牛顿法的结合。梯 度下降法在开始几步下降较快，但随着接近最优值时，由于梯度趋于零，使得目标下降 缓慢；而牛顿法可以在最优值附近产生一个理想的搜索方向。l m 法的搜索方向定为： s ( x 耻) - 一( 日忙+ a i d 1 可丁：r 隹) ( 3 5 ) 令叩( i 一1 ，贝x 耻+ 1 ) 石件+ s ( x 隹) 。 起始时，a 取一个很大的数( 如1 0 ) ，此时相当于步长很小的梯度下降法；随着最 优点的接近，a 减小到零，则s ( 工耻) 从负梯度方向转向牛顿法的方向。通常，当 ，( r 忙“) l ( x 耻) ，减小a ( 如a ( s + 9a o 飘耻) ；否则，增大a ( 如 “”- 2 a 御) 。 中北大学学位论文 5 3 a 附加动量和自适应学习率法 将动量法和自适应学习速率结合起来可以利用两方面的优点，形成了带动量的自适应 学习算法。 5 3 5 改进的b p 算法训练效果比较 在m a t l a b 7 0 的神经网络工具箱中，提供了各种改进b p 算法的函数，例如： t r a i n g d ，标准b p 算法；t r a i n g d m ，带有动量项的梯度下降法；t r a i n g d a ，自适应学习速 率法；t r a i n g d x ，带有动量项的自适应学习速率法；t r a i n l m 采用i m 算法的改进训练 算法1 2 3 2 s ! ，对中等规模的网络来说，i m 算法是收敛速度最快的一种训练网络，缺点是 要占用大量内存空问。本文的输入向量规模较大不适合用i m 算法。带有动量项的自 适应学习速率法兼备了带有动量项的梯度下降法和自适应学习速率法这两种算法的优 点，既提高了运算速度，又能跳出局部极小值，是常用的改进算法。本文采用t r a i n g d x 带有动量项的自适应学习速率法训练网络 我们选择了三组训练样本和一组测试样本，分别用上述几种典型的改进b p 算法训 练网络，目标误差定为1 ，初始学习速率0 0 2 ，最大迭代次数3 0 0 0 ，结果如表5 2 所示。 表5 2 几种典型b p 算法训练效果比较 t r a i n g d ，t r a i n g d m 和t r a i n g d a 这三种算法都没有达到预定的目标误差，运算到最 大迭代次数停止，只有t r a i n g d x 达到了目标误差，且迭代次数少，运行速度快。从图 4 9 可以看到这四种算法训练过程中误差的变化情况。 中北大学学位论文 ( a ) t r a i n g d x 算法c o ) t r a i n g d 算法 ( c ) t r a i n g d m 算法( d ) t r a i n g d a 算法 图4 9b p 算法训练过程示意图 5 4 训练参数的选取 5 4 。1 初始值的改进 由于b p 神经网络系统是非线性的，所以初始值对于学习是否达到局部最小、是否 收敛以及训练时间的长短关系很大。如果初始值太大，使得加权后的输入和落在了s 型 函数的饱和区，从而导致其导数，o ) 非常小，而在计算权值修正公式中，因为6 正比于 厂o ) ，当，协) 一0 时，则有6 0 。这使得a 一0 ，从而使得调节过程几乎停顿下 来。所以，一般总是希望经过初始加权后的每个神经元的输入值都接近于零，这样可以 保证每个神经元的权值都能够在它们的s 型激活函数变化最大之处进行调节。一般初始 中北大学学位论文 值取( 1 ，1 ) 之间的随机数。 本文采用n e w f f m 函数初始化一个两层的b p 网络由于n e w f f 函数是随机地赋初 始权值。训练过程中我们发现，网络经常出现不收敛的情况，原因在于初始权值与输入 向量的加权和偏大，最主要的原因还是在于初始权值偏大。于是我们对初始权值做了改 进，对隐含层到输出层的初始权值乘系数0 0 1 ，使得9 0 左右的初始值都达到0 0 1 数 量级；对输入层到隐含层的初始权值乘系数0 1 ，使得9 0 左右的初始值都达到0 0 1 数 量级。这样可以保证每个神经元的权值都能够在它们的s 型激活函数变化最大之处进行 调节。 我们对初始值的改进作了大量实验，在目标误差为5 ，最大迭代次数3 0 0 0 ，学习率 0 0 2 的相同条件下，分别对改进了初始值的网络和未改进初始值的网络进行训练。表5 3 给出了初始值改进前后网络独立运行十次的结果。可见，改进后的初始值能够保证网络 收敛，而且迭代次数少，运算速度也加快了。因此，我们对初始值的改进是很有效的。 表5 3 初始值改进前后网络运行结果比较 未改进的初始值改进后的初始值 序号 是否收敛迭代次数均方误差是否收敛迭代次数均方误差 1否 3 0 0 0 1 0是4404 ，9 9 5 0 9 2否3 0 0 01 0是 5 4 1 4 9 3 5 6 3 3是 3 8 2 4 9 5 4 6 9是 3 3 64 9 9 2 2 7 4 是 6 5 54 9 9 8 0 9 是 1 3 94 9 9 8 4 2 5 否 3 0 0 01 0 是 2 2 24 9 8 8 4 5 6 是 6 8 44 9 5 4 6 9 是 1 1 54 8 1 5 4 3 7否 3 0 0 0 l o是4784 9 9 9 2 3 8否3 0 0 0 1 0 是 2 0 14 9 7 8 8 2 9是2 8 1 74 9 9 9 2是1 9 64 9 9 6 6 9 1 0 否3 0 0 0 1 0 是 1 2 9 4 9 0 2 3 7 5 4 2 学习速率的选取 学习速率决定每一次循环训练中产生的权值变化量。大的学习速率可能导致系统的 不稳定；但小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差 值不跳出误差表面的低谷而最终趋于最小误差值。一般情况下，倾向于选取较小的学习 速率以保证系统的稳定性。学习速率的取值范围在0 0 1 - 0 8 之间。经过多次试验，我们 发现学习速率取值为o 0 2 时收敛速度较快。 中北大学学位论文 5 4 3 期望误差的选取 选择合适的期望误差值是相对于所需要的隐含层节点数来确定的，因为较小的期望 误差值要靠增加隐含层的节点以及训练时间来获得的。本文同时对几个不同期望误差值 的网络进行训练，最后考虑运行时间、隐含层神经元数和手写体数字测试结果正确率等 综合因素的基础上取值为5 。 5 4 4 其他参数的设定 调用m a t l a b 中的t r a i n m 函数需要对以下几个参数赋值，如下： n e t t r a i n p a r a m e p o c h s = 2 0 0 0 0 ； 最大训练步长 n e t t r a i n p a r a m 1 r _ i n c = 1 0 5 ； 增长的学习率 n e t t i a i n p a l a l n 1 f _ d c c = o 7 ； 减小的学习率 n e t t r a i n p a r a m m e = 0 9 5 ；附加动量因子 n e t t t a i n p a r a m m i n _ g r a d = l e - 1 0 最小执行梯度 中北大学学位论文 第六章b p 网络训练及测试结果 本文的网络训练分为两步： 第一步，将已经定义好的标准数字模板作为输入向量进行训练，用变量n e t 保存网 络训练结果，m a t l a b 代码为： 【n 鸭哪= t h i n ( n e t , s t a n d a r d , t ) , 其中s t a n d a r d 是输入向量，t 是目标向量； 第二步，将n e t 训练后得到的所有神经元的权值赋值给n e r o ，此时再将训练样本输 入网络n e t n 继续训练，m a t l a b 代码； n e r o = n o t ； n e t n , u = t r a i n ( n e t n , p , t ) , 其中p 是训练样本构成的输入向量，t 是目标向量。 训练结束后，进入测试阶段。用训练好的网络n c t n 测试样本。本文的测试样本共有 1 5 0 个，其中1 0 0 个为新样本( 即未参加训练的样本) ，共十组，每组包含o 到9 十个数 字。另外5 0 个测试样本是从训练样本中抽取的，共五组，每组包含0 到9 十个数字。 采用m a t l a b 仿真函数s i m m 计算测试结果。 s i m 函数仿真计算后得到一个1 0 x 1 0 数组y 0 ，例如m a t l a b 运行结果为： y 0 = o 8 8 8 4 - 0 0 3 2 3 0 2 0 4 9 - 0 2 9 0 30 0 0 8 3 - 0 0 2 6 40 0 7 2 1 - 0 0 3 5 3 0 1 7 7 60 1 8 9 2 0 , 9 8 4 2 - 0 0 2 6 4 - 0 0 0 1 4 0 0 0 2 50 0 3 4 80 0 3 5 9 - 0 0 6 1 6 - 0 1 7 2 2 0 0 1 2 7 0 0 1 1 70 4 2 0 90 0 1 9 0 o 0 8 0 2o 0 5 1 7 - 0 2 4 0 30 2 4 2 90 0 0 7 5 - 0 1 2 0 6 0 0 2 0 20 0 2 6 20 4 6 8 0o - 1 1 9 8 - 0 0 7 2 7 - 0 0 8 9 2 0 0 6 9 0o 1 6 5 20 1 8 2 9 0 0 1 0 1 0 2 2 0 50 3 0 8 0n 8 7 no 0 0 7 8n 1 3 6 0 - 0 1 6 0 1 - 0 0 5 4 9 - 0 0 3 0 9 0 0 6 9 6 o 0 6 8 6 - 0 1 6 0 10 0 0 1 6o 9 5 6 40 0 1 8 7o 0 1 2 0o 0 5 1 8o 0 9 0 0 o 0 3 0 6 0 2 7 1 2 - 0 0 4 0 40 1 4 3 2 - 0 0 1 5 9 0 8 2 9 90 1 鲫o 1 3 3 5o 0 4 4 1 4 0 n啷c；蚴n册m唧地伽与； 中北大学学位论文 0 2 1 6 以 0 9 1 0 o 0 9 2 7 0 1 9 4 3 o 1 00 3 7 6 70 2 3 0 4 - 0 1 1 7 7 - 0 0 2 1 60 2 7 0 5 0 7 8 9 - 0 0 3 3 8o 1 5 8 0 - 0 0 1 8 1 0 0 9 5 8 0 2 5 4 8 - 0 0 6 3 90 0 2 9 7 - 0 0 0 2 7 - 0 0 2 3 7o 蚣0 3 2 9 0 7 - 0 0 4 5 1 地1 0 5 90 2 1 2 0 - 0 0 5 1 10 0 5 6 i - 0 0 3 1 00 0 0 1 9 - 0 1 9 4 80 7 6 5 1 可以看到，y 0 每一列都有一个数最接近于1 ( 主对角线上加粗显示的数据) ，这个 数对应的行向量的序号就是数字的识别结果。最后我们采用竞争网络c o m p e t m 计算y o ， 从而得到识别结果。 竞争网络其原理是：将每一列最大的数取值为1 ，其余全为0 。m a t l a b 代码为 y l = c o m p e t ( y 0 ) ，得到如下识别结果： y i = ( 1 ，1 ) 1 ( 2 ，2 ) 1 ( 3 ，3 ) ， 1 ( 4 ，4 ) 1 ( 5 ，5 ) 1 ( 6 ，6 ) 1 ( 7 ，7 ) 1 ( 8 ，8 ) 1 ( 9 ，9 ) 1 ( 1 0 ，l o ) 1 表6 1 列出了所有测试样本的识别结果及识别正确率和误识率。1 5 组测试样本中前 十组是没有参加过珊练的新样本，最后五组是调练过的样本，所有识剐结果请见附录二。 表6 1 测试样本的识别结果 中北大学学位论文 可以看到，数字“o ”和“1 ”的识别结果最好，都达到了8 0 ；其次，数字2 ”，“3 ”， 叮”， 甲，“8 ，和“9 ，的识别精度也都达到了6 0 以上；数字“6 的识别精度为5 3 3 3 ， 从识别结果中可以发现6 都被误识为了4 ，0 和9 ；数字“矿的识别结果不理想，识别精 度不到5 0 ，4 被误识为7 ，4 ，9 ，0 和3 。所有测试样本的平均识别正确率为6 5 3 3 。 中北大学学位论文 结论 本文提出了用b p 神经网络进行手写体数字识别的方法实验结果表明，b p 神经网 络既能完成特征提取又能完成分类功能。经过足够多的原始样本训练后的b p 神经网络， 其容错性和识别性就比较好，尤其是对于曾经训练过的样本有较好的识别效果，达到 以上，对于没有参加过训练的新样本识别率也在5 0 左右。 今后工作展望：手写体数字的特征提取是一个非常复杂的问题，可以考虑先用比较 适合于特征提取的自组织特征映射网络提取样本特征，然后再用b p 神经网络完成分类， 充分利用两种网络的优点可能达到更好的识别效果。 中北大学学位论文 y 1 = ( 1 ，1 ) ( 2 ，2 ) ( 5 ，3 ) o o ，4 ) ( 5 ，5 ) ( 4 ，6 ) ( 7 ，7 ) ( 8 ，8 ) ( 5 ，9 ) ( 1 ，1 0 ) y 4 = ( 1 ，1 ) ( 2 ，2 ) ( 3 ，3 ) ( 4 ，4 ) ( 2 ，5 ) ( 6 ，6 ) ( 9 ，7 ) ( 6 ，8 ) ( 3 ，9 ) ( 1 0 ，l o ) y 7 = ( 9 ，1 ) ( 1 ，2 ) ( 3 ，3 ) ( 4 ，4 ) ( 5 ，5 ) ( 1 0 ，6 ) ( 3 ，7 ) ( 4 ，8 ) ( 9 ，9 ) ( 1 0 ，l o ) 附录识别结果 y 2 = ( 1 ，1 ) ( 2 ，2 ) ( 4 ，3 ) ( 7 ，4 ) ( 5 ，5 ) ( 9 ，6 ) ( 7 ，7 ) ( 5 ，8 ) ( 4 ，9 ) o o ，1 0 ) y 5 = ( 1 ，1 ) ( 1 0 ，2 ) ( 7 ，3 ) ( 7 ，4 ) ( 1 0 ，5 ) ( 6 ，6 ) ( 7 ，7 ) ( 9 ，8 ) ( 9 ，9 ) ( a o ，x o ) y 8 = ( 1 ，1 ) ( 7 ，2 ) ( 1 ，3 ) ( 7 ，4 ) ( 5 ，5 ) ( 6 ，6 ) ( 7 ，7 ) ( 8 ，8 ) o o ，9 ) ( 4 ，1 0 ) y 3 = ( 1 ，1 ) ( 7 ，2 ) ( 5 ，3 ) ( 1 0 ，4 ) ( 5 ，5 ) ( 4 ，6 ) ( 7 ，7 ) ( 8 ，8 ) ( 9 9 ) ( 1 ，1 0 ) y 6 = ( 3 ，1 ) ( 2 ，2 ) ( 3 ，3 ) ( 6 ，4 ) ( 5 ，5 ) ( 6 ，6 ) ( 3 ，7 ) ( 8 ，8 ) ( 9 ，9 ) ( 1 0 , 1 0 ) y 9 = ( 1 ，1 ) ( 2 ，2 ) ( 1 0 ，3 ) ( 4 ，4 ) ( 2 ，5 ) ( 9 ，6 ) ( 7 ，7 ) ( 4 ，8 ) ( 1 0 ，9 ) ( 1 0 ，1 0 ) 11111j 1 l ，1 1 1 1 1