（管理科学与工程专业论文）神经网络的研究及应用.pdf

摘要 捅要 神经网络作为一门新兴的信息处理科学，是对人脑若干基本特性的抽象和模拟。它是以 人的人脑i ：作模式为基础，研究白适应及1 f 程序的信息处理方法。这种j ：作机制的特点表现 为通过网络中人颦神经元的作h 来体现它白身的处理功能，从模拟人脑的结构和i 单个神经元 功能出发，达剑模拟人脑处理信息的目的。 目前在国比经济和国防科技现代化建设中神经网络具有广阔的廊川领域平发展前景 其应用领域主要表现在信息领域、自动化领域，上程领域和经济领域等。不可否认的是虽 然它具有广泛的应有领域，同时自身也存在着许多缺点，从而成为当今人们一直研究的热点 问题。 在当今社会，b p 神经网络是现实应用中展为广泛的，它具有神经网络的基本特征，所以， 本文以b p 神经网络作为研究对象。研究的内容主要有：首先对生物神经元与人i ：神经元 之间的关系和b p 神经网络的基本原理及推导过释进行详细阐述提出了b p 神经网路存在的 缺点并对该缺点产生的原冈加以分析。其次，对b p 神经网络的结构设计、参数选择、样 本的选择及处理、初始权值和转移函数的选抒进行了研究特别是对在含有动荜项的b p 神 经网络中动鼙系数的确定、不同传递函数对网络训练速率的影响和b p 神经网络的结构确定 进行了深入研究。再次，对标准b p 神经网络存在的收敛速度慢和容易发生振荡等问题进行 分析，其产生的土要原冈是冈为梯度f 降法本身所造成的，所以对梯度f 降法进行了改进， 进而提山了改进的b p 神经网络模删，并通过计算机仿真证明了改进的b p 神经网络无论在训 练速率上还是在训练精度上都明显优于标准b p 神经网络。最后，将改进的b p 神经网络麻州 于我国黑龙江省农机总动力预测中，并取得了预期的效果为黑龙江省的农业机械化发展趋 势和农机产品市场分析等方面提供了一定的理论指导。 当然，由丁笔者的学识有限，对b p 神经网络的研究还不够全面，难免有些不足之处， 需要有待丁对b p 神经网络的理论和应用有更进一步地深入研究。 关键词：b p 神经网络：学习速率：转移函数：动量系数 东北农业人学管理学坝l 。论义 t h er e s e a r c ha n da p p l i c a t i o no nn e u r a ln e t w o r k a b s t r a c t 1 1 1 en e u r a ln e t w o r k 笛ak i n do f e m e r g i n gi n f o r m a t i o np r o c e s s i n gs c i e n c e w h i c hc a l la b s t r a c t a n ds i m u l a t es o m eb a s i cc h a r a c t e r i s t i co ft h eh u m a nb m i n j ti sa ni n f o r m a t i o np r o c e s sm e t h o d t h a ta s t u d ya u t o - a d a p t e d ，t h en o n p r o c e d u r a l 。t a k e sp e r s o n sc e r e b r u mw o r k i n gp a a e ma sa f o u n d a t i o n t h ec h a r a c t e r i s t i co f t h i sk i n dw o r km e c h a n i s md i s p l a y si to w n p r o c e s s i n gf u n c t i o n i nt h em a s s i v en e u r o n sf u n c t i o nt h r o u g ht h en e t w o r k ，f r o ms i m u l a t i n gt h eh u m a nb r a i ns t r u c t u r e a n dt h es i n g l en e u r o nf u n c t i o n ，a c h i e v e dt h eg o a lt h a ts i m u l a t e st h eh u m a nb r a i n p r o c e s s i n f o r m a t i o n a tp r e s e n t i nt h en a t i u n a ie c o n o m ya n dm o d e m i z a t i o no fn a t i o n a ld e f e n s es c i e n c ea n d t e c h n o l o g y ，t h en e u r a ln e t w o r kh a st h eb r o a da p p l i c a t i o nd o m a i na n dt h ea p p l i c a t i o np r o s p e c t ，i t s m a i n l ya p p l i e di ni n f o r m a t i o n ，a u t o m a t e d ，p r o j e c t ，e c o n o m i c a la n ds oo n ，w i t h o u tad o u it , a l t h o u g h i th a sw i d e l ya p p l i e dd o m a i n , s i m u l t a n e o u s l ya l s oh a sm a n yi n s u f f i c i e n c i e s ，t h u s b e c o m 黜t h eh o tt o p i cw h i c hn o wt h ep e o p l ec o n t i n u o u s l ys t u d i e s n o w a d a y s ，t h eb pn e u r a ln e t w o r ka p p l i e su n i v e r s a l l y ，i th a s t h eb a s i cc h a r a c t e ro ft h e n e u r a ln e t w o r k a n dt h e r e f o r et h i sa r t i c l et a k e st h eb pn e u r a ln e t w o r ka st h er e s e a r c ho b j e c t 1 1 1 e r e s e a r c hc o n t e n tm a i n l yc o n t a i n ，f i r s t ，d e t a i l e de l a b o r a t e st h er e l a t i o nb e t w e e nt h eb i o l o g i c a l n e u r o na n da r t i f i c i a ln e u r o na n dt h eb a s i cp r i n c i p l ea n di n f e r e n t i a lp r o c e s so fb pn e u r a ln e t w o r k , p r o p o s e se x i s t e n c eq u e s t i o n so fb pn e u r a ln e t w o r ka n dt oa n a l y z et h er e a s o n n e x t ，c o n d u c t st h e r e s e a r c ht os t r u c t u r a ld e s i g n ，p a r a m e t e rc h o i c e ，s a m p l ec h o i c ea n dp r o c e s s i n g ，i n i t i a lp o w e r v a l u ea n dt r a n s f e rf u n c t i o nc h o i c eo ft h eb pn e u r a l n e t w o 比e s p e c i a l l yt h em o m e n t u m c o e f f i c i e n tc h o i c ei nt h e b o m e n t u mi t e mo fb pn e u r a ln e t w o r k ，i nt h en e t w o r kt r a i n i n gs p e e d i n f l u e n c eo ft h ed i f f e r e n t f a n s f e rf u n o t i o n t os t r u c t u r ed e t e r m i n a t i o no ft h eb pn e u r a ln e t w o r k o n c em o r e ，a n a l y z e st h es t a n d a r db pn e r v en e t w o r kp r o b l e m sw h i c ha r es l o wc o n v e r g e n c er a t e a n de a s yt ov i b r a t i o n ，t h em a i nr e a s o ni sb e c a u s eg r a d i e n td r o pm e t h o di t s e l fc r e a t e s ，t h e r e f o r e h a sm a d et h ei m p r o v e m e n tt ot h eg r a d i e n td r o pm e t h o d ，t h e np r o p o s e st h ei m p r o v e m e n tb p n e u r a ln e t w o r k , p r o v e st h ei m p r o v e m e n tb pn e u r a ln e t w o r ko b v i o u s l ys u r p a s s e dt h es t a n d a r db p n e u r a ln e t w o r kw h e t h e ri nt h et r a i n i n gs p e e do rt r a i n i n gp r e c i s i o nt h r o u g hc o m p u t e rs i m u l a t i o n f i n a l l y ，a p p l y i n gt h eb pn e u r a l n e t w o r kt oa l n l m a c h i n e r yg r o s sp o w e rt of o r e c a s ti n h e i l o n 9 0 i a n gp r o v i n c eo fo u rc o u n t r y ，w h i c hh a so b t a i n e dt h eg o o de f f e c t 。h a sp r o v i d e dt h e c e r t a i nt h e o r yi n s t r u c t i o nf o rd e v e l o p m e n ta g r i c u l t u r a lm e c h a n i z a t i o no ft h eh e i l o n g j i a n g p r o v i n c e c e r t a i n l y , b e c a u s ea u t h o f sk n o w l e d g ei sl i m i t e d ，t h er e s e a r c ht ot h eb pn e u r a ln e t w o r ki s i n s u f f i c i e n t l yc o m p r e h e n s i v e ，h a st h eu n a v o i d a b l ed e f i c i e n c y , n e e dt oh a v et h ef u r t h e rr e s e a r c h t ob pn e u r a ln e t w o r kt h e o r ya n dt h ea p p l i c a t i o no f h eb pn e u r a ln e t w o r k ， k e yw o r d s ：b pn e u r a ln e t w o r k ；l e a r n i n gs p e e d ；t r a n s f e rf u n c t i o n ；m o m e n t u m c o c m c i e n t c a n d i d a t e ：w uc h a n g y o u s p e c i a l i t y ：m a n a g e m e n ts c i e n c ea n de n g i n e e r i n g s u p e r v i s o r ：p r o f w a n g f u l i n i l l 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得 i 洼；室旦塑互基丝益曼挂型直塑鲍：奎拦卫窒2 或其他教育机构的学位或证 书使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作 了明确的说明并表示谢意。 学位做储躲复易久嗍冲相加 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。 本人授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以 采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解 密后适用本授权书) 学位论文作者签名：灵易a 闩期毋即7 年和加r 导师 签名：1 福老l日期：o c 唧年酽月。日 1 引言 1 1 研究的目的和意义 当前人类所面临的重大科学技术研究任务之一，是要揭示大脑的1 ：作机制和人类智能 的本质，制造i 出具有完成人类智能活动能力豹智能机器，开发智能应瑁技术。神经网络是 采用自下而上的方法，从脑的神经系统结构出发来研究脑的功能，研究人鼙简单的神经元 的集团信息处理能力及其动态行为。现在神经网络对几十多年来一直困扰计算机科学和符 号处理的一些难题可以得到比较令人满意的解答，特别是对那些时空信息存储及并行搜索、 白组织相联存储、时空数据统计描述的白组织以及从一些相互荧联的活动中自动获取知识 等一股问题的求解。更显示山了其独特的能力。 神经网络是在许多学科的基础上发展起来的一fj 活跃的边缘性交义学科。它的产生和 发展一方面受其他学科的影响。反过来义势必影响其他学科的发展。神经元网络从信息论 角度看它是另一种信息处理的 ：具，对它的研究将涉及许多学科乖i 专业，现在不少学科 都把这个课题作为它们的前沿在进行研究，如数学、物理学、信息科学、心理学、神经生 理学、认识科学、计算机科学、微电子学甚至哲学等。另一方面，直接应刚现代科学的新 理论和新方法如信息论、系统论、控制论、协同学和耗散结构理论等对它进行研究，可同 时为这些学科提出许多新问题将会推动这些学科理论利其他方面的发展，研究它的发展 过程和前沿问题，具有重要的理论意义( 杨建刚，2 0 0 1 ) 。神经网络理论是人量信息井行处 理和火规模并行计算的基础，神经网络既是高度非线性动力学系统义是1 3 适应组织系统， 可用来描述认知、决策及控制的智能行为它的中- 1 5 问题是智能的认知和模拟。 以神经网络研究为开端，整个学术界对计算的概念莆j 作州有了新的认识和提高。计算 不仅仅局限丁数学中更不仅采取逻辑的、离散的形式，在人颦的物理现象以至生物学对 象中，进行箨种各样的计算，而且人越的运算表现在对模糊低精度模拟颦的并行计算，对 于这一类计算，传统的计算机是无能为力的。神经网络的数学理论本质是1 f 线性的数学理 论，因此，现代非线性科学方面的进展必将推动神经网络的研究，同时，神经网络理论也 会对非线性科学提出新课题。神经网络研究的对象是神经系统，这是高度进化的复杂系统， 也是系统科学中一个重要的具体的领域。神经网络的研究不仅重视系统的动态特性，而且 强调事件和信息在系统内部的表达和产生。 近十年来，神经网络理论与实践有了引人注目的进展，它再一次拓展了计算概念的内 涵使神经计算、进化计算成为新的学科，神经网络f l 勺软件模拟得到了广泛的鹿h = i 。近几 年来科技发达国家的主要公司对神经网络芯片、生物芯片独有情钟。例如i n t e l 公司、i b m 公司、a t & t 公司和h n c 公司等已取得了多项专利已有产品进入市场，被国防、企业 和科研部fj 选用，许多公众手中也拥有神经网络实h 化的l ：具，其商业化令人鼓舞。尽管 神经计算机、光学神经计算机和生物计算机等研制i ：作具有艰巨性丰| i 长期性，但有一点可 以使人欣慰它现在还只是初露锋兰，有巨人的并午力与机会，前景是美好的。事实上探 究人脑一思维一计算之间的芙系才刚刚开始，道路还十分漫k ，芙丁脑的计算原理及其复 杂性：关丁- 学习、联想和记忆过榉的机理及其模拟等方面的研究己受剑人们的荚注，它术 东北农业入学管理学硕f j 论文 来的发展必将是激动人心的。 神经网络在国民经济和国防科技现代化建设中具有广阔的应用领域和发展前景。神经 网络具有人规模并行、分布式存储和处理、臼组织、白适席和自学习能力，特别适用丁- 处 理需要同时考虑多冈素和多条什的、不精确和模糊的信息处理问题。它土要席川领域有： 语音识别、图像识别、计算机视觉、智能机器人、故障诊断、实时语言翻泽企业管理、 市场分析、决策优化、物资调运、臼适应控制、专家系统、智能接口、神经心理学、心理 学和认知科学研究等等( 韩力群2 0 0 2 ) 。 虽然人i ：神经网络存在着以上的许多优点及广泛的麻用，但同时也存在着一些不足， 由于神经网络的不足阻碍了神经网络的发展。在现实应_ l 中b p 神经网络是晟为广泛的神 经网络模型，b p 神经网络是在1 9 8 6 年被提出的，因其系统地解决了多层网络中隐含单元 连接权的学习问题，它同样具有人工神经网络所具有的特点。本课题是以b p 神经网络模 型研究为主。b p 神经网络的缺点主要表现在以下儿个方面： ( j ) 学习过程收敛速度慢，训练易陷入瘫痪； ( 2 ) 训练过程中易陷入局部极小值： ( 3 ) 网络泛化能力著； ( 4 ) 隐竹点数及权重和阅值初始值的选取缺乏理论指导； ( 5 ) 朱考虑样本选择对系统的影响： ( 6 ) 术考虑传递函数对神经网络系统的影响： 另外网络结构的确定：包括隐含层数及各隐含层1 1 点数的确定：以及学习率的选取 等问题的存在严重阻僻了b p 神经网络的发展，致使其理论发展缓慢( 廖庆华，2 0 0 3 ) ：同 时也冈为b p 网络的这些缺点限制了其应用领域的拓宽及应用程度的深入，不利于国比经 济的健康发展。因此，研究b p 神经网络显然具有重要理论意义和重要的应用价值。 1 2 神经网络的国内外研究动态 1 2 1 国外研究动态 神经网络是一个由火鼍简单的处理单元广泛连接组成的系统用来模拟人脑神经系统 的结构幕i 功能。它从开始研究到发展并不是一帆风顺的，经历了兴起至低潮。再转入新的 高潮的曲折发展道路。2 0 世纪8 0 年代中期以来，在美国、日本等一些柏方。l ：业发达国家 里，掀起了一股竞相研究、开发神经网络的热潮。近十多年来人i ：神经网络的发展也表明 了，这是一项有着j “泛的麻州前景的新型学科，它的发展对目前和未来科学技术水平的提 高将有重要影响。神经网络诞生、r 个多世纪以来，经历了以t - ) l , 个发展阶段。 ( 1 ) 初删阶段 美国心理学家w i l l i a mj a m e s ( 1 8 9 0 ) 发表了心理学原理一阮论述了相荚学习， 联想记忆的基本原理对人脑功能作了创见性地i ：作。他指出：当前基本的脑细胞曾经一起 相继被激活过其中一个受到刺激重新激活时，会将刺激传 番到另一个。同时j a m e s 认为： 在大脑皮层上任意点的刺激鼙，是其他所有发射点进入该点的总和。美国心理学家 w s m c c u l l o h 与数学家w h p i r t s ( 1 9 4 3 ) 合作，用逻辑数学j ：具研究客观事件在形成神经 - 2 网络中的数学模型表达，从此开创了对神经网络的理论研究( 阀平凡，2 0 0 2 ) 。心里学家 d o h e b b ( 1 9 4 9 ) 出版行为构成一书，首先建立了被称为h e b b 算法的迕接权训练规 则，h e b b 弓- - 习规则开始时作为假设提出来的，正确性在3 0 年后才得到证实。他认为学习过程 就发生在两个神经细胞相互连接的突触处，并首先提出了神经元权值的修改方案了，h e b b 学 习规则至今仍产生深刻影响。f r o s e n b l a t t ( 1 9 5 7 ) 首次提出并设计制作了著名的感知器，提 出了一种具有三层网络的结构，第一次从理论研究转入工程现实阶段，从i i 程角度出发，研 究了用信息处理神经网路模型。b e r n a r dw i d r o w 和m a r c i a nh o f f ( 1 9 6 2 ) 提山了一种连续取 值的线性加权求和闽值网络，即自适应线性元件网络，也可以看成是感知器的变形，它成功 地应_ j - p 白适应信号处理和雷达天线控制等连续可调过张。他仃j 在人t ：神经网络理论上创造 了一种被人们熟知的w i d r o w h o f f 学习训练算法，井川硬件电路实现人1 ：神经网络方面的 工作为今天川火规模集成电路实现神经网络计算机奠定了基础( 囊曾任，1 9 9 9 ) 。 ( 2 ) 低潮阶段 m a r b i nm i n s k y 和s e y m o u rp a p e r t ( 1 9 6 9 ) 出版了一本名为感知器的专并书中指 出线性感知器功能是有限的，简单的神经网络只能进行线性分类和求解一阶谓词问题，而一 不能进行1 i 线性分类和解决比较复杂的高阶谓词问题( 韩力群，2 0 0 2 ) 。他还指山，与高阶 谓词问题相应的应该是具有隐含单元的多层神经网络。在当时的技术条件f ，他们认为在 加隐含单元后，想找到一个多层网络的有效学习算法是极其凼难的。对神经网络的研究及 其发展产生了恶劣的影响，有些学者把研究若趣转移到人1 ：智能和数字计算机有关的理论 和应用方面。这样，推动了人工智能的发展，使它占了主导地位。美国在此后1 5 年里从来 资助神经网络研究课题，前苏联有关研究机构也受到感染，终止了已经资助的神经网络研 究的课题。 虽然从事神经网络研究的人员和发表的论文大幅度减少，但仍然有学者继续进行研究。 美国波+ 顿人学白适应中心的s t e p h e n g r o s s b e r g 和c a r p e n t e r ( 1 9 6 9 ) 提出了糟名的白适廊 共振理论模型，其中论述剑若在全部神经结点中有一个节点特别兴奋其周围的所有结点 将受到抑制。 ( 3 ) 复苏阶段 在2 0 t 甘= 纪7 0 年代后虽然神经网络研究仍然处丁低潮时期但是有不少科学家在极其幽 难的条什f 坚持不懈地研究，提山了各种不同的网络模刑。日本学者k u n i h i k of u k u s h i m a ( 1 9 7 0 ) 研究了视觉系统的空间和时空的人j ：神经系统模型以及脑的空间和时空的人l ：神经 系统模型，提出了神经认识网络理论。f u k u s h i m a 网络包括人上神经认识机和基丁人一r 神经 认识机的有选择注意力的识别两个模型。芬兰的t k o h o n e n ( 1 9 7 2 ) 教授提出了白组织映射 理论，并称神经网络结构为“联想存储器”。同一时期，美国生理和心理学家j ，a n d e r s o n 提 出另一个类似的神经网络称为“交互存储器”。他们在网络结构、学习算法利传递函数方 面的技术儿乎完全相同。t k o h o n e n 的自组织映射模型是一种无导师学习网络，主要刚于 模式识别和分类、语言识别等场合。随后还研究出了联想记忆网络。t k o h o n e n 主要是针对 网络结构与训练算法的生物仿真模型的研究。t e r r e n c es e j n o w s k i 和h i n t o n 、a c k l e y ( 1 9 8 4 ) 用统计物理学的概念和方法研究神经网络提出了波尔兹曼机首次采川了多层网络的学习 算法，并h j 模拟退火过榉来米模拟外界环境。它的拓扑结构与一般两层前馈网络相似，其运 行过程也与b p 算法的感知器相类似，但学习算法不同。 东北农业大学管理学硕l 论文 美国加州理工学院物理学家j o h njh o p f i e ! d 教授( 1 9 8 2 ) 发表的一篇具有里程碑性的 论文，他提出一种递归网络h o p f i e l d 网络，将网络作为一个动态系统，引入能耸函数 训练该系统，使网络稳定性的研究有了明确的判据并证明了一个互连单元的神经网路系统 将达到能颦损耗最小的原理，也就是说，系统地动态性保证稳于某个极小值。若将约束和指 标考虑剑适当形式的能鼙函数中，则可利片j h o p f i e l d 网络的神经计算能力来解决约束优化 问题，从而开辟了神经网络用丁联想记忆和优化计算的新途径。h o p f i e l d 还指出，神经动 态方程可以h j 运算放人器来实现( 韩力群，2 0 0 2 ) 。 ( 4 ) 新高潮阶段 1 9 8 7 年6 月在美国胜地讵哥召开了第一j i ；国际神经网络学术会议官告了国际神经网络 协会正式成立。会上不但官告了神经网络计算机学科的诞生而且还展示了有关公司、人学 所开发的神经网络计算机方面的产品和芯片，掀起了人类向生物学习、研究和开发及戍川神 经网络的新热潮( 周开利，2 0 0 5 ) 。在这之后，每年都要召开神经网络和神经计算机的国际 性和地区性会议，促进神经网络的研制、开发和应t 【 j 。美国波十顿大学的s t e p h e no r o s s b e r g 教授、芬兰赫尔辛基技术大学的t e n v ok o h o n e n 教授及日本东京大学的甘利俊教授首次 创办了世界第一份神经网络杂志。接着国际电气j 二程师与电子l ：样师学会相继也成立了神经 网络协会，予1 9 9 0 年3 月出版神经网络会刊。从此以后浦现出各种神经网络的期刊，将神经 网络的研究与开发推向新的热潮。 ( 5 ) 新发展阶段 从神经网络的发展历程来看，它的高潮阶段是很容易度过的。i j c n 9 1 人会主席 r u m e l h a r t 意识剑这一点，在他的开幂词中有一个观点神经网络的发展已剑了一个转折的 时期，它的范嗣上e 在不断地扩丈，其庶川领域几乎包括各个方面。 9 0 年代初对神经网络的发展产生了很人的影响是诺贝尔奖获得者e d e l a m n 提山了 d a r w i n i s m 模啦。他建立了一种神经网络系统理论，例如，d a r w i n i s m 的结构包括d a w i n 网络和n a l l a n c e 网络，并且这两个网络是并行的，而他们义包含了不同功能的些子网络。 他采用了h e b b 权值修正规则，当一定的运动刺激模式作削后，系统通过进化，学会扫描 和跟踪目标。n a r e n d r a 和p a r t h a s a r a t h y ( 1 9 9 0 年) 提出了一种推广的动态神经网络系统 及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。他们给出了一种新的辨识 与控制方案，以m u l t ij a y e r 网络与r e c a e 1 8 i n t 网络统一的模型描述北线性动态系统，并提出 了动态b p 参数在线调节方法。b u l s a r i ( 1 9 9 3 年) 提出以乘积函数作为激发函数，给出了 非线性系统刚神经网络逼近的构造描述，得到了节点数目的一个上界估计。 从上述各个阶段发展历程来看神经网络理论有较强的数学性质和生物学特性尤其 是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑 战，因而也是它发展的展人机会。 1 2 2 国内研究动态 在建国以前，我国已往向脑功能和神经网络课题方面进1 i t 研究和l 开发。对丁人i ：脑 的潜在能力。特别是神经网络能力的研究，还是在不久之前才开始的。值得一提的是我 国中科院生物物理研究所在t 9 6 5 年提出用矩阵法描述些神经网络模型，他 f j 重点研究视 r 4 觉系统信息传递过程和加= 的机理以及建立有关数学模型。我国生物物理学家汗云九提出 了视觉神经元的广义g a b o r 函数模型，以及有关立体视觉、纹理检测、运动方向检测、超 视觉度现象的计算模型：汪云九等人还建立了初级视觉神经动力学框架，他们开辟了一条 新的途径。在最近儿年里，我国在神经网络的研究方面发展规模人、速度快而且取得了不 少成果。我国系统科学家钱学森在8 0 年代初倡导研究“思维科学”，1 9 8 6 年他土编的论文 集关于思维科学出版。书中有关于神经网络方面的论文：刘觐龙对“思维神经基础” 的探讨；洪加威对“思维的一个确定型离散数学模型”的研究：陈霖的k 篇文章“拓扑性 质检测”。在1 9 8 8 年由北京大学组织召开了第一次关于神经网络的讨论会，一些国际知名 学者在会上做了专题报告( 谢庆生，2 0 0 3 ) 。1 9 8 9 年召开了全国一个非正式的神经网络会 议，1 9 9 0 年我国的八个学会联合在北京召开了神经网络首届学术大会国内新闻媒体纷纷 报道这一重人盛会，这是我国神经网络发展以及走向世界的良好开端。1 9 9 1 年在南京召开 了中国神经网络学术大会，会上成立了中国神经网络学会。我国“8 6 3 ”高技术研究计划和 “攀登”计划于1 9 9 0 年批准了人j ：神经网络的3 项课题，白然科学基金和国防科技预研基 地也都把神经网络的研究列入选题指南。许多全国性学术年会和一些学术刊物把神经网络 理论及应川方面的论文列为重点。这些毫无疑问为神经网络在我国发展创造了良好的条 件，促使我f j 加快步伐缩短我国在这个领域的筹距( 哀曾任，1 9 9 9 ) 。i n n s 开始重视我 国，在1 9 9 2 年国际神经网络学会、i e e e 神经网络委员主办的国际性学术会议i j c n n 定在 北京召开。廖晓昕( 1 9 9 4 年) 对细胞神经网络建立了新的数学理论与基础，得出了一系列 结果。如，耗散性、平衡位置的数目及表示，平衡态的全局稳定性，区域稳定性、周期解 的存在性和吸引性等。使这个领域取得了新的进展，他认为该理论有巨人的滞在应圳前景 它还有待以此为基础来发展系统。吴佑寿( 1 9 9 7 年) 提出了一种激励函数可调的神经网络 模型。郝红卫和戴汝为( 1 9 9 7 ) 把统计识别方法与多层感知器网络综合起来，他们提出了 一种网络集成法，对4 个不同手写汉字分类器进行集成。近几年来，我国每年都将举办人 工智能和神经网络研讨会，会上神经网络始终是重点讨论研究的问题之一，在今年9 月2 1 日将在中国地质大学( 武汉) 举办“智能计算和应用国际研讨会”。神经网络一直是科学界 的研究热点，无论是理论研究还是应用实践都有人颦的成果报道。 1 3 研究的主要内容、方法和技术路线 1 3 1 研究的主要内容 近儿年，神经网络理论及应用有了较快速韵发展。现阶段b p 神经网络模昂是应h j 最 为广泛的神经网络模型( 左月波，2 0 0 5 ) ，因此本文以b p 神经网络模型作为研究对象，其 具体研究内容包括以下几个方面： ( 1 ) 研究人j ：神经网络的国内外发展动态及现状； ( 2 ) 分析标准b p 神经网络模型存在的缺点和不足； ( 3 ) 分析样本、传递函数、学习速率、转移函数和网络结构对b p 神经网络的影响： ( 4 ) 对b p 神经网络提出改进措施，并将其进行验证分析； ( 5 ) 对标准b p 神经网络平改进的b p 神经网络进行编程、仿真及对比研究： 东北农业人学管理学坝1 论立 ( 6 ) 将改进的b p 神经网络应用于黑龙江省农机总动力预测，为黑龙江省的农业机械 化发展趋势和农机产品市场分析等方面提供了一定的理论指导。 1 3 2 研究的主要方法和技术路线 本研究坚持唯物主义的立场、观点与方法按照理论联系实际的思路，采用系统j ：程、 计算方法、概率论、统计学、运筹学和优化设计等多学科与实验相结合的研究方法，对神 经网络在国内外的发展过程和研究现状进行了详细的阐述。从神经网络的发展和应刚领域 的不断扩人来看可以说明神经网络理论具有，“泛的麻删前景，所以对b p 神经网络存在 的不足进行了深入的研究。在国内外研究的基础上提出了改进的措施，井将改进的b p 神 经网络进行验证分析。取得了预期的效果升将它应h j 丁黑龙江省农机总动力的预测。本 本采刚定性与定鼙分析相结合的方法、计算机仿真、比较研究法、实证分析法等方法进行 研究。 本文研究的技术路线反映作者总体设计思想，也是指导本研究项目有序1 作的基本依 据体现理论实践应用的具体技术路线如图1 - l 所示。 - 6 明确谍题研究的日的和意义 t 训研抖收集资科 i + l 神经叫络的圈外研究动态 1 1 神经络的周内研究动态 1 t b p 神经网络的基奉模型研究 t l b p 神经网络的性能分析 l t b p 神经网络结构i 参数i 5 计 i 胥芝器 编写改进b p 神经网络程序 t 基于改进b p 神经删络n ：农机总动力的顶测研究 图卜1 课题研究技术路线图 f i g 1 一it e c h n o l o g yr o u t ec h a r to f p r o b l e ms t u d i e s - 2b p 神经网络的基本原理及性能分析 2 1 生物神经元与人工神经元模型 2 1 1 生物神经元的结构 神经生理学和神经解剖学的研究结果表明，神经元是脑组织的基本单元，是神经系统 结构与功能的单位。据统计人类大脑丈约包含有14 1 0 “个神经元每个神经元与大约 1 0 乙l 矿个其他神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。生物神 经网络中再神经元之间连接的强弱按照外部的激励信号作适麻变化，而每个神经元义随 着所接受的多个激励信号的综合结果节现出兴奋和抑制状态。人脑的学习过程就是神经元 之间连接强度随外部激励信息作适应变化的过挫，人脑处理信息的结果由备神经元状态的 整体效果确定。显然，神经元是人脑信息处理系统的最小单元。 人脑中神经元的形态不尽相同，功能也有筹异但从组成结构来看各种神经元是共 性的，幽2 1 给出了一个典型神经元的基本结构与其他神经元发生连接的结构示意幽( 韩 力群，2 0 0 2 ) 。 圈2 1 神经网络结构示意i 茎| f i g 2 1s c h e m a t i cd r a w i n go fn e u r a ln e t w o r ks t r u c t u r e 神经元在结构上由细胞体、树突、轴突和突触四部分组成。细胞体由细胞核、细胞质 和细胞膜等组成。树突是精致的管状延伸物，是细胞体向外延伸山的许多较短的分支围 绕细胞体形成灌术丛状他们的作并j 是接受来自四面八方传入的神经冲击信息相当于细 胞的“输入端”，信息流从树突出发经过细胞体，然后由轴突传出。轴突是由细胞体向外 伸出的晟长的一条分支，形成一条通路，信号能经过此通路从细胞体长距离地传送到脑神 经系统的其他部分。其相当于细胞的“输出端”。突触是神经元之闻通过一个神经元的轴突 末梢和其他神经元的细胞体或树突进行通信连接，这种迮接相当于神经元之问的输入输出 的接口。 s 2 1 2 人工神经元模型 现在人们提出的神经元模型有很多，其中最早提出并且影响较大的是1 9 4 3 年心理学家 m c c u l i o c h 平数学家w p i t t s 在分析总结神经元基本特性的基础上首先提出的m p 模型。该 模型经过不断改进后，形成现在广泛鹿州的b p 神经元模璎( 朱人奇，2 0 0 6 ) 。人i ：神经元 模型是由人晕处理单元广泛互连而成的网络，是人脑的抽象、简化、模拟反映人脑的基 本特性。一般来说，作为人i ：神经元模型虑具备二个要素： ( 1 ) 具有一纽突触或连接常埘w 表示神经元f 和神经元，之间的连接强度，或称 之为权值。与人脑神经元不同，人l 神经元权值的取值可在负值利正值之间。 ( 2 ) 具有反映生物神经元时空整合功能的输入信号累加器。 ( 3 ) 具有一个激励函数用于限制神经元输出。激励函数将输山信号限制在一个允许范 围内，使其成为有限值，通常神经元输出的扩充范围在【o ，l 】或【1 1 】之间。 一个典型的人工神经元模型如图2 - 2 所示。 而 x 1 幽2 - 2 人：神经元模型 f i g 2 - 2a r i i f i c i a ln e u r a lc e l lm o d e l 其中x ( ，= 1 , 2 ，n ) 为神经元f 的输入信号，为连接权“，是由输入信号线 性组合后的输出，是神经元f 的净输入只为神经元的阈值，v ，为经偏差调整厉的值也 称为神经元的局部感应区。 u ，= w o x ( 2 - 1 ) = l v = u + 曰， ( 2 - 2 ) ，( ) 是激励函数y 是神经元f 的输出。 - 9 )3( )只 + ， x ，一 (厂 = y 东北农业人学管理学硕i j 论文 激励函数，( ) 可取不同的函数但常用的基本激励函数有以f 二种： ( 1 ) 0 鲥值函数 巾，= 氍鞘 ( 2 4 ) 该函数义叫阶跃函数，如图2 - 3 ( a ) 所示，如果激励函数采用阶跃函数，则i 璺| 2 - 2 所 示的人。j ：神经元模型t pm p 模型。此时神经元的输出取1 或0 ，反映了神经元的兴奋或抑 制。 通常符号函数s g n ( t ) 也作为神经元的激励函数，如图2 - 3 ( b ) 所示。 v 、：j 1 ，f o ( 2 - 5 ) s g n ( ”) 2 1 - 1 ：， o l “v ，j 1 0 f j：s g n ( t l 1 0f - l 图2 3 阶跃函数与符号函数图 f i g 2 3u n i t - s t e pf u n c t i o na n ds y m b o lf u n c t i o n ( 2 ) 分段线性函数 巾，：一，寻 。 【一1 ，一1 该函数住【1 ，1 】线性区内的放人系数是一致的 可看作是1 f 线性放人器的近似。 ( 2 6 ) 如幽2 - 4 所示，这种形式的激励函数 jl ， l i 、j 0， 1 图2 4 分段线性函数 f i g 2 4p i e e e w i s el i n e a rf u n c t i o n - l o ( 3 ) s i g m o i d 函数 s i g m o i d 函数又称s 型函数，是人工神经网络中最常用的激励函数。s 型函数的数学表 达式如下： ，( ，) = 雨磊1 丽 其中口为s i m o i d 幽数的斜率参数 如图2 - 5 所示。 ( 2 7 ) 通过改变参数，我们会获取不同斜率的s i m o i d 函数 f i g 2 5s i g m o i df u n e t i o n 当斜率参数口接近无穷大时，此函数转化为简单的阈值函数，但闽值函数仅取值0 或 l ，而s i g m o i d 函数的值域是0 到1 的连续区间，还要注意剑s i g m o i d 函数是可微分的，而 阈值函数不是。 2 2b p 神经网络的基本原理 b p 神经网络模玳是目前麻川虽为广泛和成功的神经网络之一：该模型是由d a b i d r u n e l h a r t ，g e o f f r e yh i n t o n 和r o n a l dw i l l i a m s ，d a v i dp a r k e r 以及y a n n nl ec u r t 在上个世 纪8 0 年代分别独立提出的。r u m e l h e r t 和m e c l e l l a n d ( 1 9 8 6 ) 领导的科学小组在p a r a l l e l d i s t r i b u t e dp r o c e s s i n g ) ) 一书中对具有非线性连续转移函数的多层前馈网络的误差反向传 播算法进行了详尽的分析。b p 算法的基本思想是，学习过程由信号的正向传播与误著的反 向传播两个过程组成。正向传播时。输入样本从输入层传入经各隐含层处理后，传向输 出层，若输出层的实际输出与期望的输出不符合要求，则转入误筹的反向传播阶段。误差 反向传播是将输山误莘以某种形式通过隐含层向输入层逐层反向传播，并将误著分摊给各 层的所有单元，从而获得各层单元的误著信号，此误差信号即作为修止备单元的依据。这 种信号正向传播与误著反向传播的