（农业机械化工程专业论文）犬疾病智能诊断系统的设计与实现.pdf

摘要随着人们生活水平的不断提高，养犬的家庭越来越多，犬病也不断发生。因此，对具有丰富诊疗知识和经验的犬病临床诊疗人员的需求也日益增加，而我国现有的从事动物疾病临床诊疗人员的数量和水平都很难满足这种f i 益增长的需求，而且这种矛盾表现得越来越突出。单纯靠培养专业的动物疾病临床诊疗人员很难在短时间内解决这一矛盾。因此，开发犬疾病智能诊断系统应该是解决这一矛盾的有效途径。针对犬疾病智能诊断系统中的网络平台建立和诊断方式方法等问题开展了相关研究。阐述了集中式c s 模式和b s 模式等常用网络计算模式的基本特点并选取b s 模式作为本文所研究的犬疾病智能诊断系统的网络平台。人工智能的研究进展，极大地促进了智能疾病诊断技术的发展。从m i y c i n 问世以来，基于专家系统的疾病诊断系统层出不穷，取得了极大的成功。但由于专家系统本身固有的如知识获取难等缺陷，加上疾病诊断的复杂性，使得单纯依赖专家系统的疾病诊断受到极大的制约。人工神经网络的并行性、容错能力和模糊推理能力则适时地解决了这个矛盾，使得将其与专家系统结合构建智能疾病诊断系统成为主流趋势。系统介绍了专家系统和人工神经网络技术，研究了两者集成的可行性和方式，探讨了适合于疾病诊断的神经网络类型，建立了犬疾病诊断的r b f 网络模型。实验表明，该模型具有较高疾病诊断正确率和良好的泛化能力。系统以j b u i l d e r 9 + w e b l o g i c + o r a c l e 9 i 为集成开发环境，设计并实现了犬疾病智能诊断系统。关键词：犬疾病智能诊断；专家系统；人工神经网络；网络平台t h ed e s i g na n di m p l e m e n t a t i o no fa ni n t e l l i g e n c ed i a g n o s t i cs y s t e mf o rd o gd i s e a s e sa u t h o r ：j i a n gy i - r a ns u p e r v i s o r ：l iy a m i nm a j o r ：a g r i c u l t u r a lm e c h a n i z a t i o ne n g i n e e r i n ga b s t r a c tw i t ht h ei m p r o v e m e n to ft h ep e o p l e sl i v i n gs t a n d a r d s ，m o r ea n dm o r ef a m i l i e sa r eb e g i n n i n gt or a i s ed o g sa sp e t s m e a nw h i l e ，d o gd i s e a s e sr i s ea sac o n s e q u e n c e ，s ot h e r ei sm o r ea n dm o r en e e do fp e o p l ew i t hc l i n i c a lk n o w l e d g ea n dr i c he x p e r i e n c ef o rd o gd i s e a s ed i a g n o s i sa n dt r e a t m e n t s b u to u re x i s t i n gc l i n i c a lt r e a t m e n t so fd i s e a s e si na n i m a l sa n dt h en u m b e ro fp r o f i c i e n tp e r s o n n e l sa r ef a rf e w e rt h a ne n o u g ht om e e tt h i sg r o w i n gd e m a n d ，a n dt h i sc o n t r a d i c t i o ni sb e c o m i n gm o r ea n dm o r ep r o m i n e n t i ti sv e r yd i f f i c u l tt os o l v et h i sc o n t r a d i c t i o nb ys i m p l yr e l y i n go nt h ep r o f e s s i o n a lt r a i n i n go fc l i n i c a lt r e a t m e n to fa n i m a ld i s e a s e si nas h o r tp e r i o do ft i m e s o ，t h ed e v e l o p m e n to fi n t e l l i g e n td i a g n o s t i cs y s t e mf o rd o gd i s e a s e si sag o o da p p r o a c ht os o l v et h em a j o rp r o b l e m s a i m e da tt h es e t t i n gu po fan e tp l a t f o r ma n dd i a g n o s i sm e t h o d so ft h ei n t e l l i g e n td i a g n o s i ss y s t e mb a s e do nt h ei n t e r n e t ，t h ep a p e ri n t r o d u c e dt h ec e n t r a l i z e dm o d e l ，t h ec sm o d e la n db sm o d e l a n dt h eb sm o d e li ss e l e c t e da st h en e tp l a t f o r mi nt h ep a p e r t h ep r o g r e s so na r t i f i c i a li n t e l l i g e n c er e s e a r c hh a sg r e a t l yi m p r o v e dt h ed e v e l o p m e n to ft h et e c h n o l o g yi ni n t e l l i g e n td i s e a s ed i a g n o s i s t h eb i r t ho fm y c i na c h i e v e dg r e a ts u c c e s sa n dg a v er i s et ot h eo n g o i n ge m e r g e n c eo ft h ed i s e a s ed i a g n o s i ss y s t e mt h a ti sb a s e do nt h ee x p e as y s t e m ( e s ) h o w e v e r , t h ee s si n h e r e n td r a w b a c k s ，s u c ha st h ed i f f i c u l t yo fa c q u i r i n gk n o w l e d g ea n dt h ec o m p l e x i t yo fd i s e a s ed i a g n o s i s ，r e s t r i c t e de x t e n to ft h ed i s e a s ed i a g n o s i st h a tr e l i e so ne x c l u s i v ee x p e r ts y s t e m t h ea r t i f i c i a ln e u r a ln e t w o r k ss i m u l t a n e o u s n e s s ，t o l e r a n c ea n df u z z yi n f e r e n c er e s o l v et h i sc o n t r a d i c t i o ni nat i m e l ym a n n e r i n t e g r a t i n gw i t ht h ee x p e r ts y s t e mt ob u i l dt h ei n t e l l i g e n td i s e a s ed i a g n o s i ss y s t e mh a sb e c o m et h em a i nt r e n d t h i sa r t i c l eb r i e f l yi n t r o d u c e st h ee x p e r ts y s t e ma n da n nt e c h n o l o g y ，s t u d i e st h ef e a s i b i l i t ya n dm o d eo ft h ei n t e g r a t i o no ft h e s et w oa s p e c t s ，e x p l o r e st h et y p eo fn e u r a ln e t w o r kt h a ti ss u i t a b l ef o rd i s e a s ed i a g n o s e s ，a n ds e t su pac o wd i s e a s ed i a g n o s er b fn e t w o r km o d e l i th a sb e e np r o v e dt h r o u g he x p e r i m e n t st h a tt h i sm o d e le n j o y sh i g hd i a g n o s i sa c c u r a c ya n da ne x c e l l e n tc a p a c i t yo fg e n e r a l i z a t i o n t h i sr e s e a r c ht o o l so fj b u i l d e r 9 ，w e b l o g i ca n do r a c l e 9 if o rt h ei n t e g r a t e dd e v e l o p m e n te n v i r o n m e n tw e r eu s e d ，a n dt h ep u r p o s ef o rd i a g n o s i so fd o gd i s e a s e sh a sb e e nr e a l i z e d k e yw o r d s ：d o gd i s e a s e si m e l l i g e n td i a g n o s i s ；e x p e r ts y s t e m ；a r t i f i c i a ln e u r a ln e t w o r k s ：n e t w o r kp l a t f o r m独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特另l j j n 以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得湮j e 壅些太堂或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名：薅文烈，签字日期：仞。7 年厂月罗只关于论文使用授权的说明本学位论文作者完全了解泣北盛些太堂有关保留及使用学位论文的规定，有权保留并向国家有关部门( 机构) 送交论文的复印件和磁盘，允许论文被查( 借) 阅。本人授权迎j e 壅些太堂可以将论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等方法加以保存或编成学位论文。( 保密的学位论文在解密后应遵守此协议)学位论文作者签名：衢义程导师签名签字日期：似0 1 年月了日签字同期r 幻年铂垆铲幽盔堡堕塑堂堡堑墨竺塑堡生兰塞翌_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - 。1 1 1 1 研究背景及选题意义1 引言在人类文明的发展史中，犬伴随人类的生产、生活已有着悠久的历史。近年来，随着我国社会经济的发展，犬业的规模化、体系化和产业化迅速发展。农村养犬已从过去以看家护院为目的向养殖业的方向发展。中小型玩赏犬则是许多城市居比心爱的伴侣宠物-居民养犬者越米越多，犬病也不断发生。人们讲传染病往往只想到人与人之间的传染，其实传染病跟动物有密切关系，是有科学史根据的。据美国社会史学家麦克耐尔( w m c n e i l l ) 的研究，人类与犬共有的疾病有6 5 种与牛共有的疾病有5 0 种，与芊共有的疾病有4 6 种，与猪共有的疾病有4 2 种，与马共有的疾病有3 5 种，与家禽共有的疾病有2 6 种这些疾病基本上都是从动物身上传到人身上来的。美英科学家在于美国圣路易斯举行的美国科学促进协会年会上报告说，在人类能感染的1 4 0 7 种病原体( 包括病毒、细菌、寄生虫、原生动物和真菌) 中，5 8 来源予动物f ”。由此可以看出，犬与人的生活密切相关，特别是人畜共患病，犬患病后直接影响着人类健康和生存，犬有病能得到及时诊断和治疗非常重要。早在6 0 年代末r u s t e i n 提出现代医学所面临的四个问题：( 1 ) 医疗费用的不断增& ，超出了个人和社会的承受能力：( 2 ) 知识爆炸性的增长与混乱，用人上阅读方式无法全面掌握：( 3 ) 医疗专家地区分布不均，大部分地区缺少高水平的医生：( 4 ) 需要高水平医疗服务的人越来越多与可能提供的高质量服务产生激烈的矛盾。r u s t e i n 虽然是针对人类疾病诊断提出的问题，不可否认，这些问题也同样突显在动物疾病诊断领域，特别是犬疾病诊断。由于目前养犬户地域分布广泛、分散，所以在系统设计时采用了网络化系统的模式，网络化平台的犬病诊断系统的研制是当前养犬行业中疾病诊断与防治的一项重要突破，其主要特点是：j j 户通过w e b 浏览器可以直接进行使用，无需安装维护，具有良好的安全性；界面友好，操作简单。同时，系统可以在更大范围内获取疾病诊断知识，从而使性能不断提高，诊断能力不断增强。本课题的研究是在基于w e b 犬疾病诊断专家系统开发的基础之上。对其加以改进提出更为优越的诊断算法，据此建立神经网络与专家系统集成的网络化犬疾病智能疾病诊断模型，并针对症状较为复杂、临床诊断有一定困难的犬消化系统疾病，传染病、寄生虫病等进行了实证研究，从而提高了智能决策支持系统在复杂疾病诊断上的临床应用价值。将人上智能技术与医疗诊断相结合，建立应用于疾病诊断领域的智能诊断系统，通过计算机的智能处理，得出正确的诊断结论，从而有效地解决诊断人员及技术匿乏的问题，己成为广大学者关注的热点。河北农业大学硕士学位( 毕业) 论文1 2 智能疾病诊断技术国内外研究进展用于医疗诊断的智能系统一直是人工智能技术应用的一个重要分支，其中最具有代表意义的是2 0 世纪7 0 年代山斯坦福( s t a n f o r d ) 大学建立的为细菌感染疾病的诊断和治疗提供咨询的计算机咨询专家系统一m 1 y c l n 系统。该系统用产生式规则的形式体现专家的判断知识，以模仿专家的推理过程。初始m y c i n 包含有2 0 0 条关于细菌血症的规则，可以识别大概5 0 种细菌，以后该系统又经过了扩展和改进，使其可以诊断和治疗脑膜炎。m l y c l n取得的成功极火地推动了专家系统技术在智能疾病诊断领域的应用和发展”j ：1 9 7 8 年，斯坦福大学根据m y c i n 的e s 外壳e m y c i n 研制了一个诊治肺功能失调的专家系统p u f f 。h e a d m e d - - 设计于1 9 7 8 年，面向心理医药学的专家咨询系统，用于诊断精神病，并建议治疗药物，共收集了2 7 5 条产生式规则。o n c o c i n - - 设计于1 9 8 1 年，用于辅助医生管理患淋巴瘤癌症病人的化疗协议。c a s n e t 一由r u t g e r s 大学的s m w i s s 和c a k u l i k o w s k i 研制的用于治疗青光眼的专家系统。美国眼科和耳鼻喉科学会曾对该系统与专家评议组进行现场比较诊断，结果几乎所有病例、专家的建议都包含在系统的可选建议中。但是这些系统的成功并不意味着专家系统技术在医疗诊断领域的发展一帆风顺，实际上由于专家系统自身存在的如知识获取困难、推理速度慢、自适应能力差等缺陷，极人地限制了它在该领域的进一步发展。神经网络技术自从8 0 年代复苏以来，便以其良好的并行性，容错性及模式分类能力迅速进入医疗诊断领域，它和专家系统结合起来构成的神经网络专家系统能够同时发挥符号主义a i 和联结主义a i 的优势，更成了智能医疗诊断领域学者的最爱。由k s a i t o 等研制的基于p d p i 网络医疗诊治系统在只有3 0 0 例训练样本的情况下，其诊断准确率与传统的e s 完全一致1 4 j 。日本t o s h i k a t s ua r a i 等人利用神经网络对心电图q r s 的复合波进行识别，准确率达9 7 吲。我国的王存冉等人成功地研制了一个基于逆传播的a n n 中医诊断诊疗系统，对该系统进行回顾性和前瞻性检验，其有效率分别达到9 7 和9 6 1 6 。门建国等人研制的基于r b f 网络的新生儿血耱代谢系统，为治疗新生儿血糖代谢类疾病提供了较好的方法1 7j 。冯旭东、陈方使用b p 网络构造了棉花病虫害学习和诊断系统性能测试结果表明该网络不仅能1 0 0 正确诊断已学样本，而且对未学样本也能以6 0 以上的正确率进行诊断，同时系统还有较强的容错和抗干扰能力p j 。另外，刘新刚等人利用b p 网络对冠心病进行诊断，经6 0 例样本训练，对7 7 例测试样本验证，其准确率达9 0 9 ，比逐步回归和逐步判别法分别高出3 0 4 和3 4 1 9 】。神经网络技术显示出巨大的生命力，但其结构、网络参数的优化设计以及学习算法的2犬疾病智能诊断系统的设计与实现改进却是一个难点，而这往往是影响网络性能的决定因素。目前，常用的优化方法主要有：1 试凑法：是一种最简单原始的方法，主要用于隐单元数大致范围确定；2 改进的学习算法：将数值优化中许多方法应用到神经网络的学习中，寻求搜索参数空间和确定性能曲面最优点。比较有代表性的有牛顿法、最速+ f 降法、共扼梯度法、l e v e n b e r g m s r q u a r d t 方法等o o l 。3 利_ 全局优化算法进行优化：在这方面，比较有代表性的是利用遗传算法( g a ) 对网络结构和权系数的优化：山于g a 的鲁棒性、不易陷入局部极值且适用领域广，使它得到许多研究人员的青昧：周佩玲等利用g a 优化径向基函数( r b f ) 网络，用于股票的短期预测l ；吴龙标等利_ h jg a 优化的b p 网并用于火灾探测，大大加快了网络收敛1 1 副；而东北自动化中心的柴大佑、陶钧等针对转炉传统模型的弱点在转炉建模过程中引入了遗传算法和径向基函数神经网络，山遗传算法辨识转炉过程的脱碳与升温模型，并利用径向基函数神经网络及时补偿辨识模弛的误差，取得明显效果l i “。1 3 研究内容系统力图将犬病专家以及养犬用户在长期实践中积累、摸索出的经验知识、科研成果与计算机技术结合起来，建立一整套完善的集疾病诊断、专家在线诊断和广泛的信息咨询服务为一体的网络化犬病诊断体系，从而使专家的知识、经验以及分析解决问题的方法得以推广和继承，对普通养犬用户和兽医站从业人员予以指导，提高科学管理与决策水平。为实现上述目标，特设定如下研究内容：第一章介绍了研究背景和意义，概述了智能疾病诊断领域的应用和国内外发展现状。第二二章介绍了专家系统和神经网络技术的基本原理。着重研究了b p 网和r b f 网络。第三章介绍了动态w e b 技术第四章介钌 了神经网络专家系统的设计的可行性和理论基础，还分别介绍了系统的知识表达和推理机制。第五章介智 了系统的设计和实现第六章是对研究的绪论和展望3河北农业大学硕士学位( 毕业) 论文2 1 专家系统简介2 人工神经网络和专家系统2 i 1 专家系统的基本原理和结构所谓专家系统l l ”，就是这样一种计算机软件系统，它使用知识和推理过程，求解那些需要领域专家的专门经验知识才能求解的难题。但他不同于一般的计算机软件系统，因为专家系统具有以下几个特点：信息处理能力，主要用于知识信息处理，而不是数据处理：信息描述能力，主要依靠知识表达技术，不是致学描述方法：知识利用能力，通过知识的获取、表达、存储和编辑，建立知识库及管理系统，利用专家的知识和经验求解专门问题：知识推理过程，采用基于知识的程序设计方法，系统的工作是在环境模式驱动下的知识推理过程，而不是在周定程序控制下的指令执行过程：咨询及解释能力，专家系统不仅能对用户提出的问题给予回答，而且能对推理的答案做出解释。可见专家系统的核心是知识这种基于知识的专家系统是以知识库和推理机为中心而展开的，即：知识+ 推理= 系统。专家系统在医疗诊断、语音识别、图象处理、金融决策、地质勘探、石油化上、教育、军事等各个领域都得到了广泛的应用，不同的应用领域和应用目标往往需要采取不同的系统结构，但通常，一个典型的专家系统( 如图l 所示) 主要包括以。f j l 个部分组成：用户专家田1 专家系统的一般结构f i g 1c o m m o n l ys t r u c t u r eo f e x p e r ts y s t e m1 知识库( k n o w l e d g eb a s e )知识库用了二存储某领域专家系统的专门知识包括事实、可行操作与规则等。为了建4犬疾病智能诊断系统的设计与实现立知识库，要解决知识获取和知识表示闽题。知识获取涉及知识 = 程师( k n o w l e d g ee n g i n e e r )如何从专家那里获得专门知识的问题；知识表示则要辑决如何i j 计算机能够理解的形式表达和存储知识的问题。2 综合数据库( i n t e g r a t i o nd a m b a s e ) ：义称为“黑板”，它用于存放h 户提供的初始事实、问题描述以及系统运行过程中得到的中间结果、最终结果、运行信息等。表示了专家系统当前耍处理对象的主要状态和特征。3 推理机( r e a s o n i n gm a c h i n e )推理机是知识规则应用于问题求解的载体，通过接收用户的输入参数。再进行知识规则的匹配和推理，从而为用户返回问题求解和决策结果。整个专家系统的：r 作由推理机控制，推理机的推理方式主要有正向推理、反向推理、混合推理和不确定推理等儿种方式，专家系统的推理方式由求解问题的形式决定。4 人机接口( i n t e r f a c e )人机接口又称界面，它能够使系统与用户进行对话，使用户能够输入必要的数据、提 山问题和了解推理过程及推理结果铸。系统则通过接口，要求用户同答提问。井同答 3 户提山的问题，进行必要的解释。5 知识获取( k n o w l e d g ea c q u i s i t i o nf a c i l i t y ) ：埘来从人类专家获取知识。然后通过知识编辑软件把知识输入到知识库中，并维持知识的一致性及完整性，建立性能良好的知识库。6 解释接口( e x p l a n a t i o nf a c i l i t y )用来跟踪井记录推理的过程，当用户提出询问需要给出解释时，根据问题要求做山相应的处理，把解答通过人机接口输出给用户。目前比较常用的知识表示方法有产生式规则、语义网络，框架、谓词逻辑等；比较常埘的推理方法有确定性推理和不确定推理( 包括模糊推理、概率推理等) ，按推理过程所采j l j 的控制策略也可分为正向推理、反向推理和正反向混合推理三种；解释策略则是根据相虑得推理控制策略对系统的推理过程给予合理的解释。2 1 2 专家系统的优势和不足专家系统具有如f 特点 1 5 1 ：1 具有专家水平的专门知识人类专家之所以能称为专家，是因为他掌握了菜一领域的专门知识，使其技高一筹。专家系统为了能像人类专家那样上作，必须具有专家级的知识，知识越多，质姑越高，解决问题的能力就越强。一般说来专家系统中的知识可分为三个层次：数据级、知识库级嗣l 控制级。数据级知识是指具体问题所提供的初始证据以及问题求解过程中所产生的中间结论，最终结论，如病患的病症、理化检查结果及专家系统推出的病因、治疗方案：知识库级是指专家知识，如医生诊治疾病经验：控制级知识是关于如何运用前两种知识的知识，它体现了系统的智能程度。2 能进行有效推理河北农业大学硕士学位( 毕业) 论文专家系统不仅能做一般的逻辑推理，而且还能利用问题的启发性信息进行启发式搜索、试探性推理以及不精确性推理、不完全推理等。3 具有获取知识的能力专家系统提供了获取知识的手段，目前应用较多的是建立知识编辑器，知识工程师和领域专家通过它把领域知识“传授”给专家系统，建立知识库。4 透明性和灵活性专家系统设置了解释机构( 人机接口) ，用于说明得出结论的过程和依据，回答使用者提出的问题。而知识库与推理机构相分离的构造原则，使得知识的更新和扩充比较灵活、方便，不会因某一部分的变动而牵动全局。5 良好的交互性正因为有上述优点，专家系统在许多领域( 如机械、医疗、航空等) 中得到广泛应用，自身也取得长足发展。专家系统应用于商业的一个例子是d e c 的x c o n 系统：它是个计算机配置专家系统，可为d e c 每年节省数百万美元，缩减了配置时间一比人快1 5 倍，并提高了准确度一从7 0 提高到9 8 1 3 l ；而在疾病诊断领域，以m y c i n 为代表出现了一系列医学专家系统如p u f f ( 诊断肺病) 、a i c o a g ( 诊断血液疾病) 、c a d u c e u s ( 诊断内科疾病) 等等。但是，专家系统也表现出许多局限和不足：知识获取的。瓶颈”闯题：知识难以维护：知识窄台阶；椎理能力弱，推理速度慢，效率低：实时性差，难以适应在线要求；不精确推理不适合解决模糊问题；这些劣势严重地制约了专家系统的进一步发展，迫切需要引进新的技术对传统的专家系统进行改进。2 2 人工神经网络2 2 1 人工神经网络的原理和结构人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k - - a n n ) 系统理论是在现代神经学研究成果的基础上发展起来的十分热门的交叉学科。它涉及生物、电子、计算机、数学、物理等学科，有着广泛的应用背景和前景。人工神经网络就是用物理上可实现的器件、系统或计算机来模拟人脑信息处理的人工网络系统。它依靠大量简单的神经元( n e u r a lc e l l ) 的连接以及这种连接所引起的神经元的不同兴奋状态和系统所表现出的总体行为。相比于计算机，更接近人脑的信息处理模式。作为一种新的方法体系，神经网络具有以下一些特点【l6 】：6犬疾病智能诊断系统的设计与实现分布存储和容错性一个信息是按内容而分布在整个网络上，网络的某一处不是只存储一个外部信息，而是每个神经元存储多种信息的部分内容。要获得存储的知识则采埘“联想”的方法。即当一个神经网络输入一个激励时，它耍在己存储的知识中寻找与该输入匹配最好的存储知识为其解。这种存储方式的优点在于部分信息不完全即丢失或损坏甚至有错误时，它仍能较好地恢复有止确的信息，系统仍能运行。网络呈现出较强的鲁棒性。人规模并行处理人】：神经元网络在结构上是并行的，而且网络的各个单元可以同时进行类似的处理过程。显然神经元之间的信息传递是毫秒级的，比电子开关元件的速度慢得多，但实际上人在瞬间就能完成一幅图象的辨识，这一点冯诺依曼型计算机绝对做不到。自学习、白组织和自适应性神经元网络是一种变结构系统，恰好能完成对环境的适应和对外界事物的学习能力。神经元之间的连接多种多样，各元之间连接张度具有一定的可塑性，相当丁突触信息能力的变化，这样，经过学习训练进行自组织可适应不同信息处理的要求。神经元网络是大量神经元的集体行为，并不是备单元行为的简单相加。而表现山复杂椎线性动态系统的特性。如不可预测性，不可逆性。神经元可处理一些环境信息十分复杂、知识背景不清楚利推理规则不明确的问题。通过神经元网络学习( 按照学习法则) ，从典型事例中学会具体事例，给出比较满意的解答。目前，关于人二【：神经网络的研究正不断深入，人们提出了多种网络模型和学习适应算法。它在信号处理、模式识别、知识上程、专家系统、自适应控制、辅助决策和机器人学等领域将得到更广泛的应用。1 神经元模型：神经网络的基本单元为“神经元”，它是对生物神经元的简化模拟，它一般是多输入单输出的非线性器件。下图给出了一个简单的神经元模豫：r x t围2 神经元模型f i g 2m o d e l o f n e u r a lc e l l人1 ：神经元的信息处理分为两步：首先完成输入信号与神经元连接强度的内积计算，经过阈值函数判别，j = x 广幺严l然后再将结果通过激活函数( 如s i g m o i d 函数) ，德到输出响应y ，= 厂【，)其中x ，( i 2 l ，2 ，n ) 是来自输入或其它神经元的输出信号；只为该神经元的阕值；脚。7河北农业大学硕士学位( 毕业) 论文表示从神经元j 到神经元i 的连接权值；t 表示神经元的状态厂b ) 称为传递函数或激活函数，是某种非线性函数，它将神经元的状态变换成神经元的输出y ，。为方便起见，常把一只看成是对应恒等于l 的输入量的权值，这时，上式中的和式记为：= 吼一( 3 )j - i其中国o = 一日，x o = l 神经元的传递函数常用的类型有：阈值性函数s ( d = “g ) 或g ) = 2 “g ) 一1( 4 )其中g ) 表示单位阶跃函数。这两个函数分别如图3 ( a ) 和图3 ( b ) 。阈值函数的特点是传递函数为二值函数，神经元的输出为0 i 或士1 。限幅线性函数厂g ) = i , 。拼, 血l x l 矗- 6其中i t , b ，c 均为正常数。该传递函数类型如图3 ( c ) 所示t( 萤s i g m o i d 型函数常用的s i g m o i d 型函数有下面两种：分别如图3 ( d ) 和3 ( e ) 所示高斯型函数基本的高斯型函数如下：其如图3 ( 0 所示8g ) = 专，枷g ) 筹s ( x ) - e ：一2( 6 )( 7 )( 8 )犬疾病智能诊断系统的设计与实现，( j ) 。1口jlf u ow 一一bi玉一o-；图3 神经元传递函数图示f i g 3t r a n s f e rf u n c t i o nc h a r to f n e u r a lc e l l2 神经网络的学习规则神经网络的学习方法主要有两大类：有监督学习( 图4 ) 和无监督学习( 图5 ) 。有监督学习中，神经网络的输出值与期望值相比较，根据两者之间的目标函数( 即误差函数) 来调：仃备层神经元之间的连接权值，经过多次调整，最终使目标函数达到容许的误差范嗣。无监督学习中，输入的样本进入神经网络后，网络按照预先设定的规则来调整神经元之间的权值或网络结构( 是一种白组织过程) 。从而使网络最终有模式分类等功能。h e b b 规则：h e b b 的假定是：当在特定模式中的神经元是活动的时候，其相互作用所引起的突触系数的变化将强化该模式趋于稳定。0 3 按下式确定的变化量进行调整：a c o o = g 【y ，( f h ( f ) 】h l y j j( 9 )图4 有监督学习f i g 4l e a r n i n gw i t ht e a c h c r田5 无监督学习f i g 5l e a r n i n gw i t h o u tt e a c h e r上式为有教师的h e b b 学习规则，其中自变量t 表示当前的时间，( ，) 为有教师信号，弘o )为输入样本时的激励，g ( ) 和j j z ( ) 为适当的非线性函数；当没有教师信号时，可设g ( ) 的醋9河北农业大学硕士学位( 毕业) 论文数值为y ，( f ) ，厅( ) 的函数值与乃( f ) 成正比，此时( 1 0 ) 式变为= 刁y , ( 0 y ，( f )( 1 0 )其中卵 0 为表示学习速度的系数d e l t a 规则在( 1 0 ) 式中，如果9 0 的函数值正比于教师信号f ，( f ) 与神经元f 的输出卫( f ) 之间的差值，即g 【y ，( f x ，。( r ) 】= r i f 。( r ) 一m ( f ) 】= r i 万( 1 1 )其中r i 0 为系数；且 ( ) 的函数值与神经元，的输出乃( f ) 成正比，印矗k 以嘞j = r 2 乃o )( 1 2 )其中r ， 0 为系数，则由h e b b 学习规则，可得：= ，7 占) ，【，)( 1 3 )其中j 即为学习规则，其中r 0 为表示学习速率的系数，常取o 0 1 - 0 7 范围的值。冈为此规则是由误差所导出的，称之为d e l t a 规则，也有人称其为w i d r o w h o f f 规则或最小均方差l m s c l e a s t m e a ns q u a r e ) 规则。d e l t a 学习规则远比h e b b 学习规则来得有效。d e l t a规则将会找到一组权值使误差趋于零。3 神经网络基本结构神经网络的性质主要取决于以下两个因索：一是网络的拓扑结构：二是网络的学习规则。学习规则前面已经简单介绍，而网络的拓扑结构则主要有以下四种：无反馈的前向网络：网络中的神经元分层排列。每个神经元只与前一层的神经元相连接。最右一层为输出层，隐含层可以是一层或多层。b p 两和r b f 网是其中典型代表。输出层到输入层有反馈的前向网络；层内有连接的前向网络：层内神经元之间有相互连接，可实现同一层神经元之间横向抑制或兴奋的机制。互连网络：有局部互连和全互连两种。全互连网络中的每个神经元都与其它神经元相连。局部互连是指有些神经元之间没有连接关系。h o p f i e l d 网络和b o l t z m a n n 机属于此类型。f 面是一典型三层前向无反馈网络结构图( n 个输入，m 个输出) ：1 0犬疾病智能诊断系统的设计与实现鼹禽屉图6 典型三层前向神经网络结构田f i g 6t h et y p i c a ls t r u c t u r eo f 3 - l a y sf o r w a r dn e t w o r k目前席埘最多的是采用有监督学习的无反馈前向网络，b p 网和r b f 网是其中的代表，本文拟采用r b f 神经网络米建立犬疾病诊断模型。以下主要介绍b p 神经网和r b f 网的原理及作用机理。2 2 2b p 神经网络b p 神经网络是前同无反馈网络中应用最广泛的一种，该网络采州误著反向传捅法( b a c kp r o p a g a t i o n a l g o r i t h m ) 进行网络训练，以下就以输出层只舍一个神经元的三层前向神经网络为例，给出这种算法的基本计算原理和过程。设输入层中有t 1 个神经元，对应输入分别为，。2 ；隐层中有聊个神经元，输出层神经元的输出为y 。国。o = 1 ，2 m ，= l ，2 刀) 为输入层到隐含层的连接权值，隐含层神经元的阂值为只，而输出层神经元与隐含层神经元的连接权则为v f 。这样隐含层各神经元的输入分别是：= 口x + 只( f = l ，2 ，m )( 1 4 )，= ，选择s i g m o i d 函数作为隐含层神经元的激发函数，c ) ，则隐含层神经元的输出为：d l = i - 与(15)4-eij ，不失一般性，取输出层神经元的阈值为o ，输出层神经元的激发函数取为线性函数取为线性函数，则输出层神经元的输出，也就是整个网络的输出为：y = v j o f( 1 6 )定义由国口，只和v 组成的向量为网络的连接权向量w ，在给出w 以后，就能够在给出河北农业大学硕士学位( 毕业) 论文一组网络的输入后，由公式( 1 4 ) 至( 1 6 ) 求出网络的输出值y 。上述给出的已知网络输入时，计算网络输出的过程，称为网络的正向计算过程，其原因是网络的输入信息是从输入开始，逐层向上一层传递的，没有信息的反馈过程。设有容量为p 的学习样本：x l pe x 2 p * ) 对某样本b x 2 ，x ，t ，) ，在给出网络向量后，可以通过公式( 1 4 ) 至( 1 6 ) 计算出网络的输出值y 。对于样本p ，定义网络的输出误差为：d p = t p y p( 1 7 )并定义误差函数为：e ，= j 1 ( f ，一y ，) 2( ，s )一般情况+ f ，w 的初始值是随机给出的，因此，求得网络输出值y 。后，计算出的误差值比较火，也就是说，网络的计算精度不高。在确定网络的结构以后，即确定网络中隐含层神经元数目辫的情况f ，只能通过调整w 的值，以逐步降低误差d 。，提高网络的计算精度。下面给出根据误差函数d p 的信息调整w 的具体计算过程在反向传播算法中是沿着误差函数p 。，随矿变化的负梯度方向对形进行修正的。设修正值为a w 。取形力笠a w式中r 为学习速率，取0 - l 间的数。将式( 1 7 ) 和( 1 8 ) 代入式0 9 ) q ，有：埘= 怫斋式( 2 0 ) 就是a w 的基本公式。定义w 为：a w = ( v 。，鲫，a c a 。)根据公式( 2 1 ) 进行推导，可以求得对于样本为p 时。a w 中各元素为1 2( 1 9 )( 2 0 )( 2 1 )犬疾病智能诊断系统的设计与实现觚= 私，挈= 私，只：彬，挈彬，_ ( 1 一)a g 。峨= 砸p = 哪如 。( 2 2 )由于在完成正向计算以后，己经求出隐含层各神经元的输出0 。和网络的输出误著d 。，因此能够使用公式( 2 2 ) 求得a w 的值，最后采用迭代式：形+ _ w( 2 3 )对原形进行修正计算，得到新的连接权向量矿。以上所述计算过程，是首先求出输出层神经元输出值的计算误差，再沿着止向计算过挫的反内，将误筹信息传递，对连接权向量w 进行修正计算，因此将这一计算过群称为反向计算过程。对丁所有的学习样本，均按照样本排列顺序进行上述的计算过程，然后嘲定形的值。对p 个样本分别进行正向计算，从而求出学习样本的能量函数值：e = p ，( 2 4 )口。l这样，就结束了一个轮次的迭代计算过程。计算式( 2 4 ) 定义的e 的目的。是为了对网络的计算精度进行评价。当占值满足某一精度要求时，就停止迭代计算，否则，就要进行新一轮次的迭代计算。反传算法是多层神经网络中最简单最一般的方法，非常具有启发价值。但是，在实际网络训练中基本的b p 算法( 最速f 降b p 算法- - s d b p ) f 1 1 于训练时间太欧，效果并不理想。丁是出现了许多对该算法的改进【1 7 j ：加动量项：在式( 2 2 ) 中确定连接权修正值a w 的计算过程，实际上是优化计算中的梯度下降法。当能量函数对应的误差曲面为窄长型时，这种算法在谷的两壁振荡。影响了网络的收敛速度，对算法最普通的改进方法是增加附加动量项，即取a 4( 一) = 一，7 二三巴+ a a w ( 一1 )( 2 5 )a 式中为第n 次迭代计算时连接权的修正值：a w 【”为前一次迭代计算时计算所得的连接权修正值：口为动量因子，一般取接近1 的数。在式( 2 5 ) 中，a a w ( ”1 ) 称为附加动量项。利用附加动量项可以起到平滑梯度方向的剧烈变化，增加算法的稳定性。在具体计算中，学习率r 越大，学习速度会越快，但过火时会引起振荡效应：而动量因子口取得过大可能导致发散，过小则收敛速度太慢。据有关文献介绍l 】，取玎= 0 2 0 5 ，口= 0 9 0 0 9 8 ，算法的收敛速度较快。更进一步的算法是在河北农业大学硕士学位( 毕业) 论文迭代计算过程中，根据能量函数的变化情况，不断调整和的值，可以加速收敛速度，但要增加计算程序的复杂性。激活函数在没有具体问题提供的先验信息指导时，对激活函数“) 要求几个性质：非线性、饱和性、连续性和光滑性等。其中饱和性即指存在最大最小输出值，这可以限定权值和激活函数的上下边界，使得训练次数也是有隈的。s i g m o i d 函数具有以上期望的所有性质，故应用非常广泛。输入信号的尺度变换在训练的过程中，网络将更多的根据数值大的输入分量来调节权值，而误筹率几乎不依赖数值很小的分量。为避免这种困难的发生。输入模式必须重新进行尺度变换，使得数据“规格化”。隐单元数隐单元数m 决定了网络的表达能力一从而决定了判别边界的复杂度。如果待逼近函数较复杂或模式具有较高的分散性，则需要较多的隐单元。另权值的初始化值、带“噪声”的训练数据、训练协议等都对网络训练性能有影响1 1 7 1 。总的来讲，加速收敛的方法分两类：启发式方法和标准的数值优化方法。动量方法( m o b p ) 和变学习速度法( v l b p ) 是两种典型的启发式方法。m o b p 易于实现，速度明显快于s d b p ，需要选择动量系数，系数范围限于【o ，1 】内，算法对参数的选择不敏感：v l b p 方法比m o b p 快，但需要更多的存储空间，v l b p 需要选择5 个参数，算法相当鲁棒且参数的选择与实际问题相关，能影响收敛速度。共扼梯度法( c g b p ) 和l e v e n b e r g - m a r q u a r d t 法( l m b p ) 是数值优化b p 的代表。c g b p一般快于v l b p ，它在每次迭代时要进行线性搜索而存储需求与v l b p 相当：l m b p 在每次迭代时都要求矩阵的逆，对中等规模的神经网络来说速度很快，但当网络参数多于儿千个时。算法几乎无法实现l l o l 。而在m a t l a b 6 0 神经工具箱说明中更是比较了l m b p , c g b p 等几种改进b p 算法在6个具体问题上耗时、存储需求等性能上的比较”s j 。2 2 3r b f 神经网络r b f 神经网络的理论基础1 9 8 5 年，p o w e l l 提出了多变量插值的径向基函数( r a d i a l b a s i c f u n c t i o n ) 方法。1 9