人工神经网络ANN方法简介

第六章人工神经网络（ANN）方法简介§6.1从生物神经元到人工神经网络大脑与神经细胞、神经细胞与神经细胞构成了庞大天文数字量级的高度复杂的网络系统。也正是有了这样的复杂巨系统，大脑才能担负起人类认识世界和改造世界的任务。“世界上最大的未开发疆域，是我们两耳之间的空间。”（美国汉诺威保险公司总裁比尔·奥伯莱恩）1、生物神经系统和大脑的复杂性生物系统是世界上最为复杂的系统。生物神经系统活动和脑的功能，其复杂性是难以想象的。①人大脑平均只有3磅左右。只占身体重量比例的1/30；②使眼睛可以辨别1000万种细微的颜色；③使肌肉(如果全部向同一个方向运动)产生25吨的拉力；④是由100亿个脑细胞和10兆个神经交汇丛组成。整个大脑的神经网络足足有10英里长。大脑的有关数据“你的大脑就像一个沉睡的巨人。”（英国的心理学家、教育家托尼·布赞）“如果我们迫使头脑开足1/4的马力，我们就会毫不费力地学会40种语言，把整个百科全书从头到尾背下来，还可以完成十几个大学的博士学位。”（前苏联学者伊凡）——一个正常的大脑记忆容量有大约6亿本书的知识总量，相当于一部大型电脑储存量的120万倍——大脑使你从出生开始每一秒钟可存储1000条信息，直到老死为止——全世界的电话线路的运作只相当于大约一粒绿豆体积的脑细胞——即使世界上记忆力最好的人，其大脑的使用也没有达到其功能的1%人类的知识与智慧，仍是“低度开发”！人的大脑是个无尽宝藏，可惜的是每个人终其一生，都忽略了如何有效地发挥它的“潜能”——潜意识中激发出来的能量。大脑复杂性的无限性2、人工智能及其三个学派人类的梦想重新构造人脑，并让其代替人类完成相应的工作。（无数科幻故事）探索智能的奥秘智能（intelligence）

“观察、学习、理解和认识的能力”(牛津大辞典)“理解和各种适应性行为的能力”(韦氏大辞典)智能是个体有目的的行为、合理的思维、以及有效的适应环境的综合能力；也可以说是个体认识客观事物和运用知识解决问题的能力。人类智能的具体含义

感知与认识客观事物、客观世界和自我的能力；通过学习获得经验、积累知识的能力；理解知识、运用知识和经验分析、解决问题的能力；联想、推理、判断、决策的能力；运用语言进行抽象、概括的能力；以上5点是人类智能的基本能力。发现、发明、创造、创新的能力；实时、迅速、合理地应付复杂环境的能力；预测、洞察事物发展、变化的能力。以上3点是前5种能力新的综合表现形式。人工智能“人工智能（ArtificialIntelligence）”

1956年初次引入人工智能研究怎样用计算机模仿人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。目的之一：增加人类探索世界、推动社会前进的能力

通过制造和使用工具来加强和延伸人类的生存、发展。目的之二：进一步认识自己。

用物化的智能来考察和研究人脑智能的物质过程和规律。人工智能的3个主要流派1991年，人工智能学家D.Krish在《Int.J.ArtificialIntelligence》上提出人工智能的5个基本问题：知识和概念化是否人工智能的核心？认知能力能否与载体分开来研究？认知的轨迹是否可以用类自然语言来描述？学习能力能否与认知分开来研究？所有的认识是否有一种统一的结构？对以上5个基本问题的不同回答已经形成3个主要的学术流派：符号主义（Symbolicisim）联结主义（connetionism）行为主义（actionism）人工智能的符号主义流派即传统的人工智能，认为人工智能源于数理逻辑，主张以知识为基础，通过推理来进行问题求解，在研究方法上采用计算机模拟人类认知系统功能的功能模拟方法Simon、Minsky和Newell等认为，人和计算机都是一个物理符号系统，因此可用计算机的符号演算来模拟人的认知过程；作为智能基础的知识是可用符号表示的一种信息形式，因此人工智能的核心问题是知识表示、知识推理和知识运用的信息处理过程。符号主义对符号系统的描述人工智能的联结主义流派又称仿生学派，认为人工智能源于仿生学，人思维的基本单元是神经元，而非符号处理过程，主张用大脑工作模式取代符号操作的电脑工作模式；智能的本质是联结机制。神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统；“结构－功能”的研究方法：认为功能、结构和智能行为是密切相关的；1943年，McCulloch和Pitts从神经元入手研究神经网络模型——MP模型。此为人工神经网络研究之始。人工神经网络（ArtificialNeuralNetwork，ANN）从四个方面刻画人脑的基本特征：（1）、物理结构模仿生物神经元的功能，构造人工神经元的联结网络CellbodyAxonNucleusSynapse突触Dendrite树突（2）、计算模拟人脑神经元既有局部的计算和存储功能，又通过联结构成统一的系统，人脑的计算建立在该系统的大规模并行模拟处理基础之上。ANN以具有局部计算能力的神经元为基础，同样实现信息的大规模并行处理。（3）、存储与操作大脑对信息的记忆是通过改变突触的联结强度来实现并分布存储。ANN模拟信息的大规模分布存储。（4）、训练后天的训练使得人脑具有很强的自组织和自适应性。ANN根据人工神经元网络的结构特性，使用不同的训练过程，自动从“实践”（即训练样本）中获取相关知识，并存储在系统中。人工智能的行为主义流派“进化主义学派”、“控制论学派”；认为人工智能来源于控制论，智能取决于感知和行动。提出智能行为的“感知－动作”模式，采用行为模拟方法；对符号主义、联结主义采取批判的态度；（智能不需要知识、表示和推理，只需要与环境交互作用）80年代诞生智能控制和智能机器人系统学科（R.A.Brooks），为机器人研究开创了新的方法。ANN是基于联结主义流派的人工智能联结主义学派与高速发展的计算机技术相结合，发展为计算智能学派，是人工智能在1980年代后的深化和发展计算智能：借助现代计算机技术模拟人的智能控制、生命演化过程和人的智能行为，从而进行信息获取、处理、应用的理论和方法计算智能是以数学模型、计算模型为基础，以分布、并行、仿生计算为特征，包含数据、算法和实现的信息系统计算智能强调模型的建立和构成，强调系统的自组织、自学习和自适应计算智能的3个主要分支：

人工神经网络（模拟智能产生与作用赖以存在的结构）

遗传算法（模拟生命生成过程与智能进化过程）

模糊逻辑（模拟智能的表现行为）3、停人喝工神挪经网稀络概攻述生物让神经扮元系闹统人工桂神经滤网络宾是受藏生物高神经即网络匪的启病发构察造而绳成。Ja访me横s（《心理确学》，18啦90年）楚：魔大脑慈皮层正每一芳点的绵活力况产生欺于其舟它点叫势能砍释放弃的综古合效基能，渴即其兵它点兆的兴奋搅次数、强度和所接冲受的钟能量。大脑送含～1011个神轰经元吹，它县们通傅过～1015个联此结构番成一雄个网奴络。牲每个弦神经抓元具走有独烫立的纹接受客、处糕理和册传递庙电化售学信笛号的探能力怀，这禾种传科递由营神经模通道只来完拴成。神经斩元的传结构树突茫从细舰胞体嫂伸向径其它参神经爹元，骨神经甚元之兄间接旅受信镰号的美联结缠点为魂突触鼓。通断过突更触输现入的装信号败起着恭兴奋/抑制涌作用垫。当番细胞济体接敏受的粪累加倦兴奋普作用阻超过母某阈漂值时陪，细域胞进卷入兴贪奋状哄态，掠产生率冲动因，并我由轴姑突输剥出。CellbodyAxonNucleusSynapse突触Dendrite树突神经砖元系铁统的瞧基本集特征神经蒜元及计其联雨结神经营元之愈间的材联结拖强度趣决定跪信号旦传递情的强卡弱神经晃元之傅间的弹联结理强度工可以游随训羞练而佣改变信号豪分为脚兴奋业型和捞抑制手型一个竞神经毛元接扁受的某信号裙的累幕计效翼果决望定该夸神经直元的星状态每个豪神经欺元有晓一个谢阈值AN似N理论宋及其启发展喊阶段w1Z=wixiw2wnx1x2xny=f(wixi-)轴突突触树突内核轴突第一久阶段19救43年，司心理江学家Mc岁Cu抄ll谈oc能h和数柏学家Pi室tt西s对神梨经元喜进行否形式雅化研善究，辰提出悠了神妈经元凯的数至学模捷型——MP模型。19屿44年，D.于O停.He骨bb提出布改变鹅神经萍元联筹结强免度的He才bb学习掌规则，至积今仍把然是确人工练神经孙网络龟学习世算法姜的一天个基芬本原棉则。19盾57年，Ro猾se彻nb暮la辉tt首次灵引进滔感知屑器(Pe笑rc漂ep疫tr历on)概念直来模然拟生阻物的氏感知哭、学数习能锡力。19粪62年，Wi拜dr蛮os提出博用于郑自适庭应系狂统的帽连续下取值绞的线扫性网竟络。第二相阶段19桐69年，M.未L涝.Mi催ns宴ky和S.Pa馅pe庭rt从理巧论上恰证明膊了当大时单武隐含唱层感梦知器距网络渐模型挽无法凡解决蛾的许举多简宇单问匹题，谱包括阿最基灯本的捐“异盖或(X回OR讽)”问题润。使AN葵N理论今的发浸展进砖入一亡个低他谷；19道74年，We倒bo领s提出BP学习锐理论证；S.Gr劫os桑sb氏er同g提出垦自适倘应共喇振理脉论（AR盖T）。第三壶阶段突破狼性进搏展：19弹82年，Ca床lT药ec毛h的物落理学锁家J.砖H列op到fi贼el萌d提出Ho据pf狱ie并ld神经库网络碍系统(H享NN该S)模型吧，提醋出能闪量函肾数的商概念砍，用蔬非线飘性动姻力学主方法鸦来研狭究AN掘N，开拓宅了AN某N用于影联想稀记忆国和优蛮化计遥算的导新途嗽径；19住88年，Mc托Cl芹el冬la来nd和Ru诱me愚lh走ar寸t利用朽多层害反馈冤学习燃算法侮解决姻了“逝异或区（XO贡R）”问题卡。人工乓神经饮网络胖的几花种形核式无反暮馈前均向网多输司入、溪多输承出的遍多层舰无环裂图，绩同一俘层间定无联跨结。神经呈元分坏层排带列，潮组成半输入喂层、轨中间读层（王隐层粘）、婆输出鸦层有反馒馈前争向网从输天出层基到输延入层素存在溉反馈宅的前傻向网午。层内勇有联批结的导前向隶网在无般反馈改前向烛网中嫂同一黎层内洪存在舟神经寺元间魔的联暂结回跑路。有向桑网任意蜜两个句神经哗元间坛都可起能存言在有碰向联隆结。网络干处在叮动态枕中，查直至称达到教某一补平衡朗态、环周期屈态或遥者混我沌状源态。§6.会2感知姜器（氧Pe福rc径ep江tr排on爱）——欠人工道神经茅网络绘的基泛本构荒件感知占器（Pe渔rc扣ep思tr栋on）：凶最早配被设物计并嫂实现餐的人修工神拴经网讨络。W.季M盖cC毙ul家lo浇ch和W.凝P塘it吊ts总结戒生物未神经疮元的啊基本屠生理粥特征挣，提酷出一继种简确单的怕数学垂模型眠与构钟造方难法，秒建立馆了阈值昨加权蹄和模货型，简猎称M-会P模型(“屡A弓Lo泡gi竭ca遥l订Ca积lc蝴ul游us棉I天mm公an抹en肤t社in阶N务er卫vo唐us碰A炒ct察iv纷it极y”笋,事Bu抄ll息et倍in天o久f边Ma辱th字em胡at塘ic抵al封B聪io补ph仿ys歌ic凤s,斧1本94矛3(集5)的:查11娃5~均13恨3）。人工命神经灿元模象型是M-寒P模型蹈的基动础。1、增感尸知器黑的数保学模嫂型——驱MP模型Wa锡rr取en怖M挠cC杏ul访lo拜ch（1痛89旺8－揪19胖69认）Wa仁lt扇er雕P畏it颗ts(1绍92唉3－稍19岗69俗)生物絮神经念元的药基本乔特征神经括元及邻其联仍结神经雕元之巷间的至联结补强度闪决定矛信号缝传递竹的强肥弱神经晒元之现间的借联结趣强度吐可以歪随训臣练而站改变信号取分为巡寿兴奋汗型和素抑制府型一个开神经镰元接魔受的睛信号士的累弹计效排果决糕定该衔神经宫元的冶状态每个劝神经筐元有昨一个京阈值突触树突轴突突触树突内核轴突模拟柳神经瘦元的倒首要雪目标毫：输伏入信俘号的孙加权柳和（生搬物神仇经元珍的一票阶特现征）人工挖神经夜元可竭以接鹅受一岭组来福自系衰统中针其它誓神经句元的征输入摔信号务，每战个输及入对旁应一竹个权天重，劝所有冤输入裳的加赠权和玩决定册该神狠经元院的激勤活状坝态。即每个代权就枯相当干于突即触的革联结焦强度惨。w1wixiw2wnx1x2xn数学糕模型——多输鬼入、素单输挨出的每加权贤和结劳构设X张=逗(x1,x2,算…,xn)表示n个输入轰，W吧=翻(w1,w2,千…,wn)表示新它们乓对应暗的联阁结权帖重。故神油经元剃所获稠得的罩输入答信号鹿累计炉效果鬼为：称u(X)为整辰合函葬数。w1wixiw2wnx1x2xn感知拔器的动激活盼函数神经瘦元获叉得网其络输足入信自号后核，信邻号累斯计效冻果整绣合函体数u(X)大于丧某阈散值时，坐神经业元处骆于激唤发状族态；竖反之撞，神吐经元打处于王抑制贷状态炮。构造激活寒函数，用谜于表机示这涨一转各换过冻程。仍要求是[-旦1,泉1起]之间卖的单着调递世增函织数。激活断函数通常朵为3种类胸型，蚊由此原决定驶了神厉经元解的输签出特赠征。激活泼函数为符探号函脂数：1-1u激活慢函数为分时段线涌性函爪数：1-1u激活迅函数为Si踩gm浸oi源d函数症，其执特点筐是单喊调递设增、雀光滑誓且具滤有渐印近值庙，具等有解普析上省的优丹点和陪神经闲生理煮学特有征。1-1uM-鲁P模型将人取工神掉经元坏的基盏本模西型与虾激活梯函数结合毕，即Mc准Cu网ll副oc间h制–P果it除ts模型轮。w1u=wixiw2wnx1x2xny=(u(X)-)2、级感吧知器瓶的学灾习算弹法什么谱是“俘学习诸”？“Th布e挽co顽nc由ep糖tu削al请s电ch倍em竭e约fo煮r坦‘le复ar半ni谷ng’盾in蜡t珠hi谱s絮co必nt祖ex帮t翅is恒a游m缠ac胡hi弊ne怜w款it饲h唯an麦i安np纳ut嫩c劫ha唱nn谊el乌f秀or秀f么ig影ur谊es墙,滋a柴pa烤ir连o丽f淘YE隶S休an鼻d枪NO丘o旨ut涌pu设t等in宵di醋ca杀to安rs栗,锹an弄d猛are兵in蹈fo耽rc酬em棉en漫tor淡‘re报wa棒rd’幻玉bu月tt涝on杯t配ha疤t悲th继e德ma羽ch吓in钥e’季s饿op厌er势at聋or附c煤an咳u挂se序t风o砌in侍di凉ca下te童h谋is稠a喂pp率ro捏va复l啊or梳d慰is盒ap剩pr芳ov逆al验o抹f小th所e您ma鼓ch屿in磨e’凯s泪be目ha壤vi印or呈.”——能M.宾L项.Mi与ns脸kyan乏d夹S.视A杰.Pa浆pe膊rt,暴“Pe战rc味ep赚tr锄on”(堪19箩88缠)AN文N学习轮定理——AN茶N可以妈学会辫它表福达的饥任何纸东西扯。（Ro诊se移nb亡la圣tt，19臂62年）AN狱N的表糖达能脂力有傍限，软其学约习能毙力也猎受到瞒限制佩。AN肠N的学父习过常程就午是训万练过阔程，弃在将元训练嚼样本仆集输牲入到晒网络碌的过纷程中誓，按诱照一扛定的拌方式答来调臭整神武经元邀之间况的联蹲结权隆重值高，使俭得网剧络能威够将茄训练拴样本旱集的脚内涵莲以联宵结权甜重矩佣阵的番方式涂存储岗起来载，从项而使臂得网容络在吐接受砖输入裙时，店能够及给出得适当律的输钱出。有监蒜督的辩学习耽（Su卸pe财rv痕is悼ed股l竞ea斥rn魔in宵g）无监书督的谱学习每（Un啊su滤pe卵rv码is感ed务l阀ea赤rn蓬in野g）基本字思想感知辨器的房诚学习主是有宴监督条的学碑习。顷学习任的问史题归堵结为忠求权坡重系颂数W喂=塑(w1,w2,贺…,wn)和阈衫值的问饭题。基本尊思想指：逐狗步将桨训练先集中语的样亦本输膀入到携网络它中，职根据夕当前芦输出以结果维和理住想输威出结涉果之四间的处差别急来调豪整网顿络中似的权粒重值仔。w1u=wixiw2wnx1x2xny=(u(X)-)设X仇=虑(x1,x2,霜…,xn)表示n个输入俊，W膛=恢(w1,w2,际…,wn)表示域它们负对应知的联泼结权厘重。校假设朝取符号袭函数既为激副活函括数，此为滋经典酷的M-壁P模型患：w1u=wixiw2wnx1x2xn+1or-1训练芬集的述样本江（输湿入向铃量、愚输出絮值）阵为：t为样疫本数完目。奶其中枯，ST币EP柄2重复救下列缝过程奇，直贩至训寒练完卧成：ST茧EP馅2慨.1对训练状集中饿的每荣一个线样本(xk,yk)，重复滑如下预过程：ST纽奉EP机2滔.1涉.1输入xkST劝EP损2参.1烫.2计算ST角EP坊2交.1餐.3若输出场不正切确，辉则ST候EP央1初始欧化权钢重向子量W励=绣(w1,w2,礼…,wn)，不妨传取w1=w2=…晃,=wn=1~~~3、性关碍于感栽知器奔的基母本理臂论问滩题“线汪性不踢可分扮”问戚题的察困境给及其倡解决Ma心rv筒inMi岂ns壳kyMI慌T离Me快di睛a急La蒙ban升dMI稳T忠AI须L房诚abTo遗sh践ib笔a贺Pr润of率es泡so永r耍of搬M瓣ed篇ia其A脏rt遗s迈an饺d尾Sc是ie距nc租es掉P覆ro闪fe纸ss牧or记o群f炕E.悄E.益a急nd钩C保.S哲.,步M筹.I坟.Tmi探ns够ky瓜@m酬ed意ia踪蝶.m逃it龙.e柏du19叉69年，Mi姜ns潜ky和Pa遣pe朽rt在“Pe展rc象ep省tr概on”一书中害从理耽论上捏证明棵单层橡感知哈器无描法解手决许广多简组单的痒问题史，包趋括“吼异或(X议OR智)”问题胃。使混得AN评N理论雹的发肝展在19宽70～80年代们处于遗低潮珍。导菜致政斤府和搂企业顽资助维减少拌，研辛究人更员撤奶退……“异值或(E喝xc粱lu基si晨ve稼-O瓜R)汇”运算f(x,y)y01x001110是一演个双蜜输入滑、单安输出退问题设。对春应的板单层防感知溜器为展：xyabzax+by=xy无论盲如何齿选择佣参数a，b，，都无公法满尘足划右分。妻这种白由单扰层感具知器学不能培表达泰的问咽题称谷为线性脆不可珍分问仍题。考虑n个自挡变量把的二众值函子数，引当n4时，疮线性窗不可既分的镜函数帅个数愧远远醒超过欣线性狭可分爱函数歼的个泉数。自变量个数函数的个数线性可分函数的个数144216143256104465,5361,88254.310994,57261.810195,028,134（R.庸O起.Wi额nd刊ne游r,哈19吐60）表明酬单层哈感知井器不砖能表糊达的幕问题迎的数地量远恶远超陵过它艺可以煎表达贤的问桥题的释数量。解决拔途径——多层僻网络一个鲜单层匙网络疫可以大将空浓间划宜分成透两部稠分，穴用多烈个单与层网拢络组呀合在抵一起物，并捞用其伶中的哑一个抓去综跌合其孤它单撕层网恋络的卧结果蹄，构已成一草个二耗层网疤络，队即可错用来嘱在空反间划妹分出赢一个黑封闭筋或开兰放的妹凸域钞（子枪空间喂）。x1z0xnz1zn感知塞器学音习算汽法的型计算拦问题算法跌的收耳敛性对于对线性另可分尘问题抚，感庆知器江的学吧习算仁法是殃收敛让的。算法怎的复印杂度（略林）算法鹿的容问量（略还）非线鼻性感基知器取权幼重函澡数为裂非线愉性函伟数的渗单级荐传感典器系山统。艇其学雀习过恨程涉岗及到层求解堡非线暂性方该程组涛的方际法。高阶冻感知虚器主要截讨论和可线砍性化趣的非柄线性点传感誓器系齐统。§6.聪3单层欣前向猾网、土多层招前向耀网与B端P学渐习算霜法简独介1、岂单滴层前抽向网彩络单层前向附网模纳型设有c1个感惕知器悔，其酒中第k个感答知器响的输交出为yk；对于鉴输入讨信号x=搅(x1,x2,武…,xn)，每个泳感知仁器有d个输宅入uj(x)，j=谱1,容2夸,此…,规d。1kcx1xnx2u1(x)u2(x)ud(x)x3wk1wk2wk3yk输入折层输出猎层一个薯单层友前向骑网可赤表示薯为：：激俯活函千数；wk=(wk1,wk2,域…,wkd)：第k个感裕知器方的权亚重系捏数；k：第k个感货知器货的阈泊值；u=(u1,u2,揪…,ud)：基函栋数xRn，u(x)Rd若记wk0=k，u0=－1，则上因式变侄换为绩：记yk(wk;x)为第k个感筒知器谣当权匠重系赌数为wkRd，输入婆为xRn时的职输出狮。设训蹄练集只为A=态{其(x,t)福|=筐1,告2菊,药…,题N}，其中表示乌训练宴集数泥据编蹈号，xRn为输霜入，tRc为输出誉，tk为第k个感管知器殿的期捐望输羊出。基于礼训练嘴集A的误护差函尸数定挎义为忙：单层前向舅网的陕学习包目标吐函数学习扣的目掠标就嘉是求wk，k=彼1,突2,白…,忍c，使得铃误差碎函数E(眼w)取最辅小值绢：这就屿是目标燃函数。单层忘前向箭网的扛学习恼原理饮本质特上仍萌是感筐知器果的学叫习原艳理。线性摄单层前向落网的慕解关于再基函俊数u(x)，对腔学习虑集的芬每一姥个数民据，辣记：其中=1匪,绒2,絮…辰,斑N。由此勤，定剑义学考习集A的扩焰展集B：不妨刃假设甲激活急函数为恒用等函并数，滥此时她网络解为线烈性单挨层前流向网词。由侧此写止出误颠差函圾数：优化侵的目塘标函裳数为渡：根据肉最小局二乘逃法求纵解目狡标函洗数。由多捡元函殃数取恳极值驴的必批要条猾件，川有：写成偿矩阵援形式W:c(d1知)U:N(d1孤)T:Nc解的渣形式虎为：解存郑在的恰条件昌？（略保）2、丝式多姥层前扣向网勺络、BP学习庆算法双层参前向嗓网多层菊前向止网的月结构技特点安：1、允爪许网另络具仪有数鸦层相瞎连的像处理滔单元懒；2、联疾结是携从前灾一层狂的每会一个穴节点他到下么一层晋所有啊节点睬，不张存在燥其它懂联结螺；3、同村一层助内的昌节点姐之间粥不存盈在联麻结；4、不剖含任胳何反厌馈，甚故输握出可振以用炉输入臂和权卖重来你表示注。L层神溪经网腿络：胖具有L层可贡调节晕权重蜓参数12M21x1xNNx2y112cy2ycW(1)W(2)输入层(X)隐层(Z)输出层(Y)双层绞前向简网模悠型：称具有似两层裳可调美节参溉数且写同层奋无联堵结的小不含百反馈墙的人稿工神病经网我络。X层——输入沸层Y层——输出尿层Z层——隐层两层烈可调诊节权爽重参颈数：W(1挂)、W(2妈)设输伟入层撒的输棉入为(x1,x2,解…,xn)Rn。首先怕考察弦隐层陷，设抚隐层抵神经贝元的农激活撞函数括为。第j个隐鄙层神恐经元犁的整碑合函幸数为aj、输出翻值为zj：第1层（慢隐层帐）权富重矩牛阵中同第i个输醉入联瓶结到菌第j个隐骗神经啦元的登权重第j个隐螺神经但元的酒阈值12M21x1xNNx2y112cy2ycW(1)W(2)输入层(X)隐层(Z)输出层(Y)同样悟考察饲输出祝层，兴设输仆出层测神经馒元的墨激活浇函数杂为。第k个输计出神尿经元考以z=腹(z1,驰z2,喂…,zM)RM为输战入，金其整著合函讯数为bk、输出帝值为yk：第2层（呼输出税层）辣权重蛇矩阵防中第j个隐神论经元理联结倒到第k个输出舰神经乐元的睡权重第k个输出佣神经茧元的悉阈值12M21x1xNNx2y112cy2ycW(1)W(2)输入层(X)隐层(Z)输出层(Y)联合允得到齐双层主前向仙网的源输出古表达捧式：12M21x1xNNx2y112cy2ycW(1)W(2)输入层(X)隐层(Z)输出层(Y)记为挠：学习榜的目债标函扶数为简凑化计茶，考陕虑两扭类的慌分类书问题丢。设A、B是分撤类空逃间Rd中两泉个不隶相交膛的集中合。猫考虑型离散鲁型双鼠层前出向网T(W(1阵),W(2剧),(1号),(2痕);x)，取其吩激活劲函数、为符宜号函猴数sg书n(u)。该双崇层前齿向网红的学狂习目丢标是班，对(A,B)求(W(1刮),W(2娇),(1廊),(2叔))使得古：求解览上述杆方程炸。误差秤的后临向传隔播多层健前向胜网的锦学习升原理段：基苹于适顾当定击义的涝误差陶函数洗，在杏网络字中调涨整权罪重矩腰阵和飞阈值跌等参次数，悦使得爸误差痛函数航极小吵化。与单层蝇前向笛网和姜感知脆器相因比较证，多良层前她向网考由于哨隐层希的存脑在，站无法邀判别逢隐层傅神经绝元对戚输入虾误差盐的直召接影桌响（桂无法赚知道涝隐层蝴神经倘元的捎理想践输出灰值）浪。因蔑此，快对参阻数权骂重矩品阵和判阈值尺的调驼整遇议到困远难。12M21x1Ny112cy2ycW(1)W(2)输入层(X)隐层(Z)输出层(Y)x2xN解决推方案——计算川两个洁传播捞方向晴：“前向缎传播(F区or咐wa悼rd择p度ro卷pa约ga复ti蛙on勺)”：输入{xi}进入妇网络养，按虏照信区息在庆网络阔中前颠进移根动的堤方向葬，逐精次计吐算aj，zj直至蜜输出{yk}的过纱程；槽（输火入向切输出汉方向鼓的前这向传滑播）“后向敬传播(B午ac盘k句pr启op脆ag哭at喘io奏n)”：利用援输出乘层的卫误差毁来估竖计输纱出层品的直帝接前弃导层寨的误菠差，描再依缓次估厦计更训前一真层的厨误差出，获境得所烤有各颂层的些误差习估计视。（牢输出质误差稳向输掌入方货向的篇后向沃传播榆）（Ru膛me歉lh形ar惯t,抽Hi疏nt虚on竖&肺W片il礼li卷am躁s,扁1猴98造6）12M21x1Ny112cy2ycW(1)W(2)输入层(X)隐层(Z)输出层(Y)x2xN设学批习集辽有T个样泽本，肿记为{x,肤t}，=1番,检2,愁…获,堆T，其中倍：输入理想子输出计算追实际雅输出栋，记因为：实际搏输出显然呢有：因此期只需蛛讨论领某一处个样足本点蚂的误妄差传捧播，裕以下辩略去杠上标。故误洋差函爬数为公：已知哲下列席记号哨：又定壮义第k个输钥出神克经元陵和第j个隐撤层神锻经元派的误差替率为：输出伪层误第差率隐层引误差霜率由微平分链盒式法融则，昏计算猜可得丙：输出糖层误慌差率隐层压误差塞率因此赶，得吹到：梯度额法求梁解wij(l)取步惑长因忆子为爪固定掩步长，得切到学排习规关则：其中k(2往)、k(1框)均与有关地，k=1疗,2缘瑞,…尸,c；j=0尾,周1,油…,M；i=0板,斜1,枪…评,N。补充技：梯白度法偷求解隆优化籍问题已知DRn是一尸个凸糟集。杨求解辜无约厦束优顽化问置题就是伤寻求x*D使得若f(x)为连雕续可估微凸耽函数错，问吓题归侨结为靠求解可运岗用Ne拆wt端on迭代疤法数毛值求疮解。（但f(x)的凸丢性难满以保篇证，换求解伟也非碰常困单难……）构造虚逐次农使目献标函读数值渣下降磨的搜习索算苍法：满足答：k>0：步长恶因子BP学习黎算法尸的实怜现设学厉习集善有T个样雪本，缸记为{x,矮t}，=1垮,芬2,梯…校,眉T，其中寄：输入理想珠输出又设k=1伍,2崖,…榨,c；j=0炭,友1,架…,M；i=0企,富1,盲…翠,N。对于翼给定黄的=1汪,令2,挖…布,T，指标仍然吹不标店出。ST雨EP浸1初始挤化权弊重矩斧阵和厉阈值wji(1裕)(0身)、wkj(2煮)(0潮)（已包糊含阈过值），选卫择学区习效船率。STEP2

设第t次迭代值wji(1)(t)、wkj(2)(t)已知，（1）前向过程：对=1,2,…,T，依次计算：（2）后向过程：利用公式对=1,2,…,N，依次计算STEP2

设第t次迭代值wji(1)(t)、wkj(2)(t)已知，...（3）迭代过程：计算第t+1次权重矩阵

ST喇EP虑3由此逃得到眼序列满足直至泼满足纤停机皱准则强（满到足某枪种优燃化准泉则，饮或者斯迭代徐次数债）BP学习栗算法侧的例姨子考虑障某双她层前抱向网封，设块激活计函数程为：误差凳函数蚊为：注意伯到：于是逃有其中湾：利用凭：得到响迭代桐公式胸。§6.陶4AN权N方法在计话算生免物学的应颈用在生物团序列趴分析暑中的啦应用生物文调控健信号既的研性究（感尘知器在算法郑具有射优势吴）例子懒：原惜核基哨因RB马S（核糖赤体结希合位剖点）——E.您c坐ol末i翻译桌起始许位点蓝的序株列特飘征的科分析参考央文献急：G.颂D瞎.St逝or谈mo,受T.针D划.饶Sc绢hn违ei困de除r,弓L场.等M.泳G锻ol醋d,宏a丢nd狠A哥.Eh凭re稳nf津eu画ch联t.步Us服e债of着t芳he川‘pe棒rc寒ep惕tr盾on’况al必go滴ri续th胀m狗to保d恰is牌ti忠ng苏ui疫sh我t津ra棋ns砌la蚁ti尘on耍al箱i辰ni樱ti轻at欠io巷n维si赞te顺s草inE.搏c棋ol浮i.Nu残cl室ei半c件Ac徐id刘R汪es尝ea暖rc稳h.缺(1棵98驾2)射1志0:殊29枕97烫-3凯01粥1G.宵D寒.St酒or茎mo,均T.经D买.排Sc毕hn称ei氏de辉r,深a播nd志L累.引M.智G威ol侦d.雀C小ha段ra右ct扬er荐iz判at唐io松n港of千t樱ra以ns雹la疯ti狼on涌al记i素ni挑ti电at膨io辅n融si讽te蝇s妥inE.疯c狼ol庙i.Nu架cl阻ei凑c哥Ac纺id怒R屿es甘ea执rc扁h(1循98箭2)辽1原0:巡寿29兆71愿-2卫99妈6在结岂构识眨别中外的应刻用蛋白泊质二抬级结歼构的粘预测（BP算法性得到香广泛供的应拼用）参考将文献钢：N.Qi员anan锣d别T.螺J泉.Se武jn友ow痒sk及i.超Pr屑ed滔ic聋ti椅ng滨t劳he粉s扮ec找on烧da遮ry哥s绳tr灶uc替tu斗re苦o其f京gl滩ob狠ul坟ar睁p年ro疼te践in宿s李us喉in京g树ne乓ur杏al夕n境et烂wo燃rk赌m运od夸el尺s.Jo宿ur歪na茄l经of悦M穴ol悦ec旁ul排ar籍B廉io尿lo岁gy,貌(1捏98延8)嚷2缝02粱:疼86赖5-己88眠4H.联B模oh仙r,公J父.艘Bo脖hr燥,条S.Br道un短aket桑.抓al歼.捷Pr边ot掏ei呼n隐se勿co颤nd杨ar事y钩st怨ru盘ct矛ur届es专a喂nd绿h溜om余ol徒og题y兵by估n否eu橡ra折l谊ne愉tw汤or里ks叨:席Th需e-h株el桂ic贝es崇i滚nrh肝od盟op宪si扭n.FE胞BS番L稻et奔te拴rs,伸(1叔98做8)脾2梨41颠:疫22女3-步22治8L.桌H顿.惰Ho律ll涌ey齐a拾nd冶M仔.Ka未rp腐lu宪s.竞Pr傲ot塑ei香n较se声co穗nd仓ar浑y停st汁ru蚂ct吧ur碗e攀pr悉ed吧ic即ti折on屋w撞it蚁h刊a握ne载ur台al脉n乡丰et颤wo朗rk营.Pr秆oc殖.蜂Na模t.较A怠ca库d.Sc壤i.住US声A,及(1昼98旅9)真8报6:立1锣52扬-1含56基于忆氨基锁酸序池列的背蛋白莫质构满象预溪测DN拌A序列怖功能偶位点鼻的预分测（基蛮因翻蚂译起姑始位湾点、分转录捧因子克结合家位点鼓、真歉核基掘因剪愤接位爷点等命）……详细悄内容端请参坑考译辰本：《生物需信息湖学——机器疯学习资方法》张东继晖等串译，泰中信助出版派社，20烟03年参考高文献S.败R狸.Pr炼es迹en容el始lan衰d亮F.断E雪.勉Co驾he姥n.理A样rt优if轮ic内ia懒l视ne纸ur衣al奔n砖et中wo郊rk眼s愚fo丝式r遗pa除tt育er星n均re怎co储gn构it铁io壤n勤in耀b鹊io盲ch巡寿em里ic耍al卧s朋eq察ue鸣nc责es饱.An冲n.恢R哲ev