第四章 常见神经网络模型

智能控制技术中国计量学院自动化教研室谢敏1智能控制技术第4章人工神经元网络模型4.1引言4.2常见神经网络模型24.2常见神经网络模型一、感知器感知器（Perceptron）模型由美国心理学家Rosenblatt于1958年提出，其简化模型如下图：4.2常见神经网络模型3一、感知器4.2常见神经网络模型感知器的数学模型：其中：f[.]是阶跃函数或符号函数，并且有θ是阈值。

4感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下：即：当感知器的输出为1时，输入样本称为A类；输出为0时，输入样本称为B类。感知器的分类边界是：4.2常见神经网络模型一、感知器5在输入样本只有两个分量x1，x2时，则有分类边界条件：即

w1x1+w2x2-θ=0

4.2常见神经网络模型一、感知器6感知器的学习算法：感知器的学习算法目的在于找寻恰当的权系数w＝(w1，w2，…，wn)，使系统对一个特定的样本x＝(x1，x2，…，xn)能产生期望输出y。当x分类为A类时，期望值y＝1；X为B类时，y=0。4.2常见神经网络模型一、感知器74.2常见神经网络模型一、感知器感知器的学习算法：1、初始化：置权系数w为最小的随机数；2、训练：输入一样本x＝(x1，x2，…，xn)以及它的期望输出y*；3、计算实际输出：；4、计算误差：；5、修改权系数和阈值；6、转2，直到误差满足要求。

84.2常见神经网络模型一、感知器例：有一组训练向量，对单输出感知器有：X1=[-1，1，-2，0]T，X2=[-1，0，1.5，-0.5]T，X3=[-1，-1，1，0.5]T，设初始权值为Wi（0）=[0.5，1，-1，0]T,η=0.3，期望输出为Y1=0，Y2=0，Y3=1，试训练感知器网络。

94.欧2常见田神经粗网络绸模型一、放感知奏器从感属如器督的学渗习算录法可赛知，参学习煎的目吊的是榨在于逢修改烫网络阿中的微权系是数，谨使网遣络对左于所发输入融的模既式样搜本能垒正确讽分类踏。当手学习拳结束雁时，兆也即耍神经印网络袖能正恋确分程类时占，显固然权慌系数范就反捐映了眼同类号输人由模式姐样本咽的共喂同特农征。贺换句按话讲笔，权亿系数净就是党存储算了的柴输入芦模式汁。由于芳权系鞠数是障分散寒存在反的，嫌故神乞经网纳络自蠢然而带然就对有分晒布存居储的姨特点监。104.酒2常见控神经哑网络茅模型一、亦感知丑器感知布器实杀质是系一个颤分类叔器，喜可以焰用于葵实现玩逻辑菌函数梅。其分救类条厕件是锦样本忙是线铃性可熄分的论。例：踩用感后知器晒实现伙逻辑仔函数X1UX2的真元值：X10011X20101X1UX20111114.销2常见划神经碍网络照模型一、贤感知妨器以X1UX2＝1为A类，佛以X1UX2=0为B类，弯则有杆方程钱组：令W1=1冶，W2=2霞，则有峰：θ≤狱1取θ=孟0.奔5，则有嗽：X1+X2-0水.5梢=0124.缎2常见怨神经临网络乱模型一、葬感知专器x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）逻辑肺与逻辑丸或逻辑却异或x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）13二、BP网络4.吧2常见室神经输网络色模型19认86晒年，Ru内me旷lh样ar腐t提出骗了一脉种利衡用误勉差反猜向传欧播（Ba暑ck卸P舞ro怎pa授ga欢ti赏on架）训练厅算法距的神听经网乌络，吊简称BP网络醉，是睡一种各多层叠前向填网络蜓，其孝特征卵为：1、伐由输耻入层伏、隐洪含层饶、输言出层恶组成禁；2、家同层巡寿节点爱之间鲁没有驶互连奸；3、枕每层县节点尽的输邀出只擦影响还下层号节点那；4、厅激励深函数跃多为S型。14二、BP网络4.金2常见胶神经棉网络换模型BP网络属的数桨学模为型：设有加一个m层的四神经恒网络数，并测在输挺入层求加有懒样本X；第k层的i神经身元的显输入复总和挑表示竿为Uik，输出Xik；从第k-羞1层的橡第j个神喂经元丙到第k层的堪第i个神其经元盗的权捷系数废为Wij，各神般经元甩的激忧励函恩数为f，则各贩个变衡量的氏关系界可用棚下面积有关付数学献式表捎示：15二、BP网络4.辨2常见喘神经闹网络刻模型BP网络芒的学奇习算誉法：反向争传播朴算法优分二塑步进俊行，屠即输入有信号贼正向稠传播和误差辈信号高反向螺传播。1．俱输入势信号继正向统传播输入肆的样抗本从光输入耗层经接过隐联层单束元一善层一遥层进调行处括理，薪通过叛所有咳的隐吧层之色后，宪则传要向输竖出层影，每陕一层巡寿神经娇元的德状态夕只对玻下一斑层神盲经元岭的状暂态产活生影杂响。2．蜻误差怨信号菜反向写传播在输瓶出层束把现退行输捷出和派期望铁输出希进行露比较鹿，如纸果现驱行输丝式出不岸等于陶期望奏输出很，则创进入盼反向扒传播刑过程突。误糕差信晴号按蚊原来火正向描传播六的通张路反钉向传君回，便并对辽每个类隐层纺的各初个神炮经元腥的权谢系数鱼进行慎修改限，以写望误撑差信石号趋旅向最叮小。16二、BP网络4.材2常见坛神经清网络产模型BP网络稿的学壁习算么法：1、消初始涌化：闻置权浪系数w为最举小的阔随机苍数；2、茂训练怕：给槐出输次入样篮本x=岁（x1，x2，…羞，xn）以及秤期望克输出y=裁（y1，y2,…yn）；3、计算凉输出蚊：按吉顺序道计算冰隐含佩层、叹输出辆层各拔神经车元输器出；4、演计算紧期望咬输出妥与实风际输盘出的弯误差匀；5、活修改甜输出款层的扁权系谣数和身阈值侄；6、怀修改医隐含烟层的育权系澡数和昨阈值息；7、社转3非，直剩到误乡丰差满恳足要王求。17二、BP网络4.胜2常见殖神经汪网络车模型BP网络精的学蝇习算嫂法：例：P.已77摧4糕-118二、BP网络4.葬2常见草神经对网络再模型车牌淘数字获识别神经恩网络优对图锯形的秧旋转堪、平钳移敏蒙感，艇车牌躁照数挖字的宫获取女中不雪可避鞋免的感存在明这一类类问辜题，局所以号要首炭先对谣图形哑进行朽处理东。分割北后的塞数字私图像：原始总图像：19二、BP网络4.徒2常见漫神经骆网络伤模型车牌软数字雨识别BP神经回网络樱采用丘三层神结构武，输魄入层赚、隐造含层至、输平出层名神经婆元个迷数分练别为柳16阴、2府4、男10常。取0-传9共十榆个数非字作谦为待溪识别注数字彩，每摆个数肯字取6个样免本进寨行训寸练，吴共有60个训大练样伟本，源另取10个样栋本作境为识转别样双本。携取最载大输璃出端察对应淋的数等字作腥为识彼别结过果，援如果让所有浩输出彩端的汤结果饱都小愁于0.夕5，则引认为镜系统位无法痛识别呼。该网啊络采旱用BP算法隶，能崭正确底识别粥车牌充数字畏：7305120三、Ho备pf纷ie景ld网络4.惯2常见轮神经悄网络门模型19硬82宇年，Ho锅pf涉ie械ld提出狡了可存用作溜联想痰存储著器的志互连榴网络艇，这线个网党络称颈为Ho勤pf冲ie臣ld网络从模型寻，也辛称Ho元pf炭ie宏ld模型轿。Ho撞pf孝ie恩ld反馈彩神经丢网络羞由于亏其输邻出端化有反厦馈到滚其输挪入端廊，所惨以，Ho歇pf乓ie期ld网络驳在输抄入的差激励滚下，百会产牙生不阳断的暮状态与变化什。一桌旦到限达了吩稳定渣平衡敞状态春，那鼻么Ho严pf或ie伍ld网络裂就会任输出紧一个神稳定径的恒具值。对于矮一个Ho桨pf子ie吓ld网络锄来说逆，关鸦键是鼠在于靠确定掠它在虹稳定港条件关下的搁权系闸数。21三、Ho逢pf穗ie构ld网络4.离2常见透神经播网络咱模型Ho认pf壁ie琴ld最早历提出较的网示络是睁二值砍神经拌网络征，神迎经元晚的输吴出只床取1抛和0蓝这两旗个值渗，所坚以，规也称白离散Ho恭pf变ie取ld神经损网络矮。所天输出欺的离美散值退1和浅0分国别表香示神密经元秧处于盯激活认和抑维制状润态。离散Ho膛pf丢ie条ld网络22三、Ho悼pf眼ie竖ld网络4.控2常见抚神经厉网络拣模型离散Ho终pf弱ie毕ld网络对于型一个反离散剥的Ho柄pf养ie趟ld网络锐，其忆网络逝状态班是输因出神途经元写信息己的集河合。怀对于早一个疾输出婆层是n个神橡经元限的网骑络，笔则其t时刻修的状突态为取一个n维向悦量：Y(晋t)慰=[动Y1(t僵),援Y2(t侍),..烛.,Yn(t梯)]T因为Yj(t分)(姿j＝逼1…挎…n张)可以余取值幼为1怠或0害，故n维向被量Y(哨t)有2n种状复态，稼即是蜡网络片状态辱。23三、Ho逃pf鼓ie谱ld网络4.救2常见额神经钥网络张模型几个大概念环：1、DH举NN的状差态：单朽个神溜经元突有兴迷奋和肃抑制切两种皮状态战，DH黎NN的状胁态是桐一个偶包含俱所有筋单个姿神经阔元状先态的询矢量看。2、稳定甲状态：神经烘网络悟从任英一初滋态Y(撞0)开始杯运动活，并守存在萌某一跌有限连时刻ts，从ts以后我神经芝网络册的状欠态不僚再发脏生变抛化，选则称方网络兔是稳亦定的守。处忠于稳贪定时喝刻的浊网络死状态颤叫稳世定状签态，饲又称铸定点啄吸引净子。24三、Ho堂pf娱ie征ld网络4.喊2常见赞神经版网络梦模型状态咐转移：单个责神经呢元：倒激活口：0馆→1蜡，1基→准0未激乡丰活：闭状态剩保持整个仪网络宅：某渔一时籍刻只洲有一纸个神用经元足被选羡择进第行状震态更日新，岂该节寒点的撇状态评变化直时，头整个竞网络圈状态兽以某跟一概域率转便移到额另一乳状态画。25三、Ho挑pf筛ie比ld网络4.磁2常见软神经土网络剂模型离散Ho伟pf颤ie尾ld网络对于波三个双神经配元的与离散Ho片pf村ie具ld网络抄，它誓的输敢出层超就是胞三位臣二进怀制数面，从陷而共奏有8超个网甩络状沾态。社在图足中，妄立方伏体的租每一递个顶钥角表叼示一长种网想络状踪蝶态。净如果Ho冲pf丹ie践ld网络砖是一遭个稳须定网必络，乘那么毯在网志络的荣输入翁端加即入一颜个输尿入向控量，佣则网础络的昌状态肃会产匪生变赌化，撒也就肢是从萝立方竖体的笑一个代顶角插转移镜向另肃一个粪顶角裤，并闸且最夸终稳愧定于捡一个娘特定尤的顶滚角。26三、Ho炸pf惩ie货ld网络4.蜓2常见擦神经挎网络播模型状态茂转移驶举例：P.屡82例躬4-宪3问题：为猫什么灭各个掘状态悉的排搞列有降层次拜呢？27三、Ho煎pf教ie顷ld网络4.足2常见筐神经课网络馒模型能量暗函数演：能量指函数债是一恰个Li沉ap塔un绢ov函数臣。定理论4-贞1离散Ho尝pf捐ie钟ld神经颠网络磨的稳糊定状瓣态与浊能量歌函数E在状寒态空蚂间的敢局部柄极小楼状态陪是一否一对毕应的败。给定喝一个迁初始跃状态爽，则DH午NN网络课的状吃态总采是沿脾着能娱量减芳小的方方向椒变化麻，最神终收孤敛到霞稳定侮状态替。例：锯4-五4狱计算筒网络铅中各浅状态嫩的能筑量。28三、Ho碧pf支ie庄ld网络4.的2常见循神经公网络棉模型Ho俘pf痰ie选ld网络牙的一片个功奋能是踩可用急于联雪想记忠忆，比这是薪人类呀的智姥能特裕点之膨一。劫人类在的所挖谓“披触景行生情景”就奏是见家到一启些类春同过去去接名触的各景物翠，容叫易产兵生对帝过去贡情景牢的回依味和版思忆赚。DH圾NN网络毙的能月量极衔小状守态又筒称为御能量沸井，凯为信井息的偏存储伐记忆拴提供袖了基推础。桐将要群记忆踪蝶的信监息与窝能量窝井一巡寿一对娱应，像则当需输入构某一碍模式乓时，窄神经球网络石就能促通过距状态粱转移哪实现被联想建记忆锦。29三、Ho方pf秋ie寺ld网络4.随2常见溪神经察网络样模型学习耍记忆裙阶段挽：对于Ho厦pf初ie您ld网络兼，用跪它作统联想毕记忆以时，忽首先脚通过夸一个搜学习途训练纸过程喊确定箱网络宪中的喷权系内数，旬使所白记忆叮的信锦息在尺网络岂的n维超访立方保体的罢某一传个顶潮角的竭能量谷最小院。联想陵会议制阶段址：当网段络的喊权系嫩数确虾定之论后，真只要赠向网卧络给席出输押入向捞量，殊这个流向量堡可能犯是局缓部数鸽据，产但是花通过诊状态赶不断忆变化夫，最蔑后状咱态会慎稳定倚下来愚，最扔终的食状态柏是和才给定疤向量摩最接释近的痕样