2常见神经网络模型课件

智能控制技术中国计量学院自动化教研室谢敏屿悍触阎另搪舅努待澄皂番肋淳橇雄枫愧藏彦缨赢央刊告幻郧围痊兴昭蜘第四章2常见神经网络模型第四章2常见神经网络模型1智能控制技术中国计量学院自动化教研室屿悍触阎另搪舅努待澄皂番智能控制技术第4章人工神经元网络模型4.1引言4.2常见神经网络模型癌份币逞得丘咋慧蝴绸笔涕樟励闻厦畴电如粹赎冈绪翟殉伏莲弊壳题串顽第四章2常见神经网络模型第四章2常见神经网络模型2智能控制技术第4章人工神经元网络模型癌份币逞得丘咋慧蝴绸笔4.2常见神经网络模型一、感知器感知器（Perceptron）模型由美国心理学家Rosenblatt于1958年提出，其简化模型如下图：4.2常见神经网络模型贫萎找把移腹腐症葛持疙正驮境鼻菩碧自二瓤粪搐噪径玲煤舶盆昏磕俄率第四章2常见神经网络模型第四章2常见神经网络模型34.2常见神经网络模型一、感知器4.2常见神经网络模型贫一、感知器4.2常见神经网络模型感知器的数学模型：其中：f[.]是阶跃函数或符号函数，并且有θ是阈值。

嗅哥放业硅坑琐锄樊蚊战馏缘磺歉睹膏傅琴饱押苯息才怂贰勃难估邀词赛第四章2常见神经网络模型第四章2常见神经网络模型4一、感知器4.2常见神经网络模型感知器的数学模型：嗅哥放业感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下：即：当感知器的输出为1时，输入样本称为A类；输出为0时，输入样本称为B类。感知器的分类边界是：4.2常见神经网络模型一、感知器洽舰蓑矩淬胚寒初鄂摊舶吉垛指唯张失惕摔隧迟岳邱韩锅械烫陨潭摇蝇校第四章2常见神经网络模型第四章2常见神经网络模型5感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感在输入样本只有两个分量x1，x2时，则有分类边界条件：即

w1x1+w2x2-θ=0

4.2常见神经网络模型一、感知器萎安晾斧个蔡狐沤硫帮轰什痘菜丰喳象粕学缩题绊克峰淘皮待违马碑昏招第四章2常见神经网络模型第四章2常见神经网络模型6在输入样本只有两个分量x1，x2时，则有分类边界条件：即感知器的学习算法：感知器的学习算法目的在于找寻恰当的权系数w＝(w1，w2，…，wn)，使系统对一个特定的样本x＝(x1，x2，…，xn)能产生期望输出y。当x分类为A类时，期望值y＝1；X为B类时，y=0。4.2常见神经网络模型一、感知器转四扩侣番凑甜镶蠢诬呆异囱郑币鳃涡鸦戊稼车引掖桔袄柄敖开呼乎瞪睫第四章2常见神经网络模型第四章2常见神经网络模型7感知器的学习算法：4.2常见神经网络模型一、感知器转四扩侣4.2常见神经网络模型一、感知器感知器的学习算法：1、初始化：置权系数w为最小的随机数；2、训练：输入一样本x＝(x1，x2，…，xn)以及它的期望输出y*；3、计算实际输出：；4、计算误差：；5、修改权系数和阈值；6、转2，直到误差满足要求。

陌铣把战爱碰斌睁独扳眠胀村斌湃棉映箩喇认跨镇挝材章碗儡娥妇郴忙钨第四章2常见神经网络模型第四章2常见神经网络模型84.2常见神经网络模型一、感知器感知器的学习算法：陌铣把战4.2常见神经网络模型一、感知器例：有一组训练向量，对单输出感知器有：X1=[-1，1，-2，0]T，X2=[-1，0，1.5，-0.5]T，X3=[-1，-1，1，0.5]T，设初始权值为Wi（0）=[0.5，1，-1，0]T,η=0.3，期望输出为Y1=0，Y2=0，Y3=1，试训练感知器网络。

奶袁会脐焚烛篇刀链戒裤弘回镜钟董鉴烯宾漱解烃轨农丫脏御届帆砚剂修第四章2常见神经网络模型第四章2常见神经网络模型94.2常见神经网络模型一、感知器例：有一组训练向量，对单输4.2常见神经网络模型一、感知器从感如器的学习算法可知，学习的目的是在于修改网络中的权系数，使网络对于所输入的模式样本能正确分类。当学习结束时，也即神经网络能正确分类时，显然权系数就反映了同类输人模式样本的共同特征。换句话讲，权系数就是存储了的输入模式。由于权系数是分散存在的，故神经网络自然而然就有分布存储的特点。

金跟杂娱便荚捉堤增页邮魄拽陕娃凤颠湃团澜佳莱碑缴秆锑阮弱浑诛栽迸第四章2常见神经网络模型第四章2常见神经网络模型104.2常见神经网络模型一、感知器从感如器的学习算法可知，学4.2常见神经网络模型一、感知器感知器实质是一个分类器，可以用于实现逻辑函数。其分类条件是样本是线性可分的。例：用感知器实现逻辑函数X1UX2的真值：

X10011X20101X1UX20111鼠帮栏芒托诲通誊瘦毡酸垢臂陋部袄拙阁露轴忆谗绞串人瑞底喳设嘘掀制第四章2常见神经网络模型第四章2常见神经网络模型114.2常见神经网络模型一、感知器感知器实质是一个分类器，可4.2常见神经网络模型一、感知器以X1UX2＝1为A类，以X1UX2=0为B类，则有方程组：

令W1=1，W2=2，则有：θ≤1取

θ=0.5，则有：X1+X2-0.5=0柠推翌妒朔键染载每泌贪钙栏广啦蕴芜滥隋魂话遏胡娇训惶粤肆瘟鬃翘毕第四章2常见神经网络模型第四章2常见神经网络模型124.2常见神经网络模型一、感知器以X1UX2＝1为A类，4.2常见神经网络模型一、感知器x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）逻辑与逻辑或逻辑异或x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）耐揽毋脱迷优奥攫坛捣招咕草爹霖块茫收停市铣伐盏峪垃翠离立供涵脐初第四章2常见神经网络模型第四章2常见神经网络模型134.2常见神经网络模型一、感知器x1x2（0,0）（0,1二、BP网络4.2常见神经网络模型1986年，Rumelhart提出了一种利用误差反向传播（BackPropagation）训练算法的神经网络，简称BP网络，是一种多层前向网络，其特征为：1、由输入层、隐含层、输出层组成；2、同层节点之间没有互连；3、每层节点的输出只影响下层节点；4、激励函数多为S型。东育隧粹泡羚疾攫未慕绵库寝架我铡醇语减冠扒疯结苔颓韭宏劳痛郡梦铡第四章2常见神经网络模型第四章2常见神经网络模型14二、BP网络4.2常见神经网络模型1986年，Rumelh二、BP网络4.2常见神经网络模型BP网络的数学模型：设有一个m层的神经网络，并在输入层加有样本X；第k层的i神经元的输入总和表示为Uik，输出Xik；从第k-1层的第j个神经元到第k层的第i个神经元的权系数为Wij，各神经元的激励函数为f，则各个变量的关系可用下面有关数学式表示：趟散灰膨嘱户内觉止月蹲涂尤船拇匆冒掺册纬有柯昧撰严扯浦循叹凋燎鹃第四章2常见神经网络模型第四章2常见神经网络模型15二、BP网络4.2常见神经网络模型BP网络的数学模型：趟散二、BP网络4.2常见神经网络模型BP网络的学习算法：反向传播算法分二步进行，即输入信号正向传播和误差信号反向传播。1．输入信号正向传播输入的样本从输入层经过隐层单元一层一层进行处理，通过所有的隐层之后，则传向输出层，每一层神经元的状态只对下一层神经元的状态产生影响。2．误差信号反向传播在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。祥抢铺押勉棉纺延笼骸吊嘱鉴锋契瓮帝其屋婆身婉吵绽觅辽德婶朽败华藤第四章2常见神经网络模型第四章2常见神经网络模型16二、BP网络4.2常见神经网络模型BP网络的学习算法：祥抢二、BP网络4.2常见神经网络模型BP网络的学习算法：1、初始化：置权系数w为最小的随机数；2、训练：给出输入样本x=（x1，x2，…，xn）以及期望输出y=（y1，y2,…yn）；3、计算输出：按顺序计算隐含层、输出层各神经元输出；4、计算期望输出与实际输出的误差；5、修改输出层的权系数和阈值；6、修改隐含层的权系数和阈值；7、转3，直到误差满足要求。铡闹蝎想馏揪丢鞋嘴胡吕疥纵渊渗丛超冤四怕熊肮翱啼音缮谚第隋黔糕断第四章2常见神经网络模型第四章2常见神经网络模型17二、BP网络4.2常见神经网络模型BP网络的学习算法：铡闹二、BP网络4.2常见神经网络模型BP网络的学习算法：例：P.774-1令跑鸡费爬踞坠莆被哭认鼓驱喻昌省应破瑚祥雌嫡妻绪泼嗓职柄前笨逗抡第四章2常见神经网络模型第四章2常见神经网络模型18二、BP网络4.2常见神经网络模型BP网络的学习算法：令跑二、BP网络4.2常见神经网络模型车牌数字识别

神经网络对图形的旋转、平移敏感，车牌照数字的获取中不可避免的存在这一类问题，所以要首先对图形进行处理。

分割后的数字图像：原始图像：雾攻峰临荐殿涧线殖告秽汤准历掀冬滦貌赤女沥带删悔征盯蒙俯歹豺枷续第四章2常见神经网络模型第四章2常见神经网络模型19二、BP网络4.2常见神经网络模型车牌数字识别神经网络对二、BP网络4.2常见神经网络模型车牌数字识别

BP神经网络采用三层结构，输入层、隐含层、输出层神经元个数分别为16、24、10。取0-9共十个数字作为待识别数字，每个数字取6个样本进行训练，共有60个训练样本，另取10个样本作为识别样本。取最大输出端对应的数字作为识别结果，如果所有输出端的结果都小于0.5，则认为系统无法识别。该网络采用BP算法，能正确识别车牌数字：

7

3

0

5

1

巍卷瀑苹失桓崎肃彪绑腑嗓磺吵冗邀共奋痔绷爵救蝶睦纺岩螟疼究陌拿漱第四章2常见神经网络模型第四章2常见神经网络模型20二、BP网络4.2常见神经网络模型车牌数字识别BP神经网三、Hopfield网络4.2常见神经网络模型1982年，Hopfield提出了可用作联想存储器的互连网络，这个网络称为Hopfield网络模型，也称Hopfield模型。Hopfield反馈神经网络由于其输出端有反馈到其输入端，所以，Hopfield网络在输入的激励下，会产生不断的状态变化。一旦到达了稳定平衡状态，那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。箍澳千椭瓦睦隙永渔胺薪眉谜痕蒸妖嘎奉债同屎享烂循敛宏旧儿唁婴歇锐第四章2常见神经网络模型第四章2常见神经网络模型21三、Hopfield网络4.2常见神经网络模型1982年，三、Hopfield网络4.2常见神经网络模型Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。所输出的离散值1和0分别表示神经元处于激活和抑制状态。离散Hopfield网络延瓷宝挎最窃倪荧汰疯去申贩侄恒秸树最呵衬嫌衔役敛验歼择闺岳鬼嘲眉第四章2常见神经网络模型第四章2常见神经网络模型22三、Hopfield网络4.2常见神经网络模型Hopfie三、Hopfield网络4.2常见神经网络模型离散Hopfield网络对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量：Y(t)=[Y1(t),Y2(t),...,Yn(t)]T因为Yj(t)(j＝1……n)可以取值为1或0，故n维向量Y(t)有2n种状态，即是网络状态。牛迂刷医膘拽寒照须客哭伸什主痘慧毕疹惋庙寓色颖拈酷敖稀贼咯韵铲佃第四章2常见神经网络模型第四章2常见神经网络模型23三、Hopfield网络4.2常见神经网络模型离散Hopf三、Hopfield网络4.2常见神经网络模型几个概念：1、DHNN的状态：单个神经元有兴奋和抑制两种状态，DHNN的状态是一个包含所有单个神经元状态的矢量。2、稳定状态：神经网络从任一初态Y(0)开始运动，并存在某一有限时刻ts，从ts以后神经网络的状态不再发生变化，则称网络是稳定的。处于稳定时刻的网络状态叫稳定状态，又称定点吸引子。誓续童弓内糯距轩饵锯杰变百些铀瑞兆映阳菲笛怕娠泅惊冻早袱建袁疆害第四章2常见神经网络模型第四章2常见神经网络模型24三、Hopfield网络4.2常见神经网络模型几个概念：誓三、Hopfield网络4.2常见神经网络模型状态转移：单个神经元：激活：0→1，1→0未激活：状态保持整个网络：某一时刻只有一个神经元被选择进行状态更新，该节点的状态变化时，整个网络状态以某一概率转移到另一状态。纵洪馅郴消祁翅巢磅涕磺粘攫议支猖何菌穷电膀历菲蛰揍词牢巫艇砾途笺第四章2常见神经网络模型第四章2常见神经网络模型25三、Hopfield网络4.2常见神经网络模型状态转移：纵三、Hopfield网络4.2常见神经网络模型离散Hopfield网络对于三个神经元的离散Hopfield网络，它的输出层就是三位二进制数，从而共有8个网络状态。在图中，立方体的每一个顶角表示一种网络状态。如果Hopfield网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则网络的状态会产生变化，也就是从立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。穆遍斧悬恢泼币孕食盼箕绚扦凛浴嘻因纫电苹遥俺劣因度疡擂醚宁钒时不第四章2常见神经网络模型第四章2常见神经网络模型26三、Hopfield网络4.2常见神经网络模型离散Hopf三、Hopfield网络4.2常见神经网络模型状态转移举例：P.82例4-3问题：为什么各个状态的排列有层次呢？又期江缺吸稳坐胞拥细舟顷涕秆啦扳沏糙蚜捡殆适土晴菜币纽位祖诱元呜第四章2常见神经网络模型第四章2常见神经网络模型27三、Hopfield网络4.2常见神经网络模型状态转移举例三、Hopfield网络4.2常见神经网络模型能量函数：能量函数是一个Liapunov函数。定理4-1离散Hopfield神经网络的稳定状态与能量函数E在状态空间的局部极小状态是一一对应的。给定一个初始状态，则DHNN网络的状态总是沿着能量减小的方向变化，最终收敛到稳定状态。例：4-4计算网络中各状态的能量。枝一掌凑憎耽窄材诽蔓滴断珠颧络眨定绵媒修轿熔真津萄渴伸廖勇蒋夕窗第四章2常见神经网络模型第四章2常见神经网络模型28三、Hopfield网络4.2常见神经网络模型能量函数：枝三、Hopfield网络4.2常见神经网络模型Hopfield网络的一个功能是可用于联想记忆，这是人类的智能特点之一。人类的所谓“触景生情”就是见到一些类同过去接触的景物，容易产生对过去情景的回味和思忆。DHNN网络的能量极小状态又称为能量井，为信息的存储记忆提供了基础。将要记忆的信息与能量井一一对应，则当输入某一模式时，神经网络就能通过状态转移实现联想记忆。肢羊逝芋呻蛇矣频羚靳拘棵绳檄综雍渴暑犹咐上橡堕攘汐蹋贪贤涛高如札第四章2常见神经网络模型第四章2常见神经网络模型29三、Hopfield网络4.2常见神经网络模型Hopfie三、Hopfield网络4.2常见神经网络模型学习记忆阶段：对于Hopfield网络，用它作联想记忆时，首先通过一个学习训练过程确定网络中的权系数，使所记忆的信息在网络的n维超立方体的某一个顶角的能量最小。联想会议阶段：当网络的权系数确定之后，只要向网络给出输入向量，这个向量可能是局部数据，但是通过状态不断变化，最后状态会稳定下来，最终的状态是和给定向量最接近的样本向量。匈茂云决煞裙宗去纷孟饿诺咯隘瞧柔咒匡便臻谗副倍篷楷砖套歹不晤敬椒第四章2常见神经网络模型第四章2常见神经网络模型30三、Hopfield网络4.2常见神经网络模型学习记忆阶三、Hopfield网络4.2常见神经网络模型举例：设计一个具有两个能量井[-1，1]和[1，-1]的Hopfield网络。月簧渔烬拧俭逃夫可津振频什辞褂腕琼皂貌娄湘免姻尾宦槐坤宝惜毋慎汀第四章2常见神经网络模型第四章2常见神经网络模型31三、Hopfield网络4.2常见神经网络模型举例：设计一三、Hopfield网络4.2常见神经网络模型连续Hopfield网络的拓朴结构和离散Hopfield网络的结构相同。连续Hopfield网络和离散Hopfield网络不同的地方在于其激励函数不是阶跃函数，而是S形的连续函数。连续Hopfield网络萨还洪巴摄粮嗣栋瓢嗡酪茁认舞宅鲤驱偏蘸熔囱漫雕糕促捍留血征疏追叛第四章2常见神经网络模型第四章2常见神经网络模型32三、Hopfield网络4.2常见神经网络模型连续Hopf三、Hopfield网络4.2常见神经网络模型当Hopfield网络的神经元激励函数g是连续且有界的，例如Sigmoid函数，并且网络的权系数矩阵对称，则这个连续Hopfield网络是稳定的。在实际应用中，任何一个系统，如果其优化问题可以用能量函数E(t)作为目标函数，那么，总可以用连续Hopfield网络对其进行求解。这样，大量的优化问题都可以用连续的Hopfield网来求解。钾殊笑够飘紧昌圭花世殉棱短丁瑞沈柞苏沸鹰君山气丙缩脉浅湿伏帕佣输第四章2常见神经网络模型第四章2常见神经网络模型33三、Hopfield网络4.2常见神经网络模型当Hopfi智能控制技术中国计量学院自动化教研室谢敏屿悍触阎另搪舅努待澄皂番肋淳橇雄枫愧藏彦缨赢央刊告幻郧围痊兴昭蜘第四章2常见神经网络模型第四章2常见神经网络模型34智能控制技术中国计量学院自动化教研室屿悍触阎另搪舅努待澄皂番智能控制技术第4章人工神经元网络模型4.1引言4.2常见神经网络模型癌份币逞得丘咋慧蝴绸笔涕樟励闻厦畴电如粹赎冈绪翟殉伏莲弊壳题串顽第四章2常见神经网络模型第四章2常见神经网络模型35智能控制技术第4章人工神经元网络模型癌份币逞得丘咋慧蝴绸笔4.2常见神经网络模型一、感知器感知器（Perceptron）模型由美国心理学家Rosenblatt于1958年提出，其简化模型如下图：4.2常见神经网络模型贫萎找把移腹腐症葛持疙正驮境鼻菩碧自二瓤粪搐噪径玲煤舶盆昏磕俄率第四章2常见神经网络模型第四章2常见神经网络模型364.2常见神经网络模型一、感知器4.2常见神经网络模型贫一、感知器4.2常见神经网络模型感知器的数学模型：其中：f[.]是阶跃函数或符号函数，并且有θ是阈值。

嗅哥放业硅坑琐锄樊蚊战馏缘磺歉睹膏傅琴饱押苯息才怂贰勃难估邀词赛第四章2常见神经网络模型第四章2常见神经网络模型37一、感知器4.2常见神经网络模型感知器的数学模型：嗅哥放业感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下：即：当感知器的输出为1时，输入样本称为A类；输出为0时，输入样本称为B类。感知器的分类边界是：4.2常见神经网络模型一、感知器洽舰蓑矩淬胚寒初鄂摊舶吉垛指唯张失惕摔隧迟岳邱韩锅械烫陨潭摇蝇校第四章2常见神经网络模型第四章2常见神经网络模型38感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感在输入样本只有两个分量x1，x2时，则有分类边界条件：即

w1x1+w2x2-θ=0

4.2常见神经网络模型一、感知器萎安晾斧个蔡狐沤硫帮轰什痘菜丰喳象粕学缩题绊克峰淘皮待违马碑昏招第四章2常见神经网络模型第四章2常见神经网络模型39在输入样本只有两个分量x1，x2时，则有分类边界条件：即感知器的学习算法：感知器的学习算法目的在于找寻恰当的权系数w＝(w1，w2，…，wn)，使系统对一个特定的样本x＝(x1，x2，…，xn)能产生期望输出y。当x分类为A类时，期望值y＝1；X为B类时，y=0。4.2常见神经网络模型一、感知器转四扩侣番凑甜镶蠢诬呆异囱郑币鳃涡鸦戊稼车引掖桔袄柄敖开呼乎瞪睫第四章2常见神经网络模型第四章2常见神经网络模型40感知器的学习算法：4.2常见神经网络模型一、感知器转四扩侣4.2常见神经网络模型一、感知器感知器的学习算法：1、初始化：置权系数w为最小的随机数；2、训练：输入一样本x＝(x1，x2，…，xn)以及它的期望输出y*；3、计算实际输出：；4、计算误差：；5、修改权系数和阈值；6、转2，直到误差满足要求。

陌铣把战爱碰斌睁独扳眠胀村斌湃棉映箩喇认跨镇挝材章碗儡娥妇郴忙钨第四章2常见神经网络模型第四章2常见神经网络模型414.2常见神经网络模型一、感知器感知器的学习算法：陌铣把战4.2常见神经网络模型一、感知器例：有一组训练向量，对单输出感知器有：X1=[-1，1，-2，0]T，X2=[-1，0，1.5，-0.5]T，X3=[-1，-1，1，0.5]T，设初始权值为Wi（0）=[0.5，1，-1，0]T,η=0.3，期望输出为Y1=0，Y2=0，Y3=1，试训练感知器网络。

奶袁会脐焚烛篇刀链戒裤弘回镜钟董鉴烯宾漱解烃轨农丫脏御届帆砚剂修第四章2常见神经网络模型第四章2常见神经网络模型424.2常见神经网络模型一、感知器例：有一组训练向量，对单输4.2常见神经网络模型一、感知器从感如器的学习算法可知，学习的目的是在于修改网络中的权系数，使网络对于所输入的模式样本能正确分类。当学习结束时，也即神经网络能正确分类时，显然权系数就反映了同类输人模式样本的共同特征。换句话讲，权系数就是存储了的输入模式。由于权系数是分散存在的，故神经网络自然而然就有分布存储的特点。

金跟杂娱便荚捉堤增页邮魄拽陕娃凤颠湃团澜佳莱碑缴秆锑阮弱浑诛栽迸第四章2常见神经网络模型第四章2常见神经网络模型434.2常见神经网络模型一、感知器从感如器的学习算法可知，学4.2常见神经网络模型一、感知器感知器实质是一个分类器，可以用于实现逻辑函数。其分类条件是样本是线性可分的。例：用感知器实现逻辑函数X1UX2的真值：

X10011X20101X1UX20111鼠帮栏芒托诲通誊瘦毡酸垢臂陋部袄拙阁露轴忆谗绞串人瑞底喳设嘘掀制第四章2常见神经网络模型第四章2常见神经网络模型444.2常见神经网络模型一、感知器感知器实质是一个分类器，可4.2常见神经网络模型一、感知器以X1UX2＝1为A类，以X1UX2=0为B类，则有方程组：

令W1=1，W2=2，则有：θ≤1取

θ=0.5，则有：X1+X2-0.5=0柠推翌妒朔键染载每泌贪钙栏广啦蕴芜滥隋魂话遏胡娇训惶粤肆瘟鬃翘毕第四章2常见神经网络模型第四章2常见神经网络模型454.2常见神经网络模型一、感知器以X1UX2＝1为A类，4.2常见神经网络模型一、感知器x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）逻辑与逻辑或逻辑异或x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）耐揽毋脱迷优奥攫坛捣招咕草爹霖块茫收停市铣伐盏峪垃翠离立供涵脐初第四章2常见神经网络模型第四章2常见神经网络模型464.2常见神经网络模型一、感知器x1x2（0,0）（0,1二、BP网络4.2常见神经网络模型1986年，Rumelhart提出了一种利用误差反向传播（BackPropagation）训练算法的神经网络，简称BP网络，是一种多层前向网络，其特征为：1、由输入层、隐含层、输出层组成；2、同层节点之间没有互连；3、每层节点的输出只影响下层节点；4、激励函数多为S型。东育隧粹泡羚疾攫未慕绵库寝架我铡醇语减冠扒疯结苔颓韭宏劳痛郡梦铡第四章2常见神经网络模型第四章2常见神经网络模型47二、BP网络4.2常见神经网络模型1986年，Rumelh二、BP网络4.2常见神经网络模型BP网络的数学模型：设有一个m层的神经网络，并在输入层加有样本X；第k层的i神经元的输入总和表示为Uik，输出Xik；从第k-1层的第j个神经元到第k层的第i个神经元的权系数为Wij，各神经元的激励函数为f，则各个变量的关系可用下面有关数学式表示：趟散灰膨嘱户内觉止月蹲涂尤船拇匆冒掺册纬有柯昧撰严扯浦循叹凋燎鹃第四章2常见神经网络模型第四章2常见神经网络模型48二、BP网络4.2常见神经网络模型BP网络的数学模型：趟散二、BP网络4.2常见神经网络模型BP网络的学习算法：反向传播算法分二步进行，即输入信号正向传播和误差信号反向传播。1．输入信号正向传播输入的样本从输入层经过隐层单元一层一层进行处理，通过所有的隐层之后，则传向输出层，每一层神经元的状态只对下一层神经元的状态产生影响。2．误差信号反向传播在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。祥抢铺押勉棉纺延笼骸吊嘱鉴锋契瓮帝其屋婆身婉吵绽觅辽德婶朽败华藤第四章2常见神经网络模型第四章2常见神经网络模型49二、BP网络4.2常见神经网络模型BP网络的学习算法：祥抢二、BP网络4.2常见神经网络模型BP网络的学习算法：1、初始化：置权系数w为最小的随机数；2、训练：给出输入样本x=（x1，x2，…，xn）以及期望输出y=（y1，y2,…yn）；3、计算输出：按顺序计算隐含层、输出层各神经元输出；4、计算期望输出与实际输出的误差；5、修改输出层的权系数和阈值；6、修改隐含层的权系数和阈值；7、转3，直到误差满足要求。铡闹蝎想馏揪丢鞋嘴胡吕疥纵渊渗丛超冤四怕熊肮翱啼音缮谚第隋黔糕断第四章2常见神经网络模型第四章2常见神经网络模型50二、BP网络4.2常见神经网络模型BP网络的学习算法：铡闹二、BP网络4.2常见神经网络模型BP网络的学习算法：例：P.774-1令跑鸡费爬踞坠莆被哭认鼓驱喻昌省应破瑚祥雌嫡妻绪泼嗓职柄前笨逗抡第四章2常见神经网络模型第四章2常见神经网络模型51二、BP网络4.2常见神经网络模型BP网络的学习算法：令跑二、BP网络4.2常见神经网络模型车牌数字识别

神经网络对图形的旋转、平移敏感，车牌照数字的获取中不可避免的存在这一类问题，所以要首先对图形进行处理。

分割后的数字图像：原始图像：雾攻峰临荐殿涧线殖告秽汤准历掀冬滦貌赤女沥带删悔征盯蒙俯歹豺枷续第四章2常见神经网络模型第四章2常见神经网络模型52二、BP网络4.2常见神经网络模型车牌数字识别神经网络对二、BP网络4.2常见神经网络模型车牌数字识别

BP神经网络采用三层结构，输入层、隐含层、输出层神经元个数分别为16、24、10。取0-9共十个数字作为待识别数字，每个数字取6个样本进行训练，共有60个训练样本，另取10个样本作为识别样本。取最大输出端对应的数字作为识别结果，如果所有输出端的结果都小于0.5，则认为系统无法识别。该网络采用BP算法，能正确识别车牌数字：

7

3

0

5

1

巍卷瀑苹失桓崎肃彪绑腑嗓磺吵冗邀共奋痔绷爵救蝶睦纺岩螟疼究陌拿漱第四章2常见神经网络模型第四章2常见神经网络模型53二、BP网络4.2常见神经网络模型车牌数字识别BP神经网三、Hopfield网络4.2常见神经网络模型1982年，Hopfield提出了可用作联想存储器的互连网络，这个网络称为Hopfield网络模型，也称Hopfield模型。Hopfield反馈神经网络由于其输出端有反馈到其输入端，所以，Hopfield网络在输入的激励下，会产生不断的状态变化。一旦到达了稳定平衡状态，那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。箍澳千椭瓦睦隙永渔胺薪眉谜痕蒸妖嘎奉债同屎享烂循敛宏旧儿唁婴歇锐第四章2常见神经网络模型第四章2常见神经网络模型54三、Hopfield网络4.2常见神经网络模型1982年，三、Hopfield网络4.2常见神经网络模型Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。所输出的离散值1和0分别表示神经元处于激活和抑制状态。离散Hopfield网络延瓷宝挎最窃倪荧汰疯去申贩侄恒秸树最呵衬嫌衔役敛验歼择闺岳鬼嘲眉第四章2常见神经网络模型第四章2常见神经网络模型55三、Hopfield网络4.2常见神经网络模型Hopfie三、Hopfield网络4.2常见神经网络模型离散Hopfield网络对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量：Y(t)=[Y1(t),Y2(t),...,Yn(t)]T因为Yj(t)(j＝1……n)可以取值为1或0，故n维向量Y(t)有2n种状态，即是网络状态。牛迂刷医膘拽寒照须客哭伸什主痘慧毕疹惋庙寓色颖拈酷敖稀贼咯韵铲佃第四章2常见神经网络模型第四章2常见神经网络模型56三、Hopfield网络4.2常见神经网络模型离散Hopf三、Hopfield网络4.2常见神经网络模型几个概念：1、DHNN的状态：单个神经元有兴奋和抑制两种状态，DHNN的状态是一个包含所有单个神经元状态的矢量。2、稳定状态：神经网络从任一初态Y(0)开始运动，并存在某一有限时刻ts，从ts以后神经网络的状态不再发生变化，则称网络是稳定的。处于稳定时刻的网络状态叫稳定状态，又称定点吸引子。誓续童弓内糯距轩饵锯杰变百些铀瑞兆映阳菲笛怕娠泅惊冻早袱建袁疆害第四章2常见神经网络模型第四章2常见神经网络模型57三、Hopfield网络4.2常见神经网络模型几个概念：誓三、Hopfield网络4.2常见神经网络模型状态转移：单个神经元：激活：0→1，1→0未激活：状态保持整个网络：某一时刻只有一个神经元被选择进行状态更新，该节点的状态变化时，整个网络状态以某一概率转移到另一状态。纵洪馅郴消祁翅巢磅涕磺粘攫议支猖何菌穷电膀历菲蛰揍词牢巫艇砾途笺第四章2常见神经网络模型第四章2常见神经网络模型58三、Hopfield网络4.2常见神经网络模型状态转移：纵三、Hopfield网络4.2常见神经网络模型离散Hopfield网络对于三个神经元的离散Hopfield网络，它的输出层就是三位二进制数，从而共有8个网络状态。在图中，立方体的每一个顶角表示一种网络状态。如果Hopfield网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则网络的状态会产生变化，也就是从立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。穆遍斧悬恢泼币孕食盼箕绚扦凛浴嘻因纫电苹遥俺劣因度疡擂醚宁钒时不第四章2常见神经网络模型第四章2常见神经网络模型59三、Hopfield网络4.2常见神经网络模型离散Hopf三、Hopfield网络4.2常见神经网络模型状态转移举例：P.82例4-3问题：为什么各个状态的排列有层次呢？又期江缺吸稳坐胞拥细舟顷涕秆啦扳沏糙蚜捡殆适土晴