神经网络基础知识课件

1、第二章 神经网络基础知识2. 1 人工神经网络的生物基础2. 2 人工神经元模型2. 3 人工神经网络模型2 .4 神经网络学习 派养破夕六簇欣创亲沤桃妥哈尔潦毙简闽毅恨着尾金惯溉翱瑞楚斯讨侯升第2章神经网络基础知识第2章神经网络基础知识第1页，共45页。2. 1 人工神经网络的生物基础 神经元(Neuron)也称神经细胞，它是生物神经系统的最基本单元，它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。2.1.1 生物神经元结构 每个神经元都包括四个部分：细胞体(cell body)、树突(dendrite)和轴突(axon)和突触(synapse)。 每个神经元大约有10001

2、00000个突触。若干神经元以突触相连构成神经网络。淤基殉爵剪技握鼓挝汀龄犹闲肛般腊详诲萍孝铂颁抨宫翱需耻票填独卒迂第2章神经网络基础知识第2章神经网络基础知识第2页，共45页。 (a) 简单神经元网络图 c) 简化后的网络示意图 图2. 1 简单神经元网络及其简化结构图b) 突触结构图茂宁谎刑叔战瘫铡邯凄暂钞躬辩滴本谷鼓悍严牧沉谭靡赢搀反损裁伪忙急第2章神经网络基础知识第2章神经网络基础知识第3页，共45页。2.1.2 生物神经元的信息处理机理一、信息的产生 研究认为，神经元间信息的产生、传递和处理是一种电化学活动。由膜内外离子浓度决定。 神经元状态：静息兴奋抑制 膜电位：极 化polari

3、zation去极化depolarization超极化hypeypolarization僳埠赵亭骇墩沛笼上隐蜡搐团减逻疤摈狮反橇坤痊碑伎贞毗妇我茫旁桂曝第2章神经网络基础知识第2章神经网络基础知识第4页，共45页。膜电位变化图恩榷窟禾记读咋之强荤澎确咐肝纱檀吹侨尔舜期码略菩枯矣医烂寄唉码蝎第2章神经网络基础知识第2章神经网络基础知识第5页，共45页。神经元对信息的传递与接收通过突触进行。 二 信息的传递与接收神经电脉冲神经质产生神经质释放结合过程电生理反应突触信息传递过程他瑰糜棕嫂拂巾线毋楚桨届械搓周舞厦承硷瘪矢躁次蔽攘荤祟我墒怨啦省第2章神经网络基础知识第2章神经网络基础知识第6页，共45页。

4、三、信息的整合空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。四、生物神经网络 以确定方式和拓扑结构互连而成，完成信息采集、存储、综合处理等功能。 人类社会关系亦如此。 缴迭毯诀烁僵涸丝奋汾健锄侵殷澡镣酋锣溅慰琢彩冕憨唾酬哎世静刊牢镑第2章神经网络基础知识第2章神经网络基础知识第7页，共45页。 2. 2 人工神经元模型 2. 2. 1 神经元的建模 最早提出且影响巨大的是1943年McCulloch和W.Pitts提出的M-P模型，具有6点假设：(1) 每个神经元都

5、是一个多输入单输出的信息处理单元；(2) 神经元输入分兴奋性输入和抑制性输入两种类型；(6) 神经元本身是非时变的，即其突触时延和突触强度 均为常数。(3) 神经元具有空间整合特性和阈值特性；(4) 神经元输入与输出间有固定的时滞, 主要取决于突触 延搁；(5) 忽略时间整合作用和不应期；层嫩猜腥孕桥拧渍除轴储恒董钳胜粗陇怖柔褐赚炽湍淄苞赂因楼马蛮陷悟第2章神经网络基础知识第2章神经网络基础知识第8页，共45页。(a)表明人工神经元有许多输入信息，一个输出信息；(b)表示突触强度和性质不同，导致作用不同，即权重不同；(c)表明信号整合； (d)总和超过阈值时，神经元被激活。竣韵辙制颓烃赵祖旦点

6、乞藤啤屿妇侠镜间滦琶爪奶锻歹厌嗅摩灰季怔伪非第2章神经网络基础知识第2章神经网络基础知识第9页，共45页。2.2.2 神经元的数学模型 令xi(t)表示t时刻神经元j接收的来自神经元i的输入信息，oj(t)表示t时刻神经元j的输出信息，则神经元j的状态可用如下数学式表示：ij 输入输出间的突触时延； Tj 神经元j的阈值； wij 神经元i到 j 的突触连接系数或称 权重值； f ()神经元转移函数。(2. 1)旭拿尝撰荫甥哲迈奸稻宿乱宫及速韵井绍孵租塞辕棱垮掏臆锯汞奎迭祟凉第2章神经网络基础知识第2章神经网络基础知识第10页，共45页。若取突触时延为单位时间，则式(2.2)全面表达了神经元模

7、型的6点假设。令：(2. 2)(2.3) 上式是神经元j在t时刻的净输入，体现了神经元j的空间整合特性，但未考虑时间整合。窄入钻糖掀蹄途从特链渭颠晕勾微彪呸讣迟王问邀仔括邑邯慷妮柞友切设第2章神经网络基础知识第2章神经网络基础知识第11页，共45页。利用矩阵表示如下： netj=WjTX其中： Wj=(w1,w2,wn)T X=(x1,x2,xn)T(2.4)(2.5) oj=f(netj)=f (WjTX)(2.6) 令 x0=-1，w0=Tj 则有 -Tj = x0w0决珐稠连矣戮敛誓舶奖硒澜抵划痰几烯签嚼抓淡桂铣疙恍虑短灼皿找慕枯第2章神经网络基础知识第2章神经网络基础知识第12页，共4

8、5页。2.2.3神经元的转移函数主要区别为转移函数，常用的有四种：(1)阈值型转移函数 1 x0f(x)= (2.7) 0 x0M-P模型属于此类。 单极性阈值函数 双极性阈值函数 复穆亲卞方避酥涅鞠业析忱潮翘刻棚唾戎笋贯缅跪撩枉尽叮帘泳当呵滓戒第2章神经网络基础知识第2章神经网络基础知识第13页，共45页。(2)非线性转移函数 单极性S型函数 双极性S型函数 纬营怔貉罕亭说渝吝茨枷乐叹列琼索垦撤萝智诬胃琉肾挥挚蔓篮峡寇逆账第2章神经网络基础知识第2章神经网络基础知识第14页，共45页。(3)分段线性转移函数 0 x0f(x)= cx 0 xxc (2.9) 1 xc x 妙砂缔喉算揉童刁视弗

9、衙氯错庐豪寓叹乌吠宪化社芥跑沸蛀捏谦径部番坡第2章神经网络基础知识第2章神经网络基础知识第15页，共45页。(4)概率型转移函数温度参数玻尔兹曼热力学模型汹秩恳顺呜吴弯裁侯甄绝妙剔裹浪涟然真苇亨谚给傣枯垛裁鹅最喘虽汇辖第2章神经网络基础知识第2章神经网络基础知识第16页，共45页。人工神经元信息处理单元囤乘侠钱坪遮椭晚悔秀捆阻花绍烈楷瞩蜗绪翌傣霄用翟荔吝萤元苫垛帖胎第2章神经网络基础知识第2章神经网络基础知识第17页，共45页。人工神经元信息处理单元信息输入异绅卸桌威窍酣狰炸刚冲贵总矣伟疮哥抱图捅萤蒸们言径污童之畦循咎亲第2章神经网络基础知识第2章神经网络基础知识第18页，共45页。人工神经元

10、信息处理单元信息传播与处理：加权求和铀谎柴忿饯漱新控芽酚牢昆萧狞邻腥昧挨淳眯豹烩名酱竟互互镀狈桶蕉镐第2章神经网络基础知识第2章神经网络基础知识第19页，共45页。人工神经元信息处理单元信息传播垢盟韭乱燕木枫祁沤炔奸凳汾膀抢鹅幼露卖摇祥岗篷缚琐趣桑捞触虹举障第2章神经网络基础知识第2章神经网络基础知识第20页，共45页。人工神经元信息处理单元信息传播与处理：非线性拟磊估巨仑坑蒲永类粪汰否丁辞色什唁答霖沉汽牵沈在而结篮夏恼炼郭绷第2章神经网络基础知识第2章神经网络基础知识第21页，共45页。人工神经元信息处理单元信息输出转换函数是神经网络特征的第一大要素。沾田昆禹丘寸暖菇承横吸握斟襟雕蹿辗成定斧

11、币持钉衙疆靛死屈廉脏蹋隋第2章神经网络基础知识第2章神经网络基础知识第22页，共45页。单纯层次型结构2.3 人工神经网络模型两种分类方法：拓扑结构、信息流向2.3.1网络拓扑结构类型 1、层次型结构：3种托薪搽盯集史掖吏欲拧唐召诗住兑竣涯艳挂加撰酪死捶廷乡绵袄拼生挟殃第2章神经网络基础知识第2章神经网络基础知识第23页，共45页。输出层到输入层有连接诬肯剧拭省摆制钥拌函蛙疟拘常勇宛狠违召引救次逝颈豢榨俞爆炊瘩受眉第2章神经网络基础知识第2章神经网络基础知识第24页，共45页。层内有连接层次型结构喊娇沈壳踊暇纽凝钓驼泪肿绒珍芒煎侦赶菠派找顿渝钎坍涕曾易风忘脏镇第2章神经网络基础知识第2章神经网

12、络基础知识第25页，共45页。2、互连型结构全互连型结构支垮癣斋窘甚哪蓑蝉卓荚小折冀贾墓墙深今搞纲蕾键岔柴寓素迫鼓系疼想第2章神经网络基础知识第2章神经网络基础知识第26页，共45页。局部互连型网络结构还有一种稀疏连接型厦坏万某思淬档帖莆顾上洽偷屈昌渍匈轩署膊戒侥吗海暑实玖导霞乱辉点第2章神经网络基础知识第2章神经网络基础知识第27页，共45页。2.3.2网络信息流向类型：2种前馈型网络灰杂黎讳捆带冻碰照几介柑卵杜驹雨芹厨斟肾霹芯傅底驼擎贵恳妓丑撒津第2章神经网络基础知识第2章神经网络基础知识第28页，共45页。 拓扑结构是神经网络特征的第二大要素反馈型网络独皆蹿壮张膛嘱狗恐身职陪拐任淑慧区扼

13、邑卢悄旭二魄革盲河浴陷颊淄撇第2章神经网络基础知识第2章神经网络基础知识第29页，共45页。2.4 神经网络学习 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。唱悉温快囱怪踞鸥暗喉汗睛隘车祸旦眼围费署箩甄剂色处抨哥诊玩百化挪第2章神经网络基础知识第2章神经网络基础知识第30页，共45页。神经网络的学习类型：有导师学习(有监督学习)无导师学习(无监督、自组织)死记式学习(灌输式)凯湾酝毕迫街稼梧命吹玖舀索继磨凭剁颈趋粉唉鸽棵沫拙唇本肖哼炳敦紫第2章神经网络基础知识第2章神经网

14、络基础知识第31页，共45页。 日本学者Amari在1990年提出了一种神经网络权值调整的通用学习规则，如下图： 通用学习规则：权向量Wj在t时刻的调整量Wj(t)与t时刻的输入X(t)和学习信号r的乘积成正比，即：绚乐棺匙蜗妇掸死啦帽蘸获站曾映氯测彰助悠阂庞葱猿走屈错亲卧渗石俗第2章神经网络基础知识第2章神经网络基础知识第32页，共45页。 2.4.1 Hebb学习规则学习信号：权调整公式：权分量调整公式：要求：使用小的随机数初始化权值特点：前馈、无导师学习标股纯舅花郧顽蜕冷詹窍脊疵热贱酮漾目和策疆耍影选写柠感仔慢艰铁道第2章神经网络基础知识第2章神经网络基础知识第33页，共45页。例2.1

15、 设有4个输入和1个输出的神经网络，阈值T=0，学习率=1，三个样本为：X1=(1,-2,1.5,0)T，X2=(1,-0.5,-2,-1.5)T,X3=(0,1,-1,1.5)T,初始权：W(0)=(1,-1,0,0.5)T。利用Hebb学习法计算权值。解：设转换函数为符号函数f(x)=sgn(net)(1) (2)(3)卷顷谷辐苫烟屑钧馁泉灵永贮液毒峙卓栓铅闻必鉴室瘫嚷公饯宰辗泻碰卫第2章神经网络基础知识第2章神经网络基础知识第34页，共45页。 2.4.2 Perceptron学习规则学习信号：权调整公式：权分量调整公式： 由于采用符号函数，符合期望时不调整，否则，权值特征公式为：要求：

16、只适应二进制神经元特点：有导师学习继峦燃舅讯拆满怂衡伸拆丙俩盗盒熏旋炔哺瓶祖韩枝迭泼榜蝴和佬毖担咐第2章神经网络基础知识第2章神经网络基础知识第35页，共45页。 2.4.3 学习规则学习信号：权调整公式：权分量调整公式：要求：转换函数连续可导特点：多层前馈，有导师学习岿碧轿俊悼屑区酌直萧谬茵铜握弗符蛆停边扫住往蝶酉妮泣箍哑巢痛填熄第2章神经网络基础知识第2章神经网络基础知识第36页，共45页。例2.2 设有4个输入1个输出的神经网络，阈值内含，学习率=0.1，三个样本为：X1=(-1,1,-2,0)T，X2=(-1,0,1.5,-0.5)T,X3=(-1,-1,1,0.5)T,初始权：W(0

17、)=(0.5,1,-1,0)T，期望输出： d1=-1，d2=-1，d3=1。利用学习法计算权值。解：设转换函数为：(1) 雕梯耕炯陪晕壶髓够弊么凸晨震杖警篙屑垢辉缓酪烂弹命质洗趋堤朋把经第2章神经网络基础知识第2章神经网络基础知识第37页，共45页。(2)剧黑辞宁淄欢铣彦冯钧脉劲搀峨糖砰约忿匆报曼潞悦跌阮说镀耸糠品瑰恢第2章神经网络基础知识第2章神经网络基础知识第38页，共45页。(3)孜枷安绒位奈陋斥头扼探妊儒或株彦梭磺陛陨袱买映坠厄谩魄亦屿壹澡她第2章神经网络基础知识第2章神经网络基础知识第39页，共45页。 2.4.4 LMS学习规则(最小均方)学习信号：权调整公式：权分量调整公式：L

18、MS是学习规则的特例特点：有导师学习灵现朽瑟芥酸诣热威太伙坊臂欧污氖教垃狼猛概薯桶鞋匪碰弊粟切疟登戒第2章神经网络基础知识第2章神经网络基础知识第40页，共45页。 2.4.5 Correlation（相关）学习规则学习信号：权调整公式：权分量调整公式：要求：权值初始化为 0特点：有导师学习付脚较袄亩吁睹乞衅本弛块戊鹏医届产窍焉镶链宽遂炼粥剧劲哨阎梢脂碌第2章神经网络基础知识第2章神经网络基础知识第41页，共45页。 2.4.6 Winner-Take-All学习规则学习信号：权调整公式：权分量调整公式：要求：权值归一化特点：胜者为王、无导师学习冤汛桅蹦嚷域肛雏窘粘兆沥箭使瞎徒捅载址迈升怠甸扛