【办公资料】人工神经网络-数学建模培训课件

人工神经网络

1.人工神经网络基本概念

2.单层前向神经网络------线性网络3.单层前向神经网络(wǎngluò)------阶跃网络(wǎngluò)

4.多层前向神经网络5.MATLAB的图像(túxiànɡ)交互界面2023/7/211信息工程大学(dàxué)韩中庚凌光凌光第一页，共38页。人工神经网络基本概念1．1生物神经元及生物神经网络 神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围(zhōuwéi)延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。 人脑大约由1012个神经元组成，神经元互相连接成神经网络.2023/7/212信息工程大学(dàxué)韩中庚凌光凌光第二页，共38页。人工神经网络基本概念图1生物(shēngwù)神经元示意图2023/7/213信息工程大学(dàxué)韩中庚凌光凌光第三页，共38页。人工神经网络基本概念 从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值(yùzhí)电位后，突触前膜将向突触间隙释放神经传递的化学物质。突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。2023/7/214信息工程大学(dàxué)韩中庚凌光凌光第四页，共38页。人工神经网络基本概念1．2人工神经元模型 生物(shēngwù)神经元是一个多输入、单输出单元。常用的人工神经元模型可用图2模拟。图2人工(réngōng)神经元模型2023/7/215信息工程大学(dàxué)韩中庚凌光凌光第五页，共38页。人工神经网络基本概念响应函数（激活函数）的基本作用：1、控制输入对输出(shūchū)的激活作用；2、对输入、输出(shūchū)进行函数转换；3、将可能无限域的输入变换成指定的有限范围内的输出(shūchū)。2023/7/216信息工程大学(dàxué)韩中庚凌光凌光第六页，共38页。人工神经网络基本概念 常见(chánɡjiàn)的响应函数有以下几种类型：1、阶跃函数(hánshù)2、线性函数(hánshù)3、非线性：Sigmoid函数

2023/7/217信息工程大学韩中庚凌光

凌光第七页，共38页。人工神经网络基本概念图3常见(chánɡjiàn)响应函数2023/7/218信息工程大学(dàxué)韩中庚凌光凌光第八页，共38页。人工神经网络基本概念1.3建立和应用神经网络(wǎngluò)的步骤

（1）网络(wǎngluò)结构的确定 包含网络(wǎngluò)的拓扑结构和每个神经元相应函数的选取；（2）权值和阈值的确定 通过学习得到，为有指导的学习，也就是利用已知的一组正确的输入、输出数据，调整权和阈值使得网络(wǎngluò)输出与理想输出偏差尽量小；（3）工作阶段 用带有确定权重和阈值的神经网络(wǎngluò)解决实际问题的过程，也叫模拟（simulate）。

2023/7/219信息工程大学(dàxué)韩中庚凌光凌光第九页，共38页。单层前向线性网络2.1单层前向神经网络

网络中的神经元是分层排列的。

单层： 只有输入和输出层。前向： 信息由上一层的神经元向下一层神经元传递(chuándì)，即：上层的输出就是下层的输入；同层神经元之间没有信息传递(chuándì)。2023/7/2110信息工程大学(dàxué)韩中庚凌光凌光第十页，共38页。单层前向线性网络2023/7/2111信息工程大学(dàxué)韩中庚凌光凌光第十一页，共38页。单层前向线性网络2023/7/2112信息工程大学(dàxué)韩中庚凌光凌光第十二页，共38页。单层前向线性网络……x1x2…xmy1y2ynwnmw11wn1wn2w1m输出层输入层 图3

单层前向神经网络

2023/7/2113信息工程大学(dàxué)韩中庚凌光凌光第十三页，共38页。单层前向线性网络2023/7/2114信息工程大学(dàxué)韩中庚凌光凌光第十四页，共38页。单层前向线性网络2.2线性网络 采用线性相应(xiāngyīng)函数，得2023/7/2115信息工程大学(dàxué)韩中庚凌光凌光第十五页，共38页。单层前向线性网络 理论上这是一个很好的结果。另一种，学习(xuéxí)过程面对自适应性网络，采用的学习(xuéxí)规则为：误差修正规则2023/7/2116信息工程大学(dàxué)韩中庚凌光凌光第十六页，共38页。单层前向线性网络2023/7/2117信息工程大学(dàxué)韩中庚凌光凌光第十七页，共38页。单层前向线性网络体会：最小二乘规则与误差修正规则的区别(qūbié)。感受：牛顿迭代与误差修正在梯度下降方面的异同。2023/7/2118信息工程大学(dàxué)韩中庚凌光凌光第十八页，共38页。单层前向线性网络2.3线性网络的MATLAB实现 MATLAB产生线性网络的命令： net=newlin(A,n); 其中，A为m×2的矩阵(jǔzhèn)，m为输入变量的个数，每一行分别表示对应输入变量的下、上界；n为输出变量的个数。 最小二乘规则的学习命令： net=newlind(P,T); 其中，P为学习的输入数据矩阵(jǔzhèn),T为学习的理想输出矩阵(jǔzhèn)。

2023/7/2119信息工程大学(dàxué)韩中庚凌光凌光第十九页，共38页。单层前向线性网络计算网络输出的命令： result=sim(net,P)P为工作阶段需要计算的输入矩阵。误差修正规则(guīzé)的学习命令： net=train(net,P,T)利用误差修正，对P,T一对对的学习，每学习一遍称为一轮（epoch）.默认学习效率为1.在用该命令前，需给定平均（误差）方差上限和计算的最大轮数。2023/7/2120信息工程大学(dàxué)韩中庚凌光凌光第二十页，共38页。单层前向线性网络例1：例2：例3：2023/7/2121信息工程大学(dàxué)韩中庚凌光凌光第二十一页，共38页。人工神经网络3.1基本原理2023/7/2122信息工程大学(dàxué)韩中庚凌光凌光第二十二页，共38页。三.阶跃网络3.2阶跃网络的MATLAB实现 产生网络的命令： net=newp(A,n); 数据意义(yìyì)和其他命令均与线性网络相同。例4：略2023/7/2123信息工程大学(dàxué)韩中庚凌光凌光第二十三页，共38页。四.多层前向神经网络x1输出层隐藏层输入层x2xn…………图4

二层前向神经网络示意图

2023/7/2124信息工程大学(dàxué)韩中庚凌光凌光第二十四页，共38页。四.多层前向神经网络若每一层都采用(cǎiyòng)线性相应函数，则有2023/7/2125信息工程大学(dàxué)韩中庚凌光凌光第二十五页，共38页。四.多层前向神经网络4.1BP（back-propagation）规则(guīzé)2023/7/2126信息工程大学(dàxué)韩中庚凌光凌光第二十六页，共38页。四.多层前向神经网络学习算法过程：（1）给定学习数组，随机确定初始化权矩阵；给定最小二乘目标函数的偏差上界和迭代次数；（2）用逐一或者成批学习规则修正权值，直到到达(dàodá)偏差要求或者迭代次数上限。2023/7/2127信息工程大学(dàxué)韩中庚凌光凌光第二十七页，共38页。四.多层前向神经网络应用BP网络时注意事项：响应函数为S形函数，只能趋于0或者1；初始权和阈值最好随机选取；算法的全局最优可以通过其他方法改进得到；BP算法主要采用与梯度下降有关的学习方法，非线性函数优化有很多的方向下降法，这些方法都可以应用过来(guò〃lái)。比如：traingdm（势能修正法）、traingdx（自调整学习效率法）、trainbfg（拟牛顿法）、trainscg（标量共轭梯度法）等等。2023/7/2128信息工程大学(dàxué)韩中庚凌光凌光第二十八页，共38页。四.多层前向神经网络4.2MATLAB实现产生多层网络结构的命令： net=newff(A,B,{C},'trainfun'); A同前，规模为n0×2,代表(dàibiǎo)n0个输入的下、上界B是一个K为行向量，其分量为对应层神经元个数，C是一个K维字符串向量，每个字符串代表(dàibiǎo)对应层神经元的响应函数；trainfun为学习规则。可选响应函数字符串：logsig,tansig,purelin分代表(dàibiǎo)：Sigmoid，双曲正切，线性函数2023/7/2129信息工程大学(dàxué)韩中庚凌光凌光第二十九页，共38页。四.多层前向神经网络常见参数：net.trainParam.show显示中间结果的周期（25）net.trainParam.lr整批学习(xuéxí)中的学习(xuéxí)效率（）net.trainParam.mc势能学习(xuéxí)规则(traingdm)势能率（）net.trainParam.epochs整批学习(xuéxí)迭代次数上限（100）net.trainParam.goal最小二乘目标误差设定值（0）2023/7/2130信息工程大学(dàxué)韩中庚凌光凌光第三十页，共38页。四.多层前向神经网络4.3应用举例例5：例6：谵妄的诊断谵妄是由于各种原因引起的急性脑器质性综合症，其特点是急性发病，意识水平变化，病程波动，定向力、注意力、思维(sīwéi)、精神运动、行为和情感改变。根据国外1980年以后的有关谵妄研究文献的报道，谵妄的发病率为4%~25%。目前对谵妄的发病机制还了解不多，诊断的方式常采用多个指标综合评价。2023/7/2131信息工程大学(dàxué)韩中庚凌光凌光第三十一页，共38页。四.多层前向神经网络如对老年人谵妄，通常采用检查表的方式确诊，检查表中的11个项目包含：急性起病：病人的精神状况(zhuàngkuàng)有急性变化的证据吗？注意障碍：患者的注意力难以集中吗？思维混乱：患者的思维是凌乱或是不连贯吗？意识水平的改变：总体上看，您如何评价该患者的意识水平？定向障碍：在会面的任何时间患者存在定向障碍吗？记忆力减退：在面谈时患者表现出记忆方面的问题吗？知觉障碍：患者有知觉障碍的证据吗？精神运动性兴奋：面谈时患者的行为活动有不正常的增加吗？精神运动性迟缓：面谈时患者有运动行为水平的异常减少吗？波动性：患者的精神状况(zhuàngkuàng)（注意力、思维、定向、记忆力）在面谈前或者在面谈中有波动吗？睡眠-觉醒周期的改变：患者有睡眠-觉醒周期紊乱的证据吗？2023/7/2132信息工程大学(dàxué)韩中庚凌光凌光第三十二页，共38页。四.多层前向神经网络 针对以上11个问题，医生对病人进行观察和提问，每项分4个等级打分(dǎfēn)：不存在—1分；轻度存在—2分；中度存在—3分；严重存在—4分。数据为一个医生对96名测试人员的观察和提问，并通过计分方式记录下来的直观诊断。诊断标准为：22分以上可诊断为谵妄，在量表诊断一列中记为Y（否则记为N）。这样的标准是否合理？2023/7/2133信息工程大学(dàxué)韩中庚凌光凌光第三十三页，共38页。四.多层前向神经网络序号起病注意思维意识定向记忆错觉兴奋迟滞波动睡眠22分标准量表诊断13322212313325Y24443333414436Y33322332213428Y…………961222111311217N2023/7/2134信息工程大学(dàxué)韩中庚凌光凌光第三十四