《人工神经网络》PPT课件.ppt

1、医药信息分析与决策,第八章 人工神经网络,2,人脑的结构、机制和功能中凝聚着无比的奥秘和智慧。,地球是宇宙的骄子， 人类是地球的宠儿， 大脑是人的主宰。,现在是探索脑的奥秘，从中获得智慧，在其启发下构造为人类文明服务的高级智能系统的时候了！,15:45:53,本章要点,一、神经网络简介 二、MATLAB简介 三、神经网络建模基础 四、利用Microsoft SQL Server2005实践神经网络算法,3,医学信息分析与决策课程组,15:45:53,一、神经网络简介,人脑与计算机信息处理能力的比较 记忆与联想能力 学习与认知能力 信息加工能力 信息综合能力 信息处理速度,15:45:53,4,

2、医学信息分析与决策课程组,一、神经网络简介,人脑与计算机信息处理机制的比较 系统结构 信号形式 信息存储 信息处理机制,15:45:53,5,医学信息分析与决策课程组,一、神经网络简介,生物神经网络 人类的大脑大约有1.41011个神经细胞，亦称为神经元。每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。 人工神经网络 以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（Artificial Neural Network，缩写 ANN）。,15:45:53,6,医学信息分析与决策课程组,一、神经网络简介,人工神经网络定义

3、神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。 人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。,15:45:53,7,医学信息分析与决策课程组,一、神经网络简介,神经网络的基本特征,15:45:53,8,医学信息分析与决策课程组,能力特征： 自学习 自组织 自适应性,结构特征： 并行式处理 分布式存储 容错性,一、神经网络简介,15:45:53,9,医学信息分析与决策课程组,联想记忆功能

4、,神经网络的基本功能,一、神经网络简介,15:45:53,10,医学信息分析与决策课程组,神经网络的基本功能,非线性映射功能,神经网络的基本功能,15:45:53,11,医学信息分析与决策课程组,分类与识别功能,一、神经网络简介,神经网络的基本功能,15:45:53,12,医学信息分析与决策课程组,优化计算功能,一、神经网络简介,神经网络的基本功能,15:45:53,13,医学信息分析与决策课程组,知识处理功能,一、神经网络简介,神经网络的应用领域：信息处理领域 信号处理 模式识别 数据压缩,15:45:53,14,医学信息分析与决策课程组,一、神经网络简介,神经网络的应用领域：自动化领域 系

5、统识别 神经控制器 智能检测,15:45:53,15,医学信息分析与决策课程组,一、神经网络简介,神经网络的应用领域：工程领域 汽车工程 军事工程 化学工程 水利工程,15:45:53,16,医学信息分析与决策课程组,一、神经网络简介,神经网络的应用领域：医学领域 检测数据分析 生物活性研究 医学专家系统,15:45:53,17,医学信息分析与决策课程组,一、神经网络简介,神经网络的应用领域：经济领域 信贷分析 市场预测,15:45:53,18,医学信息分析与决策课程组,一、神经网络简介,神经网络的软硬件实现 神经网络编程语言既可用高级语言也可用低级语言。C语言是神经网络应用软件的基本编程工具

6、;汇编语言常用于提高神经网络的已有功能或解决与硬件相关的难点。 MATLAB名字由MATrix和 LABoratory 两词的前三个字母组合而成。20世纪七十年代后期，时任美国新墨西哥大学计算机科学系主任的Cleve Moler教授出于减轻学生编程负担的动机，为学生设计了一组调用LINPACK和EISPACK库程序的“通俗易用”的接口，此即用FORTRAN编写的萌芽状态的MATLAB。,15:45:53,19,医学信息分析与决策课程组,一、神经网络简介,神经网络的软硬件实现 MATLAB以商品形式出现后，仅短短几年，就以其良好的开放性和运行的可靠性，使原先控制领域里的封闭式软件包（如英国的UM

7、IST，瑞典的LUND和SIMNON，德国的KEDDC）纷纷淘汰，而改以MATLAB为平台加以重建。在时间进入20世纪九十年代的时候，MATLAB已经成为国际控制界公认的标准计算软件。,15:45:53,20,医学信息分析与决策课程组,一、神经网络简介,神经网络的软硬件实现 在欧美大学里，诸如应用代数、数理统计、自动控制、数字信号处理、模拟与数字通信、时间序列分析、动态系统仿真等课程的教科书都把MATLAB作为内容。这几乎成了九十年代教科书与旧版书籍的区别性标志。在那里，MATLAB是攻读学位的大学生、硕士生、博士生必须掌握的基本工具。,15:45:53,21,医学信息分析与决策课程组,一、神

8、经网络简介,神经网络的软硬件实现 MATLAB的推出得到了各个领域的专家学者的广泛关注，在此基础上，专家们相继推出了MATLAB工具箱，主要包括信号处理、控制系统、神经网络、图像处理、鲁棒控制、非线性系统控制设计、系统辨识、最优化、模糊逻辑、小波等工具箱，这些工具箱给各个领域的研究和工程应用提供了有力的工具。,15:45:53,22,医学信息分析与决策课程组,一、神经网络简介,参考文献 1人工神经网络教程（第1版）韩力群，北京：北京邮电大学出版社，2006年 2神经网络(影印版) , Satish Kumar ,北京：清华大学出版社 ， 2006年 3神经网络设计(英文版) （美）黑根 等著,

9、机械出版社，中信出版社，2002 4 神经网络模型及其MATLAB仿真程序设计，周开利，康耀红，北京：清华大学出版社 ， 2005年,15:45:53,23,医学信息分析与决策课程组,一、神经网络简介,二、MATLAB简介,MATLAB基本的学习方法 1、help指令 比如： help plot 2、lookfor指令：可以根据用户提供的完整或不完整的关键词，去搜索出一组与之有关的指令 3、doc、helpwin和helpdesk指令 4、demo指令 5、帮助菜单,15:45:53,24,医学信息分析与决策课程组,二、MATLAB简介,语言规则 MATLAB要区分大小写，它的命令全是小写的。

10、一行可以输入几个命令，用“；”或“，”隔开。如用“；”则该函数的执行结果不显示（图形函数除外）。如用“”则该函数的运行结果要显示。,15:45:53,25,医学信息分析与决策课程组,二、MATLAB简介,数值与变量 数值 变量： 变量名、函数名是对大小写很敏感的，两个字符串表示的变量，字母都相同，大小写不同，也视为不同的变量； 第一个字母必须是英文字母； 字符间不可留空格； 最多只能有31个字符（只能用英文字母、数字和下连字符） 一行中“%”后的内容仅作注释用，对MATLAB的计算不产生任何影响。,15:45:53,26,医学信息分析与决策课程组,二、MATLAB简介,数值与变量 Who、Wh

11、os、Clear和永久变量 符号变量：syms x,15:45:53,27,医学信息分析与决策课程组,二、MATLAB简介,数据的输入和输出 （1）直接输入 （2）利用语句或函数产生 “初值:步长:终值” 产生一个行向量（行矩阵）。当步长为1时可以省略。如：1:5;1:2:6 特殊命令：linspace(x,x2,n): ones(n) （3）用input指令输入单个参数 （4）用小型矩阵或用数据文件输入,15:45:53,28,医学信息分析与决策课程组,二、MATLAB简介,矩阵元素的操作 （1）矩阵元素的提取： （2）小矩阵构造大矩阵。 （3）：可以用它来删除矩阵的行列，或整个矩阵。,15

12、:45:53,29,医学信息分析与决策课程组,二、MATLAB简介,运算符 算术运算符：+，-，*,/, 关系运算符：=,=,=,15:45:53,30,医学信息分析与决策课程组,二、MATLAB简介,M文件的编辑与建立 命令文件 按在指令窗口中的指令输入顺序，依次将指令编辑在命令文件中。 如果某个命令的结果不需要显示出则在该命令后加上“；”，注意文件名一定是“.m”。如： 函数文件 function 返回变量列表=函数名（输入变量列表） 命令文件的变量在文件执行完后保留在内存；而函数文件内定义的变量仅在函数文件内部起作用，当函数文件执行完成后，这些内部变量将被清除。,15:45:53,31,

13、医学信息分析与决策课程组,二、MATLAB简介,绘图命令 plot：绘制二维线性图形及两个坐标轴； plot(x,y)表示以x为横坐标，y为纵坐标的图形。 x=0:pi/100:2*pi;y=sin(x);plot(x,y) plot3：绘制三维线性图形及三个坐标轴；plot3(x,y,z) t=0:pi/100:6*pi;x=cos(t);y=sin(t);z=2*t;plot3(y,x,z),15:45:53,32,医学信息分析与决策课程组,二、MATLAB简介,M文件的编辑与建立 命令文件 按在指令窗口中的指令输入顺序，依次将指令编辑在命令文件中。 如果某个命令的结果不需要显示出则在该命

14、令后加上“；”，注意文件名一定是“.m”。如： 函数文件 function 返回变量列表=函数名（输入变量列表） 命令文件的变量在文件执行完后保留在内存；而函数文件内定义的变量仅在函数文件内部起作用，当函数文件执行完成后，这些内部变量将被清除。,15:45:53,33,医学信息分析与决策课程组,二、MATLAB简介,Matlab的编程 条件语句 if条件1 语句块1 else 语句块2 end,15:45:53,34,医学信息分析与决策课程组,二、MATLAB简介,Matlab的编程 switchcaseend分支结构 Switch 表达式 Case 常量表达式1 语句块1 case 常量表达

15、式2 语句块2 case常量表达式n，常量表达式n+1, 常量表达式n+2 语句块n otherwise 语句块n+1 end,15:45:53,35,医学信息分析与决策课程组,二、MATLAB简介,Matlab的编程 for循环语句 for循环变量=初值:步长:终值 循环体 end,15:45:53,36,医学信息分析与决策课程组,二、MATLAB简介,Matlab的编程 while循环语句 while条件， 循环 end,15:45:53,37,医学信息分析与决策课程组,三、神经网络建模基础,神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统

16、的最小单元。 生物神经元 生物神经网络,15:45:53,38,医学信息分析与决策课程组,三、神经网络建模基础,生物神经元,15:45:53,39,医学信息分析与决策课程组,生物神经元在结构上由: 细胞体(Cell body)、 树突(Dendrite)、 轴突(Axon)、 突触(Synapse) 四部分组成。用来完成神经元间信息的接收、传递和处理。,人工神经网络的生物学基础,15:45:53,40,三、神经网络建模基础,生物神经元:信息的产生 神经元间信息的产生、传递和处理是一种电化学活动。,15:45:53,41,医学信息分析与决策课程组,神经元状态： 静息 兴奋 抑制,膜电位： 极 化

17、 去极化 超极化,三、神经网络建模基础,15:45:53,42,三、神经网络建模基础,15:45:53,43,医学信息分析与决策课程组,生物神经元:信息的传递与接收,三、神经网络建模基础,15:45:53,44,医学信息分析与决策课程组,生物神经元:信息的整合,空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。,时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。,生物神经网络,15:45:53,45,医学信息分析与决策课程组,由多个生物神经元以确定方式和拓扑结构 相互连接即形成生物神经网络。,生物神经网络的功能不是单个

18、神经元信息 处理功能的简单叠加。,神经元之间的突触连接方式和连接强度不 同并且具有可塑性，这使神经网络在宏观 呈现出千变万化的复杂的信息处理能力。,三、神经网络建模基础,三、神经网络建模基础,神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元 人工神经元(节点) 从三个方面进行模拟: 节点本身的信息处理能力 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整),15:45:53,46,医学信息分析与决策课程组,决定人工神经网络整体性能的三大要素,三、神经网络建模基础,节点本身的信息处理能力(数学模型) 节点与节点之间连接(拓扑结构) 相互连接的强度(通过

19、学习来调整),15:45:53,47,医学信息分析与决策课程组,三、神经网络建模基础,模型的六点假设： (1) 每个神经元都是一个多输入单输出的信息处理单元； (2) 神经元输入分兴奋性输入和抑制性输入两种类型； (3) 神经元具有空间整合特性和阈值特性； (4)神经元输入与输出间有固定的时滞, 主要取决于突触延搁； (5) 忽略时间整合作用和不应期； (6) 神经元本身是非时变的，即其突触时延和突触强度均为常数。,15:45:53,48,医学信息分析与决策课程组,三、神经网络建模基础,假设1 图(a) 表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大

20、小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。,15:45:53,49,医学信息分析与决策课程组,三、神经网络建模基础,假设2 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。,15:45:53,50,医学信息分析与决策课程组,三、神经网络建模基础,假设3 作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合

21、输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时, 神经元才被激活而发放脉冲, 否则神经元不会产生输出信号。,15:45:53,51,医学信息分析与决策课程组,三、神经网络建模基础,假设4 图(d) 人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。,15:45:53,52,医学信息分析与决策课程组,三、神经网络建模基础,15:45:53,53,医学信息分析与决策课程组,ij 输入输出间的突触时延； Tj 神经元j的阈值； w

22、ij 神经元i到 j 的突触连接系数或称 权重值； f ( )神经元转移函数。,(1),上述内容可用一个数学表达式进行抽象与概括。令xi(t)表示t时刻神经元j接收的来自神经元i的信息输入，oj(t)表示t时刻神经元j的信息输出，则神经元j的状态可表达为1式。,三、神经网络建模基础,15:45:53,54,三、神经网络建模基础,(2),为简单起见，将1上式中的突触时延取为单位时间，则式(1)可写为2式。,上式描述的神经元数学模型全面表达了神经元模型的6点假定。其中输入xi的下标i=1,2,n，输出oj的下标j体现了神经元模型假定(1)中的“多输入单输出”。权重值wij的正负体现了假定(2)中“

23、突触的兴奋与抑制”。Tj代表假定(3)中神经元的“阈值”；“输入总和”常称为神经元在t时刻的净输入，,15:45:53,55,神经元的数学模型：,(3),三、神经网络建模基础,15:45:53,56,医学信息分析与决策课程组,netj(t) 体现了神经元j的空间整合特性而未考虑时间整合，当netj-Tj0时，神经元才能被激活。oj(t+1)与xI(t)之间的单位时差代表所有神经元具有相同的、恒定的工作节律，对应于假定(4)中的“突触延搁”；wij与时间无关体现了假定(6)中神经元的“非时变”。,神经元的数学模型：,netj=WjTX,(4),三、神经网络建模基础,15:45:53,57,医学信

24、息分析与决策课程组,为简便起见，在后面用到式(3)时，常将其中的(t)省略。式(3)还可表示为权重向量Wj和输入向量X的点积WTX。 其中Wj和X均为列向量，定义为,Wj=(w1 w2 wn）T，X=(x1 x2 xn)T,如果令x0=-1，w0=Tj，则有-Tj=x0w0，因此净输入与阈值之差可表达为,神经元的数学模型：,(5),oj=f(netj)=f (WjTX),(6),三、神经网络建模基础,15:45:53,58,医学信息分析与决策课程组,显然，式(2.4)中列向量Wj和X的第一个分量的下标均从1开始，而式(5)中则从0开始。采用式(5)的约定后，净输入改写为netj，与原来的区别是

25、包含了阈值。综合以上各式，神经元模型可简化为,神经元的数学模型：,三、神经网络建模基础,神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。,15:45:53,59,医学信息分析与决策课程组,(1)阈值型转移函数,1 x0 f(x)= (7) 0 x0,三、神经网络建模基础,15:45:53,60,医学信息分析与决策课程组,神经元的转移函数：,(2)非线性转移函数,三、神经网络建模基础,15:45:53,61,医学信息分析与

26、决策课程组,非线性转移函数为实数域R到0.1闭集的非减连续函数，代表了状态连续型神经元模型。最常用的非线性转移函数是单极性的sigmoid函数曲线 ，简称 S型函数 。其特点是函数本身及其导数都是连续的，因而在处理上十分方便。 S型函数函数又分为单极性和双极性两种，分别定义如下：,神经元的转移函数：,(2)非线性转移函数,三、神经网络建模基础,15:45:53,62,医学信息分析与决策课程组,神经元的转移函数：,(3)分段线性转移函数,三、神经网络建模基础,15:45:53,63,医学信息分析与决策课程组,该函数特点是神经元的输入与输出在一定区间内满足线性关系，模拟了实际系统中的饱和特性。由于

27、具有分段线性的特点，因而在实现上比较简单。这类函数也称为伪线性函数，表达式如下：,神经元的转移函数：,(3)分段线性转移函数,0 x0 f(x)= cx 0 xxc (9) 1 xc x,三、神经网络建模基础,15:45:53,64,医学信息分析与决策课程组,神经元的转移函数：,(4)概率型转移函数,温度参数,三、神经网络建模基础,15:45:53,65,医学信息分析与决策课程组,采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的，需用一个随机函数来描述输出状态为1或为0的概率。设神经元输出为1的概率为,由于采用该转移函数的神经元输出状态分布与热力学中的玻尔兹曼（Boltzmann

28、）分布相类似，因此这种神经元模型也称为热力学模型。,神经元的转移函数：,三、神经网络建模基础,节点本身的信息处理能力(数学模型) 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整),15:45:53,66,医学信息分析与决策课程组,三、神经网络建模基础,人工神经网络的模型很多，可以按照不同的方法进行分类。其中常见的两种分类方法是，按网络连接的拓扑结构分类和按网络内部的信息流向分类。,15:45:53,67,医学信息分析与决策课程组,三、神经网络建模基础,分类： 按网络连接的拓扑结构分类 层次型结构 互连型网络结构 按网络内部的信息流向分类 前馈型网络 反馈型网络,15:45:54

29、,68,医学信息分析与决策课程组,三、神经网络建模基础,层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。 互连型网络结构：网络中任意两个节点之间都可能存在连接路径.,15:45:54,69,医学信息分析与决策课程组,人工神经网络模型,网络拓扑结构类型,层次型结构,三、神经网络建模基础,15:45:54,70,医学信息分析与决策课程组,输出层到输入层有连接,三、神经网络建模基础,网络拓扑结构类型,15:45:54,71,医学信息分析与决策课程组,层内有连接层次型结构,三、神经网络建模基础,网络拓扑结构类型,15:45:54,72,全互连型结构,三、神经网络建

30、模基础,网络拓扑结构类型,15:45:54,73,局部互连型网络结构,三、神经网络建模基础,网络拓扑结构类型,15:45:54,74,网络信息流向类型,前馈型网络 前馈:网络信息处理的方向是从输入层到各隐层再到输出层逐层进行 反馈型网络 在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。,15:45:54,75,医学信息分析与决策课程组,三、神经网络建模基础,前馈型网络,网络信息流向类型,15:45:54,76,医学信息分析与决策课程组,三、神经网络建模基础,反馈型网络,网络信息流向类型,15:45:54,77,三、神经网络建模基础,节点本身的信息

31、处理能力(数学模型) 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整),15:45:54,78,医学信息分析与决策课程组,三、神经网络建模基础,神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。,神经网络学习,15:45:54,79,医学信息分析与决策课程组,三、神经网络建模基础,神经网络的学习类型：,有导师学习(有监督学习),无导师学习(无监督学习),死记式学习,神经网络学习,15:45:54,80,三、神经网络建模基础,学习的过程（权值调整的一般情况 ）,1

32、5:45:54,81,医学信息分析与决策课程组,三、神经网络建模基础,1949年，心理学家D.O.Hebb最早提出关于神经网络学习机理的“突触修正”的假设。 假设：当神经元i与j同时处于兴奋时，两者之间的连接强度应增强。,神经网络学习 Hebb学习规则,15:45:54,82,医学信息分析与决策课程组,三、神经网络建模基础,例：设有4输入单输出神经元模型，其阀值T=0，学习效率1，3个输入样本向量和初始权向量分别为X1=(1,-2,1.5,0), X2=(1,-0.5,-2,-1.5)T, X3=(0,1,-1,1.5)T,W(0)=(1,-1,0,0.5)T,神经网络学习,15:45:54,83,医学信息分析与决策课程组,三、神经网络建模基础,1958年，美国学者Fr