神经网络方法-课件

7神经网络方法7.1人工神经网络综述7.2人工神经元模型7.3人工神经网络的结构模型7.4人工神经网络的学习算法7.5人工神经网络的特点和优越性7.6人工神经网与信息融合的结合7.7神经网络融合实例17神经网络方法7.1人工神经网络综述17.1人工神经网络综述二十世纪八十年代，人工神经网络取得了重大进展，在诸如手写体邮政编码判读，蛋白质二级结构的识别，热力学参数的求取，催化剂设计等许多方面取得成功，发展成为一门介于物理、数学、计算机科学、神经生物学之间的交叉学科。人工神经网络就是采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。它是由很多处理单元有机地联接起来，进行并行的工作，它的处理单元十分简单，其工作是“集体”进行的，它的信息传播，存贮方式与神经网络相似，没有运算器、存贮器、控制器这些现代计算机的基本单元，而是相同的简单处理器的组合。它的信息是存贮在处理单元之间的连接上，因而它是与现代计算机完全不同的系统。27.1人工神经网络综述二十世纪八十年代，人工神经网络取得了7.2

人工神经元模型—神经组织的基本特征37.2人工神经元模型—神经组织的基本特征37.2

人工神经元模型—MP模型从全局看，多个神经元构成一个网络，因此神经元模型的定义要考虑整体，包含如下要素：（1）对单个人工神经元给出某种形式定义；（2）决定网络中神经元的数量及彼此间的联结方式；（3）元与元之间的联结强度（加权值）。1943年，仿照人类神经元的基本特征，McCulloch和Pitts提出了历史上第一个神经元模型，称为M-P模型，这一模型形式上表示为：47.2人工神经元模型—MP模型从全局看，多个神经元构成一个7.3

人工神经网络的结构模型 单层人工神经网络 两层人工神经网络根据神经元之间连接方式的不同，人工神经网络可分为:不含反馈的前向网络、从输出层到输入层有反馈的前向网络、层内有相互连接的前向网络、相互组合型网络。从学习方式角度可分为有教师学习网络和无教师学网络；按层次划分，可分为单层、两层和多层（但一般不超过3层）。57.3人工神经网络的结构模型 单层人工神经网络 7.4

人工神经网络的学习算法NN的工作过程分学习、训练阶段和回忆阶段。其学习方式有如下几种:(1)死记式学习:将网络事先设计成特殊记忆的模式，以后当给定有关该系统的输入信息时，它们就被回忆起来。(2)从例子中学习:在学习时给网络提供一个输入信息，教师给出正确的输出信息，对系统进行训练，调节系统权值，以使系统输出更接近期望结果，感知器就是这种教师学习的例子。(3)无导师学习:将网络设计成不需要教师直接指点的学习方式，如竞争学习系统。67.4人工神经网络的学习算法NN的工作过程分学习、7.5

人工神经网络的特点和优越性第一，具有自学习功能。例如图像识别，只需先把不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。第二，具有联想存储功能。人的大脑是具有联想功能的。用人工神经网络的反馈网络就可以实现这种联想。第三，具有容错性。神经网络可以从不完善的数据图形进行学习和作出决定。由于知识存在于整个系统而不是一个存储单元中，一些结点不参与运算，对整个系统性能不会产生重大影响。所以，神经网络承受硬件损坏的能力比一般计算机强得多。第四，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。77.5人工神经网络的特点和优越性第一，具有自学习功能。例如7.6

人工神经网络与信息融合的结合利用神经网络实现信息融合技术，具有很多优越性:(1)神经网络的信息存储在网络的连接权值和连接结构上，使得传感器的信息表示具有统一的形式，便于管理和建立知识库;(2)神经网络可增加信息处理的容错性，当某个信源的数据出现差错时，神经网络的容错功能可以使系统正常工作，并输出可靠的信息;(3)神经网络的自学习和自组织功能，使系统能适应环境的不断变化以及输入数据的不确定性;(4)神经网络的并行结构和并行处理机制。使得信息处理速度快，能够满足信息的实时处理要求。87.6人工神经网络与信息融合的结合利用神经网络实现信息融合7.7

神经网络实例火灾探测是一种特殊类型的信号检测，由传感器采集的火情参数一方面具有不确定性，另一方面其不仅随火灾特征而变化，也可能随环境变化和存在噪声等而有所改变，而且这种变化往往与火灾参数变化特征基本相似，容易引起误报。因此近年来出现了复合火灾探测器，即采用多通道传感器获得多个信号参数如温度、烟雾等经过处理后判断火灾情况，然而如何由多种信号分析合成得到最终的判断结果，并能适应各种不同环境情况的有效算法还亟待研究。97.7神经网络实例火灾探测是一种特殊类型的信号检测，由传感神经网络实例(续)10神经网络实例(续)10局部决策鉴于不同火情下多传感器系统测试的多个火情信息具有很大的相关不确定性，如：明火条件下伴随着温度和烟雾信号的急剧增大同时湿度的下降；阴燃火发生时则往往伴随着烟雾的增大同时温度和湿度的基本稳定；而一些典型的干扰信号如厨房内是烟雾、温度、湿度信号同时增大；因此分布式检测系统首先对一种传感器采集的单一信号进行局部决策，再送入融合中心根据其关联性得出最终决策。

11局部决策鉴于不同火情下多传感器系统测试的多个火局部决策局部决策采用单传感器探测的分析算法，如速率持续法，即通过检测信号的变化速率是否持续超过一定数值来判别火情。设采样信号原始序列为

式中，分别为温度、烟雾和温度采样信号。12局部决策局部决策采用单传感器探测的分析算法，如速局部决策定义一累加函数为多次累加相邻采样值的差值之和则局部决策结果为式中，为单位阶跃函数，、分别为温度、烟雾或湿度信号的决策结果和局部报警门限。13局部决策定义一累加函数为多次累加相邻采样值局部决策当局部决策结果中的任一个输出为1时，则表示温度、烟雾或湿度信号中有一种出现非平稳变化，即提请数据融合中心对所有信息进行融合处理，得出最终判别。这样一方面可由局部决策器分别实现各信号的预处理、标准化并滤除噪声，减轻了融合中心的数据处理工作，具有并行分块处理的优点；另一方面当局部决策结果中至少有一个为报警输出1时，就进行后级数据融合，否则不送融合中心。这样既可以最大限度的采集火情信息，并在早期识别火灾隐患，又可减少对具有非显著火灾特征信息的计算处理，降低误报警。14局部决策当局部决策结果中的任一个输出为1时，则表示温基于神经网络的融合算法湿度信号为归一化值，取值范围为0-1；输出层的两个单元为明火判决和阴燃火判决系数，取值为0-1；输入层与阴层之间为七个神经元的隐藏。输入层与隐层之间的权值矩阵为，隐层与输入层之间的权值矩阵为。采用BP算法，执行过程如下：

1）首先确定训练模式对并对网络进行初始化，模式对由输入信号和导师信号构成，分别对应网络的输入层和输出层。输入层信号根据多传感器对标准试验火和各种环境条件下的测试信号经预处理整合后确定，导师信号即上述已知条件下定义的明火和阴燃火判决结果，由此我们确定了54个训练模式对，判决表1为其中的示例。15基于神经网络的融合算法湿度信号为归一化值，取值范围为0-1；基于神经网络的融合算法2）对网络进行训练，对于给定的每组训练模式输入，先由Sigmoid函数计算各隐层单元的输出式中，为第个隐层的净输入网络输出为16基于神经网络的融合算法2）对网络进行训练，对于给定的每组训练基于神经网络的融合算法再将网络输出与导师信号进行比较，计算其均方根误差最后由误差反传算法，调整网络权值和，直到使满足误差精度要求。17基于神经网络的融合算法再将网络输出与导师信号进行比较，计算其仿真结果利用上述BP算法，即可将学习信号的多重信息判决关系转换到神经网络的连接权矩阵中，实现了数据融合过程，从而可自适应地根据输入的各种情况给出接近期望值的结果，系统由训练状态转移到工作状态。18仿真结果利用上述BP算法，即可将学习信号的多重信息判决仿真结果19仿真结果19仿真结果20仿真结果207神经网络方法7.1人工神经网络综述7.2人工神经元模型7.3人工神经网络的结构模型7.4人工神经网络的学习算法7.5人工神经网络的特点和优越性7.6人工神经网与信息融合的结合7.7神经网络融合实例217神经网络方法7.1人工神经网络综述17.1人工神经网络综述二十世纪八十年代，人工神经网络取得了重大进展，在诸如手写体邮政编码判读，蛋白质二级结构的识别，热力学参数的求取，催化剂设计等许多方面取得成功，发展成为一门介于物理、数学、计算机科学、神经生物学之间的交叉学科。人工神经网络就是采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。它是由很多处理单元有机地联接起来，进行并行的工作，它的处理单元十分简单，其工作是“集体”进行的，它的信息传播，存贮方式与神经网络相似，没有运算器、存贮器、控制器这些现代计算机的基本单元，而是相同的简单处理器的组合。它的信息是存贮在处理单元之间的连接上，因而它是与现代计算机完全不同的系统。227.1人工神经网络综述二十世纪八十年代，人工神经网络取得了7.2

人工神经元模型—神经组织的基本特征237.2人工神经元模型—神经组织的基本特征37.2

人工神经元模型—MP模型从全局看，多个神经元构成一个网络，因此神经元模型的定义要考虑整体，包含如下要素：（1）对单个人工神经元给出某种形式定义；（2）决定网络中神经元的数量及彼此间的联结方式；（3）元与元之间的联结强度（加权值）。1943年，仿照人类神经元的基本特征，McCulloch和Pitts提出了历史上第一个神经元模型，称为M-P模型，这一模型形式上表示为：247.2人工神经元模型—MP模型从全局看，多个神经元构成一个7.3

人工神经网络的结构模型 单层人工神经网络 两层人工神经网络根据神经元之间连接方式的不同，人工神经网络可分为:不含反馈的前向网络、从输出层到输入层有反馈的前向网络、层内有相互连接的前向网络、相互组合型网络。从学习方式角度可分为有教师学习网络和无教师学网络；按层次划分，可分为单层、两层和多层（但一般不超过3层）。257.3人工神经网络的结构模型 单层人工神经网络 7.4

人工神经网络的学习算法NN的工作过程分学习、训练阶段和回忆阶段。其学习方式有如下几种:(1)死记式学习:将网络事先设计成特殊记忆的模式，以后当给定有关该系统的输入信息时，它们就被回忆起来。(2)从例子中学习:在学习时给网络提供一个输入信息，教师给出正确的输出信息，对系统进行训练，调节系统权值，以使系统输出更接近期望结果，感知器就是这种教师学习的例子。(3)无导师学习:将网络设计成不需要教师直接指点的学习方式，如竞争学习系统。267.4人工神经网络的学习算法NN的工作过程分学习、7.5

人工神经网络的特点和优越性第一，具有自学习功能。例如图像识别，只需先把不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。第二，具有联想存储功能。人的大脑是具有联想功能的。用人工神经网络的反馈网络就可以实现这种联想。第三，具有容错性。神经网络可以从不完善的数据图形进行学习和作出决定。由于知识存在于整个系统而不是一个存储单元中，一些结点不参与运算，对整个系统性能不会产生重大影响。所以，神经网络承受硬件损坏的能力比一般计算机强得多。第四，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。277.5人工神经网络的特点和优越性第一，具有自学习功能。例如7.6

人工神经网络与信息融合的结合利用神经网络实现信息融合技术，具有很多优越性:(1)神经网络的信息存储在网络的连接权值和连接结构上，使得传感器的信息表示具有统一的形式，便于管理和建立知识库;(2)神经网络可增加信息处理的容错性，当某个信源的数据出现差错时，神经网络的容错功能可以使系统正常工作，并输出可靠的信息;(3)神经网络的自学习和自组织功能，使系统能适应环境的不断变化以及输入数据的不确定性;(4)神经网络的并行结构和并行处理机制。使得信息处理速度快，能够满足信息的实时处理要求。287.6人工神经网络与信息融合的结合利用神经网络实现信息融合7.7

神经网络实例火灾探测是一种特殊类型的信号检测，由传感器采集的火情参数一方面具有不确定性，另一方面其不仅随火灾特征而变化，也可能随环境变化和存在噪声等而有所改变，而且这种变化往往与火灾参数变化特征基本相似，容易引起误报。因此近年来出现了复合火灾探测器，即采用多通道传感器获得多个信号参数如温度、烟雾等经过处理后判断火灾情况，然而如何由多种信号分析合成得到最终的判断结果，并能适应各种不同环境情况的有效算法还亟待研究。297.7神经网络实例火灾探测是一种特殊类型的信号检测，由传感神经网络实例(续)30神经网络实例(续)10局部决策鉴于不同火情下多传感器系统测试的多个火情信息具有很大的相关不确定性，如：明火条件下伴随着温度和烟雾信号的急剧增大同时湿度的下降；阴燃火发生时则往往伴随着烟雾的增大同时温度和湿度的基本稳定；而一些典型的干扰信号如厨房内是烟雾、温度、湿度信号同时增大；因此分布式检测系统首先对一种传感器采集的单一信号进行局部决策，再送入融合中心根据其关联性得出最终决策。

31局部决策鉴于不同火情下多传感器系统测试的多个火局部决策局部决策采用单传感器探测的分析算法，如速率持续法，即通过检测信号的变化速率是否持续超过一定数值来判别火情。设采样信号原始序列为

式中，分别为温度、烟雾和温度采样信号。32局部决策局部决策采用单传感器探测的分析算法，如速局部决策定义一累加函数为多次累加相邻采样值的差值之和则局部决策结果为式中，为单位阶跃函数，、分别为温度、烟雾或湿度信号的决策结果和局部报警门限。33局部决策定义一累加函数为多次累加相邻采样值局部决策当局部决策结果中的任一个输出为1时，则表示温度、烟雾或湿度信号中有一种出现非平稳变化，即提请数据融合中心对所有信息进行融合处理，得出最终判别。这样一方面可由局部决策器分别实现各信号的预处理、标准化并滤除噪声，减轻了融合中心的数据处理工作，具有并行分块处理的优点；另一方面当局部决策结果中至少有一个为报警输出1时，就进行后级数据融合，否则不送融合中心。这样既可以最大限度的采集火情信息，并在早期识别火灾隐患，又可减少对具有非显著火灾特征信息的计算处理，降低误报警。34局部决策当局部决策结果中的任一个输出为1时，则表示温基于神经网络