神经网络应用补

1、7.1 神经网络基本知识神经网络基本知识 7.1.1 人工神经网络模型人工神经网络模型 图 7-1 基本神经元模型 神经元的输出可描述为 i n j jjii ii QxWA Afy 1 )( 式中：f(Ai)表示神经元输入输出关系的函数，称为作用函数或 传递函数，常用的作用函数有如图9-2所示的三种：阈值型、S 型和分段线性型(伪线性型)。 这样，就有三类神经元模型。 图 7-2 常见的作用函数形式 (a) 阈值型； (b) S型； (c) 伪线性型 一、一、 阈值型神经元阈值型神经元 阈值型神经元是一种最简单的神经元，由美国心理学家 Mc.Culloch和数学家Pitls共同提出，因此，通

2、常称为M-P模型。 M-P模型神经元是二值型神经元，其输出状态取值为1或0， 分别代表神经元的兴奋状态和抑制状态。 其数学表达式为 00 01 )( i i ii A A Afy 对于M-P模型神经元，权值Wji可在(-1, 1)区间连续取值。取负值 表示抑制两神经元间的连接强度， 取正值表示加强。 二、二、S型神经元模型型神经元模型 这是常用的一种连续型神经元模型，输出值是在某一范围 内连续取值的。输入输出特性多采用指数函数表示， 用数学公 式表示如下： i A ii e Afy 1 1 )( S型作用函数反映了神经元的非线性输入输出特性。 三、三、 分段线性型分段线性型 神经元的输入输出特

3、性满足一定的区间线性关系， 其输 出可表示为 iC ii i i AA ACA A y 1 0 00 式中, C、AC表示常量。 7.1.2 神经网络结构神经网络结构 一、一、 分层网络分层网络 图 7-3 分层网络功能层次 二、二、 相互连接型结构相互连接型结构 图图 7-4 相互连接型网络相互连接型网络 7.1.3 学习与记忆学习与记忆 一、一、 神经网络的学习神经网络的学习 Hebb学习规则可以描述为：如果神经网络中某一神经元与 另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经 元间的连接强度应该加强。用算法表达式表示为 Wji(t+1) = Wji(t)+xi(t), xj(t

4、) 式中： Wji(t+1)修正一次后的某一权值； 常量，决定每次权值修正量， 又称学习因子； xi(t)、xj(t)t时刻第i个、第j个神经元的状态。 误差修正算法是神经网络学习中另一个更重要的方法。 像感 知机、BP网络学习均属此类。最基本的误差修正学习方法，即 通常说的学习规则，可由如下四步来描述： (1) 任选一组初始权值Wji(0)。 (2) 计算某一输入模式对应的实际输出与期望输出的误差。 (3) 更新权值 Wji(t+1) = Wji(t)+dj-yj(t)xi(t) 式中： 学习因子； dj、yj第j个神经元的期望输出与实际输出； xj第j个神经元的输入。 (4) 返回步骤(2

5、)，直到对所有训练模式、网络输出均满足误 差要求为止。 二、二、 神经网络的记忆神经网络的记忆 神经网络记忆包含两层含义：信息的存储与回忆。网络通 过学习将所获取的知识信息分布式存储在连接权的变化上，并 具有相对稳定性。一般来讲，存储记忆需花较长时间，因此这 种记忆称为长期记忆，而学习期间的记忆保持时间很短， 称为 短期记忆。 7.1.4 神经网络的信息处理功能神经网络的信息处理功能 神经网络可以完成大量的信息处理任务，正因为这样，其 应用涉及相当广泛的领域。归纳起来，神经网络的信息处理任 务主要包括： 一、一、 数字上的映射逼近数字上的映射逼近 通过一组映射样本(x1, y1), (x2,

6、y2), , (xn, yn)，网络以自组织 方式寻找输入、输出之间的映射关系： yi=f(xi)。 二、二、 联想记忆联想记忆 联想记忆是指实现模式完善、恢复相关模式的相互回忆等， 典型的有如Hopfield网络等。 7.2 前前 向向 网网 络络 7.2.1 感知机感知机 图 9-5 基本感知机结构 感知机的学习算法为 )()()() 1(kxkydkWkW ijjjiji i=1, 2, , n n i jijii xkWfky 1 )()( 式中：为学习因子，在(0, 1区间取值。期望输出与实际输出之差为 1)(, 01 )(0 11 )( kyd kyd d kyd jj jj j

7、jjj 输入状态 xi(k) = 1 或 0 7.2.2 BP网络网络 一、一、BP网络模型网络模型 图 9-6 一个三层BP网络结构 一般选用下列S形作用函数： x e xf 1 1 )( 且处理单元的输入、 输出值可连续变化。 BP网络模型实现了多层网络学习的设想。当给定网络的一 个输入模式时，它由输入层单元传到隐层单元，经隐层单元逐 层处理后再送到输出层单元，由输出层单元处理后产生一个输 出模式， 故称为前向传播。如果输出响应与期望输出模式有误 差，且不满足要求，那么就转入误差后向传播，即将误差值沿 连接通路逐层向后传送，并修正各层连接权值。 (7-10) 二、二、 学习算法学习算法 假

8、设BP网络每层有N个处理单元，作用函数如(7-10)式所示， 训练集包含M个样本模式对(xk, yk)。对第p个训练样本(p=1, 2, ,M) 单元j的输入总和(即激活函数)记为apj，输出记为Opj, 它的第i个输 入(也即第i个神经元的输出)为Opi, 则 pj apjpi N i pijipj e afO OWa 1 1 )( 0 如果任意设置网络初始权值，那么对每个输入模式p, 网络 输出与期望输出一般总有误差。定义网络误差为 j pjpjp p p OdE EE 2 )( 2 1 式中，dpj表示对第p个输入模式输出单元j的期望输出。学习规 则的实质是利用梯度最速下降法，使权值沿误

9、差函数的负梯度 方向改变。 若权值Wji的变化量记为Wji, 则 ji p ji W E W 而 pjpjpj pj p ji pj pj p ji p OO a E W a a E W E 这里，令 pj p pj a E 于是 0, pjpjji OW 这就是通常所说的学习规则。 当Opj表示输出层单元的输出时，其误差 pj pj pj p pj p pj a O O E a E )( pj pj pj af a O )( pjpj pj p Od O E )( pjpjpjpj Odaf 当Opj表示隐单元输出时，其误差 pj pk pk p pj p pj pj p pj pj pj

10、p pj p pj O a a E O E af O E a O O E a E )( kj pj pk W O a pk pk p a E kjpk pj p W O E 故 kjpkpjpj Waf )( 至此，BP算法权值修正公式可统一表示为 pjpjjiji OtWtW)() 1( kjpkpj pjpjpj pj Waf Odaf )( )( 对于输出单元 对于隐单元 (9-29) 在实际应用中，考虑到学习过程的收敛性，通常为了使学 习因子取值足够大，又不致于产生振荡，在权值修正公式(7-29) 中再加一个势态项， 得 )1()()() 1(tWtWOtWtW jijipjpjjij

11、i 式中，是常数，称势态因子，它决定上一次学习权值对本次权值 更新的影响程度。 一般地， BP网络学习算法步骤描述如下： (1) 初始化网络及学习参数，如设置网络初始矩阵、学习因子、 参数等； (2) 提供训练样本，训练网络，直到满足要求； (3) 前向传播过程：对给定训练模式输入，计算网络的输出模 式， 并与期望模式输出比较，若有误差，则执行(4)，否则，返回 (2)； (4) 后向传播过程： 计算同一层单元的误差pj。 修正权值和阈值 )1()()() 1(tWtWOtWtW jijipjpjjiji 阈值即为i=0时的连接权值。 返回(2)。 用网络的均方根值(RMS)误差来定量反映学习

12、性能。其定义为 mn yd E m p n j pjpj RMS 11 2 )( 三、三、 竞争网络竞争网络 1. 竞争学习网络结构竞争学习网络结构 图 7-7 两层竞争网络 2. 竞争学习机理竞争学习机理 竞争单元的处理分为两步：首先计算每个单元输入的加权和； 然后进行竞争， 产生输出。对于第j个竞争单元，其输入总和为 i ijij xWS 当竞争层所有单元的输入总和计算完毕，便开始竞争。竞争 层中具有最高输入总和的单元被定为胜者，其输出状态为1，其 它各单元输出状态为0。对于某一输入模式，当获胜单元确定后， 便更新权值。也只有获胜单元权值才增加一个量，使得再次遇到 该输入模式时，该单元有更

13、大的输入总和。 权值更新规则表示为 ji i ji W m x W 7.3 反反 馈馈 网网 络络 7.3.1 Hopfield网络结构网络结构 图 7-8 HNN网络结构 7.3.2 Hopfield神经网络神经网络A/D变换器变换器 图 7-9 对称式4位A/D转换网络 图 7-10 迟滞现象 图 7-11 非对称HNN网A/D变换器 图 7-12 采用非对称结构的A/D转换关系 7.4 神经网络在智能传感器中的应用神经网络在智能传感器中的应用 7.4.1 纸浆浓度传感器非线性估计和动态标定的神经网络实现纸浆浓度传感器非线性估计和动态标定的神经网络实现 一、问题提出一、问题提出 实际上，

14、传感器在整个测量范围的非线性特性可用一幂级 数多项式来描述： 3 3 2 210 xWxWxWWy 式中： y被测浓度； x传感器输出值； Wi(i=0, 1, , n)传感器的特性参数。 (7-35) 二、二、 神经网络算法神经网络算法 对应每一个实际输入xi, 可得到一个非线性数据集1, x, x2, x3, ，xn这些可作为神经网络的输入模式， n iinn iii n n n ii xkekWkW kykdke kWxky )()() 1( )()()( )()( 图 7-13 权值训练原理示意图 三、三、 浓度传感器非线性估计及动态标定浓度传感器非线性估计及动态标定 浓度传感器的本质

15、是非线性的。可将(7-35)式写成下列近似 形式： 3 max3 2 max2max10 )/()/()/(ffWffWffWWy 式中： y被测浓度； f传感器的输出频率值； fmax传感器的最大输出频率值。 因此可用f/fmax表示传感器的输出特征。 四、四、 实例分析及结论实例分析及结论 3 max 2 maxmax3 3 max 2 maxmax2 3 max 2 maxmax1 )/(14. 0)/(62. 5)/(73.1060. 6 )/(12. 1)/(14. 6)/(93. 886. 5 )/(37. 1)/(01. 7)/(98. 912. 6 ffffffy ffffff

16、y ffffffy 传感器1： 传感器2： 传感器3： 图 7-14 拟合曲线 表表 7-1 传感器输出及对应浓度估计值传感器输出及对应浓度估计值 7.4.2 神经网络在监测材料损伤中的应用神经网络在监测材料损伤中的应用 一、一、 问题提出问题提出 具有传感、执行、信号处理、通信与控制等功能的结构称 之为智能结构。这种结构不仅具有承受载荷的能力，还具有感 知和响应内外环境的变化，实现自检测、自监控、自校正、自 适应、自修复等功能。下面介绍利用人工神经网络和埋入偏振 型光纤传感器阵列，实时适应监测复合材料损伤，并指示损伤 位置的智能结构系统模型。 二、二、 智能结构系统简介智能结构系统简介 图

17、7-15 智能结构系统图 三、前向三、前向BP网络处理器网络处理器 图 7-16 三层BP网络 图 7-17 BP算法流程 四、四、 实验结果实验结果 表 7-2 BP网络学习样本数据 表表7-3 在线仿真实验数及结果在线仿真实验数及结果 7.4.3 神经网络滤波神经网络滤波 一、问题提出一、问题提出 通常，由信号发生器产生的正弦波或三角波信号都不同程 度地含有噪声干扰信号。 若我们将它作为精密测量供电信号或 进行相位检测时，往往造成测量不精确等缺陷。消除噪声干扰 的办法很多，下面提出一种采用神经网络学习记忆功能，实现 对含噪正弦波或三角波信号的复原，即消除噪声干扰。 二、二、 自适应线性函数

18、的最小二乘法自适应线性函数的最小二乘法(LMS)学习算法学习算法 为了简单起见，我们以输入矢量为二维的情况作为示例来进 行讨论。 这时输入矢量X和权矢量W可以分别表示为 10 10 wwW xxX 在采用线性函数的条件下，神经网络输出为 TT T i T ii XWWXIIfy XWWXxWI )( 1 0 (7-42) 权值修正公式为 )()()()() 1(kxxkakwkw (k)为误差，即 )()()(kykdk 式中，d(k)为期望输出；y(k)为实际输出。 (7-43) 三、三、 软件编程及说明软件编程及说明 实现上述算法的软件编程如下(采用MATLAB语言)： disp(*欢迎使

19、用*) disp(请输入训练次数) T=input( ) disp(请输入步长参数) l=input( ) disp(请输入所加噪声方差参数) m=input( ) t=0 1 63 x=sin(t*2*pi/64) plot(t, x) grid x=x, -1 k=0 x1=0 for t=1 1 63 if (t=16) x1=x1, t/16 elseif (t=48) x1=x1, 2-t/16 else x1=x1, -4+t/16 end k=k, t; end plot(k, x1) x1=x1, -1 w=rand(1, 65) q=10000; q0=0; k=0 for

20、i=0 1 T k=k, i; d=w*x e=1-d q2=q q=e*e w=w+(e*1)*x d1=w*x1 e1=-d1 w=w+(e1*1)*x1 q=q+e1*e1 q0=q0, q/2 subplot(212) hh=plot(k,q0) if q2q break; end end i w*x w*x1 xt=randn(1, 65) xt1=m*x1+x xt2=m*xt+x1 j=0 64 subplot(211) h1=plot(j, x1) grid subplot(212) hh=plot(j,xt2) grid y1=w*xt1 y2=w*xt2 h=figure(

21、1) set(h, color, 1, 1, 1); h2=gca 1. 采样部分采样部分 图 7-18 采样所得正弦波和三角波 2. 学习部分学习部分 首先利用MATLAB中的rand ( )来产生满足64维初始权值W(0)。 按照(7-42)式和(7-43)式修正权向量，直到满足要求为止。选择不 同步长，比较误差变化情况，最后确定较合理的步长。 3. 检验部分检验部分 当学习结束后，应检验学习的正确性。此时给训练好的网络 输入含有噪声干扰的一系列正弦波和三角波信号，要求噪声服从 正态分布。 检验网络是否能恢复标准波形。 若能很好地恢复标准 波形，则说该网络可消除正弦波和三角波中的噪声干扰，

22、 达到滤 波效果。 四、实验效果四、实验效果 图 7-19 加噪声的正弦波 图 7-20 恢复正弦波 7.4.4 神经网络实现微弱信号提取神经网络实现微弱信号提取 一、一、 问题提出问题提出 在目标跟踪、多目标检测等许多工程领域，都涉及到从强 的背景噪声中提取弱信号的问题。基于BP神经网络结构及算法 的方法， 可从宽带背景噪声中提取微弱有用信号。该方法对微 弱信号的提取是在网络节点连接权向量域进行的，因此从根本 上解决了对提取信号的频率选择问题。 二、二、BP网络权向量方法原理网络权向量方法原理(BPWV: Back-Propagation Weight Vector) 图 7-21 弱信号提

23、取模型 取背景噪声的期望值mx作为期待响应dk, 即 xkk mxEd)( 假设背景噪声是平稳的，则mx可用时间平均值近似估计。 并假设弱信号出现之前，网络学习过程已经结束，即网络连接 权矩阵的期望值已收敛于由背景噪声所确定的最佳权向量 。 于是有偏移权向量 * x W * xkk WWV 7.4.5 基于神经网络的传感器静态误差综合修正法基于神经网络的传感器静态误差综合修正法 一、一、 问题提出问题提出 传感器输出特性大都为非线性，且常受各种环境因素影响， 故存在多种误差因素。 这些误差因素通常同时存在，相互关联， 若用一般方法对传感器静态误差进行综合修正往往很困难。将 神经网络用于传感器静

24、态误差的综合修正， 实验证明会取得好 的效果，说明此方法的可行性。 二、二、 用于传感器静态误差综合修正的前向神经网络用于传感器静态误差综合修正的前向神经网络 图 7-22 前向网络 N i ijij Sj WxS e Sf j 0 1 1 )( 采用BP网络(参考图7-22)，由输出层开始逐层调整权值公式如下： )1()()() 1(tWtWxtWtW ijijijijij k jkkjj jjjj j Wxx dddd )1 ( ) )( 1 ( 对于输出层 对于隐层 三、综合修正方法三、综合修正方法 图 7-23 综合修正原理框图 神经网络误差修正方法的步骤描述如下： (1) 取传感器原

25、始实验输入输出和相应环境参量。 (2) 将这些原始数据进行归一化处理， 使输入样本在0, 1 之内。 (3) 初始化网络， 如确定输入、 输出层单元数， 修正因子 ， 惯性系数等。 (4) 训练网络，直至满足要求为止。 四、四、 实例分析实例分析 表表7-4 实实 验验 数数 据据 图 7-24 修正后x、 t、 z关系 7.4.6 基于神经网络的三传感器数据融合处理法基于神经网络的三传感器数据融合处理法 (消除两个非目标参量的影响消除两个非目标参量的影响) 1. 概述概述 传感器静态特性不仅受某一个环境参量的影响，即不只受 一个非目标参量的影响，有时甚至受多个非目标参量的影响。 如一个压力传

26、感器， 在输入压力P数值不变的情况下，当工作温 度T变化以及供电电源波动都将引起传感器输出电压U发生变化， 则该压力传感器受两个非目标参量(T，)的影响。为了提高传感 器的稳定性， 消除两个非目标参量对传感器输入输出特性的影 响，可采用多种智能化技术，如多维回归分析法与神经网络法， 这是两种有效的融合处理方法。 2. 基于神经网络法的三传感器数据融合原理基于神经网络法的三传感器数据融合原理 图 7-25 采用神经网络进行三传感器数据融合的智能压力传感器系统框图 图 7-26 传感器模块电路原理图 (1) 压力传感器：这里的压力传感器采用的是CYJ-101型压阻 式压力传感器，对应被测压力P(目

27、标参量)输出电压U。一个理想 的压力传感器，其输出U应为输入P的一元单值函数，即 U = f(P) 其反函数为 P = f-1(U) 但是，该传感器受工作温度T与供电电源波动的影响， 其 输出电压U将发生变化，实际上是一个三元函数，即 U = f(P, T, ) (2) 温度传感器：温度传感器将工作温度T转换为电压信号Ut, 如图7-26。采用恒流源供电的压力传感器，其供电端(AC两端)电 压UAC即为Ut。 (3) 电流传感器：电流传感器将电流信号I转换为电压信号UI, 如图7-26。采用标准恒定电阻RN与压力传感器相串联，RN两端电 压UI为 UI = IRN 则供电电源波动为 I I U

28、 U I I | 2) 神经网络模块 神经网络模块是由软件编程实现的一种BP网络算法。其三 个输入量X1、X2、X3分别为U、Ut、，输出量为P。P亦是智能 压力传感器系统的总输出量。总输出量P有两个特点： (1) P仅为被测压力P的单值函数，这样就消除了工作温度和 供电电源波动两个非目标参量的影响。 (2) 在工作温度和供电电源同时波动情况下，要求系统输出 P以某个允许偏差逼近被测目标参量P， 从而实现了系统测量目 标参量P的目的。要实现上述要求，需对神经网络进行训练，网 络训练样本由三维标定实验数据来提供。 3. 样本库的建立样本库的建立 1) 三维标定实验 在不同工作温度T(=21.5

29、, 44.0 , 70.0 ), 令电源电流波 动分别为 =3%,-1 %, -3 %条件下，对CYJ-101型压力传感 器的静态输入(P)输出(U)特性进行标定。实验标定数据列于表 7-5。 I I 表表 7-5 不同工作温度及供电电源波动下传感器输入输出标定值不同工作温度及供电电源波动下传感器输入输出标定值 2) 神经网络训练样本数据的归一化 表表 7-6 神经网络输入输出标准样本库神经网络输入输出标准样本库 05. 0 )(9 . 0 minmax min minmax min PP PP P XX XX X m m ii iim im 式中: 第m个样本神经网络输入、输出归一化值； X

30、im、Pm第m个样本第i个传感器的输入、输出标定值； Ximax、Ximin第i个传感器输出最大、 最小标定值。 mim PX 、 (7-53) (7-52) 如T=21.5 且当i=1时，X1max=Umax=100.12 mV, X1min=0； 当 i=2时，X2max=Utmax=290.5 mV, X2min=184.4 mV; 又如T=70.0 且当i=1时，X1max=Umax=78.57mV, X1min=0； 当i=2时，X2max=Utmax=826.1mV, X2min=669.3mV。Pmax=5104 Pa、 Pmin=0为被测压力最大、最小标定值。 计 算 举 例

31、： 计 算 m = 4 的 输 入 输 出 归 一 化 数 值 P 4 , Xi4=(X14X24X34)。 当i=1时，X1max=Umax=100.12mV, X1min=0.00mV,X14=62.72mV, 则由(7-52) 式求得X14=0.626; 当i=2时，X2max=Utmax=290.5 mV, X1min=184.4 mV, X24=224.5mV, 则由(7-52)式求得X24=0.378; 当i=3时，已是无量纲数值，且在-1与1之间，不必再作归 一化， 即X34=0.03。 P4=3.0104 Pa时，由 (7-53) 式求得P34=0.59。 4. 神经网络的训练

32、及其结构的确定神经网络的训练及其结构的确定 图 7-27 多层感知机前向神经网络 图中i、j和k分别是输入层、隐层和输出层神经元序号。同一 层内各神经元互不相连，相邻层之间的神经元通过连接权值Wji、 Wkj相联系。Wji为输入层与隐层之间的连接权值；Wkj为隐层与输 出层之间的连接权值。本例中选输入层结点数为3，输出层结点 数为1，故i=1, 2, 3， k=1；隐层结点数j=1, 2, ，l。l值根据网络 训练结果而定。 采用误差反向传播算法(BP算法)，其目标是使神经网络输出 y=P(本例中称为被测压力融合值)，与压力传感器系统目标参量 的标定值之间的均方差e为最小， 即 18 1 2

33、)( 18 1 m m PPe 图 7-28 BP网络训练过程及算法流程 (1) 网络初始化。随机设定连接权值Wji、Wkj, 与阈值j及k的 初始值。设定隐结点数l、步长及势态因子; (2) 向具有上述初始值的神经网络按输入模式提供样本数据。 本例为三维矢量X=(X 1X2X3)。如样本m=1，输入模式为 X=(0.001.00 0.03)。 (3)计算隐层单元输出值f(Sj)。隐层单元输出值f(Sj)采用S型 函数，其计算式为 3 1 , 1 1 )( i jjiijSj WxS e Sf j (4) 计算输出单元的输出值f(Sk)。输出单元的输出值f(Sk)即网 络的输出y=P。输出值仍

34、采用S型函数，计算式为 kkj l j jk s k WxS e Sf k 1 1 1 )( (5) 计算输出层和隐层训练误差k与j。 )()(1)( kkkkk SfdSfSf )(1)( j k kjkjjj WSfSf (6) 修正权值： )1()()()() 1( )1()()()() 1( tWtWSftWtW tWtWSftWtW kjkjkkkjkj jijijijiji 式中，和分别为步长和势态因子。 (7) 判断均方误差e是否满足给定允许偏差(本例中给定允许 偏差为10-3)。当满足时，则转到(8)，否则转向(5)、(6)和(7)。 (8) 结束训练。 5. 数据融合结果及评

35、价数据融合结果及评价 (1) 融合处理前传感器输出的相对波动情况。由表7-5可见， 对 于同一被测压力P，传感器输出U随工作温度和供电电源波动的不 同而变化。由工作温度与电源变化产生的传感器输出电压相对波 动值为 FS P y y |max 式中：P为传感器输出电压波动的相对值； max|y|为传感器输出电压的最大绝对波动值； yFS=97.12 mV为传感器满量程输出电压(即在T=21.5 , =0 时， 传感器的输出电压值)。 (2) 经网络融合处理后传感器输出的相对波动情况。经网络融合处理后传感器输出的相对波动情况。 表表7-7 融合处理结果融合处理结果 FS P P P |max 式中

36、: PFS=5.0(104Pa)为满量程压力标定值； max|P|=0.077(104Pa)代入(7-61)式计算得P=1.5%。 可见，在相同工作温度变化和电源波动情况下， 传感器的 输出稳定性比原来提高了14.7倍。神经网络法对消除传感器在 工作过程中受多种因素交叉干扰的影响十分有效。 6. 几点说明几点说明 (1) 神经网络隐层结点数l的选取尚无理论上的指导，选取不 当时会出现网络不收敛情况。文中通过先后取隐层结点数l为9、 11、 31和18， 最后取l=18, 网络训练结果令人满意。 (2) 网络训练步长和势态因子的确定亦无理论依据，选取 不当时也会出现网络训练发散或使网络陷入局部极小点，训练 中取=0.7, =0.9。 (3) 衡量训练好的神经网络是否具有较强的泛化能力，除了 要用测试集来测试该网络的输出结果外，很大程度上取决于网 络学习样本的广泛性与代表性。这就要求我们在确定网络学习 样本时，一是要保证足够的样本数量；二是要使所取样本具有 代表性和广泛性。 (4) 后向传播过程：