电气设备故障诊断概论课件：第9课 人工神经网络补

1、人工神经网络从简单感知器 到反向传播网络介绍模仿人类的思维？是科学幻想，还是14/06/20012Artificial Neural Network背景故障征兆故障类型 征兆空间（x1, x2,） 类型空间（ y1, y2,) f (x)经验14/06/20013Artificial Neural Network历史1943 McCullo 和 Pitts 建立了神经元基础模型。1949 Hebb 提出了神经元学习规律。1961 Rosenblatt 建立了第一台神经计算机。1969 Minsky与Papert 提出了“异或” 和线性不可分问题。1984 Hopfield 提出了神经网络稳定性

2、分析方法1986 Rumelhart 提出了多层前馈网络的反向传播算法。1990 已广泛应用于研究和工程领域14/06/20014Artificial Neural Network从人类大脑到人工神经网络100亿个神经单元1个神经单元与其他神经元存在上千条连接人类大脑14/06/20015Artificial Neural Network稳定性和容错性从人类大脑到人工神经网络人类大脑自适应性对环境的改变能够灵活调整。主要特征不会因局部损坏，而导致信息丢失。14/06/20016Artificial Neural Network 人工神经网络是一个分布式和并行的非线性信息处理系统，反映了人脑功能

3、的若干特性，具有自适应的学习能力。 人工神经网络从人类大脑到人工神经网络14/06/20017Artificial Neural Network学习材料知识空间知识知识轨迹从人类大脑到人工神经网络14/06/20018Artificial Neural Network对类边界的描述描述的变异学习材料应用者的兴趣从人类大脑到人工神经网络14/06/20019Artificial Neural Network感知器神经末梢细胞体轴突突触激励信号化学信号轴突小丘机理信号14/06/200110Artificial Neural NetworkMcCullogh-Pitts 模型InputsOutpu

4、tw2w1w3wnwn-1.x1x2x3xn-1xny感知器14/06/200111Artificial Neural Networkmk-f连接和输入向量 x输出 y阈值函数权值向量 ww0w1wnx0 x1xn感知器14/06/200112Artificial Neural Network激励函数典型的非线性激励函数+1应限制函数极限逻辑函数Sigmoid 函数+1a+1-10aa00fh (a)ft (a)fs (a)14/06/200113Artificial Neural Network感知器 要求需分类的对象是线性可分的。 对于线性不可分问题，简单阈值感知器无能为力线性可分非线性可

5、分的x1x212x1x21214/06/200114Artificial Neural Network例 异或问题x1x2y00-101+110+111-1XOR函数逻辑表w1w2x1x2y w1+w2 0 -w1-w2 0-w1+w2 0这一方程是无解的，所以此时简单感知器失效。线性分类器所能解决的问题非常有限。14/06/200115Artificial Neural Network输入黑箱输出分类结果输入连接 神经响应人工神经网络14/06/200116Artificial Neural Network非线性分类器S=w0+w1x1+ w11x12+ w12x1 x 2+ w22x22

6、+w2x214/06/200117Artificial Neural Network人工网络基本结构简单感知器x1x2x3y2y1wijh2h1 输出层神经元函数输入单元输出单元14/06/200118Artificial Neural Network多层感知器x1x2x3y2y1h1h2h3h4wikwkj神经元 hkh2h1神经元 hj人工神经网络结构14/06/200119Artificial Neural NetworkhkHkwikxi人工神经网络结构x1x2x3y2y1h1h2h3h4wikwkj输入层隐层输出层h2h114/06/200120Artificial Neural N

7、etworkhjyjwkjHk人工神经网络结构x1x2x3y2y1h1h2h3h4wikwkj输入层隐层输出层h2h114/06/200121Artificial Neural NetworkhjyjwkjHk人工神经网络结构x1x2x3y2y1h1h2h3h4wikwkj输入层隐层输出层h2h114/06/200122Artificial Neural Networkf(x)Af(x)Af(x)Af(x)Bf(x)Bf(x)Bf(x)Cx2x1x0yS1S2人工神经网络结构14/06/200123Artificial Neural Network 基本特点稳定性容错性自适应并行处理非线性人工

8、神经网络14/06/200124Artificial Neural Network学习与应用建立神经网络结构确定网络参数 建立训练样本集 对网络进行训练学习后的神经网络可直接用于识别学习阶段使用阶段14/06/200125Artificial Neural Network学习阶段输出输入神经元函数权值修正标准有监督学习14/06/200126Artificial Neural Network学习阶段输出输入神经元函数权值修正无监督学习自组织建立输出结果14/06/200127Artificial Neural Networkw1w2E(W)规则基本思想是寻找能量函数最小的位置。14/06/20

9、0128Artificial Neural Network规则的来历能量函数E的变化 取决于权值向量 W,可表示为 E(W) : E(W) = E/wo, E/w1, , E/wn E(W) 是受每个局部变量wi的影响的。. 重要概念:梯度向量是沿着能量函数E下降最快的方向 .14/06/200129Artificial Neural Networkx1x2x3y2y1h1h2h3h4wikwkj输入层隐层输出层h2h1反向传播算法 yjxi神经元权值修改ui14/06/200130Artificial Neural Networkx1x2x3y2y1h1h2h3h4wikwkj输入层隐层输出

10、层h2h1 yjxi神经元权值修改ui反向传播算法14/06/200131Artificial Neural Network反向传播算法 yjxi神经元权值修改uix1x2x3y2y1h1h2h3h4wikwkj输入层隐层输出层h2h114/06/200132Artificial Neural Network反向传播14/06/200133Artificial Neural Network反向传播x1x2x3y2y1h1h2h3h4wikwkj输入层引层输出层h2h114/06/200134Artificial Neural Network学习算法的基本过程随即分配权值向量；直到遇到停止条件初

11、始化 wi为0对每一个训练样本:修正 wi: wi = wi + n (t o) xi修正 wi:wi = wi + wi直到误差足够小14/06/200135Artificial Neural Network人工神经网络应用模式识别图形识别故障诊断声纳定位控制系统行销预测 金融预测14/06/200136Artificial Neural Network人工神经网络应用中的注意事项1. 系统需遵循的一个基本原则是，必须存在一个样本集=F(x1),F(xp),F(xn) 可供使用，以收集问题域的信息。重要的是，样本集必须具有代表性，因为人们从中抽取结论，应保证这一结论不仅对所有F(xp)成立，

12、而且还要对所有（或至少尽可能多的）模式F(x) 成立。如果典型样本缺乏，就难以期望网络能够识别它所完全未曾学过的东西，这必然导致网络知识的局限性，而在实际应用中造成识别错误。 14/06/200137Artificial Neural Network人工神经网络应用中的注意事项2. 可以严格证明神经网络只需两个隐层就可以逼近任意连续函数。 通常神经网络的隐层节点数应大于输入节点数的两倍，但隐层节点数应小于训练样本数，否则网络的推广能力将下降。3. 为充分检验训练后网络的有效性，仅通过一两个实例进行验证是远远不够的，也需要一个较大容量的检验样本集。 14/06/200138Artificial Neural Network人工神经网络应用中的注意事项4. 在网络学习过程中，由于问题域的复杂性。常常存在局部最优解的情况。处理不当将导致学习过程，不正常中止。此时单纯增加学习次数，并不能提高收敛精度。w1 EEminEmin14/06/200139Artificial Neural Network局部放电的人工神经网络识别14/06/200140Artific