小波神经网络剖析

小波神经网络剖析第1页/共20页3.3.1概述小波神经网络的优点小波变换通过尺度伸缩和平移对信号进行多尺度分析，能有效提取信号的局部信息神经网络具有自学习、自适应和容错性等特点，并且是一类通用函数逼近器。小波神经网络的基元和整个结构是依据小波分析理论确定的，可以避免BP神经网络等结构设计上的盲目性小波神经网络有更强的学习能力，精度更高对同样的学习任务，小波神经网络结构更简单，收敛速度更快。第2页/共20页3.3.1概述小波神经网络类型松散型小波分析对神经网络的输入进行初步处理，使得输入神经网络的信息更易于神经网络进行处理融合型 小波和神经网络直接融合，即小波元代替神经元,输入层到隐含层的权值及隐含层阈值分别由小波函数的尺度和平移参数所代替（1）连续参数的小波神经网络（2）由框架作为基函数的小波神经网络（3）正交基小波网络第3页/共20页3.3.1概述小波神经网络存在着以下一些不足之处1）在多维输入情况下，随着网络的输入维数增加，网络所训练的样本呈指数增长，网络结构也将随之变得庞大，使得网络收敛速度大大下降。2）隐含层结点数难以确定。3）小波网络中初始化参数问题，若尺度参数与位移参数初始化不合适，将导致整个网络学习过程的不收敛。4）未能根据实际情况来自适应选取合适的小波基函数。第4页/共20页3.3.2小波神经网络参数调整算法待确定参数连接权值尺度系统平移系数小波神经网络参数调整算法标准BP算法BP算法的改正算法第5页/共20页3.3.2小波神经网络参数调整算法设小波神经网络为3层网络，包括输入层、隐含层和输出层，输出层采用线性输出，输入层有个神经元，隐含层有个神经元，输出层有 个神经元。第6页/共20页3.3.2小波神经网络参数调整算法隐含层选取的神经元激励函数为Morlet小波训练时，在权值和阈值的修正算法中加入动量项，利用前一步得到的修正值来平滑学习路径，避免陷入局部极小值，加速学习速度。为了避免在逐个样本训练时，引起权值和阈值修正时发生的振荡，采用成批训练方法。对网络的输出也并不是简单的加权求和，而是先对网络隐含层小波结点的输出加权求和，再经Sigmoid函数变换后，得到最终的网络输出，有利于处理分类问题，同时减少训练过程中发散的可能性第7页/共20页3.3.2小波神经网络参数调整算法给定组输入输出样本，学习率为，动量因子为目标误差函数式中为输出层第n个结点的期望输出；为网络实际输出算法的目标不断调整网络的各项参数，使得误差函数达到最小值第8页/共20页3.3.2小波神经网络参数调整算法隐含层输出为输入层的输入为隐含层的输出为输入层结点为与隐含层结点为之间的权值；为Morlet小波函数。

第9页/共20页3.3.2小波神经网络参数调整算法输出层输出为为输出层的输入为隐含层结点与输出层结点之间的权值

第10页/共20页3.3.2小波神经网络参数调整算法隐含层与输出层之间的权值调整式、分别表示调整前与调整后的隐含层结点与输出层结点之间的连接权值；为动量项。

第11页/共20页3.3.2小波神经网络参数调整算法输入层结点与隐含层结点之间的权值调整式、分别为调整前与调整后的输入层结点与隐含层结点之间的权值为动量项第12页/共20页3.3.2小波神经网络参数调整算法伸缩因子调整式、为调整前与调整后的伸缩因子；为伸缩因子动量项。第13页/共20页3.3.2小波神经网络参数调整算法平移因子调整式、为调整前与调整后的平移因子；为平移因子动量项。。第14页/共20页3.3.2小波神经网络参数调整算法学习算法的具体实现步骤1）网络参数的初始化将小波的伸缩因子、平移因子、网络连接权值、学习率以及动量因子赋予初始值，并置输入样本计数器。2）输入学习样本及相应的期望输出。3）计算隐含层及输出层的输出。4）计算误差和梯度向量。5）输入下一个样本，即。6）判断算法是否结束。当时，即代价函数小于预先设定的某个精度值，停止网络的学习，否则将计数器重置为1，并转步骤2）循环。第15页/共20页3.3.3小波神经网络的MATLAB函数静态非线性回归小波神经网络的创建

指令格式THETA=wnetreg(y,x,nbwavelon,max_epoch,initmode,min_nbw,levels)参数说明输出参数THETA小波回归模型的估计参数。输入参数y是一个列向量，x对于单输入为一个列向量；对于多输入，x=[x1x2...xm]，每个xi都是一个列向量。nbwavelon：构建小波网络的小波数量max_epoch：最大训练次数；initmode为初始化模式如果initmode=THETA则为一个包含小波神经网络参数的矩阵，这些参数用来初始化网络。min_nbw：最小输入模式数。levels：初始化过程中的级别数；min_nbw和levels为可选项。第16页/共20页3.3.3小波神经网络的MATLAB函数小波神经网络的仿真wavenet()，可以很方便地得到网络的仿真结果。指令格式：g=wavenet(x,THETA)小波神经网络的MATLAB具体实现在4.5.4