深度学习与信号处理：原理与实践 课件 第5章 小波神经网络

PPT模板下载：/moban/行业PPT模板：/hangye/节日PPT模板：/jieri/PPT素材下载：/sucai/PPT背景图片：/beijing/PPT图表下载：/tubiao/优秀PPT下载：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/资料下载：/ziliao/PPT课件下载：/kejian/范文下载：/fanwen/试卷下载：/shiti/教案下载：/jiaoan/PPT论坛：

5.1小波理论5.2小波神经网络5.3小波神经网络训练架构5.4小波神经网络优化方法5.5实例4：基于嵌入小波神经网络的常模盲均衡算法第五章小波神经网络225.1小波理论小波分析是在短时傅里叶变换的基础上发展起来的一种具有多分辨率分析特点的时频分析方法。通过小波分析，可以将各种交织在一起的由不同频率组成的混合信号分解成不同频率的块信号，能够有效解决诸如噪音分离、编码解码、数据压缩、模式识别、非线性化问题线性化、非平稳过程平稳化等问题。也正是因为如此，小波分析在水声信道盲均衡中有应用景。335.1小波理论5.1.1小波变换1.连续性小波变换小波是函数空间中满足的一个函数或者信号，也称为基本小波或母小波函数，而上式也称为小波函数的可容许条件。将进行伸缩和平移，就可得到函数，式中，为分析小波或连续小波，为伸缩因子(尺度参数)且，为平移因子(位移参数)，二者都是连续变化的值。将空间中的任意信号在小波基函数下展开，这种展开称为信号的连续小波变换(ContinueWaveletTransform，CWT)，其表达式为等效的频域表示为式中，、分别为、的傅里叶变换，“*”表示复共轭，称为小波变换系数。可以证明，若采用的小波满足容许条件，则连续小波变换存在着逆变换，逆变换公式为

445.1小波理论5.1.1小波变换1.连续性小波变换由于母小波函数及其傅里叶变换都是窗函数，设其窗口中心分别为、，窗口半径分别为、。由于是一个窗函数，经伸缩和平移后小波基函数也是一个窗函数，其窗口中心为，窗口半径为

，给出了信号在一个“时间窗”内的局部信息，其窗口中心为，窗口宽度为2，即小波变换具有“时间局部化”。令，则也是一个窗函数，其窗口中心为0，半径为。由Parseval恒等式，可得积分小波变换为因为显然，是一个窗口中心在，窗口半径为的窗函数。除了具有一个倍数与线性相位位移之外，还给出了信号的频谱在“频率窗”内的局部信息，其窗口中心在，窗口宽度为，即小波变换具有“频率局部化”。555.1小波理论5.1.1小波变换1.连续性小波变换综上可知，给出了信号在时间-频率平面(平面)中一个矩形的时间-频率窗上的局部信息，即小波变换具有时-频局部化特性。此外，时间宽度×频率宽度=。即时间-频率窗的“窗口面积”是恒定的，而与时间和频率无关。上述时间-频率窗公式的重要性是，当检测高频信息时(即对于小的)，时间窗会自动变窄；而当检测低频信息时(即对于大的)，时间窗会自动变宽。而窗的面积是固定不变的，如下图所示。下图表明，“扁平”状的时-频窗是符合信号低频成分的局部时-频特性的，而“瘦窄”状的时-频窗是符合信号高频成分的局部时-频特性的。665.1小波理论5.1.1小波变换2.离散小波变换在信号处理中，特别是在数字信号处理和数值计算等方面，为了计算机实现的方便，连续小波必须进行离散化，通常的方法是将中的参数、都取离散值，取,,，固定尺度参数，位移参数，从而把连续小波变成离散小波，即

改成=，

。离散小波变换为，。式中，待分析信号和分析小波中的时间变量并没有被离散化，所以也称此变换为离散，栅格下的小波变换。通常取，，则有与之对应的小波变换称为二进小波变换，相应的小波为二进小波。775.1小波理论5.1.2多分辨率分析在多分辨分析是构造小波基函数的理论基础，也是Mallat信号分解与重构塔形算法的基础。其基本思想是把中的函数表示成一个逐级逼近的极限，每一个逼近都具有不同的分辨率和尺度，因此称为多分辨分析。设为空间中一列闭子空间列，如果满足以下条件，则称为多分辨率分析，又称多尺度分析。

(1)一致单调性：(2)渐进完全性：(3)伸缩规则性：(4)平移不变性：,对所有(5)Riesz基存在性：存在，使得构成的Riesz基，其中，称为尺度函数。885.1小波理论5.1.2多分辨率分析1.尺度函数与尺度空间由于，且构成的一个Riesz基，则由多分辨分析定义，经过伸缩和平移后的函数集合为

必构成子空间的Riesz基。是尺度为平移为的尺度函数，是尺度为的尺度空间。995.1小波理论5.1.2多分辨率分析2.小波函数与小波空间定义为在中的直交补空间(又称小波空间)，即式中，表示直和运算。上式也可表示为。该式表明，小波空间是两个相邻尺度空间的差，即代表了空间与之间的细节信息，因此也称小波空间为细节空间。若函数，且构成的Riesz基，则称为小波函数。显然，此时有构成的Riesz基。是尺度为平移为的小波函数，是尺度为的小波空间。如果，相应的多分辨率分析称为正交多分辨率分析。如果尺度函数满足，即是一个正交基，则称为正交尺度函数。由于，，因而有(当且)，即对任意子空间与是相互正交的(空间不相交)，则。即构成了的一系列正交子空间。如果小波函数，即构成的一个正交基，则称为正交小波函数。如果为正交小波函数，为正交尺度函数，则{，}构成了一个正交小波系统。10105.1小波理论5.1.2多分辨率分析3.两尺度方程由于，且是的一个正交基，所以，必存在唯一的序列，使得满足的双尺度方程为通常称它为尺度方程。其中展开系数为，为低通滤波器系数，由尺度函数和小波函数决定的，与具体尺度无关。另外，由于小波函数，且为小波空间的一个正交基函数，所以，必存在唯一序列，使得满足的双尺度方程为上式称之为构造方程或小波方程。其中展开系数。是高通滤波器系数，也仅由尺度函数和小波函数决定的，与具体尺度无关。

{，}构成了一个正交小波系统，可以从正交尺度函数构造出正交小波函数，其方法是令。由于双尺度方程是描述相邻二尺度空间基函数之间的关系，所以称之为二尺度方程，并且二尺度差分关系存在于任意两个相邻尺度和之间，则上述二尺度方程可写为

11115.2小波神经网络小波神经网络根据小波分析方法与神经网络的结合方式可分为两类：（1）前置小波神经网络。它是小波变换与传统神经网络结合，主要通过小波分析方法对信号进行特征提取、去除噪声等处理，并将所得结果作为神经网络输入从而实现函数逼近、模式识别等过程。称这一类为混合型小波神经网络或前置小波神经网络。（2）嵌入小波神经网络。它是小波基函数与传统神经网络的紧密融合，主要包括小波基函数作隐含层激励函数；根据多分辨分析建立相应的隐含层结构；通过自适应小波的线性组合得到“叠加小波”，构成能够自适应调节参数的小波神经网络。这类小波神经网络也称为融合型小波神经网络。它主要包括以小波函数为激励函数的小波神经网络、以尺度函数为激励函数的小波神经网络、多分辨小波神经网络以及自适应型小波神经网络。本节将对混合型小波神经网络以及嵌入小波神经网络等模型进行分析研究。12125.2小波神经网络5.2.1前置小波神经网络前置小波神经网络用小波基函数对信号特征提取、去除噪声等预处理工作，如下图所示。以离散输入信号被分解为相对低频的近似分量和高频的细节分量，即尺度系数和小波系数。一方面，由于有效信号与噪声信号在小波变换的各尺度上具有不同的传播特性，因此，可通过模极大值法、阈值法等方法实现对信号去噪作用；另一方面，近似分量与细节分量分别包含原始信号的不同信息，对于信号分解的过程也是对信号进行特征提取的过程。因此，通过小波逆变换过程可得到重构的近似成分和细节成分，并将其部分作为原始信号的特征输入至常规神经网络，进一步实现神经网络功能。13135.2小波神经网络5.2.1前置小波神经网络在上图中，输入信号经过小波变换后就是神经网络的输入信号，即，此时隐层的输入、输出修正为如果采用均方误差函数定义损失函数，则。式中，表示目标输出。输出层权值迭代公式为，而从而得到

式中同理可得，输入层权值迭代公式为

式中

14145.2小波神经网络5.2.1前置小波神经网络由小波分析进行信号处理的过程，如下图所示。该过程包括Mallat算法、离散小波变换和离散小波逆变换的信号分解与重构过程。图中向上采样与向下采样算子与，相同。15155.2小波神经网络5.2.2嵌入小波神经网络嵌入小波神经网络结构如下图所示。图中，第一层为输入层，输入层输入单元的数量取决于具体问题的已知条件数目，设输入层的输入值

；第二层为隐含层，隐含层每一个节点与输入层每一个连接节点之间都有连接关系，每一条连接关系在输入层与输出层间所占的权重依赖于网络权值衡量。16165.2小波神经网络5.2.2嵌入小波神经网络设输入层、隐含层、输出层分别含有N，J，M个神经元，，分别代表输入数据与输出数据，，分别表示输入层隐含层权值与隐含层输出层权值，

代表小波函数，而，分别代表小波函数的伸缩因子与平移因子。1）对于隐含层神经元，其加权输入用表示，其输出用表示为2）对于输出层神经元，其加权输入用表示，其输出用表示为式中，为输出层的激励函数。17175.2小波神经网络5.2.2嵌入小波神经网络设负梯度算法基于误差反传思想，按照梯度下降方向调节神经网络各项参数。自适应型小波神经网络学习过程如下：1）网络输出的均方误差定义为，式中，为目标输出。2）网络权重与小波系数的更新公式为式中，各参数按链式求导法则进行更新，即各偏微分计算式为

式中，代表小波函数的一阶导数。18185.2小波神经网络5.2.2嵌入小波神经网络3）将偏微分计算代入链式求导得到各参数更新值：4）进一步地，上一系列式可改写为其中，和表示等效误差：基于上述一系列公式即可计算自适应型小波神经网络的权值及小波系数，从而实现通过数据对小波神经网络进行训练的目的。19195.3小波神经网络训练架构小波神经网络（WNN）自身有非线性拟合能力，其利用自身衍生于生物神经的结构与网络参数调整，模拟网络输入值与输出值之间的关系，并利用迭代调整自身的参数，当WNN的迭代次数等于预设最大迭代值或网络的误差值小于或等于预设误差值时，WNN结束训练工作，网络训练步骤如下：步骤1：样本预处理。将所有样本值分为两组，分别为训练样本（包括训练输入样本与训练预期输出样本）与测试样本（包括测试输入样本与测试预期输出样本）。训练样本与测试样本内部数据不相同，训练样本负责对WNN进行训练，当WNN训练结束后，由于测试样本与训练样本不相同，所以测试样本可以验证训练后的小波神经网络模型的泛化能力。20205.3小波神经网络训练架构步骤2：初始化。影响WNN收敛性能与泛化能力的两个重要因素是小波神经网络的结构与网络参数是否适宜，初始化工作主要是确定WNN输入层、隐含层、输出层每层的节点数，在小波神经网络程序中对权值随机赋予初始值；同时，由于WNN隐含层使用的函数为小波基函数，因此，初始化还包括对小波函数的参数比如尺度因子、位移因子等随机赋予初始值；WNN在BP神经网络基础上得到，而BP神经网络在使用最速梯度下降法进行学习时，学习步长也在初始化工作中赋予初始值；由于小波神经网络结束训练工作的标志是：训练过程中网络的输出误差值小于预设值或者小波神经网络在模型修正过程中的最大迭代次数大于等于网络预设最大迭代次数，因此，在初始化工作中需人为设定小波神经网络的最大迭代次数，需根据网络多次训练的经验确定。21215.3小波神经网络训练架构步骤3：网络训练。网络训练过程将训练输入样本输入WNN，使用训练样本对小波神经网络进行训练，调整更新网络参数，提升小波神经网络的泛化能力，使WNN成为更有针对性、目的性的小波神经网络模型；在对小波基函数的参数如平移因子、伸缩因子等的更新，增强WNN的收敛性，改进BP神经网络收敛性较差的缺点。根据WNN的误差公式，在程序的迭代过程中累计小波神经网络误差和，并通过误差输出函数输出。步骤4：结束。WNN的训练过程需要设定条件做标准用以结束训练程序，在小波神经网络训练程序中，当WNN训练的输出误差小于程序预设值或迭代过程中迭代次数大于等于程序预设最大迭代次数，则训练程序结束工作。如果未结束，返回步骤3。22225.4小波神经网络优化方法虽然WNN作为小波分析与人工神经网络的结合兼具了二者的优点，但是还有一些改进空间，比如提高收敛速度等。本节从WNN的学习算法等角度出发，简要的分析如何提高小波神经网络性能。23235.4小波神经网络优化方法5.4.1小波神经网络学习算法优化

ANN学习方式按照输入样本的差异可以分成有监督学习与无监督学习，也可以称为有教师学习与无教师学习。有监督学习方式中每一个输入的训练样本都对应了一个教师信号，即训练输出值，该训练输出值为小波神经网络训练样本的期望输出值，小波神经网络以网络权值为自变量，以训练输入样本与训练期望输出样本作为环境变量，训练时根据实际输出值与期望输出值的误差值大小与方向调整权值大小，这样的调整动作在小波神经网络的每次迭代过程中都会发生，直至网络的输出误差值符合预设误差水平值以下为止，有监督学习方式在整个计算更新的过程中网络为封闭的闭环系统，在有监督学习方式下形成的网络可以完成模式分类、函数拟合等工作。当系统在无监督学习模式下时，小波神经网络只需要训练输入样本，无需得知每个训练输入样本应对应的期望输出样本值，网络的权值更新只根据各个输入样本之间的关系进行，无监督式学习适合联想记忆工作，但无法进行函数逼近工作。24245.4小波神经网络优化方法5.4.1小波神经网络学习算法优化

WNN结构并非固定，其学习算法也并非只有一种。有监督方式与无监督方式又可以延伸对应多种学习方式。（1）Hebb学习规则，它是根据网络权值两端连接神经元的激活方式（异步激活或同步激活）选择性的将该权值增大或减小、Widrow-Hoff学习规则、随机学习规则与竞争学习规则等。（2）Widrow-Hoff准则又称为纠错准则，权值的调整以误差公式为依据，调整量与误差大小成正比；随机学习规则来源于统计力学，实际上为模拟退火算法。（3）竞争学习规则下的WNN其输出神经元之间竞争，只有一个单元可以进行权值调整，其他网络权值保持不变，体现了神经元之间的侧向抑制。WNN的泛化能力与收敛速度取决于小波神经网络设计与模型修正，优化算法就是优化网络模型修正的算法，通过是对传统算法的修正。基于梯度的学习算法中，步长即学习率决、权值修正量或函数及权向量化方法都是优化方向。其中，步长即学习率决、权值修正量或函数在第2章已经分析，这里不再赘述。这里仅就权向量优化方法作一些讨论分析。25255.4小波神经网络优化方法5.4.1小波神经网络学习算法优化现以粒子群优化算法（ParticleSwarmOptimization，PSO）为例，说明如何优化权向量。粒子群优化算法的基本思想为：首先需对粒子进行初始化，每个粒子都可能是潜在问题的最优解，每个粒子可以用位置、速度、适应度三个特征值表征，三个特征值用以衡量粒子的好坏，在可解空间内通过跟踪个体极值与群体极值作为衡量标准更新粒子的位置，其中个体极值指的是经过计算后的个体适应度值最优位置，相应的群体极值便为所有粒子搜索到的适应度值最优解。在具体的计算中，粒子每更新一次，适应度值便重新计算一次，并且通过比较个体极值与种群极值的适应度值更新个体极值与种群极值的位置。26265.4小波神经网络优化方法5.4.1小波神经网络学习算法优化在由M个粒子组成的D维粒子群空间中，表示第i个粒子的位置向量，表示第i个粒子的速度，其个体极值点位置为

整个群体极值点位置为。粒子的更新以公式为式中，w为惯性权重；、为学习因子，一般取分布于之间的非负常数；、为之间的随机数。借鉴变异思想补足粒子群算法自身的缺陷时，具体体现在小波神经网络的模型修正的过程为：在WNN的初始化工作结束后，针对改进后的粒子群算法，通过已赋予了初始值的小波神经网络的误差公式确定每个粒子的适应度值；对粒子极值进行更新，通过粒子更新模型更新粒子的速度与位置，根据遗传算法思想，以一定的概率重新初始化粒子，与此同时更新粒子极值与群体极值。27275.4小波神经网络优化方法5.4.2小波基函数优化小波函数肯定会影响小波神经网络的性能，通过对小波基函数分析，包括Morlet函数，从其函数的特性尤其是代入ANN后的小波神经网络的收敛性出发，分析函数的优化选择。1.Haar小波Haar函数公式为该小波属于正交小波，函数使用广泛。但是该小波函数不连续、频域局部分辨率差等缺点导致其适用范围受限。2.

Morlet小波Morlet函数是高斯网络下的单频率复正弦函数，Morlet小波是应用比较多的小波函数，但是它不具备正交性、不具备紧支撑集，因此在在时域与频域内小波都比较集中。28285.4小波神经网络优化方法5.4.2小波基函数优化3.Mcxicanhat小波Mcxicanhat又名“墨西哥草帽”小波，该小波定义为：Mcxicanhat小波具有良好的时频局部特性，不存在尺度函数、不具备正交性，但可用于连续小波变换。29295.4小波神经网络优化方法5.4.2小波基函数优化4.Daubcchics小波Daubcchics简称为db小波，它是对尺度取2时整次幂条件下进行小波变换的一类小波，该小波具有正交性，紧支撑，但是并不是对称小波。对于小波神经网络，选择小波基函数时，应在保证网络性能的前提下，尽量减少计算时间，也就是说，在保证WNN训练后在一定误差范围内，小波神经网络要加快收敛速度，提高WNN模型的实时性。将不同的小波基函数代入WNN中，最终得到的函数拟合误差，如下图所示。30305.4小波神经网络优化方法5.4.2小波基函数优化4.Daubcchics小波不同的小波函数带入WNN中，由于每个小波函数特性不相同，因此针对函数的非线性拟合问题，上图表明，虽然分析了多种函数，但最终结果依然是Morlet小波函数作为WNN的隐含层激励函数时，其的误差值更小，再进一步分析，根据程序中小波神经网络的收敛速度，还可以得出Morlet小波基函数收敛性更好的结论。31315.4小波神经网络优化方法5.4.3小波神经网络结构优化WNN的结构主要由输入层、隐含层、输出层与彼此相连的节点网络权值组成，WNN的输入层与输出层都为单层，且输入层与输出层的节点数只与小波神经网络解决的具体问题有关。因此，WNN结构对性能的影响体现在隐含层的层数与隐含层节点数的选取是否适宜待解决问题。隐含层是WNN的输入层与输出层之间的中间层，它负责对小波神经网络输入层输入的数据进行特征提取工作，随着隐含层层数的增加，相应的小波神经网络结构的复杂度也会增加，数据处理的时间变长，甚至于随着小波神经网络隐含层层数增加，小波神经网络还可能会出现过拟合现象，因此小波神经网络的结构选择一般会优先选择三层结构网络，即选择只有一层隐含层的小波神经网络。然而，在工程过程中，如果增加隐含层节点数已不能提升小波神经网络的非线性拟合能力，或者是小波神经网络隐含层节点数过多导致网络运行困难等缺陷，就可以考虑适当增加小波神经网络隐含层的层数、减少单层隐含层的节点数。32325.4小波神经网络优化方法5.4.3小波神经网络结构优化

如何确定小波神经网络中隐含层节点数呢？隐含层与输入节点的网络联系以及隐含层与输出层之间的网络联系共同组成了小波神经网络的核心，其中隐含层可以提取WNN输入层中的泛化信息，起到了体现输入层与输出层之间映射关系的作用，因此隐含层节点数的选择十分重要。隐含层节点过多，造成网络冗余度增加、计算量增大、时间增长等后果；而隐含层节点数过少，则小波神经网络可能最基本的实现输入层与输出层之间的映射关系、非线性拟合能力无法完整的体现出来。因此，需从小波神经网络功能的实现，网络训练的快速性、结构的精炼性等方面考虑隐含层节点数的选择。33335.4小波神经网络优化方法5.4.3小波神经网络结构优化

（1）为了提高小波神经网络性能，因此应该在保证小波神经网络模型的泛化能力前提下，尽量的减少计算时间，即要在保证网络训练后准确度的前提下，尽可能的精简WNN结构，这其中包括减少WNN隐含层的层数，也包括在准确度保证的前提下尽量地减少小波神经网络隐含层的节点数。因为隐含层的作用是对信息进行提取归纳作用，故其节点数一般远远小于训练的样本数，训练样本数需要高于网络的连接权数，否则网络没有泛化能力。

（2）为了减小小波神经网络模型在模型修正过程中的计算量，提高计算速度，在一定范围内增加小波神经网络的隐含层节点数可以提高小波神经网络的非线性拟合能力，然而当隐含层节点数超过这个范围后，增加WNN隐含层节点数对于提高小波神经网络模型的性能影响不大。文献[32]给出了一种确定隐含层节点数的方式：隐含层节点数等于输入层节点个数与输出层节点个数之和的一半加一，利用输入层节点数与输出层节点个数，借鉴两个隐含层节点数的计算公式，计算出隐含层的可能值后，将可能值分别向左向右分别拓宽取值范围，将取值范围内的所有可能的数目进行试验验证，最终选取最适宜值作为WNN隐含层节点个数。345.5实例4：基于嵌入小波神经网络的常模盲均衡算法34根据前面分析，现研究嵌入小波神经网络的盲均衡算法。本节研究将小波嵌入神经网络与空间分集技术、分数间隔相结合的常模盲均衡算法，提出了基于空间分集技术的小波神经网络盲均衡算法和基于小波神经网络的分数间隔盲均衡算法。这两类算法与标准的前馈神经网络盲均衡算法相比较，均能体现出明显的优越性。355.5实例4：基于嵌入小波神经网络的常模盲均衡算法355.5.1算法描述由于小波神经网络具有很高的模拟精度和很快的训练速度，现将小波神经网络引入至空间分集盲均衡算法中，得到的基于空间分集的小波神经网络盲均衡算法(SDE-WNN)，该算法将在提高接收端信噪比、降低误码率的同时，加快收敛速度。SDE-WNN如下图所示。365.5实例4：基于嵌入小波神经网络的常模盲均衡算法365.5.1算法描述在复数系统下，SDE-WNN的输入信号、输入层与隐层的连接权值、隐层与输出层连接权值表示为复数形式，即式中，为空间分集的支路个数，表示实部，表示虚部。第路小波神经网络的状态方程方程为式中，为小波基函数。第路常数模(CMA)代价函数为

式中，为第路输出信号，是发射信号序列的模。375.5实例4：基于嵌入小波神经网络的常模盲均衡算法375.5.1算法描述在根据最速梯度下降法，可得到输出层与隐层的权值迭代公式为从而得到同理可得，输入层权值迭代公式为385.5实例4：基于嵌入小波神经网络的常模盲均衡算法385.5.1算法描述那么，引入空间分集后，伸缩因子经过小波神经网络训练迭代公式为所以式中，为伸缩因子的迭代步长。395.5实例4：基于嵌入小波神经网络的常模盲均衡算法