相位幅度型复数值神经网络的设计与实现

1、苏州大学本科生毕业设计（论文）目录摘要1前沿21， 研究意义22， 国内外研究现状23， 设计的主要内容34， 论文结构4第一章 bp神经网络的搭建51.1 bp网络结构51.2 bp神经网络的泛化能力和拟合能力61.3 梯度下降算法61.4 bp神经网络的优点及局限性8第二章 复数化改写92.1 数据集的改写方法92.2 基于sgd算法的相位振幅型cvnn的设计92.3 网络优化与动量因数12第三章 实验与分析123.1 实验案例与结果123.1.1 避孕方式预测123.1.2 乳腺癌的良性恶性判别133.2 初始参数值的改动与影响16第四章 结论16致谢17参考文献17摘要【摘要】 本文旨

2、在探究相位幅度型复数值神经网络的可能性和必要性，并在数据集完成测试，得到肯定或否定的结果。本次设计将在充分了解bp（反向传播）神经网络和梯度下降法的相关知识的前提下，确定bp网络结构，反复讨论可行性后，确定设计方案。设计中主要完成将通常意义上的简单的实数值的神经网络转换成相位幅度型的复数值的神经网络，并在改写成相位幅度型的复数数据集上完成训练和测试，再对初始参数进行修改，以期最终达到百分之九十以上的正确率。此外，随着人工神经网络的研究逐步取得进展的同时，也开拓出更多新的天地，而复数值神经网络 (CVNNs) 则稳定地扩展了应用领域。【关键词】 bp神经网络；相位幅度型复数；梯度下降法Abstr

3、act The purpose of this paper is to explore the possibility and necessity of phase-magnitude complex-valued neural networks, and to test the datasets to obtain positive or negative results. This design will determine the bp network structure under the premise of fully understanding the relevant know

4、ledge of the bp (back-propagation) neural network and the gradient descent method. After repeatedly discussing the feasibility, the design plan is determined. The design mainly completes the transformation of a simple real-valued neural network in the usual sense into a phase-valued complex-valued n

5、eural network, and completes the training and testing on a phase-amplitude complex data set, and then carries out the initial parameters. Revised in order to eventually achieve a correct rate of more than 90%. In addition, as the research on artificial neural networks progresses, more and more new w

6、orlds are opened up, and complex-valued neural networks (CVNNs) steadily expand the application area.Keywords Back propagation neural network; Phase amplitude type complex numerical ;Gradient descent method前沿1， 研究意义人工神经网络在20世纪末开拓了人工智能领域的新研究视点，其英文全拼是Artificial Neural Network，简称为ANN 。可以说人工神经网络模仿了人脑的神经

7、元组织的工作方式，运用信息处理的方式，通过借助于简单模型的构建，组成传播方式不同，且性能与目标用途皆有所差异的网络。在某些领域或学科中也被直接简称为神经网络或类神经网络。神经网络实质上是一种应用于运算的模型，由大量神经元以不同的网络节点显示出来，且他们之间错综连接在一起。其中每个节点都可以被看作是一个输出因变函数，而这个函数就是通常所称的激励函数（activation function）。任意两个节点之间都有通过该节点的不同信号的加权值，也就是每个信号被赋予不同的权重，代表着属性的差异。具体的输出函数值就因网络的结构不同，传播算法的差异而不同。而任何人工神经网络基本上通常都是对自然界某种现象或

8、者预期的近似，有时也可能是对某种问题发展趋势的判决。近几年来，伴随着神经网络的的研究的理论和应用成果的日渐丰富，已经在模式识别及自动控制和更为广阔的领域取得了瞩目的成就，克服了许多当下科学无法解决了难题，显示了其无可比拟的优越性。2， 国内外研究现状随着人工神经网络在上个世纪末在学术领域内的热潮的掀起，不仅国外，我们国内也加紧了研究的步伐。1989年末我国国内科学家研究人员分别在北京和广州召开了神经网络及其应用讨论会和第一届全国信号处理-神经网洛学术会议；1990年初由国内多个学会（比如中国电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物物理学会和心理学会）等一起聚会于北京，并召开

9、专门针对人工神经网络的首届“中国神经网络学术会议”。这次有多个学会联盟，共同研究智能未来网络的会议顺利举办，同时征集到了上百份包含了我国科研人员智慧的相关论文，象征着中国中国人工神经网络相关研究开始进入了一个研究的新征程。同时又经过这些年的探索后，相关方面的研究也有了新的突破，相关从业人员和产品服务质量也有了显著的提升。而纵看国际进程，从1987年就有了新的动向，也就是美国加州首届神经网络学术会议的召开，使相关研究能够可广泛展开，该会议每年召开两次并得以保持下去。同时有了会刊Journal Neural Networks,并由不同研究风格的刊物相继出现。这意味着神经网络相关理论在学界逐步得到认

10、可和关注，并逐渐成为研究焦点。直到目前，神经网络理论和相关技术在智能决策以及信息控制等领域被广泛应用。对于不同的人工神经网络结构、传播算法与其处理对象及其效果见联系与差异的研究日新月异。神经网络的研究不会因此而停止只会迎来新的机遇和挑战。而复数值神经网络 (CVNNs) 稳定地扩展了应用领域。例如, 超声波故障检测, 以发现金属和其他材料的缺陷, 基于主成分分析 (PCA) 在声纳和语音处理方面的盲分离, 用于雷达的CVNNs，其中包括地面穿透雷达可视化塑料陆地地雷和卫星雷达, 以估计景观信息或土地使用分类, 模糊补偿图像处理, 滤波和其他时序信号处理,超宽带 (UWB) 通信、频域多路复用神

11、经网络和学习逻辑电路的频域多路复用，微波信号处理和脉冲波束形成, 利用光波和快速自适应三维全息电影 的光学镊子, 并结合强化学习的运动控制发展学习。同时, 一般联想记忆和独立分量分析 (ICA) 神经网络也在改进中取得了进展。3， 设计的主要内容本次设计旨在尝试实践一个简单的相位幅度型的复数值神经网络。在使用bp神经网络和梯度下降算法的基础上，对神经网络进行改写，使其权值阈值全部变为相位幅度型复数，并在网上下载应用于分类的实数值数据集，通过一系列方法将这些实数转化为相位幅度型的复数，并让神经网络在改造过的数据集上完成训练和测试，初步要求神经网络正确率在百分之90以上。4， 论文结构本研究分为5

12、个部分进行。绪论主要阐明研究意义、国内外研究现状和主要研究内容。第二部分介绍神经网络的相关概念和基础，比如网络结构及相关算法等，便于后面章节相关实验的进行。第三部分针对相位幅度型复数值神经网络和实数值数据集的具体改造方法进行详细描述。第四部分通过对几个数据集训练的结果与分析，证明相位幅度型复数值神经网的可行性，并比较初始参数的调整带来的不同影响。结论部分总结了论文得出的观点，并简略分享本次设计的收获。第1章 bp神经网络的搭建1.1 bp网络结构 图1.简单bp神经网络结构模型如图所示，该网络结构中前馈型神经网络通常由不定数目的隐藏层组成，层中的神经元主要是输出s型传递函数，而输出层的神经元特

13、性决定了其只有采用线性函数更为合适。那么图1就是bp网络结构，其中隐藏层的神经元数目为h，有n个输入节点和m个输出节点。 图二.神经元模型如上所示，神经元输入与输出关系的传递函数就可以表示为。根据神经网络的特点和限制，BP网络结构中隐藏层神经元的算法函数更适合能够用于逻辑回归的log-sigmoid型函数logsig（）、tansigmoid型函数tansig（）以及个别线性函数。当然进一步做限制的话，BP网络也可能会出现sigmoid型神经元，此时的输出值范围就相对较小；而BP网络如果是purelin型线性神经元的话，网络输出就有了更广的范围。1.2 bp神经网络的泛化能力和拟合能力前向神经

14、网络的拟合能力较好,即能够在任何闭合的区间上实现连续函数的定向输出,并且是多层输出的同时,可以得到不同的输出结果。正如Robert Hecht-Nielsen提出的万能逼近定理是一个道理。但是在实际应用中的样本并不是那么容易获取，具体实验时就难以呈现所预测的输入-输出值，这个时候网络的算法仍被要求保证精确，这就是前向神经网络的泛化能力体现。前向神经网络的工作原理就是多变量在输入-输出空间中进行拟合操作的过程。被采集到的样本就能进行泛化和拟合体现，而有些样本并不被包含其中，就要进行内插或者外推操作。当然，只要样本采集合适，算法也是比较适当的情况下，就可以保持泛化和拟合能力的一致性。在另外的情形下

15、，这两种能力并不是总能一致，很多时候过拟合时有发生，泛化能力就呈现得非常差，更谈不上拟合能力的体现了，所以无论是算法还是样本、神经网络的选取都非常重要。1.3 梯度下降算法如果想要得到理想的函数逼近或者模糊识别实验结果，就需要一定的神经网络训练。并且样本的获得是实验之前必须准备好的，具体要求是输入向量p和输出向量T的计算，并在训练中对其权值和阈值进行动态调整，从而使得神经网络的函数呈现最小。而前馈型神经网络有其自身的默认值，即表现为输出向量a和输出向量T的均方差msa。如公式所示，BP网络学习的具体操作原则要注意遵循对网络权值和阈值的修正要呈现出负梯度下降，且其依据是在表现函数降得最快的趋势上

16、。 其中是权值，即公式中表现函数的梯度；是对应的学习速率。具体bp网络的推导在下面进行展示。如图一所示三层bp网络，定义目标函数为 其中（=1, .n, ,m）,网络的期望输出是，相应的实际输出是。如概念介绍中所言，所有权重和阈值决定了前向神经网络中的输入 - 输出之间的具体结果呈现，比如加权矢量W是由(=1, .n,.,h; =1,2,.,n)，(=1,.n.,m; =1, .n,.,h)，(=1,2,.,h)和(=1,2,.,m)共同确定的。因此权重的确定公式为学习速率可以用来表示，权重的重新调整就是使目标函数E尽量减小。而对于前向神经网络的计算中，上文所示的梯度下降法可以用在计算上。 输

17、出层与隐藏层之间权重被赋值的具体计算程式如下：假使，那么而如果要对隐藏层与输入层之间的权重重新赋值的话可如下操作： 假使，那么。隐藏层与输入层之间的权重重新赋值公式为： 前向神经网络的计算使用的是简单的迭代公式，需要从随机向量更新到，从而致力于结果的稳定。当然也可以在该过程中加入一个动量因数使结果得以优化。1.4 bp神经网络的优点及局限性事实上，前向神经网络最大的优势是其非线性拟合能力，也就是说在上面所示的三层网络结构下，随意给定精度都能够进行非线性函数的拟合。此外，对于信息处理来说，前向神经网络会实现分布并行，进而充分发挥了其联想记忆能力。这样一轮轮的样本获得和训练之后，有些相对不那么完善

18、的前向神经网络噪声信息就能够得到部分恢复。也正由于这样的非线性处理能力，前向神经网络再具体应用中能够识别出非本系统的样本并自动进行处理。当然，这种特性决定了前向神经网络就是非线性优化过程，能够通过网络的局部改进进行不断完善。尽管从纯理论上来讲，多层神经网络可以实现任意函数的逼近值，但是这个对于全局网络来讲的最优解可能有时候不能如愿找到。所以对于这些非线性系统，要想办法选择适合的学习率，否则会造成训练过程的不稳定，从而使训练时间变相延长。 那么对于线性系统来说，其误差面会相对简单，最优解获得会是多个。此时初始位置的选择对于解的获取非常重要，甚至初始位置与全局最优解远近决定了结果，所以在具体的训练

19、中就需要选取多个随机初始点。此过程也要考察隐层神经元的数量，保证网络性能充分发挥，否则会影响拟合能力和泛化能力。第2章 复数化改写2.1 数据集的改写方法下载的数据集为应用于分类的实数域的数据集，其有若干个特征值和一个类别标签，而相位幅度型的复数值神经网络处理的对象也必须是相位幅度型的复数数据，所以我们需要将实数域的数据集转化为相位幅度型的虚数形式。参考一般实数转为为虚数的方法。首先我们取出数据集中所有的特征值。对于某一项特征值n，我们分别取其最大值和最小值。设特征值n中某一特征量为，已知为一实数。首先将转化为一个弧度再将弧度转化为一个相位幅度型的复数将所有的特征量都按此方法改写，组成新的特征

20、矩阵。提取所有的类别标签，按分类的数目L，将不同的类别改写成L维的向量矩阵，不同的类别用不同维度上的1表示，其余维度均用0表示。2.2 基于sgd算法的相位振幅型cvnn的设计被考虑的 CVNN 的结构的具体组成情况如下：输入层的神经元数目是N、隐藏层的神经元数目为H, 而输出层的神经元数目为Z。Z = z1,., zn t 是 N 维复值输入向量, O = o1,., oM t 是 M 维输出向量。(n = 1, 2,. h = 1, 2,., h) 表示将 隐藏神经元与 n 输入神经元连接的复值权重, 是 隐藏神经元的偏倚;(h = 1, 2,., h; m = 1, 2,., m) 表示

21、将 输出神经元与 隐藏神经元连接的权重, 是 输出神经元的阈值。所考虑的 CVNNs 的隐藏和输出层采用相振幅型活化函数. 假设神经元的净输入是 u, 其中 u 是一个复数值的标量。其输出被描述为 （1）认为 隐藏神经元的净输入为 , 相应输出为 , 输出神经元的净输入为 , 相应输出为 。 (2) (3) (4) (5)误差反向 (BP) 方法的基本思想是通过最小化对象函数来调整所有权重和偏差。SGD 算法是 BP 框架中最常用的算法之一。根据该算法, 下降方向等于目标函数的负梯度。在 CVNNs 的学习中, 目标函数通常被定义为 (6)其中 和 分别表示输出层中 神经元的预期和实际输出,

22、是共轭转置。要查找目标函数的最小值, 将使用以下迭代公式更新由 SGD 算法的参数: (7) (8)当是网络的可调参数时, k 是迭代的索引, 是一个学习速率, 而 是迭代中关于的目标函数 E 的梯度。由于活化函数为相振幅型, 参数的振幅和相位分别进行了调整。如中, 目标函数 E 相对于 om 的相位和振幅的梯度可以计算为 (9) (10)然后, E 的梯度, 关于在隐藏和输出层之间的权重和输出层的偏差, 可以得到作为 (11) (12) (13) (14)其中 和。隐藏层的预期输出是通过使预期输出om 向后传播来实现的, 并被制定为 (15) 然后, 将隐藏层的输入和隐藏层和偏移量的权重按类

23、似的方式进行调整。一个只需要替换后缀 m, h 与 h, n。2.3 网络优化与动量因数如果是反向传播，具体算法中的学习率越小，迭代中网络被赋予的权值变化量就越小，整个变化轨迹就光滑一些，不过这种改进的代价就是学习的变慢。但是如果的值过大的话，学习变化就会很快，权值就呈现得不稳定，比如震荡的结果。所以，D.E.Rumelhart就在这个基础上进行了改进，通过增加一个动量项，保证稳定的同时又提高了学习效率，具体如下：其中动量系数一般取（0，1），直观上理解就是要是当前梯度方向与前一步的梯度方向一样，那么就增加这一步的权值更新，要是不一样就减少更新。第3章 实验与分析3.1 实验案例与结果 实验中

24、首先是利用从机器学习数据库UCI中获取的数据对已有的神经网络进行训练和测试，分别加入动量因子和不加入动量因子，并比较训练结果。 两个网络取相同的学习率，初始权值都设置在0，0.1，最大迭代次数为150次。两个神经网络同样采取BP网络结构和sgd算法，均只有1层隐藏层和20个隐藏节点，精度阈值均为0.01。3.1.1 避孕方式预测这十一个数据集的主要内容是印度尼西亚女性避孕措施的调查，1987年的具体样本获取做法，是从那些未怀孕或不清楚自己是否怀孕的已婚妇女那里调查其避孕方法，具体维度的划分是她的人口和社会经济特征（9个特征），而具体的方法选择为：不使用，长期方法或仅仅在短期使用。数据集共有14

25、38个样本，将其打乱顺序后其中前百分之七十的样本数进行训练，后百分之三十用于测试。分别展示神经网络的误差收敛图和真实值与测试值对比图。可见在加入动量因数后，优化了已知的神经网络的，正确率有小有提升。3.1.2 乳腺癌的良性恶性判别威斯康星大学的681名乳腺癌患者的诊断结果就集结为第一个标准数据集，这些患者被赋予9个特征值和1个具体的类别标签（恶性或良性肿瘤）。将其打乱顺序后其中前百分之七十的样本数进行训练，后百分之三十用于测试。分别展示神经网络的误差收敛图和真实值与测试值对比图。 3.2 初始参数值的改动与影响学习速率又称步长，是指权值或阈值在调整时的速度。学习速率决定了网络达到最优值速度。学

26、习速率一般取0-1之间的数如：0.01,0.1，网络初始化阈值赋值（0,0.1）区间内随机数，之后通过神经网络训练不断调整。权值变化量是由学习速率所决定的，也就是说学习速率过大也许会导致系统的过拟合，从而无法逼近正确值，小的学习速率导致较长的训练时间，但是能保证网络训练的质量，从而使误差降低。所以会通过选取相对较小的学习速率来获取稳定性，比如学习速率的范围为0.01-0.8。对第二个数据集，我分别比较了是否加入动量因子与改变步长对网络正确性的影响。数据集加入动量因子未加入动量因子学习率0.05学习率0.01乳腺癌判别99.019608%98.52941%98.529412%99.019608%

27、第4章 结论在本次实验中，我们主要实践了相位幅度型复数值神经网络的可行性，并在数据集上完成了测试。实验证明，相位幅度型复数值神经网络在处理数据分类预测问题中的可行性。除此以外，我们还通过加入动量因数等做法对已得的网络进行优化，同时也肯定了动量因数的作用，其可以使误差曲线更加平滑，正确率也小有提升。经过这次实验使我对以前从未接触过的神经网络知识，有了初步的认知。并在探究相位幅度型复数值神经网络的搭建过程中对sgd梯度下降算法在相位幅度型复数值神经网络的应用中的算法的意义和推导过程有了较为深刻的了解。本次实验不仅让我学习到了原本没有接触过的知识，也培养了我的耐心和毅力，懂得了科研所需要的那种沉稳，

28、一丝不苟的品质。参考文献1Laurent Sorber,Marc Van barel, Lieven De Lathauwer .Unconstrained Optimization of Real Functions in Complex Variables. 2012 Society for Industrial and Applied Mathematics. Vol. 22, No. 3, pp. 879898    2 Rongrong Wu,He Huang,and Tingwen Huang .Learning of Phase-

29、Amplitude-Type Complex-Valued Neural Networks with Application to Signal Coherence.School of Electronics and Information Engineering, Soochow University, Suzhou 215006, Peoples Republic of China. Texas A&M University at Qatar, Doha 5825, Qatar   3 William Shakespeare, Sonnet 76.Why We Need Complex-Valued Neural Networks?  Springer-