基于神经网络的自适应噪声抵消技术

摘要自适应噪声抵消技术是自适应滤波器最普遍的应用之一，它是一种在未知信号和噪声的先验知识条件下，能够很好地消除背景噪声影响的信号处理技术，具有很高的应用价值;但是，在很多情况下，噪声环境非常复杂，往往是非线性的，而目前所使用的自适应滤波器均属线性滤波器，滤波后会使原始信号产生失真;由于神经网络具有非线性等优点，可以很好的逼近非线性函数，所以采用基于神经网络的自适应噪声抵消器。本文主要主要研究了自适应噪声抵消技术，阐述了噪声抵消技术的原理和算法，并结合自适应滤波器深入分析了自适应噪声抵消性能。其中主要研究了BP神经网络，在对四层BP神经网络算法分析的根底上，结合自适应噪声抵消系统的根本原理，建立了一个基于神经网络的自适应噪声抵消滤波器。利用MATLAB对其进行了仿真得到了误差变化曲线和函数逼近曲线，经过屡次训练之后误差变化曲线收敛，而函数逼近曲线与目标曲线根本重合可以看出训练后的网络有较好拟合性。仿真结果说明神经网络自适应滤波器具有较为理想的自适应噪声抵消能力。关键词:自适应噪声抵消;自适应滤波;神经网络;BP网络AbstractAdaptivenoisecancellationtechniqueisoneofthemostcommonapplicationofadaptivefilter.Itisaverywellsignalprocessingtechniquewhichcaneliminatetheeffectsofbackgroundnoisewhenprioriknowledgeofthenoiseandsignalisunknown.Soithasveryhighapplicationvalue.Inmanycases,noiseenvironmentisverycomplexandoftennonlinearthoughmostadaptivefiltersusedinthepresentarealllinear.Theoriginalsignalwillbedistortedafterfilteringbythesefilters.Neuralnetworkcanapproximatetononlinearfunctionsverywellasits.nonlinearadvantage,etc.So,inthispaper,aneuralnetworkisappliedinaadaptivenoisecanceller.Noisecanbecancelledeffectively,whichisprovedbysimulation.Thispapermainlystudiesthetechniqueofadaptivenoisecancellation,andexpoundstheprincipleandalgorithmofnoisecancellationtechnologies,combinedwiththeadaptivefilterin-depthanalysisofadaptivecancellationperformanceofthesystem.MainlystudiestheBPneuralnetwork,theanalysisoffourlayerBPneuralnetworkalgorithm,onthebasisofcombiningthebasicprincipleofadaptivenoisecancellationsystem,setupaneuralnetworkbasedadaptivenoisecancellationsystem.UsingMATLABtothesimulationgottheerrorchangecurveandapproximationoffunctioncurve,afterrepeatedtrainingbeginningconvergenceerrorchangecurve,andthefunctionapproximationcurvesareessentiallycoincidentwiththetargetcurvecanbeseenthataftertrainingthenetworkhasabetterfitting.Lookfromtheresultsofneuralnetworkadaptivefilterisakindofidealadaptivenoisecancellationsystem.Keywords:adaptivenoisecancellation;adaptivefiltering;neuralnetwork;BPnetwork目录TOC\o"1-3"\h\u160731绪论1269461.1引言1110541.2自适应噪声抵消技术的开展与现状2103871.2.1国内外研究现状244441.2.2自适应滤波器简介 2284481.2.3自适应算法的研究 3226451.3神经网络的研究现状及开展趋势42081.3.1神经网络的研究现状 4210881.3.2神经网络的特点 6222011.3.3人工神经网络的应用 750521.4本文研究的主要内容879332自适应噪声抵消技术分析与研究1053932.1自适应滤波器1038992.1.1自适应滤波器原理 10245042.1.2横向自适应滤波器 11298922.2自适应噪声抵消系统的根本原理1360902.3自适应抵消算法16264062.3.1最小均方〔LMS〕自适应算法16294292.4自适应抵消系统能力分析17144162.4.1模平方相干函数 17272892.4.2衡量ANC系统抵消能力的指标 20221772.4.3两路噪声的统计相关特性 21112802.4.4自适应滤波器的性能与ANC系统的抵消能力23144922.5自适应滤波器参数的选择2582212.5.1滤波器介数的选择25263952.5.2步长参数的选择26273383基于神经网络噪声抵消模块设计2787573.1神经网络简介2739023.2人工神经元模型27159223.3神经网络结构及工作方式29326033.4神经网络自适应噪声抵消系统323223.4.1神经网络自适应噪声抵消系统原理 32204363.4.2神经网络结构确实定 3292253.5BP网络理论33254123.5.1BP网络结构 33316523.5.2BP网络的学习规那么 34135603.5.3BP网络模型建立 35181953.5.4基于神经网络工具箱的BP网络学习和训练 36179624基于神经网络的自适应抵消分析与仿真3765594.1MATLAB简介3767244.1.1MATLAB语言简介 3781234.1.2神经网络工具箱 38148474.2噪声抵消系统的仿真3862215结论4916995致谢5025299参考文献517263附录A英文原文5331314附录B汉语翻译611绪论1.1引言近年来，数字通信技术得到了迅猛开展和广泛应用，成为信息学科中最为活泼的领域之一。噪声消除是信号处理的核心问题之一，通常实现最优滤波的滤波器为维纳滤波器和卡尔曼滤波器，两者均要求信号和噪声的先验知识，但是在许多实际应用中往往无法预先得知，于是开展了自适应滤波器。自适应噪声抵消技术是一种能够很好的消除背景噪声影响的信号处理技术，应用自适应噪声抵消技术，可在未知外界干扰源特征、传递途径不断变化、背景噪声和被检测对象声波相似的情况下，能够有效地消除外界声源的干扰获得高信噪比的对象信号，这一技术在信号处理中有着广泛的应用。如:(1)用来消除心电图中的电源干扰;(2)用来检测心音，而将母亲的心音及背景干扰去除;(3)用来在有其他人讲话的背景中提取某人的讲话;(4)用来作为天线阵的自适应旁瓣抑制器。自适应噪声抵消(AdpativeNoiescnacellation，ANC)系统的根本要求和主要特点是其两路输入噪声必须统计相关，它们可以是线性相关的，使用线性相关ANC系统的自适应滤波器是线性滤波器，在这种情况下，对于平衡的输入噪声，自适应滤波器的稳态性能近似于维纳滤波器，但是当两路输入噪声间是非线性相关时，使用线性系统就有了困难，如果线性自适应算法用线性变换逼近非线性变换，为了到达足够高的精度，用于估计的权系数向量的维数将会爆炸性增长，自适应滤波器的估计速度必然会大为降低，其性能大幅下降，难以到达实时应用的目的。这时为了有效得进行噪声抵消，就必须采用自适应非线性系统作滤波器。神经网络是模仿和延伸人脑智能、思维、意识等功能的非线性自适应系统:具有全新的信息表达方式、高度平行分布处理、联想、自学习和自组织能力及极强的非线性映射能力，这就为自适应非线性滤波提供了一种全新的方法。1.2自适应噪声抵消技术的开展与现状1.2.1国内外研究现状噪声消除是信号处理的核心问题之一，通常实现最优滤波的滤波器为维纳滤波器与卡尔曼滤波器。它们均要求信号和噪声的先验知识，但在许多实际应用中往往无法预先得知，为此开展了自适应滤波器。1965年美国斯坦福大学建成了第一个自适应噪声抵消〔ANC〕系统。随着计算机技术与集成电路技术的进步，新的自适应算法不断涌现出来，自适应噪声抵消在理论和应用上都得到了很大的开展。自适应噪声抵消技术是一种能够很好地消除背景噪声影响的信号处理技术。应用自适应噪声抵消技术，可在未知外界干扰源特征、传递途径不断变化，以及背景噪声和被测对象声波相似的情况下，有效地消除外界声源的干扰获得高信噪比的对象信号。这一技术可为机械元件的噪声、振动等动态信号在测试环境不太理想的工作现场做测试分析和故障诊断时，提供有效地方法和依据，具有一定的理论意义和应用价值。自适应滤波器简介滤波器是电子设备的最根本的部件，人们对其己进行了广泛的研究。Winner奠定了关于最正确滤波器的根底。维纳Winner根据最小均方误差准那么求得了最正确线性滤波器的参数.这种滤波器被称为维纳滤波器，它获得了极其广泛的应用。在Winner研究的根底上，人们还根据最大输出信噪比准那么等，获得了其他的最正确线性滤波器。要实现维纳滤波，要求(l)输入过程是广义平稳的;(2)输入过程的统计特性是己知的。根据其他最正确准那么的滤波器亦有同样要求。然而，由于输入过程取决于外界的信号、干扰环境，这种环境的统计特性常常是未知的，变化的，因而不能满足上述两个要求。这就促使人们研究自适应滤波器。自适应滤波器是在输入过程的统计特性未知时，或输入过程的统计特性变化时，能够调整自己的参数，以满足某种最正确准那么，即具有"学习"和"跟踪"能力，包括时域和空域滤波等。自适应噪声抵消的最早的一些工作，是1957年到1960年间，Howells和Applebaum以及他们的同事在通用电气公司完成的。他们使用取自一个辅助天线的参考输入和一个简单的两权的自适应滤波器，设计并制造了天线旁瓣对消系统。在这些早期年代里，只有少数人对自适应系统感兴趣。而多权自适应滤波器的研制那么刚刚开始。1959年，Widrow和Hoff在斯坦福大学证明了最小均方(LMS)自适应算法和模式识别方案，称之为Adatin(代表"自适应线性门逻辑元件")。就在当时，罗森布拉特在康奈尔宇航实验室建造了他的模拟人类视觉神经控制系统的电子设备。在苏联，莫斯科自动学和遥控力学研究所的艾日曼及其同事们，也在制造一种自动梯度搜索机器。英国，D.加布尔和他的助手们那么在研制自适应滤波器.在六十年代初期和中期，关于自适应系统的工作加强了。文献中出现了数百篇关于自适应控制，自适应滤波和自适应信号处理的文章。自适应滤波在数字通信中的重要商业应用是这一时期勒凯在贝尔实验室的工作形成的。自适应噪声对消系统，于1956年在斯坦福大学建成。这个系统的目的在于对消心电放大器和记录输出端的60赫兹干扰。1975年，Widrow，Grriffiths等人就自适应干扰对消原理和应用作了总结。自此以后自适应噪声对消器的研究不断深入，理论方面它的算法和结构不断丰富。1974年提出的卡尔曼滤波算法，1977年的最小二乘格形自适应算法，对自适应技术的开展起了重要的推动作用。并行算法在自适应滤波领域有着巨大的应用潜力在实际应用中，自适应技术已广泛用于通信，语音信号处理、医学、雷达、声纳、遥感、控制等领域。自适应噪声抵消器己成功应用于心电图干扰抵消，长途传输线上的回声抵消，语音信号处理中的语音增强等领域。自适应算法的研究最小均方算法(LMS):出的最小均方(LMS)算法对自适应技术的开展起了极大的作用。由于LMS算法简单和易于实现，它已被广泛应用。对LMS算法的性能和改良算法已作了相当多的研究，并且至今仍然是一个重要的研究课题。Widrow在假定输入信号和加权系数统计独立的前提下证明了平均权的收敛性，而这一假设在很多的时候不能成立。有不少文献对此进行了研究进一步的研究工作涉及这种算法在非平稳，相关输入时的性能研究。1996年Hassibi等证明了LMS算法在H准那么下最正确，因而在理论上证明了LMS算法具有坚实性。这是算法研究的一个重要开展。当输入相关矩阵的特征值分散时，LMS算法的收敛性变差。为了改善LMS算法的收敛性，文献中己提出了包括步长算法在内的很多改良算法。在这些算法中，由等人提出的归一化LMS算法得到了较广泛的应用。LMS算法属于随梯度算法类。属于这一类的还有梯度格形和其他一些梯度算法。但是LMS算法是最重要和应用最广泛的算法。(2)二乘(LS)算法:LS算法早在1975年由高斯提出。但是直接利用LS算法运算量大。且每一新输入数据必须对所有数据处理一次，因而在自适应滤波中应用有限。递推最小二乘(RLS)算法通过递推方式寻找最正确解，复杂度比直接LS算法小，获得了广泛的应用。许多学者推导了RLS，其中包括1950年Plaeket的工作1994年sayed和K抓kailath建立了Kalman滤波和RLS算法的对应关系。这不但使人们对RLS算法有了进一步的理解，而且Kalman的大量研究成果可对应于自适应滤波处理。对自适应滤波技术起了重要的推动作用。1983年Mcwhirter提出了一种可用Kung的systolie处理结构实现的RlS算法。这一方法由Ward等和Mcwhirter进一步开展为用于空域自适应滤波的QR分解Ls算法。该算法不是针对输入数据的相关矩阵进行递推，而是直接针对输入数据相关矩阵进行递推，有很好的数据稳定性，而且可用Systolic处理结构高效地实现，因而在空域处理中获得广泛应用。采样矩阵求递(sMD)算法:SMI算法又称为直接矩阵求递(DMI)算法。1974年，Reed等人首先系统地讨论了SMI算法.SMI算法可以实现很高的处理速度，因而在雷达等系统中获得了广泛应用。K.Teitleibaum在其关于林肯实验室RST雷达的文中表达了基于直接对数据矩阵进行处理的SMI算法.该算法同样也采用Systolic处理结构进行处理。最小方差无失真响应(MVDR)算法属于另一类重要的自适应算法。1969年，capon在研究高分辨率测向的论文中讨论了在保证信号方向增益条件下，使自适应阵输出方差最小的准那么，即最小方差无失真响应(MVDR)准那么.此论文是研究算法的最早工作之一。1.3神经网络的研究现状及开展趋势神经网络的研究现状人工神经网络的开展经历了大约半个世纪，从20世纪40年代初到80年代，神经网络的研究经历了低潮与高潮几起几落的开展过程。早在1943年，心理学家W.McCulloch和数学家W.Pitts合作，从数理逻辑的角度，提出了神经元和神经网络最早的数学模型，标志着神经网络研究的开始。但由于受到当时研究条件的限制，很多工作不能模拟，在一定程度上影响了MP模型的开展。尽管如此，MP模型对后来的各种神经元模型及网络模型都有很大的启发作用，在此之后的1949年，D.O.Hebb从心理学角度提出了至今仍对神经网络有着重要影响的Hebb学习法那么。1958年，F.Rosenblatt首次引进了模拟人脑感知和学习能力的感知器概念，引起了人们的极大兴趣。感知器由简单的阀值性神经元构成初，步具备了诸如学习，并行处理，分布存储等神经网络的一些根本特征，从而确立从系统角度进行人工神经网络研究的根底。1960年，B.Widrow和M.Hoff提出了主要适用于自适应系统的自适应现行原件网络，采用了比感知器更复杂的学习程序。Widrow-Hoff技术被称为最小均方误差学习规那么。从此神经网络的开展进入了一个高潮。确实，在一有限范围内，感知器有较好的功能，并且感知器收敛定理得到证明。单层感知器能通过学习把那些线性可分的模式分开，但对象XOR这样简单的非线性问题却无法求解，这一定使人们大失所望，甚至开始疑心神经网络的价值与潜力。1969年，美国麻省理工学院着名的人工智能专家M.Minsky和S.Papert出版了颇有影响的Perceptron一书，从数学角度上剖析了简单的神经网络的功能和局限性，并且指出多层感知器还不能找到也有效的计算方法，由于M.Minsky在学术界的地位和影响，其悲观的结论，被大多数人不做进一步分析而接受；加之当时以逻辑推理为研究根底的人工智能和数字计算机的辉煌成就，大大降低了人们对神经网络的研究热情，故使神经网络的研究在其后的假设干年内处于低潮。尽管如此，神经网络的研究并未完全停顿下来，仍有不少学者在极其艰难的条件下致力于这一研究。1972年T.Kohonen和J.A.Carpenter不约而同地提出具有联想记忆功能的新神经网络；1976年，S.Grossberg与G.A.Carpenter提出了自适应共振理论，并在以后的假设干年内开展了ART1、ART2、ART3这3种神经网络模型，从而为神经网络研究的开展奠定了理论根底。进入20世纪80年代，特别是80年代末期，对神经网络的研究从复兴很快转入了新的热潮。这主要是因为：一方面经过十几年迅速开展的逻辑符号处理能力为主的人工智能理论和冯.诺依曼计算机在处理诸如视觉、听觉、形象思维，联想记忆，、等智能信息处理问题上收到了挫折；另一方面，并行分布处理的神经网络本身的研究成果，使人们看到了新的希望。1982年美国加州工学院的的物理学家J.Hoppfield提出了HNN模型，并首次引入了网络能量函数概念，使网络稳定性研究有了明确的判据，其电子电路实现为神经计算机的研究奠定了根底，同时开拓了神经网络用于联想记忆和优化计算的新途径。1983年，K.Fukushima等提出了神经认知机网络理论；1985年，D.H.Ackley，G.E.Hinton和T.J.Sejnowski讲模拟退火概念系列移植到Boltzmann机模型的学习之中，以保证网络能收敛到全局最小值。1986年，D.Rumelhart和J.McCelland等提出的PDP理论那么致力于认知微观结构的探索，同时开展了多层网络的BP算法，使BP网络成为目前应用最广的网络。1987年，T.Kohonen提出了自组织映射。1987年，[美]电气和电子工程师学会IEEE在圣地亚哥召开了盛大规模的神经网络国际学术会议，国际神经网络会也随之诞生。1988年，学会的正式杂志NeuralNetworks创刊；从1988年开始，国际神经学会和IEEE每年联合召开一次国际学术会；1990年IEEE神经网络会创刊问世，各种期刊的神经网络特刊层出不穷，神经网络的理论研究和实际应用进入了一个蓬勃开展时期。1.3.2神经网络的特点神经网络的主要特点是：分布式储存信息。其信息主要存储分布在不同的位置，神经网络是用大量神经元之间的连接及对各连接权值的分布来表示特定的信息，从而是网络在局部网络受损或输入信号因各种原因发生局部畸变时，仍然能够保证网络的正常输出，提高网络的容错性和鲁棒性。并行协同处理信息:神经网络中的每个神经元都可根据接收到的信息进行独立的运算和处理，同一层中的每个神经元的输出结果可被同时计算出来，然后传输给下一层做进一步处理，这表达了神经网络并行运算的特点，这一特点是网络具有非常强的实时性。虽然单个神经元的结构及其简单，功能有限，但大量神经元构成的网络系统所能实现的行为是及其丰富多彩的。信息处理与存储合二为一。神经网络的每个神经元都兼有信息处理和存储功能，神经元之间连接强度的变化，既反映了对信息的记忆，同时又与神经元对鼓励的响应一起反映了对信息的处理。对信息的处理具有自组织，自学习的特点，便于联想，综合和推广。神经网络的神经元之间的连接强度用权值大小来表示，这种权值可以通过对训练样本的学习而不断变化，而且随着训练样本量增加和反复学习，这些神经元之间连接强度会不断增加，从而提高神经元对这些样本特征的反响灵敏度。1.3.3人工神经网络的应用人工神经网络的应用领域极其广泛，神经网络在人工智能，自动控制，计算机科学，信息处理，机器人，模式识别等方面都有重要的应用。随着人工神经网络技术的开展，及其用途日益广泛，应用领域也在不断拓展，已在各工程领域中得到广泛的应用。神经网络比拟擅长的应用领域如下。模式识别：神经网络经过训练可有效的提取信号、语音、图像、雷达、声纳等感知模式的特征，并能解决现有启发模式识别系统不能很好解决的不变量探测，自适应，抽象或概括等问题。这方面的主要应用有：图形、符号、手写体及语音识别，雷达及声纳等目标识别，药物构效关系等化学模式信息辨识，机器人视觉，听觉，各种最近相邻模式聚类及识别分类，遥感、医学图像分析，计算机视觉，计算机输入装置等。神经网络可应用于模式识别的各个环节：特征提取、聚类分析、边缘检测、信号增、噪声抑制、数据压缩以及各种变换、分类判决等。模式识别是人工神经网络特别适宜求解的一类问题，神经网络模式识别技术在各领域中的广泛应用是神经网络技术开展的一个重要侧面。人工智能：专家系统是人工智能领域研究时间最长，应用最成功的技术，但人们在应用专家系统解决诸如语音识别、图像处理和机器人控制等这类类似于人脑的形象思维的问题时，却遭到很大的困难。神经网络的问世为人工智能开辟了一条崭新的途径，成为人工智能研究领域中国的后起之秀，它具有的自学习能力是传统专家系统望尘莫及的。神经王略技术能对不完整信息进行补全，根据已学会的只是和处理问题的经验对复杂问题作出合理的判断决策，给出较满意的解答，或对未来过程作出有效地预测和估计，从而使之在人工智能领域获得广泛的应用。这方面的主要应用有：自然语言处理、市场分析、预测估值、系统诊断、事故检查、密码破译。语言翻译。逻辑推理、知识表达、智能机器人、模糊评判等。控制工程：神经网络在诸如机器人运动控制、工业生产中的过程控制等复杂控制问题方面有独到之处。较之基于传统数字计算机的离散控制方式，神经网络更适宜于组成快速实时自适应控制系统。这方面的主要应用有：多变量自适应控制、变节够优化控制、并行分布控制、智能及鲁棒控制等。优化计算和联想记忆：由于并行、分布式的计算结构，神经网络在求解诸如组合优化(NP完备问题)、非线性优化等一系列问题上表现出告诉的集体计算能力。在VLSL自动排版、高速通信开关控制、航班分配、货物调度、路径选择、组合编码、排序、系统规划、交通管理以及图论中各类问题的计算等方面得到了成功应用。联想记忆的作用是用一个不完整或模糊的信息联想出存储在记忆中的某个完整、清晰的模式来。如何提高模式存储量和联想质量仍是神经网络的热点之一。目前在这方面的应有内容寻址器、人脸识别器、知识数据库等。信号处理:神经网络的自学习和自适应能力使其成为对各类信号进行多用途加工处理的一种天然工具，主要用于解决信号处理中的自适应和非线性问题、包括自适应均衡、自适应滤波回波抵消。自适应波束形成、自适应编码等自适应问题和各种非线性问题，如非线性区域的横式分类、系统辨识和高维非线性系统的检测、估计等问题，还可对病态问题进行求解。神经网络在弱信号检测、通信、自适应滤波等方面的应用尤其引人入目，并已在许多行业得到应用。虽然神经网络在许多领域都有成功的实用案例，但神经网络也不是尽善尽美的。目前神经网络的理论研究和实际应用都在进一步的探索之中，相信随着人工网络研究的进一步深入，其应用领域会更广，用途会更大。 1.4本文研究的主要内容本文针对信号波形恢复的问题，在对四层BP神经网络算法分析的根底上，结合自适应噪声抵消系统的根本原理，建立了一个基于神经网络的自适应噪声抵消系统，充分发挥了神经网络的很多优点。克服了传统自适应噪声抵消存在的两路输入噪声必须统计相关，当两路输入噪声间是非线性相关时，使用自适应噪声抵消系统就遇到了困难的缺点，该设计方法可有效地节省大量的学习和计算时间，同时提高了信噪比，通过计算机仿真说明，该自适应噪声抵消器具有很好的实时性，对于微弱信号的提取和处理具有重要的实用价值。其主要内容如下:第一章:全面分析了自适应噪声抵消的意义，综述了其开展历史、研究现状，以及神经网络的研究现状及开展趋势，并对神经网络做了简单的介绍，进一步研究了神经网络的现状及开展趋势，最后指出了本文所要做的主要工作。第二章主要介绍了自适应噪声抵消技术研究了自适应滤波器中的横向滤波器。全面分析了自适应噪声抵消系统的原理、结构、算法，并对自适应噪声抵消系统的性能做了进一步的分析。最后对自适应滤波器的一些参数进行了研究。第三章对神经网络进行了介绍描述了人工神经网络模型同神经网络进行那个了比照，对神经网络结构和工作方式进行了深入研究同时对BP网络进行了研究并把神经网络和自适应抵消技术进行了研究。第四章对自适应噪声抵消技术进行了MATLAB的仿真。2自适应噪声抵消技术分析与研究噪声消除是信号处理的核心问题之一，通常实现最优滤波的滤波器为维纳滤波器与卡尔曼滤波器，它们均要求己知信号和噪声的先验知识，但在许多实际应用中往往无法预先得知。为此，开展了自适应滤波器，随着计算机技术与集成电路技术的进步，新的自适应算法不断涌现出来，自适应噪声抵消在理论和应用上都得到了很大开展，自适应噪声抵消技术是一种能够很好地消除背景噪声影响的信号处理技术，应用自适应噪声抵消技术，可在未知外界干扰源特征，传递途径不断变化，背景噪声和被测对象声波相似的情况下，能够有效地消除外界声源的干扰，获得高信噪比的对象信号。2.1自适应滤波器自适应滤波器原理自适应滤波器自从60年代出现后，其理论在不断地开展与完善，应用也越来越广泛，自适应数字滤波器的原理框图如图2.1所示，它由参数可调的数字滤波器(或称为自适应处理器)和自适应算法两局部组成。图2.1自适应滤波器原理图参数可调数字滤波器可以是IIR数字滤波器或FIR数字滤波器，也可以是格型数字滤波器。输入信号x(n)通过参数可调数字滤波器后产生输出信号以y〔n〕，将其与参考信号d(n)进行比拟，形成误差信号e(n)。e(n)通过某种自适应算法对滤波器参数进行调整，最后使e(n)的均方值最小。因此，实际上自适应滤波器是一种能够自动调整本身参数的特殊维纳滤波器，在设计时不需要事先知道关于输入信号和噪声的统计特性。它能够在工作过程中逐渐了解或估计所需要的统计特性，并以此为依据自动调整自己的参数，以到达最正确滤波效果。一旦输入的统计特性发生变化时，它又能跟踪这种变化，自动调节参数，使滤波器性能到达最正确解。横向自适应滤波器如图2.2所示,单输入横向自适应滤波器原理。图2.2单输入横向自适应滤波器原理如图2.3所示，多输入横向滤波器原理。图2.3多输入横向滤波器原理在图中，自适应滤波器的权系数矢量为w(n)=[(n)，(n)…(n)]对于单输结构，输入信号矢量x(n)来自单一的信号源，可以表示为x(n)=[x(n)，x(n-1)，…，x(n-m)，而多输入结构输入信号矢量x(n)那么来自m+1个不同的信号源，可以表示为x(n)=(n)，(n)，…，(n)。图中表示一个采样间隔的延迟，d(n)为期望响应信号，又称为根本输入信号，y〔n〕为自适应滤波器的输出信号，e(n)为d(n)与y(n)之差，称为误差信号，n为离散时间变量。输入信号矢量x(n)与滤波器权系数矢量相乘，形成了n时刻的输出y〔n〕，即y(n)=(n)w(n)=(n)x(n)(2.1)而误差信号为e(n)=d(n)-y(n)=d(n)-(n)x(n)(2.2)=d(n)-(n)w(n)e(n)被反响回来用做自适应滤波器权系数调节的控制信号，实际上，自适应滤波器的所谓自适应能力，就是依靠这种误差控制的系数调整来实现的。当输入信号是平稳随机序列时，通常调整加权系数，使误差信号e〔n〕的均方值E[(n)]到达最小，对式(2.2)两边平方，有e(n)=d(n)+w(n)x(n)x(n)-2d(n)x(n)w(n)(2.3)对上式两边取数学期望，得到E[e(n)]=E[d(n)]+w(n)E[x(n)x(n)]w(n)-2E[d(n)x(n)]w(n)(2.4)定义输入信号的自相关矩阵R和互相关矩阵P为R=E[x(n)x(n)](2.5)P=E[d(n)x(n)](2.6)式〔2.4〕变为E[e(n)]=E[d(n)]+w(n)Rw(n)-2PW(n)(2.7)通常，习惯将均方误差E[e(n)]成为自适应滤波器的性能函数，写为MSE。即MSE=E[e(n)](2.8)由式(2.7)可以看出，当输入信号x(n)与期望响应d(n)为平稳随机过程时，性能函数MSE精确地为权系数矢量w(n)的二次函数，二维均方误差函数的曲面形式为一碗状的抛物面。当权矢量的维数大于2时，性能函数MSE为一超抛面形式，由于自相关矩阵R为正定的，故此超抛物面向上凹，表示均方误差函数有唯一的最小值，该最小值所对应的权系数矢量为自适应滤波器的最正确权矢量，即维纳滤波器的权矢量w。2.2自适应噪声抵消系统的根本原理自适应噪声抵消系统是以噪声干扰为处理对象，将噪声干扰抑制掉或者进行衰减，以提高输出端信号在信噪比上质量的提高。自适应噪声抵消系统需有两路通道即主通道和参考通道。如图2.4所示是自适应干扰抵消器的根本结构图。图2.4自适应干扰抵消原理在图2.4中，自适应噪声抵消系统需有两路通道一主通道和参考通道。其中主通道要接收通过一路传感器获得的信号s(n)，但是信号s(n)受到了噪声n(n)的污染，所以主通道收到的是有用信号s(n)和干扰噪声n(n)的混合信号;另外一路参考通道的作用在于检测噪声干扰，由另外一路传感器获得，它用一个与主通道干扰噪声n(n)相关的噪声x(n)通过自适应滤波器，并且通过采用具体的自适应滤波的算法调整其输出n'(n)，使滤波器的输出n'(n)在最小均方误差意义下最接近主通道的干扰噪声n(n)。这样，通过减法器，将主通道的噪声分量n(n)尽量抵消掉，就得到系统输出y(n)。假设s(n)、n(n)及x(n)是零均值的平稳随机过程，s(n)与n(n)及x(n)不相关。由图2.4可见，自适应滤波器的输出n'(n)为c(n)的滤波信号，因此自适应噪声抵消系统的输出以y(n)为y(n)=s(n)+n(n)-n'(n)(2.9)而y(n)=s(n)+[n(n)-n'(n)]+2s(n)[n(n)-n'(n)](2.10)对上式两边取数学期望，由于s(n)及x(n)不相关，s(n)与n'(n)也不相关，故有E[y(n)=E[s(n)+E[(n(n)-n'(n))](2.11)信号功率E[s(n)]与自适应滤波的调节无关。因此，自适应滤波器调节使E[y(n)]最小，就是E[(n(n)-n'(n))]最小，由式〔2.9〕可知n(n)-n'(n)=y(n)-s(n)(2.12)由上式可见，当E[(n(n)-n'(n))]最小时，E[(y(n)-s(n))]也最小，即自适应噪声抵消系统的输出信号y(n)与有用信号s(n)的均方差最小，在理想情况下，n'(n)=n(n)，那么y(n)=s(n)。这时，自适应滤波器自动调整其参数，使x(n)通过自适应滤波器产生输出n(n)，与原始输入信号d(n)中的n(n)相减，使系统输出信号y(n)由于噪声被完全抵消，而等于有用信号s(n)。自适应滤波器能完成上述任务的必要条件为:参考输入信号x(n)必须与被抵消的信号(现为噪声)n(n)相关，证明如下:假设自适应滤波器的自适应过程是收敛的，且最小均方误差解存在，那么自适应滤波器与一个维纳滤波器等效。由维纳滤波理论可知，此维纳滤波器的物理不可实现的最正确传递函数为H=(2.13)式中P(z)=[x(n)d(n+j)]z(2.14)P(z)=[x(n)x(n+j)]z(2.15)现d(n)=s(n)+n(n)，由于s(n)与x(n)不相关，故P(z)=P(z)=[x(n)n(n+j)]z(2.16)假设x(n)与n(n)不相关，那么P(z)=0，于是H(z)=0，此时，滤波器没有意义，因此自适应噪声抵消滤波器的根本要求是x(n)与n(n)必须相关。实际上，一个噪声抵消系统的情况比图2.4所示的复杂，这是因为主通道输入中还可能有一些独立噪声源(即与参考通道输入无关的噪声及干扰)。如图2.5所示。图2.5常见的自适应抵消系统图中，主通道输入由有用信号s(n)与两路噪声z(n)=c(n)*a(n)与n(n)组成，参考通道输入x(n)由c(n)，m(n)两噪声组成。a(n)为传输通道的脉冲响应，其传递函数为A(z)。噪声n(n)、m(n)不相关，与s(n)，n(n)，c(n)也不相关。假设自适应过程是收敛的，并有最小均方误差解，那么自适应滤波器与维纳滤波器等效，其最正确传递函数等于维纳滤波器传递函数为：(2.17)在此情况下，自适应滤波器的输入功率谱密度为P=P(z)+P(z)(2.18)滤波器输入与期望响应之间的互功率谱P(z)仅与其主通道输入及参考输入相关分量有关，故P(z)=P(z)+A(z)(2.19)于是H=(2.20)由上式可见，H(z)与主通道输入中有用信号功率谱P(z)及非相关噪声功率谱P(z)无关，假设参考输入中的加性噪声m(n)为零，那么P(z)=0，H(z)变为H=A(z)(2.21)这时，自适应滤波器可使z(n)在噪声抵消系统输出中完全抵消为零，但主通道中与参考噪声不相关的噪声n(n)那么完全不能抵消。2.3自适应抵消算法2.3.1最小均方〔LMS〕自适应算法如果能够在最速下降法的迭代过程中，每一步得到梯度(n)的准确值，并且适当地选择了收敛因子，那么最速下降法肯定会收敛于最正确维纳解。然而，在迭代的每一步准确地测量梯度矢量是难以做到的，因为这需要具有关于自相关矩阵R和互相关矩阵P的先验知识。实际上，梯度矢量需要在迭代的每一步依据数据进行估计，换句话说，自适应滤波器的权矢量是根据输入数据在最优准那么的控制下不断更新的，由威德诺等人提出的最小均方(LMS)算法就是一种以期望响应和滤波器输出信号之间误差的均方值最小为准那么的，依据输入信号在迭代过程中估计梯度矢量，并更新权系数以到达最优的自适应迭代算法，LMS算法是一种梯度最速下降方法，其显着的特点和优点是它的简单性，这种算法不需要计算相应的相关函数，也不需要进行矩阵运算。自适应滤波器的误差信号为e(n)=d(n)-y(n)=d(n)-w(n)x(n)(2.22)=d(n)-x(n)w(n)(2.23)采用一种方法来估计均方误差MES=E[e(n)]的梯度(n)，并以此梯度估计值(n)最速下降法中理想情况下的梯度真值，LMS算法进行梯度估计的方法，是以误差信号每一次迭代的瞬时平方值替代其均方值，并以此来估计梯度，即(n)=[…](2.24)假设写为矢量形式有(n)=(2.25)将〔2.23〕式代入〔2.25〕式有(n)=2e(n)=-2e(n)x(n)〔2.26〕用梯度估值〔n)替代最速下降法中的梯度真值〔n)，有W(n+l)=w(n)+〔2.27〕=w(n)+2e(n)x(n)式中，为自适应滤波器的收敛因子，式〔2.26〕即为LMS算法的滤波权矢量迭代公式。由该式可知，下一时刻的权系数矢量，可以由当前时刻的权系数矢量加上以误差函数为比例因子的输入矢量。图2.6所示为实现LMs算法流程图。图2.6LMS算法流程图2.4自适应抵消系统能力分析在对自适应噪声抵消系统进行算法和结构设计时，如何提高系统的性能是首先考虑的。为此，就要对系统的性能做理论分析，找出各个影响因素，分析它们之间以及它们与系统性能之间的关系，得出规律性结论，用以指导实践。2.4.1模平方相干函数设x(t)，y(t)为零均值时〔广义〕平稳随机过程，其自相关函数R〔〕=E[x(t)x(t+)](2.28)互相关函数为R=E[x(t)y(t+)](2.29)相关函数为(2.30)自功率谱密度函数为G(f)=(2.31)互功率谱密度函数为G(f)=(2.32)两个平稳随机过程x(t)与y(t)的相干函数(f)定义为它们的归一化互谱，即(f)=(2.33)工程中常用的是幅度平方，即模〔幅度〕平方相干函数〔MSG〕(2.34)性质10(2.35)性质2假设将实平稳随机过程x(t)，x(t)分别输入两个线性时不变系统，得平稳随机输出过程即y(t)=x(t)*h(t)(2.36)y(t)=x(t)*h(t)(2.37)那么两个输出过程间的MSG等于输入过程间的MSG即对任意的f，有(2.38)性质2的推论设x(t)，z(t)为两个时平稳随机过程，且将x(t)输入到线性时不变系统h(t)，得到平稳随机输出过程y(t)=x(t)*h(t)(2.39)那么对任意f，有(2.40)性质3假设将实平稳随机过程x(t)输入到两个线性时不变系统h(t)，h(t)，得平稳随机输出过程y(t)，y(t)，即y(t)=x(t)*h(t)(2.41)y(t)=x(t)*h(t)(2.42)那么对任意f，有(2.43)性质4那么对任意f，假设将实平稳随机过程x(t)，输入线性时不变系统h(t)，得平稳随机输出过程y(t)，即(.)成立，那么对任意f，有=1(2.44)性质5假设将实平稳随机过程x(t)输入线性时不变系统h(t)，且其输出中混入了不相关的零均值噪声n(t)，而得到平稳随机过程y(t)，此系统的频域表示如图2.7所示，其中X(f)，H(f)，N(f)，Y(f)，Z(f)分别为x(t)，h(t)，n(t)，y(t)，z(t)的傅氏变换。图2.7性质与系统的频域表示Y(f)=Z(f)+N(f)=X(f)H(f)+N(f)(2.45)对任意f，有(2.46)综合上述对MSC的定义与性质的讨论，可对MSC的物理意义了解如下1〕是两个平稳随机过程x(t)，y(t)在频率f上相关程度的归一化度量，显然，如果x(t)与y(t)互不相关(在零均值情况下等价于统计独立)，即对任意，有或等价地对任意f，有，那么，越大表示x(t)，y(t)的相关程度越强，由性质4可知，假设x(t)与y(t)线性相关那么对任意f，有。2〕性质2说明，一个平稳随机过程的MSC对任何线性处理具有不变性，因此，它可以作为系统线性性能的度量。3〕性质5的式(2.48)说明，表示线性系统输出谱占总输出谱的比例，另外，由图〔2.7〕可知=+(2.47)综合式〔2.46〕与〔2.27〕可知，系统的输出信噪比可用表示为==(2.48)正因为MSC具有上述良好的性质与明确的物理意义，使它在随机信号分与处理的理论及实践中得到广泛的应用。衡量ANC系统抵消能力的指标如图2.8所示，自适应噪声抵消系统图2.8自适应噪声抵消系统如图2.8所示为一自适应噪声抵消系统，其原始信号由有用信号s(t)与混叠噪声v(t)组成;参考输入u(t)与v(t)统计相关，抵消输出包括有用信号s(t)与剩余噪声b(t)，即y(t)=s(t)+b(t)(2.49)其中剩余噪声为b(t)=v(t)-u(t)*h(t)(2.50)式中，h(t)为自适应滤波器H(f)的单位脉冲响应，ANC系统的抵消能力在时域用系统增益G来衡量，它定义为原始输入中的噪声功率与剩余噪声功率之比，即G=(2.51)在频域那么用功率谱增益来衡量，它定义为原始输入噪声的自谱与剩余噪声自谱之比，即(2.52)由于(2.53)(2.54)因此，G与G(f)有如下关系(2.55)ANC系统的抵消能力与两路输入噪声间的统计相关特性及自适应滤波器的性能有关。2.4.3两路噪声的统计相关特性为便于单独分析两路噪声统计相关特性对ANC系统的抵消能力的影响，这里假设自适应滤波器H(f)在稳态时到达了使均方误差为最小的非因果最优解即H(f)满足如下维纳滤波解(2.56)或等价的，其单位脉冲响应h(t)满足(2.57)时域时的系统增益由式〔2.49)，式〔2.50〕，式〔2.52〕，式〔2.53〕及式〔2.56〕可得系统增益G为(2.58)由上式可见，假设u(t)与v(t)不相关，那么R(t)=0，G=1，这时b(t)=v(t)，u(t)*h(t)=o，即h(t)=o，自适应滤波器关闭，系统没有任何增益.反之，假设u(t)与，v(t)线性相关，即存在一个线性时不变系统，使得v(t)是u(t)通过该系统所得的输出，显然，到达自适应滤波器最优解的H(f)即为该系统的传递输出函数，故v(t)=u(t)*h(t)(2.59)这时，根据平稳随机过程通过线性系统的理论，有(2.60)令上式中t=0，可得=(2.61)由式〔2.57)与式〔2.60〕可见，这时G=，b(t)=0噪声得到完全抵消。频域时的系统功率谱增益由式〔2.49〕求出剩余噪声b(t)的自相关函数，然后对其做傅氏变换得b(t)的自谱为(2.62)将式(2.55)与式(2.61)代入式(2.51)，得系统功率谱增益为(2.63)将上式代入式(2.54)得系统增益另一表示，为(2.64)由式(2.62)和式(2.63)可知，假设u(t)与v(t)不相关，那么，G(f)=G=l，系统没有任何增益;假设u(t)与v(t)线性相关，那么根据MSC的性质4，有，G(f)=G=噪声完全抵消，G与G(f)均随的增大而增大，比拟式(2.57)与式(2.62)及式(2.63)，可见从对ANC系统的抵消性能描述，采用模平方相干函数表示的频域关系比用互相关函数表示的时域关系更为直接和明确，由式(2.62)与式(2.63)可见，ANC系统的抵消能力取决于两路输入噪声的模平方相干函数，因此，需要讨论决定大小的因素，由图2.8知，u(t)与v(t)的统计相关特性取决于同源噪声c(t)与z(t)之间的统计相关特性以及不相关噪声m(t)，n(t)的引入量，分别定义两路不相关噪声自谱与其同源噪声自谱之比为(2.65)(2.66)(2.67)(2.68)(2.69)将式(2-66)代入的定义式，得到=(2.70)由上式可见与越大，即两路不相关噪声引入越多，那么越小，而当==0时，有=。假设同源噪声c(t)与z(t)之间模平方相干函数<1，那么说明图2.8的未知系统不是一个线性时不变系统，这时，它通常是一个非线性系统或分布系数系统。2.4.4自适应滤波器的性能与ANC系统的抵消能力实际中所用的自适应滤波器都是因果的和有限阶的，其性能一般达不到使均方误差为最小的非因果最优解的结果，下面单独分析因果与有限阶自适应滤波器H〔f〕的性能对ANC抵消能力的影响，为此，假设ANC系统两路噪声u(t)与v(t)是线性相关的，其，另外，假设其自适应滤波器非因果最优解时为H(f)，根据物理不可实现的非因果离散维纳滤波器理论，H(f)满足如下(2.71)(2.72)对实际所用自适应滤波器，由式(2.61)，即(2.73)将式(2.68)代入上式，并考虑，，有(2.74)将上式代入式(2.51)，得系统功率谱增益G(f)为(2.75)定义滤波器的频谱相对失真(2.76)那么(2.77)这时ANC系统的功率谱增益为滤波器频谱相对失真的倒数，将式〔2.71〕代入式〔2.54〕，得系统增益G为(2.78)当满足式〔2.75〕的矩形谱时，(2.79)=0，其他那么式〔2.74〕化为=(2.80)其中，定义范数平方(2.81)=假设定义滤波器的时频相对失真为(2.82)那么=(2.83)这时，ANC系统的系统增益为滤波器时频相对失真的倒数，由式(2.73)与式(2.79)，可知当时，ANC系统的抵消能力完全取决于自适应滤波器在稳态时对非因果最优解的逼近程度，逼近程度越高，那么抵消能力越强。2.5自适应滤波器参数的选择LMS算法是否能够很好的实现自适应滤波的过程与算法中参数的选择以及参的取值范围是密不可分的。如果选择的参数的取值超出了理论上规定的范围，可能会导致自适应过程的发散，或者如果选择的参数的取值不够合理，可能带来计量增加，使收敛过程变慢，浪费时间。下面主要针对滤波器的阶数和步长这两个参数进行讨论。2.5.1滤波器介数的选择本文所探讨的自适应滤波器采用的是横向滤波器结构，所以滤波器的阶数L就是指自适应滤波器的抽头延迟线的长度。对于滤波器的阶数的选择要考虑以下因素：(1)对实际所需要的信号要有足够好的逼近程度，即一次迭代计算时要求包含足够的信息;(2)要有足够好的动态特性，以保证有较好的跟踪能力，适应非平稳特性的要求;(3)滤波器的阶数不能选择的太大，否那么计算的工作量太大，计算起来过于费时，导致不能实现实时处理。在实际应用中，首先估计滤波器的阶数，然后通过实验，在滤波质量无明显降低的情况下，逐步减小滤波器的长度，确定出最后选用的滤波器的阶数。2.5.2步长参数的选择在自适应算法当中曾得到这样一个结论:自适应收敛过程的快慢和步长参数成反比，失调量和步长参数成正比。步长参数取值较大时，收敛快，然而失调量也随之变大。步长参数取值较小时，失调量较小，但是自适应时间很长。步长参数取值过大时，还可能导致自适应过程的发散，使系统不能到达稳定状态而导致算法处理失败。所以，要同时获得快速的收敛过程和较小的失调量，步长参数的选择就显得及其重要。步长参数的取值范围都必须遵循理论推导得出的使自适应过程收敛的取值范围。在实际应用和处理中，一般情况下，可以从较小的步长初值开始，逐步对允许范围内的步长值加倍，直到取得较为理想的结果。3基于神经网络噪声抵消模块设计3.1神经网络简介现代的计算机具有很强的计算和信息处理能力，但是它对于模式识别、感知和在复杂环境中作决策等问题的处理能力却远不及人类，特别是它只能按人事先编好的程序机械地执行，缺乏向环境学习、适应环境的能力。神经网络是模仿和延伸人脑智能、思维、意识等功能的非线性自适应系统，具有全新的信息表达方式、高度平行分布处理、联想、自学习和自组织能力及极强的非线性映射能力，这些特点为神经网络的研究提供了非常广阔的前景。3.2人工神经元模型神经元是神经网络操作的根本信息处理单元图3.1显示神经元的模型，它是人工神经网络的设计根底。图3.1 神经元的非线性模型其中，，…，是输入信号，，，…，是神经元的突触权值，即连接权值，是输入信号的线性组合器的输出(也称为神经元的局部诱导域)，偏置为，激活函数为()，是神经元输出信号。人工神经元有三个根本要素:(1)突触或连接链:每一个都由其劝值或者强度作为特征。连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。(2)加法器:用于求输入信号被神经元的相应突触加权的和。此操作构成一个线性组合器。(3)激活函数:用来限制神经元输出振幅。激活函数也称为压制函数，起非线性映射作用并将神经元输出幅度限制在一定范围内(一般限制在(0，l)或(一l，+l)之间)。此外，神经元模型中也包括一个外部偏置。偏置的作用是根据其为正或为负，相应地增加或降低激活函数的网络输入。可分别用数学式表达出来，为(3.1)(3.2)激活函数记为()，通过局部诱导域u定义神经元输出。下面给出三种根本的激活函数。(1)阈值函数1，u0(3.3)0，u<0在工程文献中，这种函数一般称为Haevisjde函数。相应地，在神经元使用种阈值函数，其输出可表示为1u0=(3.4)0u<0其中，是神经元的局部诱导域，即(3.5)常称此种神经元模型为M-P模型(2)分段线性函数1u1=(1+u)-1<u<1(3.6)0u-1它类似与一个放大系数为1的非线性放大器，当工作于线性区时它是一个线性组合器，放大系数趋于无穷大时变成一个阈值单元。singrofd函数。此函数的图形是S型的，在构造人工神经网络中是最常用的激活函数。它是严格的递增函数，在线性和非线性之间显现出较好的平衡。它的一个例子是logistic函数，定义如下(3.7)其中，a是函数的倾斜参数。改变参数就可以改变倾斜程度。另一种常用的双曲正切函数为(3.8)这类函数具有平滑和渐近性，并保持单调性。3.3神经网络结构及工作方式神经网络中神经元的构造方式是和训练网络的学习算法紧密连接的。因此，可以说用于网络设计的学习算法(规那么)是被构造的。一般说来，可以区分三种根本不同的网络结构。单层前馈网络多层前馈网络递归网络(1)单层前馈网络在分层网络中，神经元以层的形式组织。在最简单的分层网络中，源节点入层直接投射到神经元输出层(计算节点)上去，而不是相反。即这个网络是严格前馈。如图3.2所示，输出输入层各有4个节点。这样一个网络称为单层网络。单层指的是计算节点(神经元)输出层。此处不把源节点的输入层计算在内，因为这一层没有计算。 源节点输入层神经元输入层图3.2单层前馈神经网络多层前馈网络此网络有一层或多层隐藏节点层，相应的计算节点称为隐藏单元或隐藏神经元。隐藏神经元的功能是以某种有用方式介入外部输入和网络输出之中。加上一个或多个隐藏层，网络可以引出高阶统计特性。即使网络为局部连接，由于额外的突触连接和额外的神经交互作用，可以使网络在不那么严格意义下获得一个全局关系。当输出层很大的时候，-隐藏层提取高阶统计特性的能力就更有价值了。输入层的源节点提供激活模式的元素(输入向量)，组成第二层(第一隐藏层)神经元的输入信号。第二层的输出信号作为第三层输入，这样一直传递下去。通常每一层的输入都是上一层的输出，最后的输出层给出相对于源节点的激活模式的网络输出。网络结构如图3.3所示。图中只有一个隐藏层以简化神经网络的布局。这是一个5-4-2网络，其中有5个源节点，4个隐藏神经元，2个输出神经元。源节点输入层隐藏层神经元输出层神经元图3.3有一个隐层和输出层的全连接前馈网络图3.3的网络也可以称为完全连接网络，这是指相邻层的任意一对节点都有连接。如果不是这样，那么网络称为局部连接网络。(3)递归网络递归网络和前馈网络的区别在于它至少有一个反响环。图3.4所示的是带有隐藏神经元的一类递归神经网络，反响连接的起点包括隐藏神经元和输出神经元。图3.4具有隐藏层神经远的递归网络反响环的存在，对于神经网络的学习能力和它的性能有深刻的影响。并且，由于反响环涉及使用单元延迟元素(记为)构成的特殊分支，假设神经网络包含非线性单元，这导致非线性的动态行为。人工神经网络的工作过程主要分为两个阶段：第一阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权值固定，计算单元变化，以到达某种稳定状态。从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反响网络按对能量函数的极小点的利用分类有两种：第一类是能量函数的所有极小都起作用，这一类主要作用各种联想存储器；第二类只利用全局极小点，它主要用于求解最优化问题。3.4神经网络自适应噪声抵消系统3.4.1神经网络自适应噪声抵消系统原理在自适应噪声抵消中，有两个实际问题需要考虑:(1)假设参考通道输入噪声与主通道干扰噪声相关，那么干扰噪声能够很好地被抵消，假设另外还有与参考通道噪声不相关的干扰叠加在有用信号上，那么无法抵消。(2)假设主通道中有用信号漏入自适应滤波器的参考输入端，那么有用信号将会被局部被抵消。根据自适应噪声抵消系统的根本原理与神经网络的特点，可以组成神经网络自适应噪声抵消系统。如图3.5所示。图3.5自适应神网络噪声抵消其中，主通道输入信号d(n)是有用信号，s(n)与干扰噪声n(n)之和，即d(n)=s(n)+n(n)，n(n)是由某些噪声源所产生的参考通道输入信号x(n)是与主通道输入中干扰噪声n(n)相关的。而有用信号s(n)与参考通道输入噪声x(n)是不相关的。采用BP算法训练该噪声抵消系统，这样e(n)将逼近有用信号s(n)，噪声就得到了有效的抵消。神经网络结构确实定神经网络结构确实定，一般从神经网络的层数、隐层神经元个数、初始权值及其学习速率几个方面进行考虑。1、网络的层数从前面章节的计算结果说明，只含一个隐层的前馈网络是一个通用的函数逼近器，它说明有一个隐层己经足够，但并不说明一个隐层是最好的。文献也证明，逼近相同输入维数的函数，两个隐层的网络可能比单个隐层所需单元数少得多。2、隐层神经元数目隐层神经数目的选取可以从理论上得出逼近任意函数时隐层神经元数目的选取方法，但是，在应用神经网络解决实际工程问题时，工程实际问题所涉及到的函数往往是未知的，因此，小能够明确确定隐层神经元数，往往是根据实际计算过程，经过反复比拟以后，确定一个适宜的隐层神经元数。3、初始权值由于系统是非线性的，初始值对于学习是否到达局部最小、是否能够收敛关系很大。如果初值太大，使得加权后的输入落在传递函数的饱和区，使得权值调整很可能停下来。所以，一般取初始权值在之间的随机数。在工具箱中可以采用初始化网络各层的权值和阈值。该算法的初始化权值，可以使网络中每个神经元的作用范围近似地在网络层的输入空间均匀分布。4、学习速率在负梯度算法中，学习速率是一个固定的常数，决定每一次循环训练中的权值变化量。大的学习速率会导致系统的不稳定，而小的学习速率可能导致较长的训练时间，收敛速度比拟慢。在兼顾学习速率和系统稳定性的情况下，学习速率的选取范围在.001一0.8之间。3.5BP网络理论3.5.1BP网络结构BP网络是一种具有三层或三层以上神经元的神经网络，包括输入层、中间层和输出层。上下层之间实现全连接，而每层神经元之间无连接。当一对学习样本提供应网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按照减少目标输出与实际输出之间误差的方向，从输出层反向经过各中间层回到输入层，从而逐渐修正各连接权值，这种算法称为“误差反向传播算法〞，即BP算法。随着这种误差逆向的传播修正不断进行，网络对输入模式响应的正确率也不断上升。与感知器模型不同的是，由于误差反向传播中会对传递函数进行求导计算，BP网络的传递函数要求必须是可微的，所以不能使用感知器网络中的硬阈值传递函数，常用的有Sigmoid型的对数、正切函数或线性函数。由于传递函数处处是可微的，所以对于BP网络来说，一方面，所划分的区域不再是一个线性划分，而是由一个非线性超平面组成的区域，它是比拟平滑的曲面，因而它的分类比线性划分更加精确，容错性也线性划分更好；另一方面，网络可以严格采用梯度下降法进行学习，权值修正的解析式十清楚确。3.5.2BP网络的学习规那么网络输入向量；网络目标向量；中间层输入向量，输出层向量；输出层单元输入向量…，输出向量；输入层至中间层的连接权，i=1，2，…，n，j=1，2，…，p;中间层至输出层的连接权，j=1，2，…，p，t=1，2，…，p;中间层各单元的输出阈值，j=1，2，…，p;输出层各单元的输出阈值，j=1，2，…，p;参数k=1，2，…，m。初始化。给每个连接权值、、阈值与赋予区间(-1，1)内的随机值。随机选取一组输入和目标样本、提供应网络。用输入样本、连接权和阈值计算中间层各单元的输入，然后用通过传递函数计算中间层各单元的输出。=j=1，2，…，p(3.9)=j=1，2，…，p(3.10)利用中间层的输出、连接权和阈值计算输出层各单元的输出，然后通传递函数计算输出层各单元的响应。=j=1，2，…，q(3.11)=t=1，2，…，q(3.12)利用网络目标向量，网络的实际输出，计算输出层的各单元一般化误差。(3.13)利用连接权、输出层的一般化误差和中间层输出计算中间层单元的一般化误差。(3.14)利用输出层各单元的一般化误差与中间层各单元的输出来修正连接权和阈值。(3-.5)(3.16)t=1，2，…，qj=1，2，…，p，0<<1利用中间层各单元一般化误差，输入层各单元的输入来修正连接权和阈值。(3.17)(3.18)i=1，2，…，n，j=1，，2，…，p0<<1随机选取学习样本向量提供应网络，返回到步骤(3)，直到m个训练样本完毕。重新从m个学习样本中随机选取一组输入和目标样本，返回步骤(3)，直到网络全局误差E小于预先设定的一个极小值，即网络收敛。如果学习次数大于预先设定的值，网络就无法收敛。学习结束可以看出，在以上学习步骤中，(7)-(8)步为网络误差的“逆传播过程〞，(9)-(10)步那么用于完成训练和收敛过程。通常，经过训练的网络还应该进行性能测试。测试的方法就是选择测试样本向量将其提供应网络，检验网络对其分类的正确性。测试样本向量中应该包含今后网络应用过程中可能遇到的主要典型模式。这些样本可以通过直接测取得到，也可通过仿真得到，在样本数据较少或者较难得到时，也可以通过对学习样本加上适当的噪声或按照一定规那么插值得到。为了更好地验证网络的泛化能力，一个良好的测试样本集中不应该包含和学习样本完全相同的模式。3.5.3BP网络模型建立根据分析结论，这里构造一个1-4-1型神经网络，隐含层结点取四个，如图3.6所示图3.6BP神经网络模型本网络中的隐层变换函数为tansig函数，它可以将神经元的输入范围。映射到(-l，+l)，它是可微函数，非常适于利用BP训练的神经元，如果BP网络的最后一层是sigmoid