自适应滤波器翻译作业

1、8.1 简介在大量的算法解决最小二乘问题递归形式的方法中快速横向递归最小二乘(FTRLS)算法是非常具有吸引力，因为其能减少计算复杂度。FTRLS算法可以通过求解同时向前和向后的线性预测问题,连同其他两个横向过滤器:过程估计量和一个辅助滤波器的期望信号向量有一个作为其第一和唯一的非零元素(例如,d(0)= 1)。与格型算法相比,FTRLS算法只需要时间递归方程。然而,需要得到一些FTRLS算法的关系，可参考前面一章LRLS算法。FTRLS算法考虑快速的横向滤波器RLS的算法更新的解决方法。因为顺序固定，更新横向自适应滤波器系数向量在每个计算中都迭代。格型算法的向后和向前的派生关系可以用于预测所

2、派生的FTRLS算法。由此产生的算法计算复杂度在实际中实现N使它们特别具有吸引力。相比格型算法，FTRLS算法的计算复杂度较低，由于没有权向量更新方程。特别是，FTRLS算法通常需要7 n到11 n每输出样本,乘法和除法则需要LRLS 14n到29 n计算。因此，FTRLS算法被认为是最快的解决方案的实现RLS的问题1-7。在工程实践领域相继提出几种不同的FTRLS算法，所谓的快速卡尔曼算法1,这的确是一个早期的快速横向RLS算法,计算11n次乘法和除法的复杂运算在每次输出示例。在后面的研究阶段开发领域的快速横向算法,快速后验误差序列的技术(fa)2,快速横向滤波器(FTF)3算法提出了要求，

3、同样需要7n乘法和每次除法的输出样本。FTF算法是具有最低的复杂性的RLS算法,不幸的是，这些算法对量子化效应非常敏感，如果有一些步骤没被采取将会变得不稳定。 在这一章,FTRLS算法的一种特殊形式将被提到，基于那些被提的网格算法所派生出来的。众所周知,量子化错误在FTRLS算法中是指数发散 1-7。自从FTRLS算法不稳定的行为用有限精度算法实现的时候,我们讨论实现FTRLS数值稳定的算法,并提供一个特定算法的描述8,10。8.2 递归最小二乘预测 快速算法探索一些结构性的信息数据以达到低计算的复杂性。在特定情况下的快速RLS算法本文中讨论达到减少计算复杂度的情况下,由输入信号连续推迟样本中

4、相同的信号。在本例中,模式的快速算法是相似的,向前和向后预测这些过滤器是必不可少的部分算法。建模的预测执行任务的输入信号,因此允许替换矩阵方程的矢量和标量关系。派生的FTRLS算法,解决方案的RLS向前和向后的预测问题需要权向量递归方程。在本节中,这些解决方案进行了综述强调FTRLS算法相关的结果。如前所述,我们将借一些派生的前一章对点阵算法。是值得的提及,FTRLS可以被介绍通过一个独立的推导,基于格型的推导在这点可能更加深刻的当然更直截了当的。瞬时向前后验Nth-order预测作为预测误差后验和先验的向前预测误差之间的关系,首次提出了方程（7-49）和为了方便在这里重复一个简单的处理方程(

5、7.73),导致以下的最小加权最小二乘误差时间的更新,这种方法将用于FTRLS算法:同样的从等式(7.73),我们可以获得,需要的等式在FTRLS算法中可以通过执行前一章的方程(7.40)提出更新方程预测抽头系数矢量在这里将会看到,向量的更新(k1,N)(k,N + 1)是需要更新落后的预测系数向量。同时,最后一个元素的(k,N + 1)是用于更新反向预测先验误差和获得(k,N)。向量(k,N + 1)可以通过自右乘方程(7.56),双方在即时k和系数N通过x(k,N + 1)=x(k)(k1,N)。结果可以表示为然而,不方便使用FTRLS算法因为上面的方程产生反向预测部分,它将导致额外的计算

6、。解决方案是使用另一种递归涉及代替（具体参照问题7）后产生的递归可以派生一些代数运算方程(8.6)和(8.3)(8.5)，得到正向预测抽头系数向量应该被更新使用 ，这样8.2 反向预测关系 在本节中,关系涉及用于FTRLS反向预测问题算法。后验概率预测与先验概率预测误差之间的关系可以表示为我们也知道对于不同转换因素的比率表示为见前一章的方程(7.79)我们为了方便重写了最后的平等方程(7.70)，得到这个等式也可以这样写现在我们回想一下，反向预测滤波器的更新的时间可以写成以下类似的方法,得到方程(8.7)，首先两边的方程(7.59)，在即后乘时k和N,通过x(k,N+1)=(k,N)x(kN)

7、，并使用关系(8.10),(8.11),(8.13),我们有注意,在这个等式的最后一个元素已经在方程(8.7)计算。在任何情况下,值得一提的是,最后一个元素的或者可以表达通过方程(8.9),(8.15),在方程(8.12)和(8.10),我们可以得到将方程(8.9)代入上面的方程,我们可以归纳出更新方程,并用于FTRLS算法有关后验与先验的预测问题和转换因子(k,N)的更新方程现在可用。我们可以通过期望信号d(k)进行派生解决估计的更一般的问题相关的过程,称为过程评估。8.3 过程评估对于所有先前提出了自适应滤波器算法,得到FTRLS算法是很有用的,可以匹配一个期望信号d(k)的最小化加权方差

8、。从先验误差我们可以计算后验误差在传统的RLS算法,更新的时间输出联合过程的抽头系数估计量可以执行现在所有的更新方程可用来描述快速横向RLS算法。的FRLS算法由方程(8.1)-(8.3),(8.7)-(8.8)和(8.4)提出相关预测;方程(8.15),(8.17),(8.9),(8.11),(8.14)和(8.13)相关的预测和落后的东西转换因子;(8.18)-(8.20)与过程估计量有关。FTRLS算法在逐步形成算法8.1。FTRLS算法的计算复杂度7(N)+ 14乘法/输出示例。FTRLS算法的关键特性是它不需要矩阵乘法。正因为如此,FTRLS算法的实现每输出样本顺序相乘N的复杂性。初

9、始化过程包括设置反向预测的抽头系数,前进预测和过程评估过滤器为零,即向量设置0假设的输入和期望信号零k < 0,即prewindowed数据。转换因子应该初始化 快速横向RLS算法因为在初始化期间先验和后验误差之间没有区别。加权最小二乘误差应该初始化与一个正的常数。为了避免除零在第一次迭代。引入这个初始化参数的原因表明,它应该是一个小的价值。原因,然而,对于稳定的价值不应小(见本章末尾的例子)。应该提到,有确切的初始化程序的快速横向RLS过滤器,目的是最小化目标函数的瞬间在初始化期间3。这些程序在初始化期间探索事实数据样本的数量在d(k)和x(k)小于N + 1。因此,目标函数可以是零,

10、因为比需要更多的参数。3的确切的初始化过程取代了计算密集型回来时相当简单替换算法和自适应滤波器系数和零初始化。这个过程也可以广义的情况下一些非零抽头系数的初始值是可用的。正如前面提到的,一些快速RLS算法基于横向实现存在,这里介绍的一个对应于所谓的在3提出了FFT。大量的替代算法引入的问题。 尽管速度横向算法提出了文学提供一个不错的解决方案固有的计算复杂度负担传统的RLS算法,这些算法用有限精度算法实现时不稳定。增加字并不能解决不稳定的问题。唯一的采用更长的字的效果是,该算法将不再有分歧。解决这个问题早些时候由重新启动算法选择的累积误差变量时达到规定的阈值3。虽然过去再启动过程将使用信息,由此

11、产生的表现不佳是由于不连续的信息在相应的确定性的相关矩阵。 不稳定行为的原因快速横向算法固有的正反馈机制。这个解释了这个想法,如果一些特定的测量数值错误,他们可以方便地反馈为了使负面反馈误差传播动力学中占主导地位。幸运的是,一些测量的数值错误可以通过引入快速算法计算冗余。这种计算冗余可能涉及使用两个不同的公式计算一个给定的数量。在有限精度实现中,结果的数量通过这些公式计算值不相等和他们的区别是一个很好的测量数量的累积误差。这个错误可以反馈为了稳定算法。关键问题是确定的数量应该引入计算冗余的误差传播动力学可以稳定。早期提出的解决方案67,只有一个数量选择引入冗余。之后,这是表明,至少有两个量要求

12、为了保证稳定的FTRLS算法9。另一个相关的问题是,这个错误应该内反馈算法。注意,任何时候可以选择在不影响算法的行为实现无限精度时,自反馈误差为零。自然选择是错误反馈回相关的物理量的表达式。这意味着对于每个数量,介绍了冗余,其最终价值是计算的两种形式的组合。 FTRLS算法可以看作是一个离散时间非线性动态系统9:有限精度实现中使用时,量化误差将会上升。在这种情况下,内部的数量将摄动与无限精确数量相比。非线性系统建模误差传播时,可以被描述,如果适当的线性化,允许误差传播机制的研究。使用一个平均分析,这是有意义的固定的输入信号,可以得到一组系统的特点是它的特征值的动态行为类似于k时的误差传播行为和

13、(1)0。通过这些特征值,可以确定反馈参数以及数量选择引入冗余。这里的目标是修改不稳定模式通过错误的反馈以让他们稳定9。幸运的是,它被发现在9,可以修改和稳定不稳定模式引入错误的反馈。不稳定模式可以修改通过引入冗余(k,N)和eb(k,N)。这些数量可以计算使用不同的关系,以便区分它们包含在一个额外的索引他们的描述。先验向后误差可以被描述的替代形式第一种形式是受雇于FTRLS算法和第二种形式对应的内积实现先验向后误差。第三形式对应于一个线性组合的两种形式,这些形式反馈确定数值差别的最终值,w(k,N,3),它将使用在不同的地方稳定算法。对于每个，i=1,2,3中,我们选择一个不同的值,以保证相

14、关特征值小于1。转换因子(k,N)可能是第一个参数显示算法变得不稳定的迹象。这个参数也可以通过不同的计算关系。必须保证所有这些替代关系模式的误差传播系统变得稳定。第一个方程给出在里的第一个元素是。上述等式源于(8.4),(8.3),(8.2)和(8.7)等式以及迭代。第二个表达式的转换因子来源于方程(8.14)和给出的第三个表达式是在方程(8.27),转换因子是用不同的方式表达,这是第一个提出FTRLS算法9。第二种形式已经使用一个先验落后的错误和冗余。第三种形式可由方程(7.48)晶格RLS算法(参见问题10)。 另一种关系稳定快速横向算法利用涉及到最低最小二乘误差。从方程(8.3)和(8.

15、7),我们可以写从（8-6）我们可以推断出，带有这个关系,我们可以获得所需的方程选择的(k,N + 1,1)是用来保持系统错误的工作状态的稳定9。 使用方程转换因子和冗余的先验向后误差,我们可以获得稳定的快速横向RLS算法(SFTRLS)逐步实现给定的算法8.2。参数，i=1,2,3确定通过计算机模拟搜索9的最佳值发现。在9还发现,数值表现对于的最优值毫无反应,选择最佳值对于一个给定的情况对各种环境和工作算法设置情况(例如,对于不同的遗忘因子的选择)。 SFTRLS算法相关的另一个问题涉及的范围值的稳定保证。大量仿真实验结果9表明,该范围这里的N是滤波器的阶数，实验验证最优数值选择当的值选择稳

16、定快速横向RLS算法值的范围以及它可以非常接近最优值高阶滤波器。这可能是一个潜在的限制SFTRLS算法的使用,特别是在不稳定环境中较小值是必需的。SFTRLS算法的计算复杂度是订单9 n乘法/输出示例。有另一种算法计算复杂度的订8n(参见问题9)。在离开之前这一节中,值得一提的是快速横向RLS算法的一个很好的解释。FTRLS算法可以看作四个横向滤波器并行工作,互相交换数量,如在图8.1。第一个过滤器是远期预测滤波器,利用x(k1,N)作为输入信号矢量,wf(k,N)系数向量,并提供数量f(k,N),英孚(k,N),dfmin(k,N)作为输出。第二个过滤器反向预测滤波器,利用x(k,N)作为输

17、入信号矢量,世行(k,N)系数向量,并提供大量b(k,N),eb(k,N),d bmin(k,N)作为输出。第三个过滤器是一个辅助滤波器的系数由(k,N),其输入信号向量x(k,N),和其输出参数1(k,N)。对于这个过滤器,所需的信号矢量常数和等于(1 0 0。0T。第四个和最后一个过滤器的过程估计量输入信号向量x(k,N)的系数向量w(k,N),并提供大量的(k,N)和e(k,N)作为输出。图8.1 快速横向RLS算法:框图 小节中描述的系统辨识问题顺序稳定快速横向算法来求解这一章。主要目的是检查算法在有限精度实现时的稳定性。解答 根据方程(8.31),下界为在这种情况下是0.9375。选

18、择一个值= 0.99。稳定快速横向算法应用于解决识别问题和测量MSE是0.0432。 使用= 2,我们运行的算法与有限的精度和结果总结在表8.1。没有发现不稳定的迹象为= 0.99。这些结果产生的系综平均200实验。比较的结果表8.1与表5.2和7.2所示,SFTRLS算法也有类似的性能比传统和格型RLS算法,量化误差积累。问题是该算法在大多数情况下保持稳定。对于SFTRLS,对于大订单的过滤器我们剩下的有限选择的值的范围。同时,发现在我们的实验中,初始化参数的选择起着重要的作用在这个算法的性能实现有限的精度。在某些情况下,甚至当的值是在推荐范围内,该算法不收敛很小。通过增加的价值,我们通常的

19、收敛时间增加同时该算法稳定。 小节中描述的通道均衡的例子(3.6.3)也用于模拟测试SFTRLS算法。我们使用25阶均衡器和遗忘因子= 0.99。解答 为了解决平衡问题稳定快速横向RLS算法初始化 = 0.5。这里给出的结果所产生的系综平均200实验。生成的MSE的学习曲线显示在图8.2中,测量和MSE是0.2973。的整体性能SFTRLS算法对于这个特定的例子是一样好RLS算法,如lattice-based算法。8.5 结束语 在这一章里,我们已经提出了一些快速横向RLS算法。这类算法比传统和格型 RLS算法计算效率更高。一些模拟例子包括SFTRLS算法使用的地方。有限字长模拟是读者的特殊兴

20、趣。大量的替代FTRLS算法以及理论结果可以在3中找到。归一化版本的FTRLS算法的推导也可能并没有解决 。目前的一章,这一结果参考4。已知最计算有效FTRLS算法不稳定。允许的错误反馈方法简要介绍稳定的FTRLS算法。完整的推导并给出理由错误反馈的方法9。在不稳定的环境中,它可能是有用的采用时变遗忘因子。因此希望得到FTRLS算法允许使用变量。这个问题第一次被在11。然而计算提出了更有效的解决方案在8介绍了数据加权的概念来取代误差加权的概念。FTRLS算法具有潜在的应用。特别是,信号的问题可以从环境嘈杂的版本的传输信号和噪音过滤版本相同的传输信号是一个有趣的应用程序。在这个问题,延迟和未知的

21、滤波器系数估计。加权平方误差最小化,同时考虑延迟和未知系统参数。这个问题的联合估计可以解决采用优化FTRLS算法12。8.6 引用1. D. D. Falconer and L. Ljung,“Application of fast Kalman estimation to adaptive equalization,”IEEE Trans. on Communications, vol. COM-26, pp. 1439-1446, Oct. 1978.2. G. Carayannis, D. G. Manolakis, and N. Kalouptsidis, “A fast sequen

22、tial algorithm for leastsquares filtering and prediction,” IEEE Trans. on Acoust., Speech, and Signal Processing, vol.ASSP-31, pp. 1394-1402, Dec. 1983.3. J. M. Cioffi and T. Kailath,“Fast, recursive-least-squares transversal filters for adaptive filters,”IEEE Trans. on Acoust., Speech, and Signal P

23、rocessing, vol. ASSP-32, pp. 304-337, April 1984.4. J. M. Cioffi and T. Kailath,“Windowed fast transversal filters adaptive algorithms with normalization,”IEEE Trans. on Acoust., Speech, and Signal Processing, vol. ASSP-33, pp. 607-627,June 1985.5. S. Ljung and L. Ljung,“Error propagation properties

24、 of recursive least-squares adaptation algorithms,”Automatica, vol. 21, pp. 157-167, 1985.6. J.-L. Botto and G. V. Moustakides,“Stabilizing the fast Kalman algorithms,” IEEE Trans. On Acoust., Speech, and Signal Processing, vol. 37, pp. 1342-1348, Sept. 1989.7.M. Bellanger, “Engineering aspects of f

25、ast least squares algorithms in transversal adaptivefilters,” Proc. IEEE Intern. Conf. on Acoust., Speech, Signal Processing, pp. 49.14.1-49.14.4,8. D. T. M. Slock and T. Kailath,“Fast transversal filters with data sequence weighting,”IEEE Trans. on Acoust., Speech, and Signal Processing, vol. 37, p

26、p. 346-359, March 1989.9. D. T. M. Slock and T. Kailath,“Numerically stable fast transversal filters for recursive least squares adaptive filtering,”IEEE Trans. on Signal Processing, vol. 39, pp. 92-113, Jan. 1991.10. J. G. Proakis, C. M. Rader, F. Ling, and C. L. Nikias, Advanced Digital Signal Pro

27、cessing,MacMillan, NewYork, NY, 1992.11. B. Toplis and S. Pasupathy,“Tracking improvements in fast RLS algorithms using a variable forgetting factor,”IEEETrans. on Acoust., Speech, and Signal Processing, vol. 36, pp. 206-227,Feb. 1988.12. D. Boudreau and P. Kabal,“Joint-time delay estimation and ada

28、ptive recursive least squares filtering,” IEEE Trans. on Signal Processing, vol. 41, pp. 592-601, Feb. 1993.8.7 问题提示:使用矩阵求逆引理(k,N)。2. 如下给出wf,N(k)代表了wf的最后一个元素(k,N)。3. 使用一个适当的混合关系的晶格RLS算法基于后验和FTRLS算法,得到一个快速横向滤波器系数精确的初始化过程。4.显示下面的关系是有效的,假设输入信号prewindowed5. 如下给出提示：6. 使用的问题4和5的结果，证明7. 推出方程(8.7)和(8.14)。还要

29、表明,使用(k,N)会增加FTRLS算法的计算复杂度。8. 如果有一个避免使用转换因子(k,N),有必要使用内部产品获得后验误差的快速算法。推出一个没有转换因子的快速算法。9. 在问题6关系换为(k,N,3)SFTRLS关系派生算法,描述结果相乘算法和显示它需要顺序8 N /输出示例。10. 推出等式(8.29)。11.FTRLS算法应用于预测信号x(k)=。= 0.98,计算误差和前十的抽头系数迭代。12. SFTRLS算法应用于预测信号x(k)=。= 0.98,计算误差和前十的抽头系数迭代。13. 应用FTRLS算法于确定一个7阶未知系统的系数=0.0272 - 0.0221 0.0621

30、 0.1191 0.6116 0.3332 0.0190 0.0572输入高斯白噪声信号方差= 1,测量噪声也独立的高斯白噪声输入信号方差 = 0.01。模拟上面描述过程和测量超额MSE当= 0.97和= 0.98时。14. 重复问题13，输入信号是一个一阶马尔可夫过程, = 0.98。15. 重做问题13使用FTRLS和SFTRLS定点实现算法。使用12位小数部分的信号和参数表示。16. 假设一个15阶FIR数字滤波器与乘数系数确定下面通过一个自适应数字滤波器的使用FTRLS算法相同的顺序。假设定点运算,模拟识别问题的以下规格描述:额外的噪音:白噪声方差系数字长:bc= 16位信号字长:bd

31、 = 16位输入信号:高斯白噪声方差= 0.0219360 0.0015786 0.0602449 0.0574545 0.3216703 0.5287203 0.0353349 0.0068210 0.0026067 0.0010333 0.0143593画出有限和无限精确的实现的学习曲线。17. 重复上述的问题用SFTRLS算法。同样减少之前使用的字长直到明显增加(10%)多余的MSE观察输出。18. 重复问题16 SFTRLS算法,利用= 0.960并评论结果。19. 将SFTRLS算法用于执行远期预测所产生的信号x(k)应用零均值高斯白噪声与输入单元方差的线性滤波器的传递函数计算得到的

32、预测误差传递函数的零和比较线性滤波器的极点。20. 计算均衡信道的脉冲响应其中k=0,1,2,3,4,5，传输信号的零均值高斯白噪声与单位方差和自适应滤器的输入信噪比为30 dB。使用SFTRLS算法顺序计算到100。第四章、基于LMS的改进型算法4.1 简介有许多自适应滤波器算法是来自前一章讨论传统的LMS算法。改进型算法的目标是减少计算复杂度或收敛时间。在这一章主要介绍几个基于LMS算法的提出和分析,即量化误差算法1-11频域或变换域LMS算法12-14,归一化LMS算法15,LMS-Newton算法16-17,和仿射投影算法19-25。这一章还简要地讨论了几个相关的算法的主要算法。 量化

33、误差算法减少计算复杂性代表了LMS算法的误差信号与短字或一个简单的2的幂数。 LMS-Newton算法的收敛速度是独立于输入信号相关矩阵的特征值扩散。这改进是通过使用逆的估计输入信号相关矩阵,计算复杂度大幅增加。 归一化LMS算法利用变量收敛因子,最小化了瞬时错误。这样一个收敛因子通常降低了收敛时间,但增加了失调。 在频域算法,变换应用到输入信号,以允许减少转换后的信号相关矩阵的特征值分布与输入信号相关矩阵的特征值扩散。LMS算法应用到更好的条件转换信号实现更快的收敛。快速仿射投影算法重用旧的数据导致收敛,当输入信号是高度相关,导致一个家庭可以权衡计算复杂度的算法收敛速度。LMS算法的计算复杂

34、度主要是因为乘法的执行自适应滤波器的系数更新和计算输出。在应用程序自适应过滤需要在高速、回波消除、通道等均衡,重要的是要尽量减少硬件的复杂性。 简化LMS算法的第一步是应用量化误差信号,生成根据量化误差算法更新滤波器系数 Q(·)代表一个量化操作。量化函数离散的值,有界,不减少的。量化的类型代表了量化误差算法。 如果收敛系数是2的幂,号码,系数更新可以实现简单的乘法、基本组成的变化和补充。在许多应用程序中,如在全双工数据传输回波消除2和均衡的渠道与二进制数据3,输入信号x(k)是一个二进制信号,即+ 1和1,假设值。在这种情况下,自适应滤波器可以实现没有任何复杂的乘法。误差的量化实际上意味着最小化目标函数，即通过Fe(k). 一般渐变类型算法系数执行更新通过对于一个线性组合器上面的方程可以改写为 因此,目标函数最小化量化误差的算法是这样在这里Fe(k)是2 Qe(k)对e(k)的2倍积分。注意,链式法则应用于方程(4.3)是无效的不连续点Q(·)在这里Fe(k)不