基于迭代最小二乘的增广输入向量估计

基于迭代最小二乘的增广输入向量估计

种新的自适应估计方法在大多数系统识别和数据处理中，需要以ax为基础的线性方程组的最小二乘解。然而只有在向量b的噪声或误差是零均值的高斯白噪声的少数情况下，才能保证误差的平方和为最小，最小二乘估计xLS才等价于极大似然估计的解。对于A和b同时存在误差或扰动的情况，最小二乘估计xLS=(AHA)-1AHb将不再是最优的，而是有偏估计，在这种情况下一种更好的估计方法是总体最小二乘算法(TLS)。但目前的大多数总体最小二乘算法都是基于直接奇异值分解的批处理方式，需要对N×N维数据矩阵进行奇异值分解，有Ο(N3)的运算复杂度，在数据矢量维数较大的情况下难以在线实现。文献提出了一种基于近似逆功率迭代的TLS算法，但这种算法结构复杂，并且需要较多的初始参数设置，实际使用并不方便。文献提出了一种基于瑞利商作为代价函数的总体最小二乘自适应算法(FS-TLS)，这相对于批处理方式是一个进步，但由于自相关矩阵的估计是基于瞬时估计的，且没有考虑迭代步长与估计误差的关系，因此存在着收敛速度较慢和收敛精度不高的问题。本文在文献的基础上，重新研究了自相关矩阵的估计问题，并在步长相对于代价函数梯度的基础上推导得到了一种适用于TLS算法步长递推公式，最终本文的变步长总体最小二乘(VS-TLS)算法获得了较快的收敛速度和较高的收敛精度。1基于实际应用对于输入输出观测数据均含有噪声的系统辨识问题，可以表述为如下矩阵方程的求解：其中A是m×n维的输入数据矩阵，b是m×1维的输出数据向量，x是n×1维的权向量，总体最小二乘解xTLS就是满足的方程组的解，其中∆A和∆b分别为输入数据矩阵和输出数据向量的误差或扰动。xTLS的批处理求解可以通过奇异值分解或Cholesky分解实现。其中基于奇异值分解的求解方法如下，设置增广矩阵：对B进行奇异值分解得到：设vn+1是矩阵B的最小奇异值对应的右奇异矢量，可以证明，矢量[xTTLS,-1]T与vn+1平行，所以最小二乘解为：其中vn+1,n+1是vn+1的最后一个元素。由于批处理算法需要对数据矩阵进行直接奇异值分解，有大的运算复杂度，难以在线实现。文献给出了递推求解总体最小二乘解的算法，但在其迭代过程的每一步都需要归一化运算，实际应用并不方便。文献给出了一种基于瑞利商作为代价函数的较简便的自适应总体最小二乘迭代算法。2优化自适应整体最小二乘算法2.1增广权向量的估计考虑输入和输出数据均含有扰动或噪声的自适应滤波。假定输入输出观测数据分别为x(k)和d(k)，则有：其中x(k)和d(k)为有效数据，in(k)和on(k)为叠加在输入和输出数据上的扰动或噪声。设系统权向量为：k时刻的输入向量设为X(k)；增广输入向量和增广权向量分别设为：则输出误差为将增广权向量的瑞利商和增广权向量最后元素约束项的和作为代价函数：其中R(k)=E{Z(k)ZT(k)}，是增广输入向量的自相关矩阵eN+1=[0,...0,1]T。求代价函数相对于W的偏导数，并应用最陡下降原理，可以得到：其中µ(k)是迭代步长，由矩阵理论可知，如果W(k)收敛，其解是R的最小特征值对应的特征向量，由于对W(k)的最后元素的约束使得该元素值始终为-1，从而该解正是要求的总体最小二乘解。文献用瞬时值Z(k)ZT(k)作为R的估计。但是后面的仿真表明，这种估计方法得到的收敛精度是比较差的，本文改用新的估计形式：2.2线性函数关系目前有大量关于变步长自适应算法的文献，其中大多利用步长与瞬时估计误差的非线性函数关系来实现步长的迭代更新，这种更新方式往往只对特定的信号运行环境有效。本文采用一种基于代价函数梯度的步长迭代规则，相对于非线性函数迭代具有更广泛的适应性，令(14)中的步长迭代如下式所示：其中：如果令：则可以得到：2.3单位阵单位阵令x(k),d(k)(∈CM)分别是带噪的输入输出观测数据，算法流程如下：步骤1:eN+1=[0,...,0,1]ThN(0)=[0,0,...,0]T其中δ为某一正数，IN是维数为N×N的单位阵；步骤2：更新，k=2,...[hNT(k),×]T=W(k)(×表示不用关心的数据)3估计误差的影响为了衡量本文的自适应总体最小二乘算法的性能，在系统辨识的条件下，将本文的算法与文献的算法以及其他两种用于系统辨识的典型算法LMS和RLS算法进行比较。在自适应回波抵消系统中，利用自适应算法对回波信道进行估计是系统辨识的一种典型应用，目前已有的算法都是将回波信号作为监督信号，系统的输入语音作为训练信号，其中只有监督信号含有噪声。然而在实际情况下，监督信号和训练信号都有可能混入噪声，采用自适应总体最小二乘进行系统辨识更具有实际意义。仿真假设如下：假定需要估计的系统为基于WLAN的回声路径，其冲击响应为：其中βl为均匀分布的随机数，βl的分布范围与具体信道有关。x(k)=x1(k)+n1(k)；d(k)=d1(k)+n2(k)；其中1x(k)为输入的激励信号，1d(k)为激励信号与回声信道的卷积，1n(k)和2n(k)为不相关的高斯白噪声。信号的采样点数是3000点，循环50次后取平均。下面的仿真图比较了本文算法(VS-TLS)、文献的算法(FS-TLS)、LMS算法和RLS算法在输入输出都有噪声的情况下在收敛速度和收敛精度方面的性能。仿真结果分析：从图1、2、3可以看出，文献的固定步长总体最小二乘算法由于对增广输入向量自相关矩阵的估计采用的是瞬时估计，在信噪比较小时会产生大的误差，并且没有考虑迭代步长与估计误差的关系，所以收敛速度和收敛精度都不如本文提出的变步长总体最小二乘算法；相对于传统的LMS和RLS算法，总体最小二乘类算法在收敛精度上都有提高；从图4、5可以看出总体最小二乘类算法还拥有较小的均方差和均值偏差；本文算法修正了文献算法的不足之处，相对于LMS算法有更快的收敛速度和更好的收敛精度；RLS算法就是一般最小二乘的迭代形式，本文算法相对于RLS算法有更好的收敛精度，这恰好证明了在输入输出都有噪声的情况下总体最小二乘算法相对于一般最小二乘算法会得到更加精确的估计。图6、7的实际估计效果证明了这一点。4总体最小二乘估计算法在监督信号和训练信号都含有噪声的系统辨识中，总体最小二乘算法