核自适应滤波总结报告

核自适应滤波总结报告 一、研究背景及意义：传统的线性自适应滤波算法在处理非线性问题时，相应的性能效果并不理想。在信号预测、系统识别、信道均衡等领域的实际问题中，如果某种复杂的非线性关系存在于系统的输入输出之间，传统的线性方法难以处理这类非线性问题。现有的非线性自适应滤波方法有基于非线性差分方程的递归多项式模型、径向基函数(RBF,RadialBasisFunction)、神经网络、基于Volterra级数展开的非递归多项式模型、多层感知(MLP,MultilayerPerception)、神经网络等，这些方法在处理非线性问题时有较好的性能，但是它们当中存在的缺点有：很高的计算复杂度、存在不稳定性、收敛速度不理想、难以确定合理的阶数、非凸最优化解等等。而基于核方法(KernelMethod)构造的自适应算法具有很强的非线性信号的处理能力。二、常见的核自适应滤波方法：(1)把线性最小均方算法和核方法相结合，提出了核最小均方算法KLMS。(2)通过核方法将仿射投影算法应用到非线性系统中，提出了核仿射投影算法KAPA。(3)核递归最小二乘算法KRLS及扩展的核递归最小二乘算法EKRLS。(4)将核方法与梯度下降法相结合提出的核ADALINE算法及NORMA算法。(5)将核方法与最小平均混合范数算法结合提出的核最小平均混合范数算法KLMMN。三、核方法思想：(1)核函数：k(%,%)=<①(%),①(%')>=0(x)T①(%,)其中x、x'eX,①是输入空间X到向量空间F的映射。(2)再生核希尔伯特空间依阳5):如果一个核函数满足这两个条件：对任意的xeX,k(%,%)作为向量x,的函数归属于向量空间F;满足可再生性，即对由核K(x,.)组成的关于x的函数生成的空间F中的核自适应滤波总结报告函数g(.)工a,K(c1)，对于所有的ieR,ceX,有＜g,k(%,.)〉=2ak(c,x)=g(x)。那i=1 i=1么，k(x,x)就称为向量空间F中的可再生核函数,定义了完备的可再生核的内积空间就是可再生核希尔伯特空间(RKHS)。(3)Mercer定律：任何一个可再生核可表示为k(x,x)=引qqiQ!p,Q)，i=1其中，q,和Q是非负的特征值和特征函数。因此，映射平可以表示为:中：XTF干&)=卜qQ入y292Q)「」(4)常用核函数：① 高斯核：k(x,x)=exp(-a|x-x,||2)②多项式核：k(x,x)=(xrx41)p其中，a是高斯核中的核参数,P是多项式核的阶数.(5)基于核方法的非线性自适应滤波器的实现原理：将输入数据(x、x'eX)映射到高维特征空间(RKHS)中，然后对变换后的数据运用相应的线性自适应滤波算法。核自适应滤波总结报告四、LMS算法与KLMS算法对比:一、LMS算法LMS理论算法图L1线性官适应滤波器的基本框图目标函数是：J(k)=e2(k)，而e(k)=d(k)-wT(k-1)u(k)目标函数的梯度向量是：°J(k)=-e(k)u(k)aw(k-1)由随机梯度下降算法，最终得到LMS算法的权重系数向量更新表达式为:w(k)=w(k-1)+/e(k)u(k)，其中p为学习步长参数。核自适应滤波总结报告LMS具体算法初始化w(0)=0，选择R，每获得u(k),d(k止计算］e(k)=d(k)-wT(k(k)Iw(k)=w(k-1)+re(k)u(k)保守收敛条件0<r<j『其中，相关矩阵R，u⑴u⑴ti=1在第k次迭代时，对于给定的测试点u*,系统输出为f(u*)=ujw(k)KLMS算法KLMS理论算法在LMS算法中，假定输入输出映射是线性有限脉冲响应(FIR)模型,如果用u(k)表示输入信号，c(k)表示参考信号，e(k)表示估计误差，R表示步长因子，w(k)表示在第k次迭代的最优权重系数估计,那么LMS算法的规则为:w(0)=0e(k)=d(k)-wT(k-1)u(k)w(k)=w(k-1)+Re(k)u(k)由于9(x)和X之间的维度差异,9(x)是比X更有效更精确的模型，所以可以用9(x)代替X通过随机梯度下降法可以为非线性滤波器提供一个有效的方法来估算权重系数向量:w(0)=0e(k)=d(k)-wT(k-1)9(k)w(k)=w(k-1)+re(k)9(k)其中wk表示在特征空间F中第k次迭代的系数向量的估计值，9a)=9、(k))。初始化w(0)=0,重复迭代权重系数更新公式，得:

核自适应滤波总结报告W(k-2)+re(k-1)9(k-1)1+re(k)9W(k-2)+re(k-1)9(k-1)1+re(k)9(k)=w(k-2)+'(k-1)9(k-1)+re(k)9(k)]=we=we(j)9(j)j=1e(j)9(j)j=1在第k次训练后,权重系数估计值可以看作是由先前和当前输入数据的映射和误差值乘积的线性组合的相加,对于一个新的输入数据%Q+1），非线性系统的输出为:y(k+1)=w(k>9Q+1)=以2(jb(力9&+1)j=1Qju(k+Qju(k+1))j=1可见系统的输出可以用求解核函数的方法将输出结果直接计算出来。核自适应滤波总结报告KLMS具体算法算法1核最小均方算法(KLMS)初始化w(0)=0,选择核函数左及参数。和步长因子〃q⑴=3(1),c(l)=｛x(l)｝/=%⑴ -)计算While输入｛x()d(i)｝有效do计算输出：/_](x(i))=£af(y-l)^(x(yXx(。)六】计算误差：cC)=d(i)-/T(X(f))存储中心：c(i)=[c(z-l)sx(z)]存储系数：.⑴=阳i)Endwhile初始化w(0)=0,选择步长因子h和核函数k及其相应参数he(1)=d(1),f1=^eOkQG)「)计算While输入《4｝有效do计算输出：fQ0)=x1因(小氯j),x(i))i-1jT计算误差：e(i)=d(i)-f-i(x(i))

核自适应滤波总结报告核自适应滤波总结报告五、仿真结果01 i I I I i i i ■0 100 200 300 400 500 600 700 800迭代次数图2.2KLMS算法（〃=0.2）和LMS算法（〃=0.02）在非线性信道均衡中MSE的比较（川=0.2）六小结核函数在处理非线性问题上的优势是：(1)理论上：它能够把输入空间映射到高维特征空间，然后在高维特征空间里进行线性数据处理。把低维空间的非线性运算转化到高维空间的线性运算。(2)数学上：算法的简化。与LMS算法相比,KLMS算法没有用到权重系数,而是将所有过去的误差乘以相应核函数的值直接得到系统的输出，降低计算复杂度。

核自适应滤波总结报告KRLS(核递归最小二乘算法)一、算法原理mini--1(1)RLS算法通过最小化代价函数.工i=1估计权重攻(i-1)。为了解决原算法中输入数据自相关矩阵的逆可能不存在的问题，将数据自相关矩阵正则化，即通过最小化代价函数minwminw+RHF估计权重w(i-1)i=1在KRLS算法中,将输入数据u(i)映射到RKHS中的3(u(i))，简写为中(-)，每次迭代，通过最小化代价函数minHdminHd(i)—ht①(i)+AIMI2来估计权向量w(i-1)。min£1(2)由w乙jTi=1,(i)—wT①(i)+AHmin£1(2)由w乙jTH(i)=AI+①(i)①(i)T]1①(i)d(i)=①(i)AI+①(i)T①(i)]1d(i)下划线部分由矩阵求逆引理得到的，好处如下:①①(i)T①(i)中的每个元素可以通过核函数来简化计算;②权重被明确表示为输入数据的一个线性组合：H(i)=@(i)〃(i)，其中a(i)=Ai+①(i)T①(i)】1d(i)o

核自适应滤波总结报告(3)为了避免复杂的求逆运算，可以通过迭代方法来计算〃⑺:经过一些列数学推导得:a(i-1)-z(i)r(i)te(i)r(i)-1e(i)经过一些列数学推导得:h(i)=①(i-1)T^⑴=k(u(1),u(i)),•--k(u(i-1),u(i))<Q(i)=［息+①。)⑦仞］-1其中,卜i)=Q(i-1)h(i)r(i)=2+①(i)T①(i)-z(i)Th(i)预测误差e(i)=d(i)-小(i))，I-1预测信号fj(u(i))=q(i)Tw(i-1)二5(i)t①(i-Da(i-1)=h(i)Ta(i-1)i-1二£a(i-1)k(u(j),u(i))jj=1二、具体算法：⑴非正则化的KRLS算法： 表2-2KRLS算法更新流后！初始化Q(l)=l/k(u(l)tu(l)\a(l)=Q(l)d(l)for循环『=2,3,…1)h(i)=［k(u(au(l))，…,.⑴=z(/)=Q(j-l)h(/)R)=—⑺「广、d—⑴与))⑴二 .| 「⑹3,⑹,、c小，-「Q(F—1)中)十工(9厅-Z(O

核自适应滤波总结报告核自适应滤波总结报告(2)正则化的KRLS算法:初始化Q①=(九+K(u(1),u(1)))-1，其余与上面的一致。这个不同是由w(i)的结构决定的。w(i)=11+①(i)①(i)T]]①(i)d(i)输入空间的非线性系统通过非线性映射转化为高维空间的线性系统:例：一个二维向量的目标函数u=["1,u2]r的目标函数f(u)=f(u)=f(u,u2)二au+au+au2+au211 22 31 4在一维空间很难精确地通过线性组合a1，2a2，a3，a4来逼近f。对于核K(u,C)=(1+uTc)2，其中，u=[%u/，C=[%C/JL乙 JL乙则K(u,c)=(1+uTc)2=1+u12cJ+2，2C1C2+u22c22+2u1c1+2u2C2输入向量〃在特征空间的像可以写成①(u)=[1,u：,&uu2,u22,理u.],