中文第三章自适应滤波器课件

现代数字信号处理第三章：自适应滤波器现代数字信号处理第三章：自适应滤波器1内容1.自适应滤波器原理2.自适应线性组合器3.均方误差性能曲面4.最陡下降算法5.LMS算法6.RLS算法7.典型应用：噪声消除自适应算法理论分析内容1.自适应滤波器原理自适应算法理论分析21。自适应滤波原理学习和跟踪（时变信号）带有可调参数的最优线性滤波器两输入两输出Twoinputsandtwooutputs;FIR,IIR,and格形（Lattice）最小均方误差和最小平方误差准则1。自适应滤波原理学习和跟踪（时变信号）两输入两输出Two3线性滤波器性能评价自适应方法输入信号输出信号期望响应误差滤波器参数通用自适应滤波器的基本原理线性滤波器性能评价自适应方法输入信号输出信号期望响应误差滤波43.自适应滤波器的性能失调量（Misadjustment）计算复杂度（Computationalcomplexity）对时变统计量的跟踪能力结构上：高模块性，并行性等（是否适合硬件实现）收敛速度数值特性：数值稳定性（对字长效应不敏感），数值精确性鲁棒性：对噪声干扰不敏感，小能量干扰只能造成小估计误差本章主要讨论自适应线性组合器（其分析和实现简单，在大多数自适应滤波系统中广泛应用）。3.自适应滤波器的性能失调量（Misadjustment）5多输入自适应线性组合器2。自适应线性组合器一类具有自适应参数的FIR数字滤波器。－－》一般形式多输入自适应线性组合器2。自适应线性组合器一类具有自适应参6单输入自适应线性组合器单输入自适应线性组合器7多输入单输入多输入单输入8输入信号x的自相关矩阵R，期望信号d和输入信号x的互相关矩阵P3.均方误差性能曲面输入信号x的自相关矩阵R，期望信号d和输入信号x的互相关矩阵9单权重情况:抛物线性能曲面单权重情况:抛物线性能曲面10两个权系数:抛物面两个权系数:抛物面11权系数数目大于两个情况：超抛物面

个权系数:一个维空间内的超抛物面“碗底”点对应于均方误差最小点，也就是最优权系数矢量所在的点。对于一个二次性能方程，存在唯一全局最优权矢量，没有局部最优点存在.权系数数目大于两个情况：超抛物面个权系数:一12梯度，最优权矢量和最小均方误差很多自适应方法使用基于梯度的方法寻找可以达到最小均方误差的权矢量。均方误差性能曲面的梯度定义为：最优权重矢量处梯度为零：梯度，最优权矢量和最小均方误差很多自适应方法使用13最小均方误差：与维纳滤波器的最小均方误差比较:Thesameequations最小均方误差：与维纳滤波器的最小均方误差比较:Thesam14背离矢量（背离最优权重）均方误差性能方程可写为另一种形式：权重背离矢量:在坐标系统中的性能曲面方程背离矢量（背离最优权重）均方误差性能方程可写为另一种形式：权15为了使对于所有可能的值为非负，有必要使所有满足。也就是说必须是正定或者半正定。在实际的系统中，矩阵总是正定的，有时半正定情况也会出现。梯度:

矢量是权重矢量对维纳最优权矢量的背离。任何背离都会导致均方误差的一个增加量为了使对于所有可能的值为非负，有必要使所164.最陡下降法基本思想：搜索性能曲面理想情况下（梯度可知）:

使用基于梯度的方法（最陡下降法）实际情况（梯度多数不可知）:LMS方法（theLeast-Mean-Squarealgorithm）

RLS方法（RecursiveLeast-SquareAlgorithm）4.最陡下降法基本思想：搜索性能曲面17演示1:基于梯度搜索均方误差曲面的最小点演示1:基于梯度搜索均方误差曲面的最小点18为一个控制收敛速度和稳定性的常数称为自适应步长。演示2:为一个控制收敛速度和稳定性的常数称为自适应步长。演示19方程两边同减最优权矢量几个不同形式的权重更新方程方程两边同减最优权矢量几个不同形式的权重更新方程20稳定和收敛条件：可证明：稳定和收敛条件：可证明：21自适应过程的稳定性最优点:时间迭代:稳定条件:Thedeepest-descendmethod实际应用中选取:自适应过程的稳定性最优点:时间迭代:稳定条件:Thedee22参数变更的回馈模型Thedeepest-descendmethod参数变更的回馈模型Thedeepest-descendm23收敛速率滤波器参数的收敛速度决定于自适应步长的选择在主轴系统中参数沿着各个参数坐标轴独立收敛。各个坐标轴的收敛速度被各自的几何比r控制。需要注意的是，在自然坐标系中各个参数w并不是独立收敛的。这是我们为什么要变换坐标系到主轴系统进行收敛分析的原因。收敛速率滤波器参数的收敛速度决定于自适应步长的选择24几何比r和自适应步长对收敛的影响：几何比r和自适应步长对收敛的影响：25稳定(收敛)过阻尼临界阻尼欠阻尼不稳定(不收敛)几何比和自适应步长对收敛的影响：稳定(收敛)过阻尼临界阻尼欠阻尼不稳定(不收敛)几何比和自26权系数衰减时间常数权系数衰减到初始值的需要花费的时间。收敛速度：几个时间常数权系数衰减时间常数收敛速度：几个时间常数27(2)学习曲线时间常数即均方误差与最小均方误差的差值下降到初始差值的时所花费的时间。(2)学习曲线时间常数28(3)自适应时间常数（用时间衡量学习曲线常数）(3)自适应时间常数（用时间衡量学习曲线常数）29注意最陡下降法具有更多的理论分析意义，实际操作时我们必须对其做很多近似。注意最陡下降法具有更多的理论分析意义，实际操作时我们必须对其30Least-Mean-SquareAlgorithm最陡下降法在每次迭代时要求得到性能曲面梯度的估计值。LMS方法使用一个特别方法估计这个梯度（这个梯度对于自适应的线性组合器是有效的）LMS方法的优势在于:(1)计算简单方便(2)不需要离线的梯度估计或者数据副本如果自适应系统是一个自适应线性组合器，并且输入矢量和期望响应在每次迭代时都可以得到，那么LMS方法通常是一个最好选择。5.LMS方法Least-Mean-SquareAlgorithm31LMS方法推导使用单次计算的估计误差平方代替平方误差的期望。LMS使用单次误差代替误差平均，造成梯度和权矢量成为围绕真值的随机变量。LMS方法推导使用单次计算的估计误差平方代替平方误差的期望32LMS自适应滤波器LMS自适应滤波器33举例

（2输入线性组合器）举例

（2输入线性组合器）34LMS方法对梯度的估计的均值为真实梯度估计量的期望值与真实梯度的偏差为0。所以为无偏估计LMS方法对梯度的估计的均值为真实梯度估计量的期望值与真实梯35最陡下降法LMS权矢量的均值

等于最陡下降法得到的权矢量最陡下降法LMS权矢量的均值

等于最陡下降法得到的权矢量36最陡下降LMS单次最陡下降LMS单次37最陡下降LMS多次平均最陡下降LMS多次平均38收敛条件收敛条件39在最小均方误差点附近的梯度估计误差(around)(梯度估计噪声)权矢量噪声在最小均方误差点附近的梯度估计误差(aro40(2)在最小均方误差点附近的权矢量估计误差(2)在最小均方误差点附近的权矢量估计误差41(3)在最小均方误差点附近的权矢量噪声方差

(3)在最小均方误差点附近的权矢量噪声方差42梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量的附近随机起伏。这意味着稳态的均方误差值在附近随机的改变。这个偏移量的期望值称为超量EMS失调量

(1)超量EMS（Mean-SquareError）梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量的附近随机43中文第三章自适应滤波器课件44中文第三章自适应滤波器课件45(2)失调量M

实际应用中，失调量，收敛速度和权系数的个数往往需要作一个折中，因此这个方程很有用。(2)失调量M

实际应用中，失调量，收敛速度和权系数的个46通常自适应过程在大概4倍学习曲线时间常数内基本结束。因此，失调量可认为等于权重数目比上过渡时间（4倍时间常数）。特殊情况下所有特征值都相等：设计滤波器时的考虑假设要求失调量小于10％，则过渡时间应当比权重数目大10倍。通常自适应过程在大概4倍学习曲线时间常数内基本结束。特476.自适应的递归最小二乘方(RLS)算法维纳滤波器的一种时间递归形式(收敛速度快)维纳滤波器RLS自适应滤波器6.自适应的递归最小二乘方(RLS)算法维纳滤波器的一种48遗忘因子新数据比旧数据更加重要遗忘因子新数据比旧数据更加重要49自相关矩阵：互相关矢量:自相关矩阵逆的迭代形式：相关的递归形式自相关矩阵：互相关矢量:自相关矩阵逆的迭代形式：相关的递归形50A和B是两个正定矩阵关于矩阵逆的一个定理A和B是两个正定矩阵关于矩阵逆的一个定理51滤波器增益矢量:误差信号方程:滤波器系数更新滤波器增益矢量:误差信号方程:滤波器系数更新52滤波器增益矢量:误差信号方程:输入信号:初始值:滤波器参数更新:相关矩阵逆更新:RLS自适应方法

滤波器增益矢量:误差信号方程:输入信号:初始值:滤波器参数更53中文第三章自适应滤波器课件547.典型应用：噪声消除AdaptiveFilterAdaptive

algorithm参考信号输出输入信号（信号＋噪声）误差信号W7.典型应用：噪声消除AdaptiveFilterAda55没有回声控制的远程电视会议系统Applications没有回声控制的远程电视会议系统Applications56使用自适应回声抵消器抵消回波ApplicationsRef.:B.WidrowandS.D.Stearns:AdaptiveSignalProcessing,Ch.12:Adaptivenoisecanceling:notchfilter,…B说话声音B声音回声使用自适应回声抵消器抵消回波ApplicationsRef.57现代数字信号处理第三章：自适应滤波器现代数字信号处理第三章：自适应滤波器58内容1.自适应滤波器原理2.自适应线性组合器3.均方误差性能曲面4.最陡下降算法5.LMS算法6.RLS算法7.典型应用：噪声消除自适应算法理论分析内容1.自适应滤波器原理自适应算法理论分析591。自适应滤波原理学习和跟踪（时变信号）带有可调参数的最优线性滤波器两输入两输出Twoinputsandtwooutputs;FIR,IIR,and格形（Lattice）最小均方误差和最小平方误差准则1。自适应滤波原理学习和跟踪（时变信号）两输入两输出Two60线性滤波器性能评价自适应方法输入信号输出信号期望响应误差滤波器参数通用自适应滤波器的基本原理线性滤波器性能评价自适应方法输入信号输出信号期望响应误差滤波613.自适应滤波器的性能失调量（Misadjustment）计算复杂度（Computationalcomplexity）对时变统计量的跟踪能力结构上：高模块性，并行性等（是否适合硬件实现）收敛速度数值特性：数值稳定性（对字长效应不敏感），数值精确性鲁棒性：对噪声干扰不敏感，小能量干扰只能造成小估计误差本章主要讨论自适应线性组合器（其分析和实现简单，在大多数自适应滤波系统中广泛应用）。3.自适应滤波器的性能失调量（Misadjustment）62多输入自适应线性组合器2。自适应线性组合器一类具有自适应参数的FIR数字滤波器。－－》一般形式多输入自适应线性组合器2。自适应线性组合器一类具有自适应参63单输入自适应线性组合器单输入自适应线性组合器64多输入单输入多输入单输入65输入信号x的自相关矩阵R，期望信号d和输入信号x的互相关矩阵P3.均方误差性能曲面输入信号x的自相关矩阵R，期望信号d和输入信号x的互相关矩阵66单权重情况:抛物线性能曲面单权重情况:抛物线性能曲面67两个权系数:抛物面两个权系数:抛物面68权系数数目大于两个情况：超抛物面

个权系数:一个维空间内的超抛物面“碗底”点对应于均方误差最小点，也就是最优权系数矢量所在的点。对于一个二次性能方程，存在唯一全局最优权矢量，没有局部最优点存在.权系数数目大于两个情况：超抛物面个权系数:一69梯度，最优权矢量和最小均方误差很多自适应方法使用基于梯度的方法寻找可以达到最小均方误差的权矢量。均方误差性能曲面的梯度定义为：最优权重矢量处梯度为零：梯度，最优权矢量和最小均方误差很多自适应方法使用70最小均方误差：与维纳滤波器的最小均方误差比较:Thesameequations最小均方误差：与维纳滤波器的最小均方误差比较:Thesam71背离矢量（背离最优权重）均方误差性能方程可写为另一种形式：权重背离矢量:在坐标系统中的性能曲面方程背离矢量（背离最优权重）均方误差性能方程可写为另一种形式：权72为了使对于所有可能的值为非负，有必要使所有满足。也就是说必须是正定或者半正定。在实际的系统中，矩阵总是正定的，有时半正定情况也会出现。梯度:

矢量是权重矢量对维纳最优权矢量的背离。任何背离都会导致均方误差的一个增加量为了使对于所有可能的值为非负，有必要使所734.最陡下降法基本思想：搜索性能曲面理想情况下（梯度可知）:

使用基于梯度的方法（最陡下降法）实际情况（梯度多数不可知）:LMS方法（theLeast-Mean-Squarealgorithm）

RLS方法（RecursiveLeast-SquareAlgorithm）4.最陡下降法基本思想：搜索性能曲面74演示1:基于梯度搜索均方误差曲面的最小点演示1:基于梯度搜索均方误差曲面的最小点75为一个控制收敛速度和稳定性的常数称为自适应步长。演示2:为一个控制收敛速度和稳定性的常数称为自适应步长。演示76方程两边同减最优权矢量几个不同形式的权重更新方程方程两边同减最优权矢量几个不同形式的权重更新方程77稳定和收敛条件：可证明：稳定和收敛条件：可证明：78自适应过程的稳定性最优点:时间迭代:稳定条件:Thedeepest-descendmethod实际应用中选取:自适应过程的稳定性最优点:时间迭代:稳定条件:Thedee79参数变更的回馈模型Thedeepest-descendmethod参数变更的回馈模型Thedeepest-descendm80收敛速率滤波器参数的收敛速度决定于自适应步长的选择在主轴系统中参数沿着各个参数坐标轴独立收敛。各个坐标轴的收敛速度被各自的几何比r控制。需要注意的是，在自然坐标系中各个参数w并不是独立收敛的。这是我们为什么要变换坐标系到主轴系统进行收敛分析的原因。收敛速率滤波器参数的收敛速度决定于自适应步长的选择81几何比r和自适应步长对收敛的影响：几何比r和自适应步长对收敛的影响：82稳定(收敛)过阻尼临界阻尼欠阻尼不稳定(不收敛)几何比和自适应步长对收敛的影响：稳定(收敛)过阻尼临界阻尼欠阻尼不稳定(不收敛)几何比和自83权系数衰减时间常数权系数衰减到初始值的需要花费的时间。收敛速度：几个时间常数权系数衰减时间常数收敛速度：几个时间常数84(2)学习曲线时间常数即均方误差与最小均方误差的差值下降到初始差值的时所花费的时间。(2)学习曲线时间常数85(3)自适应时间常数（用时间衡量学习曲线常数）(3)自适应时间常数（用时间衡量学习曲线常数）86注意最陡下降法具有更多的理论分析意义，实际操作时我们必须对其做很多近似。注意最陡下降法具有更多的理论分析意义，实际操作时我们必须对其87Least-Mean-SquareAlgorithm最陡下降法在每次迭代时要求得到性能曲面梯度的估计值。LMS方法使用一个特别方法估计这个梯度（这个梯度对于自适应的线性组合器是有效的）LMS方法的优势在于:(1)计算简单方便(2)不需要离线的梯度估计或者数据副本如果自适应系统是一个自适应线性组合器，并且输入矢量和期望响应在每次迭代时都可以得到，那么LMS方法通常是一个最好选择。5.LMS方法Least-Mean-SquareAlgorithm88LMS方法推导使用单次计算的估计误差平方代替平方误差的期望。LMS使用单次误差代替误差平均，造成梯度和权矢量成为围绕真值的随机变量。LMS方法推导使用单次计算的估计误差平方代替平方误差的期望89LMS自适应滤波器LMS自适应滤波器90举例

（2输入线性组合器）举例

（2输入线性组合器）91LMS方法对梯度的估计的均值为真实梯度估计量的期望值与真实梯度的偏差为0。所以为无偏估计LMS方法对梯度的估计的均值为真实梯度估计量的期望值与真实梯92最陡下降法LMS权矢量的均值

等于最陡下降法得到的权矢量最陡下降法LMS权矢量的均值

等于最陡下降法得到的权矢量93最陡下降LMS单次最陡下降LMS单次94最陡下降LMS多次平均最陡下降LMS多次平均95收敛条件收敛条件96在最小均方误差点附近的梯度估计误差(around)(梯度估计噪声)权矢量噪声在最小均方误差点附近的梯度估计误差(aro97(2)在最小均方误差点附近的权矢量估计误差(2)在最小均方误差点附近的权矢量估计误差98(3)在最小均方误差点附近的权矢量噪声方差

(3)在最小均方误差点附近的权矢量噪声方差99梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量的附近随机起伏。这意味着稳态的均方误差值在附近随机的改变。这个偏移量的期望值称为超量EMS失调量

(1)超量EMS（Mean-SquareError）梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量的附近随机100中文第三章自适应滤波器课件101中文第三章自适应滤波器课件102(2)失调量M

实际应用中，失调量，收敛速度和权系数的个数往往需要作一个折中，因此这个方程很有用。(2)失调量M

实际应用中，失调量，收敛速度和权系数的