现代数字信号处理-第二章-2016

第二章维纳滤波与卡尔曼滤波1Wiener

filter介绍Wiener

filter时域解Wiener

filter

Z域解Wiener

filter预测Kalman

filter232.1

Wiener

filter介绍滤波与预测滤波定义所谓滤波,是指在含噪信号x(k)=s(k)+v(k)或其矢量信号x(k)=s(k)+v(k)中尽可能排除噪声v(k)或v(k)干扰，而将有用信号s(k)或s(k)分离或提取出来。滤波、预测与平滑设基于观测过程x(k)或矢量观测过程x(k)，对s(k+α)或s(k+α)作最优估计，那么若α=0，就是滤波问题。若α>0，就是预测问题。若α<0，就是平滑问题。无无偏偏性性，即它的均值或期望值是否等于总体的真实值；例如：x、y、z

3项求均方值。均方值＝（x的平方＋y的平方＋z的平方）/3。搞定最最小小均均方方误误差差就是求完均方值还要加上约束条件，求出一个最小值来。方方差差:是是各各个个数数据据与与平平均均数数之之差差的的平平方方的的平平均均数数,即即s^2=1/n[(x1-x_)^2+(x2-x_)^2+...+(xn-x_)^2]2.1

Wiener

filter介绍4维纳滤波与卡尔曼滤波维纳滤波(Wiener)设信号s(k)或s(k)及观测过程x(k)或x(k)是广义平稳的,且已知其功率谱或自相关函数的知识，则基于观测过程x(k)或x(k)，按线性最小均方误差估计准则，对信号s(k)或s(k所作的最优估计称为维纳滤波卡尔曼滤波(Kalman)设已知信号的动态模型测量方程，则基于过程x(k)及初始条件，按线性无偏最小方差递推估计准则,对状态s(k)所作的最优估计称为卡尔曼滤波.2.1

Wiener

filter介绍5维纳滤波与卡尔曼滤波的特点维纳滤波和卡尔曼滤波都是随机情况下最优滤波,

特点是:维纳滤波:

参数固定,

适用于平稳随机情况下的最优滤波且实现简单；卡尔曼滤波:参数时变,适用于非平稳随机情况下最优滤波且性能优越；维纳滤波与卡尔曼滤波的局限性只有在信号和噪声统计特性先验已知的情况下,这两种滤波器才能获得最优滤波。在实际应用中,往往无法得到这些统计特性的先验知识,或统计特性随时间而变,这时就无法用这两种滤波器实现最优滤波。一、随机信号的最优预测和滤波6自适应滤波器自适应滤波器的特点在信号和噪声统计特性先验未知的情况下,自适应滤波器也能够提供卓越的滤波性能。该滤波器的特点如下。可自动调整其自身参数，使系统特性满足要求；只需很少或根本无需任何关于信号和噪声的先验知识；实现差不多象维纳滤波那么简单，性能接近卡尔曼滤波自适应滤波器的应用系统辨识与均衡（如信道估计与均衡）；雷达和声纳波束形成(beamforming);噪声中信号的检测、跟踪、增强等；信号或时间序列的自适应预测；语音和图像的自适应预测编码。问题描述考虑一般的线性离散时间滤波器。设该滤波器的输入由x(1),x(2),…

组成，滤波器的脉冲响应w(1),w(2),…。令y(n)代表滤波器在时间n时的输出,希望它是期望响应d(n)的估计值。估计误差e(n)定义为期望响应d(n)与滤波器输出y(n)之差,即对滤波器要求是使估计误差在某种统计意义下

“尽可能小”。2.2

Wiener

filter时域解72.1

Wiener

filter介绍8线性最优滤波器（续）对滤波器的约束滤波器是线性的。一是为了使信号通过滤波器后不致于发生“畸变”；二是为了便于对滤波器进行数学分析.滤波器是离散时间的，便于系统数字硬件或软件实现.设计准则:估计误差在某种条件意义下尽可能小的滤波 器称为这一统计意义下的最优滤波器。最常用的最优准 则是使某个代价函数最小化。最典型的代价函数有：

估计误差的均方值(最常用的统计优化准则,即MMSE准则)估计误差绝对值的期望值估计误差绝对值的三次幂或高次幂的期望值9Wiener

Hopf方程10有约束条件，无法运用卷积定理z变换求解h(k)！所以分因果和非因果没K>0的约束，非实时： IIR

wiener实时情况则用长为N的有限长度序列来逼近计算量大！增加h(n)的长度来提高精度，FIR

wiener112.3

wiener滤波器Z域解12维纳滤波器输入—输出关系13利用白化霍夫方程的方法求解维纳—1415噪声密度越大，

H越小16IIR因果wiener滤波器1718192.4

Wiener预测惯性：x(n)各点相关，形成惯性一步预测预测可能20N步纯预测

v(n)=0最小均方差随N增大而增大W(n)对X(N)(s(n))的影响就统计平均为0，估算时只需考虑B(z)的惯性，默认有最小均方误差。21一步时域预测：22232526TFR

of

each

HRECG

recordsEnsemble

avg.

of

each

TFRCompute

ensemble

avg.TFR

of

ensemble

avg.Enhance

TFRs

to

attenuateVar

&

Interference

termsCal.

H(t,f)

to

apply

TFR

of

ensemble

avg.Reconstruct

time

domain

signal

from

modiefied

linear

TFR272.5

Kalman滤波器28以发明者Rudolf.E.Kalman而命名，但是在Kanlman之前，Thorvald

Nicolai

Thiele和Peter

Swerling已经提出了类似的算法Stanley

Schmidt首次实现了Kalman滤波器。在一次对NASA

Ames

Research

Center访问中，卡尔曼发现他的方法对于解决阿波罗计划的轨迹预测很有用，后来阿波罗飞船导航电脑就使用了这种滤波器。Swerling(1958),Kalman(1960),Kalman和Bucy(1961)发表的论文。时域滤波器问题定义系统状态无法直接测量需要从测量模型中取得最佳估计MeasuringDevicesEstimatorMeasurementError

SourcesSystem

State(desiredbut

notknown)ExternalControlsObservedMeasurementsOptimalEstimate

ofSystem

StateSystemError

SourcesSystemBlack

Box29船位置不知位置函数：y(t)速度恒定测量分布符合高斯分布y30T1测量:Mean=z1

and

Variance=位置最佳估计:(t1)=z131z1估计方差:

2x

(t1)

=2z1船t2

时的位置-Predicted

position

is

z1Conceptual

Overview-(t2)测量值t2:Mean=z2

and

Variance=根据测量值修正预测(t2)z2预测-(t2)测量z(t2)修正所得即位置最佳估计新方差小于预测及测量方差测量z(t2)修正最佳估计(t2)预测-(t2)根据之前数据预测--,

-测量–zk,z最佳估计()=预测+(Kalman

Gain)*(测量–预测)方差估计=方差预测*(1–Kalman

Gain)t3,船移动速度为dy/dt=u(t2)Naïve

Prediction-(t3)dy/dt

=

u

+

w(t2)Naïve

Prediction-(t3)预测-(t3)测量t3修正预测重复前面步骤预测-(t3)测量z(t3)修正最佳预测(t3)测量仪器Estimator测量误差源系统状态外部控制测量观察值OptimalEstimate

ofSystem

State系统误差源系统黑盒子38问题小结39起始条件(k-1

andk-1)-预测(

-

,

)k

k用起始条件和模型(例如匀速率)作预测测量

(zk)修正

(

k

,

k)用测量值修正预测最佳估计Kalman滤波器404142Blending

Factor43If

we

are

sure

about

measurements:Measurement

error

covariance

(R)

decreases

to

zeroK

decreases

and

weights

residual

more

heavily

than

predictionIf

we

are

sure

about

predictionPrediction

error

covariance

P-k

decreases

to

zeroK

increases

and

weights

prediction

more

heavily

than

residualKalman

滤波44特点:数学公式用状态空间描述解是递推计算，与wiener滤波不一样，期望响应未知采用最小二乘法-k

=

Ayk-1

+

BukP-k

=

APk-1AT

+

Q预测(Time

Update)(1)

Project

the

state

ahead修正(Measurement

Update)(1)计算卡尔曼增益(2)根据测量zk值更新估计(2)

Project

the

error

covariance

aheadk

=-k

+

K(zk

-

H-k

)K

=

P-kHT(HP-kHT

+

R)-1(3)更新误差方差Pk

=

(I

-

KH)P-k45一个是n-1对n时刻估计值，一个是n时刻的测量值，估计值和测量值都存在误差，且误差都假设满足独立的高斯分布Kalman滤波器就是充分结合了估计值和测量值得到n时刻更接近真值的估计结果Kalman滤波器引入状态空间的目的是避免了“像Wiener

滤波器一样需要对过去所有[0,n-1]时刻协方差先验知识都已知”，而直接可以通过上一时刻即n-1时刻的状态信息

和均方误差信息就可递推得到n时刻的估计。n-1对n时刻的估计实际上使用到了所有前[0,n-1]时刻的信息，信息一直通过最小均方误差进行传递到n-1时刻。基

于此，Kalman滤波也需要先验知识，即-1时刻的初始值。46假设状态空间的n-1时刻估计值和观测空间的n时刻测量值都满足独立高斯分布，Kalman滤波器就是通过高斯分布

的乘积运算将估计值和测量值结合，获得最接近真值的n时刻估计。高斯分布乘积运算的结果仍为高斯分布，高斯分布的均值对应n时刻的估计值，高斯分布的方差对应n时刻的均方误差。4748Quick

Example

–

ConstantModelLarger

value

of

R

–

the

measurementerror

covariance

(indicates

poorerquality

of

measurements)Filter

slower

to

‘believe’

measurements–

slower

convergence49Kalman滤波本质50并不直接估计观测信号，先估计状态信号获取wiener解的第归过程从某个初始状态启动,经迭代运算，最终达到稳态－－wiener状态5152主要内容随机信号的最优预测和滤波最优滤波理论与维纳滤波器横向LMS自适应数字滤波器横向RLS自适应数字滤波器自适应格型滤波器快速横向滤波（FTF）自适应算法无限脉冲响应自适应滤波器盲自适应信号处理自适应滤波器应用53实际输出y(n)与期望响应d(n)之间的均方误差最小;最终达到Wiener解。基本原理·自适应信号处理分类：自适应天线及自适应滤波器自适应滤波器包括两个过程：滤波过程和自适应过程。此仅考虑后者,即滤波器的自适应实现问题；且主要考虑

FIR滤波器的自适应实现，其关键是自适应算法。FIR滤波器的自适应实现指的是：M

阶FIR滤波器的抽头权系数w1,…,wM-1可以根据估计误差e(n)的大小自动调节，使得误差在某个统计最优准则下最小。滤波器设计最常用的准则是MMSE准则，即是使滤波器三、横向LMS自适应数字滤波器自适应滤波原理Σ自适应算法参数可调数字滤波器54d(n)自适应预测可用于语音编码，谱估计，谱线增强，信号白化x(n)

y(n)e(n)+-图3.1自适应滤波器原理图自适应建模55正向建模自适应控制系统，数字滤波器设计，相干估计和地球物理逆向建模自适应控制，语音分析,信道均衡，数字滤波器等未知系统未知系统自适应处理器x(n)d(n)+-y(n)

Σe(n)++Σ设备噪声N(n)自适应处理器y(n)x(n)噪声N(n)d(n)=x(n-

Δ)+Σ++Σ-e(n)设备56图3.3自适应建模（a）正向建模

（b）逆向建模（a）（b）自适应抵消原理Σe(n)d(n)+-x(n)+N(n)自适应处理器57图3.4自适应干扰抵消原理图Σe(n)+-固定目标信号滤波器Σ多输入自适应处理器+++x(n)+N(n)58传感器阵列延时器图3.5

自适应阵列信号处理系统原理图多输入干扰抵消。

E(n)

x(n);

y(n)

N(n)自适应滤波器设计59首先确定滤波器结构-FIR？IIR？格型？设计自适应算法调整滤波器参数使得某一特定的代价函数最小自适应线性组合器ΣΣ自适应处理器60+++y(n)e(n)+-d(n)输入信号矢

量自适应线性组合器：参数可调的FIR输入信号X(n)的L+1个元素可以是同一时刻不同信号源所得，也可是同一信号源以前

L+1时刻得到固定权系数Y(n)等于输入矢量x(n)的各元素线性加权调整权系数的过程叫自适应过程自适应线性组合器输出就不再是输入信号的线性函数，还包括误差信号e61(n)62式中w(n)为第n步迭代(亦即时刻n)的权向量，63为第n步迭代的更新步长，v(n)为第n步迭代的更新方向(向量)·

下降算法的两种实现方式自适应梯度算法：LMS算法及其改进算法自适应高斯－牛顿算法：RLS算法及其改进算法本节介绍LMS类算法，下一节介绍RLS类算法。三、横向LMS自适应数字滤波器·

基本原理（续）·

最广泛使用的自适应算法是“下降算法”64++++×

+-e(n)y(n)+++××+++×图3.13

自适应线性组合器采用LMS算法的计算流程图LMS算法核心思想：用平方误差代替均方误差权系数调整有噪声---权矢量在最近权矢量附近随机起伏。收敛：每次迭代调整权矢量，获得多个x(n),并统计平均根据梯度平均值来调整权矢量，则必然得到理想的最佳权矢量65基本LMS算法算法推导令表示滤波器在n时刻的估计误差，并定义均方误差:为代价函数；它相对于滤波器抽头权向量w的梯度为它是式(4)的向量形式。若上式中的数学期望项用它的瞬时值代替,即得真实梯度向量的估值(瞬时梯度)：66三、横向LMS自适应数字滤波器基本LMS算法算法推导(续)设用最速下降法更新滤波器权向量，则有如下算法：其中式(14)所示算法就是著名的最小均方自适应算法，简称LMS算法。它由Widrow在20世纪60年代初提出的。67