现代数字信号处理课件：信号检测与估计的基本概念

信号检测与估计的基本概念3.1引言3.2几种统计判决准则3.3匹配滤波器3.4广义匹配滤波器3.5最大似然估计3.6最小二乘估计

3.1引言

信号处理的基本任务是利用观测数据作出关于信号与(或)系统的某种统计决策。统计决策理论主要解决两大类问题:假设检验与估计。信号检测、雷达目标检测等是假设检验的典型问题。估计理论涉及的范围更广泛，它又被分为非参数化和参数化两类方法。参数化方法假定数据服从一已知结构的概率模型，但模型的某些参数未知。参数化估计与系统模型的辨识密切相关，其主要基础是优化理论，即被估计的参数应该在某种准则下是最优的，以及如何获得最优的参数估计。与参数化方法不同,非参数化方法不假定数据服从某种特定的概率模型，例如基于离散Fourier变换的功率谱估计和高阶谱估计等就是典型的非参数化方法。

3.2几种统计判决准则

3.2.1贝叶斯准则

贝叶斯准则是一种常用的判决准则。在二元假设检验应用贝叶斯准则时，设信源的两个输出(假设)发生的概率已知，假设H0发生的概率即先验概率为P(H0)，假设H1发生的概率即先验概率为P(H1)。两个假设H0和H1总有一个为真，所以有

P(H0)+P(H1)=1

在做出某种判决时总要付出一定的代价，代价的大小由信源的输出假设和判决结果决定。假如在雷达系统中，当敌方导弹来袭时，如果雷达系统未能发现该导弹目标，即漏检，则代价可能是己方被导弹击中，后果严重；当敌方没有发射导弹，而雷达系统却误报有导弹来袭时，即虚警，则代价可能是发射一枚导弹攻击不存在的目标，与漏检的后果差别很大。在数字通信系统中，情况与雷达有较大的不同，一般情况下对接收码字的错误判决的代价都是相同的。在假设检验中，一种判决的代价和另一种判决的代价可能相同，也可能不同，为此赋予每一个可能的判决一个代价，用代价因子Cij表示假设Hj为真时，判决Hi成立的代价。一般情况下，假定错误判决的代价因子大于正确判决的代价因子，即满足Cij>Cii，i≠j。二元假设检验的代价因子见表3.1。表3.1二元假设检验的代价因子对于Hj为真而判决Hi成立(i，j=0，1)的情况，判决概率为P(Hi|Hj)，代价因子为Cij，于是在Hj为真时判决所付出的平均代价为

(3.2.1)考虑到假设Hj出现的先验概率P(Hj)，则判决所付出的总平均代价为(3.2.2)贝叶斯准则就是在假设Hj的先验概率P(Hj)已知，

各种判决代价因子Cij给定的情况下，使平均代价最小的准则。

从假设检验模型可知，当Hj为真时，事件(Hi|Hj)由概率转移机构映射到观测空间R，落入Hi成立的判决域Ri后而判决Hi成立。因此，平均代价也可以通过转移概率密度函数及判决域来表示，即(3.2.3)因为观测空间R划分为R0域和R1域，且满足R=R0∪R1，

。又因为对于整个观测空间R有所以，式(3.2.3)中域R1积分项可表示为(3.2.4)这样，平均代价可表示为(3.2.5)对式(3.2.5)进行分析，已获得使平均代价最小的判决域划分和贝叶斯判决规则。式(3.2.5)中的第一和第二两项是固定平均代价分量，与判决域划分无关。由于代价因子

Cij>Cjj，i≠j,概率密度函数p(x|Hj)≥0，所以式(3.2.5)中的被积函数是两个正项函数之差，在某些x值处被积函数可能取正值，而在另外一些x值处则有可能取负值，因此式中的积分项是平均代价可变部分，它的正负受积分区域R0控制。根据贝叶斯准则，应使平均代价最小，为此，把凡是使被积函数取负值的那些x值划分给R0域，而把其余的x值划分给R1域，以保证平均代价最小。这样H0成立的判决域R0可这样来确定:所有满足(3.2.6)的x值划分给R0，判决H0成立；把不满足式(3.2.6)的x值划归R1域，判决H1成立。于是，将式(3.2.6)改写，得到贝叶斯判决规则:(3.2.7)式(3.2.7)不等号左边是两个似然函数，即转移概率密度函数之比，称为似然比(LikelihoodRatio)，用Λ(x)表示，即(3.2.8)而不等式的右边是由先验概率P(Hj)和代价因子Cij决定的常数，称为似然比检测门限(LikelihoodRatioDetectionThreshold)，记为

(3.2.9)所以由贝叶斯准则得到的似然比检验(LikelihoodRatioTest)为(3.2.10)

p(x|H1)和p(x|H0)是N维随机向量x的函数，而Λ(x)是x的两个似然函数之比，所以Λ(x)是非负的一维随机变量，与x的正负和维数无关；由于Λ(x)是观测量x的函数，而x是随机变量，所以Λ(x)也是随机变量；因为Λ(x)仅是观测量x的函数，不含任何未知参量，所以又称Λ(x)为检验统计量。从式(3.2.8)可知，根据似然比检验要对观测量x进行处理，即要先计算似然比Λ(x)，然后将其与预设的似然比检测门限γ比较再做出判决。似然比Λ(x)的计算不仅与假设的先验概率P(Hj)无关，也与代价因子Cij无关。因此，不论假设的先验概率是多少，也不管代价因子如何给定，它们的似然比计算结果是一样的。似然比的这种不变性在实际中非常重要。

似然比的计算虽然与先验概率和代价因子无关，但这不意味着它们对检验准则没有影响。假设的先验概率P(Hj)和代价因子Cij的取值对检验准则的影响是通过似然比检测门限γ来进行的。由式(3.2.9)可知，γ的取值由P(Hj)和Cij决定，为了在不同先验概率P(Hj)和不同代价因子Cij时，都能达到贝叶斯准则下的最小平均代价，就应按式(3.2.9)计算相应的似然比检测门限γ。

似然比Λ(x)的形式从理论上讲有很多种，但是在很多情况下具有指数函数的形式。因为对数是单调的增函数，并且似然比Λ(x)和似然比检测门限γ是非负的，为使判决式简化，可以对式(3.2.10)的两端取自然对数，这样判决规则可等价为

(3.2.11)这种形式的判决规则给计算和分析带来了方便。

式(3.2.10)和式(3.2.11)为似然比检验的两种处理形式，其框图分别如图3.1(a)和(b)所示。图3.1似然比检验为了使检验系统更容易实现和便于分析性能，通常对似然比检验判决式或对数似然比检验判别式再进行运算整理，使判决式左边是观测矢量x的最简单函数T(x)，判决式右边是某个常数γ′，这样化简后的判决规则可表示为式中，T(x)称为检验统计量，γ′为检测门限。例3.1

在二进制数字调制系统中，假设为H1时，信源输出为常值电压A。假设为H0时，信源输出为0；信号在通信信道传输过程中叠加了高斯噪声w(t)；在接收端对接收信号x(t)进行了N次独立采样，样本为x[n]，n=0，1，…，N－1；如果噪声样本w[n]是均值为0、方差为σ2的高斯噪声，似然函数比检测门限γ已知，试确定似然比检验判决准则，画出信号监测系统框图。

解:

这样的调制系统就是数字通信中的通/断键控。依题意，可有两种假设:因为噪声样本w[n]～N(0，σ2)，所以其概率密度函数为

这样，在两个假设下，观测样本的概率密度函数，即似然函数分别为考虑到N次采样是统计独立的，可得在两种假设下观测矢量x的概率密度函数分别为

这样，似然比为于是似然比检验为两边取自然对数得为进一步简化，将不等式左边的常数项NA2/2σ2移到不等式的右边，并整理为如下的判决准则:图3.2信号检测系统模型经过上述简化后,信号检测的判决式从计算似然比简化为对观测数据求和取平均再与检测门限γ′相比较作出判决的形式。根据前面的分析，信号检测系统模型如图3.2所示。3.2.2最小错误概率准则

在数字通信系统中，通常有正确判决不付出代价与错误判决代价相同的情况，即C00=C11=0，C10=C01=1。这时平均代价表示为该式恰好是平均错误概率。因此，平均代价最小等效为平均错误概率最小，使平均错误概率最小的准则称为最小错误概率准则。平均错误概率记为Pe=P(H0)P(H1|H0)+P(H1)P(H0|H1)

(3.2.13)类似于贝叶斯准则的分析方法，将Pe表示式改写成

(3.2.14)将所有满足P(H1)p(x|H1)－P(H0)p(x|H0)<0

(3.2.15)的x值划归R0域，判决H0成立；把所有满足P(H1)p(x|H1)－P(H0)p(x|H0)≥0

(3.2.16)的x值划归R1域，判决H1成立。于是最小错误概率准则的判决规则表示式为(3.2.17)即(3.2.18)仍为似然比检验。或(3.2.19)如果假设H0和假设H1的先验概率相等，即P(H1)=P(H0)，则似然比检验为(3.2.20)或写成两似然函数直接比较，即(3.2.21)的形式。因此，可将先验概率相等情况下的最小错误概率准则称为最大似然准则。由前可知，当选择代价因子C00=C11=0，C10=C01=1时，最小错误概率准则就是贝叶斯准则，所以最小错误概率准则是贝叶斯准则的特殊情况。

例3.2

继续例3.1，假定P(H1)=P(H0)=0.5，试确定最小错误概率准则下的似然比检验的判决规则，求出最小错误概率。解:

依题意，可有两种假设:

H1:x[n]=A+w[n]，n=0，1，…，N－1

H0:x[n]=w[n]，n=0，1，…，N－1

因为噪声样本w[n]～N(0，σ2)，所以其概率密度函数为

这样，在两个假设下，观测样本的概率密度函数，即似然函数分别为考虑到N次采样是统计独立的，可得在两种假设下观测矢量x的概率密度函数分别为

这样，似然比为根据式(3.2.20)，最小错误准则下的似然比检验为两边取自然对数得

为进一步简化，将不等式左边的常数项NA2/2σ2移到不等式的右边，并整理为如下的判决规则:令，则的概率分布分为两种情况，即在H0为真时，服从均值为0、方差为σ2/N的高斯分布；在H1为真时，服从均值为A、方差为σ2/N的高斯分布。即

因此，最小错误概率为式中为高斯概率函数，且有Q(－x)=1－Q(x)。3.2.3最大后验概率准则

在贝叶斯准则中，当代价因子满足C10－C00=C01－C11时，判决规则便成为(3.2.22)H1为真或等价地写为P(H1)p(x|H1)≥P(H0)p(x|H0)，H1为真(3.2.23)将式(3.2.23)两边同除以p(x)，得，H1为真由贝叶斯公式可得

P(H1|x)≥P(H0|x)，H1为真(3.2.24)

不等式(3.2.24)的左边和右边分别是在观测量x已经获得的条件下，假设H1和假设H0为真的概率，即后验概率。因此最小平均代价的贝叶斯准则在C10－C00=C01－C11的条件下就成为最大后验概率(MaximumaPosteriorProbability，MAP)准则，所以最大后验概率准则也是贝叶斯准则的特例。3.2.4奈曼-皮尔逊(Neyman-Pearson，NP)准则

贝叶斯准则是检测理论中的常用准则，使用贝叶斯准则要知道各假设的先验概率P(Hj),并对每种可能的判决赋予代价因子Cij。最小错误概率准则虽然不需要知道代价因子，但需要知道各假设的先验概率。在一些实际情况下，如雷达信号检测中，不但先验概率未知，连指定代价因子都不现实。对于这一类情况，需要考虑虚警概率PFA(即P(H1|H0))和检测概率PD(即P(H1|H1))的重要性，即希望虚警概率PFA尽量小，同时检测概率PD尽量大。若正确的检测概率PD最大，则漏检概率PM(即P(H0|H1))最小。但是PM的减小又会使PFA增大。针对这种情况，提出了这样一种检验准则:在虚警概率PFA=α

的约束条件下，使检测概率PD最大。这就是奈曼-皮尔逊准则。奈曼-皮尔逊准则与前述准则的不同之处在于限定了PFA=α，根据这个约束条件，设计使PD最大(或PM=1－PD最小)。这是一个有约束的极值问题，应用拉格朗日(Largrange)乘因子λ(λ≥0)，构成一个代价函数:

(3.2.25)显然，若PFA=α，则J达到最小，PM就达到最小。变换积分域，式(3.2.25)变为(3.2.26)因为λ≥0，所以式(3.2.26)中第一项为正数，要使J达到最小，只有把式中方括号内的项为负的x点划归R0域，判H0成立，否则划归R1域，判H1成立，即

p(x|H1)≥λp(x|H0)，H1为真

写成似然比检验的形式为(3.2.27)为了满足PFA=α的约束，选择λ使(3.2.28)于是对于给定的α,λ可以由式(3.2.28)求出。因为0≤α≤1,，p[Λ(x)]>0,所以由式(3.2.28)解出的λ必须满足λ≥0。现讨论似然比检测门限λ的作用。类似式(3.2.28)，有

(3.2.29)显然，λ增加，PFA减小，PM增加；相反，λ减小，PFA增加，PM减小。这就是说，改变λ就能调整判决域R0和R1。奈曼-皮尔逊准则可看成是贝叶斯准则在P(H1)(C01－C11)=1，P(H0)(C10－C00)=λ时的特例,λ为似然比检测门限，为统一起见仍用γ表示，即(3.2.30)奈曼-皮尔逊准则的最佳检验是由三个步骤完成的:

(1)对观测量x进行统计描述得p(x|H1)和p(x|H0)，求出式(3.2.30)的似然比检验式，并进行化简(如取自然对数)，得到检验统计量T(x)的判决规则表示式及检测门限γ′，γ′是似然比检测门限γ的函数，γ′和γ待求:

(2)根据检验统计量T(x)与检测门限γ′的判决规则表示式和已知α，由PFA=α的约束求出检测门限γ′，如需要可进一步求出γ；

(3)按式完成判决。

3.3匹配滤波器

在实际中常常面临这样一类问题:加到线性滤波器输入端的是信号与噪声的混合信号，而希望这个线性滤波器的输出达到某种意义上的最佳。例如，在加性白高斯噪声信道下，二进制调制的数字通信系统的性能与信噪比SNR有关，SNR越大，误码率或平均错误概率就越小，因此往往直接用线性滤波器输出信噪比最大作为准则来设计接收机或线性滤波器。匹配滤波器就是这样一种最佳线性滤波器，在输入为叠加噪声的确知信号时，所得输出信噪比最大。这是因为在接收机中有时并不需要恢复出发射的信号波形，而只需知道信号是否存在。因此，从线性滤波器输出端能获得最大信号噪声功率比的角度出发，推导滤波器的最佳传输函数，从而建立匹配滤波器理论。匹配滤波器是通信、雷达、声呐等领域信号检测的重要理论工具，还是许多最佳检测系统的基本组成部分，它也在最佳信号参量估计、信号分辨、某些信号波形的产生和压缩等方面起着重要作用。首先通过一个高斯白噪声中确定信号的检测问题引出匹配滤波器的概念。考虑如下检测问题:

H0:x[n]=w[n]，n=0，1，…，N－1

H1:x[n]=s[n]+w[n]，n=0，1，…，N－1

式中，信号s[n]已知，w[n]～N(0，σ2)。考虑到N次采样是独立的，可得在两种假设下观测矢量x=[x[0]x[1]…

x[N－1]]T的概率密度函数分别为

这样似然比为

于是似然比检验为两边取自然对数得进一步简化整理为如下判决规则:令不等式右边为新的门限γ′，则(3.3.1)如果采用NP检测器，门限γ′应满足PFA=α。该检测器是由一个检验统计量T(x)和门限γ′组成的。式(3.3.1)中的检验统计量T(x)可理解为根据信号值对观测数据进行加权，大的信号样本采用大的加权。由于检验统计量T(x)把观测数据和信号进行相关运算，所以称式(3.3.1)的检测器为相关器，如图3.3(a)所示。检验统计量T(x)的另一种解释是把它和有限冲激响应(FIR)滤波器联系起来，它可以看做是数据x[n]通过单位冲激响应为h[n]的FIR滤波器的输出，其中h[n]=s[N－1－n]，n=0，1,…，N－1。这是因为数据通过单位冲激响应为h[n]的FIR滤波器的输出为

假设n<0，n>N－1，x[n]=0。当h[n]=s[N－1－n]，n=0，1，…，N－1时，输出为则滤波器在n=N－1时刻的输出为

即相关器与h[n]=s[N－1－n]的FIR滤波器在n=N－1时刻等效。由于该滤波器的单位冲激响应h[n]与信号相匹配，所以称该滤波器为匹配滤波器，如图3.3(b)所示。图3.3检测器与匹配滤波器匹配滤波器也可以通过线性时不变系统输出最大信噪比导出。考虑含有信号和加性噪声的接收波形x[n]=s[n]+w[n],n=0，1，…，N－1，其中信号s[n]是确知的，信号的频谱为(3.3.3)输入噪声w[n]是均值为0、方差为σ2的高斯白噪声，噪声的相关函数为

rw(m)=E(w[n]w[n+m])=σ2δ[m]

(3.3.4)输入混合波形x[n]=s[n]+w[n]通过线性时不变滤波器后，输出的混合波形为y[n]=s0[n]+w0[n]。因为滤波器是线性时不变系统，可分别用线性变换求解输出信号s0[n]和输出噪声w0[n]。假设线性滤波器的单位冲激响应h[n]在区间[0，N－1]之外为0，在区间内为任意值，则当n=N－1时，输出为滤波器输出端的信噪比SNR定义为(3.3.5)匹配滤波器就是使式(3.3.5)的信噪比达到最大值的线性滤波器。它能保证最佳地从噪声背景中提取信号。为寻求η=ηmax时的线性滤波器，可以利用柯西-许瓦尔兹(Cauchy-Schwartz)不等式求解。柯西-许瓦尔兹不等式简述如下。设对列矢量x和y，有下列不等式成立:

(yTx)2≤(yTy)(xTx)

(3.3.6)

当且仅当

y=αx

(3.3.7)

时不等式才可取等号，这里α为任意常数。

令s=[s[0]s[1]…s[N－1]]T，h=[h[N－1]h[N－2]…h[0]]T,w=[w[0]w[1]…w[N－1]]T。利用式(3.3.6)，可将式(3.3.5)改写为

(3.3.8)式中，令ε=sTs为输入信号的能量，故得(3.3.9)式中，ε/σ2=ηmax为线性滤波器所能给出的最大信噪比。根据不等式取等号的条件式(3.3.7)，可得当h=αs时，即

h[N－1－n]=αs[n]，n=0，1，…，N－1或等价于当

h[n]=αs[N－1－n]，n=0，1，…，N－1

(3.3.10)时，输出信噪比最大。式(3.3.10)表明，匹配滤波器的单位冲激响应是输入信号在时间轴上的反转并延时N－1。对于匹配滤波器来说，重要的是匹配滤波器传输函数形状，而不是相对大小，故可令α=1，即得匹配滤波器的单位脉冲响应:h[n]=s[N－1－n]。

3.4广义匹配滤波器

3.3节中假定观测噪声是均值为0的高斯白噪声WGN，现在讨论非白噪声(即色噪声)的情况。色噪声背景下确知信号的匹配滤波器一般称为广义匹配滤波器。

对于WGN中的已知信号，匹配滤波器是最优检测器。然而，在多数情况下噪声是相关噪声，假设w～N(0，C)，其中C是协方差矩阵。如果噪声是宽平稳(WideSenseStationary,WSS)的随机过程，那么C是对称的Toeplitz矩阵，这是因为对于WSS随机过程有

[C]mn=cov(w[m]，w[n])=E(w[m]w[n])=rww[m－n]

所以，C的主对角线及与主对角线平行的对角线上的元素都相等。对于非平稳噪声，C是一个任意协方差矩阵。对于噪声是WGN的情况，假设接收到的数据是在信号间隔[0，N－1]内观测到的(假设在间隔以外信号为零)，由于间隔外的噪声与间隔内的噪声无关，所以间隔外的数据是与检测无关的数据，故可以忽略。因此假设观测间隔为[0，N－1]，检测性能没有损失。如果噪声是相关噪声，将信号间隔外的采样数据包括在检测器中，可提高检测性能。在下面的讨论中，假设观测数据为x=[x[0]x[1]x[2]…x[N－1]]T。

下面来确定高斯色噪声下的NP检测器。假设在下面两个假设中做出选择:

H0:x[n]=w[n]，n=0，1，…，N－1

H1:x[n]=w[n]+s[n]，n=0，1，…,N－1(3.4.1)在H0假设下，x～N(0，C)；在H1假设下，x～N(s，C)。根据前面的假设则有似然函数根据NP定理中的判决准则，有式中

由于式(3.4.2)中第二项是常数项，故可以归在门限中，所以有如果噪声是WGN，C=σ2I，式(3.4.3)可简化为或式(3.4.3)判决规则的检测器称做广义相关器或广义匹配滤波器。令修改信号s′=C－1s，因此可得T(x)=xTC－1s=xTs′

(3.4.4)所以，这里是用修改的信号与数据进行相关的。

例3.3

已知如下两个假设H0:x[n]=w[n]，n=0，1，…N－1H1:x[n]=w[n]+s[n]，n=0，1，…N－1其中，w[n]为高斯色噪声，各w[n]互不相关，且服从w[n]～N(0，σ2n)，试求具有不同方差的不相关噪声的检测统计量。

解:

如果w[n]～N(0，σ2n)，各w[n]互不相关，那么C=diag(σ20，σ21，…，σ2N－1)，C－1=diag

,于是式(3.4.3)为上式表明，如果某数据采样的方差小，那么就对它进行较大的加权。对上式进一步整理，则在H1的假设下有式中，w′[n]=w[n]/σn。由于，Cw′=I，所以色噪声样本被预白化，即使色噪声w[n]变为白噪声w′[n]。这样，广义匹配滤波器首先是预白化噪声样本，在预白化的过程中，同时也使信号发生变化，这时信号变为s′[n]=s[n]/σn。简单地说，就是将含有色噪声的输入信号x[n]通过一个白化滤波器，使色噪声变为白噪声。因此，在预白化后，检测器相关的信号应是变化的信号s′[n]。于是，广义匹配滤波器的检测统计量可表示为式中，x′[n]=x[n]/σn，可把它看做是一个白化滤波器，在它之后是相关器或匹配滤波器，相关器的另一个相关信号是s′[n]，或匹配滤波器与s′[n]相匹配。

下面讨论更一般的情况。对于任意正定矩阵C，存在正定C－1，因此，C－1可表示为C－1=DTD,其中D是非奇异N×N矩阵。如在前面的举例中，D=diag(1/σ20，1/σ21，

…，1/σ2N－1)。于是,检验统计量为

T(x)=xTC－1s

=xTDTDs

=x′Ts′式中，x′=Dx，s′=Ds。根据上式可得广义匹配滤波器的预白化形式如图3.4所示。其中线性变换D称为预白化矩阵，它使高斯色噪声变为WGN。这可由下式得到证明。令w′=Dw，那么

Cw′=E(w′w′T)=E(DwwTDT)

=DE(wwT)DT=DCDT

=D(DTD)－1DT=I图3.4广义匹配滤波器看做是预白化器加上相关器(或匹配滤波器)

3.5最大似然估计

最大似然估计是最常用和最有效的估计方法之一。最大似然估计的基本思想是:在对被估计的未知量(或参数)没有任何先验知识的情况下，利用已知的若干观测值估计该参数。因此，在使用最大似然估计方法时，被估计的参数假定是常数，但未知；而已知的观测数据则是随机变量。令x1，x2，…，xN是随机变量x的N个观测值，{f(x1，x2，…，xN|θ)，θ∈Θ}是给定参数θ情况下观测样本(x1，x2，…，xN)的联合条件概率密度函数。假定联合条件概率密度函数存在且有界，我们来考虑未知(固定)参数θ的估计问题。当把联合条件分布密度函数f(x1，x2，…，xN|θ)视为真实参数θ的函数时，常称之为似然函数。所谓似然函数，就是包含未知参数θ信息的可能性函数。最大似然估计就是使似然函数f(x1，x2，…，xN|θ)最大化的估计值θ。利用数学符号，我们将未知参数θ的最大似然估计记作

^(3.5.1)因此，最大似然估计也可以看做是联合条件概率密度函数f(x1，x2，…，xN|θ)的全局极大点。严格来说，f(x1，x2，…，xN|θ)与观测样本(x1，x2，…，xN)的任意函数相乘的结果都是似然函数，但在这里，我们只称联合条件概率密度函数f(x1,x2,…,xN|θ)本身为似然函数。显而易见，随机变量x的不同实现x1,x2,…,xN给出了不同的联合条件概率密度函数f(x1，x2，…，xN|θ)，所以似然函数的全局极大点与观测样本(x1，x2，…，xN)有关，即最大似然估计与观测样本有关。从这个意义上讲，最大似然估计θML是一合理的估计子。

由于对数函数是严格单调的，故f(x1,x2,…,xN|θ)的极大点与lnf(x1,x2,…,xN|θ)极大点一致。对数函数lnf(x1,x2,…,xN|θ)称为对数似然函数,常用来代替似然函数f(x1,x2,…,xN|θ)。有时也习惯将lnf(x1,x2,…,xN|θ)简称为似然函数。^为了后面书写方便，我们令

L(θ)=lnf(x1，x2，…，xN|θ)

(3.5.2)

于是，θ的最大似然估计可以通过令

(3.5.3)求得。在一般情况下，θ是一向量参数，譬如说θ=[θ1，θ2，…，θp]T，则p个未知参数的最大似然估计θi，ML由^(3.5.4)，i=1，2，…，p确定。若x1，x2，…，xN是独立的观测样本，则似然函数可写作

(3.5.5)在这种情况下，可以通过求解(3.5.6)分别求出，i=1，2，…，p。最大似然估计具有以下性质:

(1)最大似然估计一般不是无偏估计，但其偏差可以通过对估计值乘某个合适的常数加以消除；

(2)最大似然估计是一致估计；

(3)最大似然估计给出有效估计，如果它存在的话；

(4)对于大的N，最大似然估计为一高斯分布，并且其均值为θ，方差为

例3.4

令x1，x2，…，xN是服从一个具有概率密度函数的正态分布的随机观测样本，试确定均值μ和方差σ2的最大似然估计。

解:

似然函数是均值μ和方差σ2二者的函数，故有

从而有分别求L关于μ和σ2的偏导，然后令偏导为0，得到均值的最大似然估计从可解出

(3.5.7)将其代入，可以解得注意，样本均值和样本方差(3.5.8)均值的最大似然估计μML为无偏估计，而方差的最大似然估计σ2ML则是有偏的。但是，若用一常数N/N－1与σ2ML相乘作为新的估计，则新的估计是无偏的，即原估计σ2ML的偏差可以被消除。^^^^

3.6最小二乘估计

3.6.1最小二乘估计及其性能

在许多应用中，未知的参数向量θ=[θ1,θ2,…,θp]T常可建模成下面的矩阵方程:

Aθ=b

(3.6.1)

式中，A和b分别是与观测数据有关的系数矩阵和向量，它们是已知的。这一数学模型包括以下三种情况:

(1)未知参数的个数与方程个数相等，且矩阵A非奇异，此时，矩阵方程(3.6.1)称为适定方程，其解为θ=

A－1b；

(2)矩阵A是一“高矩阵”(行数多于列数)，即方程个数多于未知参数个数。此时，矩阵方程(3.6.1)称为超定方程；

(3)矩阵A是一“扁矩阵”(行数少于列数)，即方程个数少于未知参数个数。此时，矩阵方程(3.6.1)称为欠定方程。

在谱估计、系统辨识等中的矩阵方程多为超定方程，这正是本节的讨论对象。

为确定参数估计向量θ[DD(-1][HT5]^[DD)]，我们选择这样一种准则:使误差的平方和(3.6.2)^为最小，所求得的估计称为最小二乘估计，记作θLS，损失或代价函数J=eTe，可展开为^

J=θTATAθ+bTb－θTATb－bTAθ^^^^求J=eTe关于θ的导数，并令结果等于0，则有^这表明，最小二乘估计由下式决定:ATAθ=ATb

(3.6.3)这一方程有两类不同的解:(1)矩阵A秩满列时，由于ATA非奇异，最小二乘估计由

θLS=(ATA)－1ATb

(3.6.4)唯一确定，此时称参数向量θ是唯一可辨识的。^^

(2)矩阵A秩亏缺时，由不同的θ值均能得到相同的Aθ值。因此，虽然向量b可以提供有关Aθ的某些信息，但我们却无法区别对应于同一Aθ值的各个不同的θ值。在这个意义上，我们称参数向量θ是不可辨识的。更一般地讲，如果某参数的不同值给出在抽样空间上的相同分布，则称这一参数是不可辨识的。

下面的定理表明，当误差向量的各个分量具有相同的方差，而且各分量不相关时，最小二乘估计在方差最小的意义上是最优的。

定理1

令b是一可表示为b=Aθ+e的随机向量，其中，

A为N×p矩阵(N>p)，其秩等于p；θ是一未知向量，而e为一误差向量。若其均值向量E[e]=0,方差矩阵var(e)=σ2I,其中σ2未知，则对线性参数函数β=cTθ的任何一个其他的无偏估计子β，恒有E[θLS]=θ,且var(cTθLS)≤var(β)。

证明因为E[e]=0及var(e)=σ2I，故可以得到

E[b]=E[Aθ]+E[e]=Aθ

及

var(b)=var(Aθ+e)=var(Aθ)+var(e)=var(e)=σ2I

因此有

~^^~利用这一结果，易得

E[cTθLS]=cTE[θLS]=cTθ=β

故cTθLS为无偏估计。由于β是一线性估计子，所以它可以表征为β=wTb，其中w为一常数向量，又由于β是β的无偏估计子，故对任意θ，可得

wTAθ=wTE[b]=E[wTb]=E[β]=β=cTθ

由此得到wTA=cT。

计算β的方差，则^^^~~~~~类似地