l1范估计的巴尔达检验统计量

l1范估计的巴尔达检验统计量

1理论基础研究粗差是指超过一定阈值的较大误差，可由函数模型误差或随机模型误差引起。探测它有两条途径:一是构造各种抗差估计方法消除或降低粗差对参数估计的影响,并定位粗差;二是在最小二乘估计的基础上,采用统计检验方法对粗差进行探测定位。平差系统对最小粗差的探测能力与未探测到的最大粗差对平差结果的影响就构成了粗差探测的可靠性理论。在抗差估计的理论研究中,除统计学家的工作外,国内外的大地测量学者做出了卓有成效的工作。李德仁建立了抗差的选权迭代法;周江文定义了IGG方法;杨元喜系统地研究了抗差估计理论及其在大地测量与卫星统计定轨中的应用;朱建军系统地研究了污染模型下的数据处理方法;孙海燕系统地研究了P范分布与P范平差;王新洲研究了方差分量的稳健估计;归庆明研究了抗差岭估计。自荷兰学者巴尔达在1维备选假设的基础上提出了可靠性理论后,Forstner研究了不同备选假设可区分性问题;李德仁从两个多维备选假设情况导出了检测量之间的总体相关和最大相关,以及在这两个备选假设下的内外部可靠性理论;欧吉坤研究了相关观测的可靠性理论。目前,可靠性理论是建立在最小二乘估计的基础上,对L1范估计,缺少巴尔达统计量,难点在于L1范估计中缺少残差的方差协方差矩阵。统计学家Bahadur在误差独立且同分布的条件下得到了参数的L1范估计的一个渐近线性表达式。本文作者将其扩展到残差的线性表达式,并导出了残差的方差-协方差矩阵。在此基础上,本文导出L1范估计的巴尔达统计量并研究其可靠性。2xa型的线性表示在测量数据处理理论中,误差方程与函数模型分别为V=AˆX-L(1)L=AX+Δ(2)考虑观测误差为独立正态分布,则随机模型为DΔ=σ2Q=σ2P-1(3)式中,σ2是单位权方差,A是设计矩阵,L是观测值向量,ˆX是未知参数X的平差值向量,V是残差向量;DΔ是观测误差Δ的方差协方差矩阵,Q是Δ的协因数矩阵或权逆阵,P是权阵,它们都是对角阵。L1范估计准则为n∑i=1p1/2i|Vi|=min(4)式中,pi=σ2/σ2i是第i个观测值的权,σ2i是第i个观测值的方差,Vi=aΤiˆX-Li‚A=(a1,a2,⋯‚an)Τ。参数的L1范估计可以通过线性规划方法或下式迭代求解ˆX=(AΤWA)-1AΤWL(5)式中,W是等价权阵,是对角阵,对角元素是wi=pi/(p1/2i|Vi|+c),这里的c是一个微小量,设置它是为了防止迭代中残差为零时等价权无穷大。与最小二乘解不同,ˆX是观测量的非线性函数。数学家规定|x|在零点的导数为零,由此式(4)左边可以对ˆX求导且令其等于零得n∑i=1p1/2iaΤisign(Vi)=0(6)式中,sign是符号函数。当式(6)中的权相等时,Babu导出了参数估计的Bahadur型线性表达式。作者根据Bahadur型线性表达式得到了不等精度时参数L1范估计、残差和观测值平差量的Bahadur型线性表达式如下:ˆX=-(2f(0))-1Ν-1AΤΡ1/2h+X+Ν-1/2Rn(7)V=-(2f(0))-1AN-1ATP1/2h+Δ+AN-1/2Rn(8)ˆL=-(2f(0))-1AΝ-1AΤΡ1/2h+AX+AΝ-1/2Rn(9)式中,f(0)=(√2πσ)-1‚Ν=AΤΡA‚h=(sign(p1/21Δ1)‚sign(p1/22Δ2)‚⋯‚sign(p1/2nΔn))Τ‚Rn是无穷小量。进一步得到Ζ=(LΤ‚ˆXΤ‚VΤ‚ˆLΤ)Τ的方差协方差矩阵DΖΖ=[Ρ-1AΝ-1AΝ-1AΤ-Ρ-1AΝ-1AΤΝ-1AΤ2-1πΝ-1(2-1π-1)Ν-1AΤ2-1πΝ-1AΤAΝ-1AΤ-Ρ-1(2-1π-1)AΝ-1(2-1π-2)AΝ-1AΤ+Ρ-1(2-1π-1)AΝ-1AΤAΝ-1AΤ2-1πAΝ-1(2-1π-1)AΝ-1AΤ2-1πAΝ-1AΤ](10)3各变量间关系残差的方差协方差矩阵DVV的一个重要作用就是用于构造探测并定位粗差的统计量,即巴尔达统计量Viσ√qii∼Ν(0‚1)(11)式中,qii是QVV的对角元素。对最小二乘法,QVV=AN-1AT-P-1。如果|Vi|/(σ√qii)>uα/2,相应的观测被认为有粗差。这里,α是给定的显著性水平并满足∫uα/2-uα/2f(x)dx=1-α,f(x)是标准正态分布的概率密度函数。很不幸,这种方法并不总是能够正确探测并定位粗差,原因在于粗差仅仅部分反应到相应的残差上。最小二乘估计中,误差与残差有如下关系V=RΔ(12)R=I-AN-1ATP=(rij)(13)Vi=n∑j=1rijΔji=1,2,⋯‚n(14)式中,R是多余观测分量矩阵,rii,i=1,2,…,n,是其对角元素,也是相应观测的多余分量,其值分布于0与1之间,I是单位矩阵。假定第i个观测有一个粗差,采用误差均值移动模型,相应的误差重新记为Δi′=Δi+δ,δ可以看成系统误差,有如下关系Vi=n∑j=1rijΔj+riiδ(15)Vk=n∑j=1rkjΔj+rkiδk≠i(16)对公式(15)、(16),分别有数学期望E(Vi)=riiδ,E(Vk)=rkiδ,k≠i。由于rii的值常常不为1,rki不为0,δ对残差的影响无界,这可能会导致两种探测错误:有粗差的观测,没被探测到;而无粗差的观测却被探测为粗差。对多个粗差,其探测与定位更加不可靠。在式(8)中,AN-1/2Rn仍然是无穷小,为了方便,用Rn′代替AN-1/2Rn,则L1残差与真误差有如下线性关系V=-(2f(0))-1AN-1ATP1/2h+Δ+Rn′=-(2f(0))-1AN-1ATPP-1/2h+Δ+Rn′(17)由式(13)得AN-1ATP=I-R,代入式(17)得V=-(2f(0))-1(I-R)P-1/2h+Δ+Rn′(18)式(18)中单个残差可表示为Vi=√π/2σ[ri1p-1/21sign(p1/21Δ1)+ri2p-1/22sign(p1/22Δ2)+…+rii-1p-1/2i-1sign(p1/2i-1Δi-1)+(rii-1)p-1/2isign(p1/2iΔi)+rii+1p-1/2i+1sign(p1/2i+1Δi+1)+…+rinp-1/2nsign(p1/2nΔn)]+Δi+Rn′(19)在式(19)中,用Δi+δi代替Δi得Vi=√π/2σ[ri1p-1/21sign(p1/21Δ1)+ri2p-1/22sign(p1/22Δ2)+…+rii-1p-1/2i-1sign(p1/2i-1Δi-1)+(rii-1)p-1/2isign(p1/2i(Δi+δi))+rii+1p-1/2i+1sign(p1/2i+1Δi+1)+…+rinp-1/2nsign(p1/2nΔn)]+Δi+δi+Rn′(20)式中,符号函数是有界函数,Rn′是无穷小量。除δi外,式(20)右边就是无粗差时的残差,是一小量,可见,粗差δi发生时,几乎完全反映在相应的残差上,这是L1范估计能准确定位粗差的原因。对第k个残差,同理有Vk=√π/2σ[rk1p-1/21sign(p1/21Δ1)+rk2p-1/22sign(p1/22Δ2)+…+rkk-1p-1/2k-1sign(p1/2k-1Δk-1)+(rkk-1)p-1/2ksign(p1/2kΔk)+rkk+1p-1/2k+1sign(p1/2k+1Δk+1)+…+rknp-1/2nsign(p1/2nΔn)]+Δk+Rn′k≠i(21)式(21)右边第i项为rki√π/2p1/2isign(p1/2i(Δi+δi)),也是有界的,可见粗差几乎对该残差无影响。对L1范估计,过去没有巴尔达型检验统计量,现在导出了残差的方差协方差阵,将式(11)的qii用QVV=σ-2DVV=(2-1π-2)AN-1AT+P-1的对角元素代替,即可得基于L1残差的巴尔达型检验统计量,下面研究其可靠性。4内可靠性与外可靠性可靠性反映了测量控制网在结构上对粗差的探测与抵抗能力,有内可靠性与外可靠性之分。内可靠性是在给定显著水平α与检验功效β下发现最小粗差的能力;外可靠性是未探测到的最大粗差(同时也是可探测的最小粗差)对平差结果的影响。4.1方根成反比巴尔达检验统计量的非中心参数为ωi=E(Vi)σ√qii(22)式中,ωi是非中心参数,qii是残差的协因数。对给定的小概率α0与功效β0,非中心参数ω0满足β0=∫uα0/2-uα0/2f(x-ω0)dx。对最小二乘法,E(Vi)=riiδi,qii=riip-1/2i,有ω0=riiδiσ√riip-1/2i=√riiδiσi可探测的最小粗差为δi=ω0√riiσi(23)记ki(2)=δiσi=ω0√rii(24)ki(2)用于定义最小二乘估计的内可靠性,与rii的平方根成反比,它愈小,所探测的最小粗差就愈小,控制网就愈可靠。对L1范估计,Rn′是无穷小,将其忽略,对式(20)取期望得E(Vi)=√π/2σ(rii-1)p-1/2iE(sign(p1/2i(Δi+δi)))+δi(25)式中,E(sign(p1/2i(Δi+δi))=∫∞-∞sign(p1/2i(Δi+δi))(√2πσi)-1exp(-Δ2i/(2σ2i))dΔi=Φ(δi/σi)-(1-Φ(δi/σi))=2Φ(δi/σi)-1(26)将式(26)代入式(25)并整理得E(Vi)=√π/2σi(rii-1)(2Φ(δi/σi)-1)+δi(27)式中,Φ(x)=∫x-∞f(x)dx是标准正态分布f(x)的累积分布函数。根据式(10),L1范估计残差向量的协因数阵QVV为QVV=(2-1π-2)AN-1AT+P-1=((2-1π-2)(1-R)+I)P-1(28)QVV的对角元素为qii=((2-1π-2)(1-rii)+1)p-1i(29)在式(22)中,用ω0换ωi,并将式(27)与式(29)代入,则可探测的最小粗差δi满足ω0=√π/2σi(rii-1)(2Φ(δi/σi)-1)+δiσ√((2-1π-2)(1-rii)+1)p-1i=√π/2σi(rii-1)(2Φ(δi/σi)-1)+δiσi√((2-1π-2)(1-rii)+1)=√π/2(rii-1)(2Φ(ki(1))-1)+ki(1)√((2-1π-2)(1-rii)+1)(30)式中,ki(1)=δi/σi是L1范估计的内可靠性度量,由式(30)可解得,显然,ki(1)不同于式(24)中的ki(2)。4.2iii33外可靠性度量的计算假定只有一个未探测到的最大粗差,对最小二乘法,有ˆX=X+Ν-1AΤΡΔ+Ν-1AΤΡeiδi(31)粗差对ˆX的影响为ΔˆX=E(ˆX-X)=Ν-1AΤΡeiδi(32)式中,ei是第i个元素为1的单位列向量,外可靠性度量为Gi=(ΔˆXΤD-1ˆXˆXΔˆX)1/2(33)将DˆXˆX=σ2Ν-1代入G2i=ΔˆXΤD-1ˆXˆXΔˆX得G2i=σ-2(Ν-1AΤΡeiδi)ΤΝ(Ν-1AΤΡeiδi)=σ-2δ2ieΤiΡ(Ι-R)ei=δ2iσ2i(1-rii)(34)由于未探测到的最大粗差是可探测的最小粗差,因此有G2i=ω20rii(1-rii)Gi=ω0√1-riirii=ki√1-rii记Gi(2)=ki(2)√1-rii(35)Gi(2)是最小二乘法的外可靠性度量。对L1范估计,将式(26)代入E(h)得E(h)=eiE(sign(p1/2i(Δi+δi))=ei(2Φ(δi/σi)-1)(36)忽略式(7)中的无穷小Rn得ΔˆX=E(ˆX-X)=-(2f(0))-1Ν-1AΤΡ1/2E(h)(37)将f(0)=(√2πσ)-1与式(36)代入式(37)得ΔˆX=-(2(√2πσ)-1)-1Ν-1AΤΡΡ-1/2ei(2Φ(δi/σi)-1)=-Ν-1AΤΡei√π/2σi(2Φ(δi/σi)-1)(38)Gi2=ΔX^ΤDX^X^-1ΔX^(39)将式(10)中DX^X^=2-1πσ2Ν-1与式(38)代入式(39)得Gi2=(π/2σi(2Φ(δi/σi)-1))2(σ22-1π)-1eiΤΡAΝ-1ΝΝ-1AΤΡei=pi-1(2Φ(δi/σi)-1)2eiΤΡ(Ι-R)ei=(2Φ(δi/σi)-1)2(1-rii)(40)未探测到的最大粗差就是可探测的最小粗差,因此有Gi2(1)=(2Φ(ki(1))-1)2(1-rii)(41)开方得Gi(1)=(2Φ(ki(1))-1)1-rii(42)Gi(1)就是L1范估计的外可靠性度量。对式(30),给定非中心参数值ω0,使多余观测分量ri变化,求出相应的内可靠性度量