第五章残差与误差检验课件

5,残差与误差检验

5.1残差

5.2粗差与数据探测

5.3模型误差及其检验

5.4稳健估计5.5基于相关分析的粗差检验

5.1残差1)普通残差及其性质

1,普通残差的定义观测方程:L=AX-Δ回归模型:y=xβ-e

误差方程:

2,平差因子(帽子矩阵,投影矩阵)3,普通残差的性质2)标准化残差3)预测残差δi

与学生化残差1,定义:在观测值L中去掉Li

后,有:2,δi与vi的关系3,标准化预测残差与学生化残差4)不相关残差1,普通残差的相关性2,标准化残差的相关性3,不相关残差

n个残差中有n-t个是独立的，不独立的t个vi是与该n-t个vi线性相关的。W是由V转换成的等权独立的n-t个不相关残差。5.2粗差与数据探测1，粗差及其对残差的影响（1）粗差的定义

异常误差，超限误差ε＞2~3σ

当L含有粗差ε时，

（2）粗差对残差的影响

当L含有观测误差ε时，，

（3）当仅有一个观测值含粗差k时

可以看到

,

当

rkk=0,vkk=0;不能反映粗差

当

rkk=1,vkk=εk;完全反映粗差

一般要求：

0<rkk<1;rkk>rkj;2，数据探测法(u检验）

原假设H0:E(vk)=0;（

vk一般取残差中值最大的）

备选假设H1:E(vk)≠0;

检验统计量：当原假设H0

成立时，统计量uk

~N(0,1);k很小时影响判断。检验步骤：

1）计算uk;2)选择适当的显著水平α，查得分位值

u

α/2;3)比较uk

与u

α/2

，若uk<u

α/2

，

则接受

H0

荷兰巴尔达教授提出的数据探测法：一次剔除一个粗差。3，单个粗差的残差检验（1）τ检验原假设H0:E(vk)=0;

备选假设H1:E(vk)≠0;

检验统计量当原假设H0

成立时，统计量

检验步骤：

1）计算|rk|;2)选择适当的显著水平α，查得分位值τα/2;3)比较

|rk|与τα/2

，若|rk|

<τα/2

则接受

H0

。（2）β检验原假设H0:E(vk)=0;

备选假设H1:E(vk)≠0;

检验统计量当原假设H0

成立时，统计量

Bk~β（1/2，(n-t-1)/2)。

检验步骤：

1）计算Bk;2)选择适当的显著水平α，查得分位值Bα/2;3)比较

Bk与uα/2

，若

Bk<uα/2

则接受

H0

。（3）t检验原假设H0:E(vk)=0;

备选假设H1:E(vk)≠0;

检验统计量

当原假设H0

成立时，统计量~t(n-p-1)

检验步骤：

1）计算;2)选择适当的显著水平α，查得分位值tα/2;3)比较

与tα/2

，若

<tα/2

则接受

H0

。4，几种统计量（对同一对象观测）

（1）Grubbs统计量

（2）Grubbs型ESD统计量

临界值表19(P.192).

(3)Dixon统计量—相邻差统计量

临界值表20(P.193),rij

之一大于临界值则认为是粗差。（4）极差统计量（5）RST统计量（6）偏态统计量与峰态统计量以上几种方法的适用性评价，在教材P90。5.3,模型误差及其检验1，函数模型的误差采用模型:L=AX-Δ;正确模型:L=AX+BY-δδ=Δ-BY(-BY可以看是作系统误差)

采用模型:L=AX+BY-Δ;正确模型:L=AX-δΔ=δ+BY(BY可以看是作系统误差)

当Δ=δ~N{0,Var(δ)}时,E(Δ)=E(δ)=0

当Δ含系统误差(-BY或BY)时,E(Δ)=±BY≠E(δ)＝0.

（

Δ—观测误差。δ—偶然误差）2，随机模型的误差

L=AX-Δ

采用模型:Δ~N{0,Var(δ)};正确模型:Δ~N{0,Var(Δ)}

可以归结为定权不准确

Pc=P+ΔP

一般：P1c=P1;P2c=P2+ΔP2

补充：模型L=AX+BY-δ的适用条件一、模型误差的概念模型误差：建立的模型（包括函数模型和随机模型）与客观现实之间的差异。二、附加参数Y的平差原理

系统误差列方程举例3，线性假设检验

设有模型误差，有方程

建立统计量模型误差检验步骤：

1）计算ΩB=Ω-R，F2)选取显著水平α，查取F1-α(m,n-t-m)；

3）比较F

与F1-α(m,n-t-m）若F>F1-α(m,n-t-m）则原假设H0

不成立5.4稳健估计1、最小二乘法：可以抵御大量随机小误差的影响，估值无偏，方差最小。2、稳健估计：平差时牺牲估值的部分最优性(效率)，以达到抗御粗差的目的。是在抗差的前提下讲效率。3、稳健性与影响函数稳健性：当实际模型偏离假定模型时，参数估值的性能不会受到太大的影响。4、广义极大似然估计（M估计)－－以式定义极小条件的一类估计。5、选权迭代法抗差估计指导思想：在抗差能力和效率（指估值最优性）中求得最佳平衡。一般要求其效率达到经典平差效率的90%以上。是在抗差的前提下谈效率。抗差估计实质：牺牲最小二乘估计的最优性，达到抵抗粗差污染的目的。抗差估计的特点：当观测数据的实际分布偏离假定模型时的不敏感性。其对子样分布要求不十分严格，只要子样近似服从某一模型。若母体确实为正态时，抗差估计值无最小二乘估计值优良。

在观测数据中出现0.2%的粗差时，最小二乘估值便失去了其最优性，但0.2%的粗差概率完全正常，特别是在现代的大数据量自动测量中。所以经典平差适用的范围狭窄。

粗差作为一种模型误差，可以从两种角度去描述它：1）将粗差归入函数模型—数据探测法（也称均值漂移模型）2）将粗差归入随机模型—稳健估计法（也称方差膨胀模型）稳健估计法适用范围：适用于确定性函数模型：如控制网平差的各类函数模型，且观测值要求大部分正确。不适用不确定性的函数模型：如回归数学模型、时间序列分析等。设有独立观测值L1、L2----Ln，其误差的密度函数为：根据极大似然估计法，其似然函数为：即或选用函数代替，使其定义广义化：M估计—广义极大似然估计估计准则：其中，取为增长较慢的残差的函数，称为极值函数，为其导数。函数的构造应该满足：随着残差的增大该函数应该是增长很慢或是有界的，不会随残差一直增长下去。当观测值等权且互独立时，权函数为：当观测值不等权但互独立时，等价权为：上两式称为：第j个观测值第i次迭代时所使用的权函数或等价权。Pj—第j个观测值的观测权。M估计的迭代公式：（以权函数为例）第一次平差时，权阵P=I。若为不等精度平差时，只需将上式中的权函数换成等价权。且第一次平差时权阵为观测值权阵。几种常见的选权迭代法1、Huber法2、一次范数最小法（L1估计）（中位数法）3、P范最小法（LP法）4、IGG法（周江文法）5、经典最小二乘法（不具有抗差性）v1v2v3v4v5v6v7给定误差0.640.73-0.84-0.260.01-10.481.86L2-2.290.53-0.812.572.906.00-3.42L1~2-1.4100.07-0.031.499.42-1.42L1-1.4500.0301.539.41-1.39Huber法-0.95-0.200.53-0.231.239.68-1.42

丹麦法-0.58-0.100.980.390.4810.75-1.101546372ABH3H1H2如图，为模拟水准网，7个观测值配赋了随机误差，在第六条路线的观测高差中附加了10mm的粗差。用各种算法结果列于下表。从表中看各种选权迭代法均有抗差性，而最小二乘法不具有抗差性。选权迭代法的缺陷：1、由于粗差的大小及位置未知，只能以残差来研究，且目标函数选择成为残差v的函数，这并不一定符合实际。2、选权迭代法中，第一次按最小二乘平差求得的残差受粗差的影响很大，由此将影响迭代的权函数P(v)的选择，可能导致错误的收敛。M估计迭代结束时，正常观测值落入保权区；非正常但可用的观测值落入降权区；含粗差的观测值落入除权区。

以上所列为理想状态。最好是用M估计法定位出粗差后，剔除粗差，重新用经典平差法进行平差。稳健估计（选权迭代法）的精度评定之所以称以上三式为近似公式，是因为近似地视等价权为常数矩阵（其实等价权是随机量，是残差的函数）。5.5基于相关分析的粗差检验方法1、相关系数的分布计算出的r