第二章、观测资料的检核与数据筛选

1、教学目的： 1.使学生明确观测资料的检核与数据筛选的意义 2.掌握一元线性回归法进行资料的检核 3.对于监测网数据筛选教学重点：观测资料检核的方法及监测网数据筛选算法教学方法：讲授、习题21 观测资料检核的意义与方法一、观测资料检核的任务1.通过不同方法的验算、不同人员的重复计算来消除观测资料中可能带来的错误。2.设法找出观测中较大的误差（超限误差） 二、观测资料的统计检验的必要性 众所周知，对于任何测量，为防止可能的粗差，均制定有一定的观测纲要，如：三角测量中：每一测站中归零差、2c互差、测回差等均有限值 三角形内角和与180之差 极条件闭合差 平差后单位权中误差 均有限差 大坝水平位移观测

2、中，视准线法测定各点偏离值时，均要多次读数， 多次读数之间也有相应的限差，以便进行检核。 尽管观测中制定了一系列限差，但是所测观测值中仍可能带来较大的误差。（虽然它们出现的概率较小，但由于观测的随机性，仍可能在少数观测中出现）。这一点已被测量实践所证实。如： 每一测站观测均满足限差要求，但仍然发现三角形闭合差超限。 三角形闭合差均合格后，还发现极条件不符值不合格 极条件不符值合格后，还可能发现单位权中误差超限 所以，为了能从观测值中尽可能消除较大的误差，保证测量的高精度，从而尽可能减少观测误差对变形分析的影响，对变形观测资料进行统计检验是十分必要的。三、观测资料检核的方法 一般，任一观测元素（

3、高差、方向值、偏离值、倾斜值）在野外观测中均具有本身的观测检核方法。进一步的检核必须利用观测元素之间的关系进行。如：水准：闭合差； ：闭合差 各观测元素之间关系可分为两类：函数关系与统计相关关系 函数关系：如三角形三个内角 统计相关关系：如：建筑物不同高度处的挠度值Si的影响因素很多，无法用一种数学式来表达各挠度值之间的因果关系。但从另一方面看，各观测点在同一建筑物上，处于类似的因素作用下，因而各点所测挠度值将存在较密切的关系，即这些挠度值之间是统计相关的。如 图 ， 某 坝1973年三个坝段水平位移过程线，由图看出各坝段之间位移相关性是非常密切的。 0.98.远远大于=0.01的 临界=0.

4、43.因此，建筑物不同部位变形值之间的相关性，使我们可能利用回归分析来对观测资料进行检核。某坝三个坝段水平位移过程线22 用一元线性回归进行资料的检核一、一元线性回归的数学模型00()iiiiiiiyxvvyxv i=1,2,N 是随机误差，一般假设它们相互独立，且服从同一正态分布N(0, )x y回归分析 相关分析2000000-100() min202() 0 0() 0TTvvyxvvyxyx xnxybX XX Ybxxxxy 下，对、 求微分整理后得 经变换后得：00011()TTyxbX XX Yb0(1)()Txx回归方程：偏离差：回归方程求因变量估值的中误差：二、相关系数 回归

5、直线前提：y与x线性相关. 相关系数检验法的临界值如表所示：00 ybbxbb ， 为回归方程系数vyy2vvsN=xyxy 12211()()()()NaaxyaNNxyaaaaxxyySS Sxxyy,yx yx分别为自变量 和因变量 的平均值.自自由由度度置信水平置信水平自自由由度度置信水平置信水平自自由由度度置信水平置信水平515151123456789101112131415160.9970.9500.8780.8110.7540.7070.6660.6320.6020.5760.5530.5320.5140.4970.4820.4681.0000.9900.9590.9170.87

6、40.8340.7980.7650.7350.7080.6840.6610.6410.6230.6060.590171819202122232425262728293035400.4560.4440.4330.4230.4130.4040.3960.3880.3810.3740.3670.3610.3550.3490.3250.3040.5750.5610.5490.5370.5260.5150.5050.4960.4870.4780.4700.4630.4560.4490.4180.39645506070809010012515020030040050010000.2880.2730.250

7、0.2320.2170.2050.1950.1740.1590.1380.1130.0980.0880.0620.3720.3540.3250.3020.2830.2670.2540.2280.2080.1810.1480.1280.1150.087三、用一元线性回归对变形资料进行检核的实例 表1给出了某坝3个坝段3年的水平位移观测资料，为分析它们之间互相进行检核的可能性，首先探讨它们之间的相关程度。1973年 11期观测资料1974年 12期观测资料1975年 12期观测资料据最小二乘法原理，建立回归方程根据回归方程按10计算的1976年、1977年坝段11水平位移的估值与实测值比较见表2.

8、10-1112 11=0.9860.335(0.05)=0.9710.430(0.01)临界临界11101112=-0.013+0.983=-0.004+0.94110111210111219732-13-24-35-46-57-61.77-2.460.10-1.131.98-1.392.23-2.86-0.12-1.032.12-1.552.14-3.090.38-1.242.30-1.9719738-79-810-911-1012-11-0.031.360.192.080.01-0.181.260.682.23-0.050.101.230.352.62-0.2119741-122-13-2

9、4-35-46-51.97-1.740.39-2.06-5.414.421.56-1.490.45-2.30-5.304.511.34-1.690.52-2.09-5.494.7119747-68-79-810-911-1012-11-0.86-2.361.291.440.900.83-1.29-2.291.121.411.580.49-0.79-2.651.211.321.592.0519751-122-13-24-35-46-50.090.93-2.540.35-1.01-0.530.480.61-2.49-0.38-0.62-1.01-1.330.78-2.26-0.28-0.70-1.

10、0219757-68-79-810-911-1012-11-1.450.581.15-0.560.406.14-0.680.600.72-0.560.565.83-0.790.620.60-0.361.545.24表1 某坝3个坝段的水平位移观测资料（单位：mm）X(坝段坝段10)y(坝段坝段11)1976X(坝段坝段10)y(坝段坝段11)1977观测值计算值差观测值计算值差0.02-2.27-0.38-1.80-0.570.190-0.041.87-0.210.17-0.03-2.58-0.24-2.41-0.19-0.27-0.020.331.580.560.290.03-2.24-0.

11、37-1.77-0.550.200.01-0.031.86-0.200.19-0.06-0.340.13-0.640.36-0.47-0.030.36-0.280.760.101.78-1.92-0.12-2.960.062.40-2.741.100.701.19-0.641.27-2.220.18-2.130.290.06-4.021.191.540.7301.77-1.89-0.10-2.920.072.39-2.701.100.701.19-0.62-0.50-0.330.280.790.22-2.33-1.320.090.84-0.460.62表2 按10计算的1976年、1977年坝

12、段11水平位移的估值与实测值的比较 单位（mm） 由表2知：绝大多数差数均在观测精度之内，个别值1977年有2个观测值与计算值差-2.33，-1.32，超过观测精度之估值中误差s=0.33mm. 如果当时按11=0.013+0.98310式进行统计检验，则对这些观测值可立即进行复测，以免日后分析时产生疑问。23 监测网观测资料的数据筛选 监测网的观测元素之间存在一定的因果关系，可以用数学式把不同观测元素联系起来，但由于观测中存在偶然误差，为了检验观测中是否存在超限误差，需要利用统计检验方法. 一、超限误差的整体检验 测量平差的主要任务是对一系列带有偶然误差的观测值，运用最小二乘原理求未知量的最

13、或然值并评定测量成果的精度。 有超限误差的观测向量， 用表示超限误差向量。1122lnlln维维对于参数平差，数学模型为： 整体检验判断观测向量中是否伴随有超限误差：11120222 lVAOXD lQlVAI （1） 0112220,0,0:01(1):2V(,)HHTTbbHlAVXlAVlVA XVP VbVP VFFbbFFFF式 写 为 可 用计 算 母 体 方 差 估 值 ： （ 2 ） 成 立 拒 绝二、超限误差的局部检验 先假设只有一个观测值伴随超限误差(1)式可写为：法方程式为：利用分块矩阵求逆可解得：()iiXlVAeT(0,0,1,0,0)ie =TTTiTTTiiiii

14、XA PAA PeA Ple PAe Pee Pl-=TiiTiVVie PVe PQ Pe （3）分块矩阵求逆1-1-111111111111111111+()()()()()()TTiTTiiiABA PAA PeMCDe PAe PeABEFCDGHAA B DCA BCAA B DCA BDCA B CADCA BABD CAA B DCA BCA F检验法0iiii 12210222022200H003()() ()(1,)()HTdiVViTTidTiVViTiTiVVidQe PQ Pee PVSd Qde PQ PeSe PVFe PQ Pe ,1,0,1,：不是超限误差，即为

15、此求： 由（ ）式得： 由此得： 构造F= FF 拒绝H011 1()LLTBBXXTVVBBQQQNB PBQQBNBB检验法（u检验法）00000:i()00(0,1)PHHii iiTiiiTiVViiiv viiHlEie PVWue PQ PevWqWuWu 第 个观测值 不伴随有超限误差 对于一般情况，观测值权阵 为对角阵， 则: 接受 拒绝VVV=R =QPE=EV =V当 仅是偶然误差，不含粗差时 （ ）0 （ ）0当 仅是偶然误差，不含粗差时为子态随机变量检验法t检验法200=i iTiifv vvV PVfq ( )0i iikv vvtq( )( )20()1TkkV P

16、Vf（ ）21-22121-2(1)( )1(1)f tffftf 三、超限误差的检验步骤1.对变形监测网各周期观测值分别进行经典平差，求得未知数向量 及其协因数阵 ，由此计算 按(2)式构造F统计量并检验. 当检验结果认为存在超限误差时，则计算2.利用向量 中元素与矩阵 主对角线上相应元素计算 ，并取 相应的观测值 作为可能伴 随有超限误差的观测值.XT-1XX()Q=(A PA)TTXXXXVAQA PllAQA PI l XXQVVVQi iiv vvqmax()i iiv vvqkl()()TTTTVVXXllXXllXXQAQA PI QAQA PIQAQA3.利用B检验法或检验法、

17、t检验法对原假设进行统计检验.当原假设被接受，则认为监测网观测值中未包含有超限误差.否则，观测值lk 被认为受到超限误差的影响，应予剔除.4.在原假设被拒绝时，剔除lk，重复步骤13，直至没有理由怀疑还有超限误差存在 (即接受原假设) .24 数据筛选算例1223310142434450.06849.707500.081471.32620.27530.008hhhhhhh00.13,mm 试检验观测向量中是否包含超限误差。mm（单位：）解：1.组成误差方程与法方程式设取12站之水准测量误差为单位权中误差，则观测值权阵与协因数阵为： 设点1的高程为H1，点2,3,4之高程为x2，x3，x4，且设

18、H1=0，则误差方程可写成：31036063llP10.333100.33330.166700.16670.3333llllQP121223232313131414424243434100110010001101011vhvhxvhVxvhxvhvhVAXl10161178.8471731639.97463152859.582TTNA PAA Pl 法方程系数阵和常数项向量为： 2.解法方程式并作整体检验，求.VVVQ、10.14611870.05022830.06849320.05022830.17351600.05479450.06849320.05479450.1050228XXQN45

19、0.4865500.4626470.9258TXXXQA Pl0.41850.26910.38160.40020.16430.4712VAXl 22000=2.82372.8237=55.693 0.13TTV PVV PVFbH计算求得 拒绝，认为观测值中包含有超限差观测值。3.计算局部检验统计量与假设检验0.18720.09590.0502-0.06850.0776-0.01830.78080.12330.0137-0.08220.13700.15980.05480.0046-0.11870.06160.0365-0.05020.05250.03190.1643TVVuXXQQAQA对称0

20、0()0iiiiiiiiv viiv vikv vvBWqvqvttq在检 验 法 检 验 法 检 验 法 ( )000i iiv vkvq其公共部分 不同部分 、1 12 23 34 45 56 64 41234564140.96730.30450.95461.61240.71701.1625maxi iv vv vv vv vv vv viv vv vvvvqqqvvvqqqvvhqq，显然， 相应观测值为。014B=0.13 12=0.451.61243.580.45W 检验法121412140.05,1.963.581.96.uWuh怀疑含超限误差T140.975V PV =0.976

21、-31.6124=1.660.972,0.05(2)4.30mmft0 检验法时查20.9752140143 4.30=1.6453-1+4.30=1.661.645.H ,.h分位值：（3）故拒绝认为含超限误差222014140.975()=2.600() =2.8237-2.600=0.22370.22370.334531.61244.820.334=4.82(2)4.30.kkkkkkTkTkV VkkV VV VTktVV PVV PVqVVqqV PVttt（k）14 检验法对此算例，观测值间相互独立故有 怀疑h 含超限误差统计检验的步骤：统计检验的步骤：剔除h14后，需对其余观测值

22、进行检核，对本算例，检核成果表明，其余观测值不含超限误差.1.建立统计假设H0（原假设、零假设）2.选一个合适的统计量U，并从子样观测值计算出U的观测值u(u也称统计量,也常用T、F表示)3.规定一个显著水平（一般取0.05或0.01）求出在H0成立条件下能使P|u|u0|H0满足的值u0.(u0称为分位值)4.比较观测值u(统计量)和u0(分位值)，如果|u|u0,则拒绝原假设H0 假设是否被接受会受到抽样随机性的影响正态分布：2分布：t分布：F分布：222( ,)()( )()( )( )XN uE Xxf x dxuD XxE xf x dx 22()21(0,1)( )( ,)2x u

23、xuYNf xeu 221(0,)( )nTiiXNEvX XXn2( ,)( , )TXN u EvX Xn=Tu u2(0,1)( )( )XXNYntt nY n 22()( )/(, )/umvnu mFF m nv n22()( )/( , , )/umvnu mFF m nv n25 监测资料奇异值的检验与插补“3准则”剔除奇异值1.方法一：对于观测数据序列x1,x2,xN,描述该序列数据的变化特征为 dj=2xj-(xj+1+xj-1) (j=2,3,N-1) 这样，N个观测数据可得N-2个dj，这时由dj值可计算序列数据变化的统计均值 和均方差一、监测自动化系统中观测数据序列的奇异值 检验d122NjjddN212()3NjdjddN3.jjjdjjdddqqx根据偏差的绝对值与均方差的比值当时，则认为 是奇异值，应予以舍弃2. 方法二：对观测数据序列x1,x2,xN,可用一级差分方程进行预测，其表达式为： 设观测数据的中误差为m（m的数值可根据长期观测资料计算得到，也可取经验数据）112()(3,4,5,)jjjjjjjxxxxjNdxx 实际值与预测值之差 23,.djdjmdx当则认为 是奇异值，予以舍弃二、监测资料的插补另