-核数据处理预备知识(续)-核数据处理课件

东华理工大学张怀强核数据处理第0章数据的预处理东华理工大学核地学院1东华理工大学张怀强核数据处理第0章数据的预处理1东华理工大学张怀强数据的预处理目的对数据进行检验；并选择、构造一个合适的数学模型，以便进一步成图成像等处理。但原始数据常常不能满足数学模型的要求，所以必须考虑从原始数据中产生适合数学模型的数据，即原始数据→数学模型数据y=f(x)，（x为原始数据，y为数学模型数据）。2东华理工大学张怀强数据的预处理目的2东华理工大学张怀强数据的预处理内容核数据的检验可疑值舍取探测下限的确定变量的选择变量的变换网格变换与边部扩充3东华理工大学张怀强数据的预处理内容3东华理工大学张怀强数据的预处理—核数据的检验目的：（有两个）帮助检查测量系统的工作和测量条件是否正常和稳定，判断测量除统计误差外是否存在其它的随机误差或系统误差；确定测量数据之间的差异是统计涨落引起的，还是测量对象或条件确实发生了变化引起的。4东华理工大学张怀强数据的预处理—核数据的检验目的：（有两个东华理工大学张怀强数据的预处理—核数据的检验两次测量值差异的检验在同一条件下，对放射性样品先后进行两次测量，得计数N1和N2，检验其差异是否值得怀疑数据的可靠性。N1和N2服从同一正态分布，则N1-N2也服从正态分布，其期望值为0，方差约为：N1+N2=σ2。因此：5东华理工大学张怀强数据的预处理—核数据的检验两次测量值差异1)设：2)查正态概率积分表，找出给定显著水平α时的值kα3)用kα与实测计算的值k相比，若k<kα，认为差异不显著，数据可靠；若k>kα，认为差异显著，数据不可靠。61)设：6数据的预处理—核数据的检验例1：两次测量的计数是1128和1040，检验数据的可靠性。(取显著水平α=0.05，查表得：kα=1.96)解：k<kα，所以差异不显著，数据可靠7数据的预处理—核数据的检验例1：两次测量的计数是1128和1例2：分别测量10分钟得两个计数率1010cpm和1069cpm，问计数设备工作是否正常？

(取显著水平α=0.05，查表得：kα=1.96)解：东华理工大学张怀强k>kα，所以差异显著，存在虚假数据8例2：分别测量10分钟得两个计数率1010cpm和1069c东华理工大学张怀强数据的预处理—核数据的检验对一组计数值的检验设在同一条件下测得一组数据ni,i=1,2,…k方法一：用两种方法估算方差：均方差（标准误差）σn：（1）标准偏差S：（2）若σn≈S，数据正常。若S>σn,则存在系统误差或其它大的随机误差；也存在一些不正常因素，使S<σn。9东华理工大学张怀强数据的预处理—核数据的检验对一组计数值的东华理工大学张怀强数据的预处理—核数据的检验例：测量30次得如下数据：29，37，27，33，35，32，36，35，24，30，30，23，19，29，32，27，27，27，26，30，21，28，28，33，24，34，14，30，24，24，数据是否正常？解：S2≈σn2,很接近，所以数据可靠。10东华理工大学张怀强数据的预处理—核数据的检验例：测量30次东华理工大学张怀强数据的预处理—核数据的检验对一组计数值的检验方法二：χ2检验：数据应服从自由度为(k-1)的χ2分布。1）计算χ22）查表，一定显著水平α1(0.05)，α2(0.95)下的χ2值χ0.052，χ0.9523）做双边检查。若χ20.95≤χ2≤χ20.05，数据可靠；若χ2»χ20.05（过于分散）数据不正常或χ2«χ20.95（过于重复）数据不正常。11东华理工大学张怀强数据的预处理—核数据的检验对一组计数值的东华理工大学张怀强数据的预处理—核数据的检验例：测得6个数据：241，242，249，246，236，250，数据是否可靠？解：χ2«χ20.95，太过重复，数据不可靠。12东华理工大学张怀强数据的预处理—核数据的检验例：测得6个数东华理工大学张怀强数据的预处理内容核数据的检验可疑值舍取探测下限的确定变量的选择变量的变换网格变换与边部扩充13东华理工大学张怀强数据的预处理内容13东华理工大学张怀强数据的预处理—可疑值舍取可疑测量值的舍取在原始数据中，个别观测值与其余的大多数观测值相差很大时，它们对平均值或方差等统计量影响就较大肖文特(Chauvenct)数值舍取标准化方法若某观测值与平均值之差Δ大于某一个差值Δ(k)，则此观测值应舍弃，否则保留。14东华理工大学张怀强数据的预处理—可疑值舍取可疑测量值的舍取Δ(k)为标准偏差，k个数据中，偏差Δ大于标准偏差Δ(k)的数据个数不得超过半个(即1/2k)。即在k个数据中，某一个数据与平均值的偏差Δ出现的概率小于1/2k时应舍弃。标准偏差Δ(k)由高斯分布来求，与k有关。15Δ(k)为标准偏差，k个数据中，偏差Δ大于标准偏差Δ(k)的东华理工大学张怀强数据的预处理—可疑值舍取可疑测量值的舍取肖文特(Chauvenct)数值舍取标准化方法k与Δ(k)/σ、Δ(k)/γ的关系kΔ(k)/σΔ(k)/γkΔ(k)/σΔ(k)/γ5678910121416181.681.731.791.861.921.962.032.102.162.202.442.572.682.762.842.913.023.123.203.26202224263040501002005002.242.282.312.352.392.502.582.803.023.293.323.383.433.473.553.703.824.164.484.8816东华理工大学张怀强数据的预处理—可疑值舍取可疑测量值的舍取东华理工大学张怀强数据的预处理—可疑值舍取可疑测量值的舍取肖文特(Chauvenct)数值舍取标准化方法1)计算：2)对可疑数据计算以σ为单位的偏差Δi，3)按k从表中查出对应之Δ(k)/σ4)检验：若Δi/σ≥Δ(k)/σ，则此数应舍弃17东华理工大学张怀强数据的预处理—可疑值舍取可疑测量值的舍取东华理工大学张怀强数据的预处理—可疑值舍取可疑测量值的舍取肖文特(Chauvenct)数值舍取标准化方法例：测本底，得每分计数：39，37，27，33，35，32，36，35，24，30，30，23，19，29，32，27，27，27，26，30，21，28，25，33，24，34，14，30，24，24解:平均值:28.2cpm，均方差:5.31，Δ(k)/σ=2.39

1)|14-28.2|/5.31=2.67大于2.39，则14应舍弃2)|19-28.2|/5.31=1.73小于2.39，则19应保留3)|37-28.2|/5.31=1.66小于2.39，则37应保留4)|39-28.2|/5.31=2.03小于2.39，则39应保留18东华理工大学张怀强数据的预处理—可疑值舍取可疑测量值的舍取东华理工大学张怀强数据的预处理内容核数据的检验可疑值舍取探测下限的确定变量的选择变量的变换网格变换与边部扩充19东华理工大学张怀强数据的预处理内容19东华理工大学张怀强数据的预处理—探测下限的确定概述本底计数>Nb+3σb的概率是0.135%，所以，当时，认为是样品贡献。但，由于计数的统计涨落，当样品引起的净计数期望值真的为时，就有50%的概率使测得的净计数小于，即半数得不到肯定结果。20东华理工大学张怀强数据的预处理—探测下限的确定概述20东华理工大学张怀强数据的预处理—探测下限的确定判断限L1—可认为样品里有放射性待测样品的放射性是通过所测的净计数N0来确定的，而净计数又是通过本底计数Nb和样品计数Ns（包括本底）得到。通常测量时间相同，则有：N0=Ns-Nb。μ0和σ0分别是净计数N0的期望值和标准误差，则：判断中会有两种错误发生α错误:样品中实无放射性,却测N0>L1,误判为有放射性β错误:样品中实有放射性,却测N0<L1,误判为无放射性判断限由第一种错误的概率α决定。21东华理工大学张怀强数据的预处理—探测下限的确定判断限L1—东华理工大学张怀强数据的预处理—探测下限的确定判断限L1—可认为样品里有放射性设判断限L1，若N0≤L1，可认为测不到放射性；若N0>L1，可认为有放射性。判断限L1由第一种错误的概率α决定。无放射性时，μ0=0，则：由正态概率积分表，可查出Ka值若本底通过多次测量准确求出，即σNb2=0，则，即判断限L1减小了倍。有时为了安全，允许把”清洁”误判为”污染”22东华理工大学张怀强数据的预处理—探测下限的确定判断限L1—东华理工大学张怀强数据的预处理—探测下限的确定探测下限L2—有把握测出样品有放射性究竟样品中要有多少放射性，方能保证其净计数值N0不会低于L1，从而不至于漏测？(β)要考虑β错误的概率β:这就是说，当样品净计数的期望值L2满足上关系式时，就能较有把握的保证测得的净计数大于L1，使犯β错误的概率不大于β。（由正态概率积分表，可查出Kβ值）若Nb较准确，23东华理工大学张怀强数据的预处理—探测下限的确定探测下限L2东华理工大学张怀强数据的预处理—探测下限的确定定量下限L3—可给出定量结果对于活性在判断限附近的样品，虽然可以被探测出来，但其误差较大，无定量意义。在探测下限情况下，误差:若要求测量结果的相对误差不超过某个预定的值εr，那么样品的净计数期望值必须超过某个最低值，叫定量下限。用L3表示。则：24东华理工大学张怀强数据的预处理—探测下限的确定定量下限L3东华理工大学张怀强数据的预处理—探测下限的确定判断限L1、探测下限L2、定量下限L3三者之间的位置、关系L1：当N0≥L1，可认为样品是有放射性；L2：当N0≥L2，可有把握地测出样品是有放射性的；L3：当N0≥L3，测量误差可满足要求，即可给出定量结果。N0L3L2L10不可靠探测区可靠探测区定量分析区25东华理工大学张怀强数据的预处理—探测下限的确定判断限L1、东华理工大学张怀强数据的预处理—探测下限的确定例1：某表面污染监测仪的本底计数约为1cpm，本底和样品测量时间各30分钟，试确定判断限L1和探测下限L2和定量下限L3（相对误差小于10%），要求α、β≤0.05。解：在30分钟内，本底计数约为30，对于α=β=0.05，Ka=Kβ=1.645，则：26东华理工大学张怀强数据的预处理—探测下限的确定例1：某表面东华理工大学张怀强数据的预处理—探测下限的确定例2：某污水放射性连续测量装置的本底计数率约为30cpm，对3.7Bq/L的污水，净计数率N0为168cpm，用等时间测量，每次测27分钟，试确定L1、L2、L3(要求α,β≤0.05，εr<10%)解：Nb=27*30=810，Ka=Kβ=1.645，则：27东华理工大学张怀强数据的预处理—探测下限的确定例2：某污水东华理工大学张怀强数据的预处理—探测下限的确定意义若N净>66(C净>0.054Bq/l)可认为水是污染的若N净<66(C净<0.054Bq/l)可认为水未受污染若N净>132(C净>0.107Bq/l)基本可判定有污染（β的概率为5%）若N净>455(C净>0.37Bq/l)测量的相对误差<10%28东华理工大学张怀强数据的预处理—探测下限的确定意义28东华理工大学张怀强数据的预处理—习题1.两次测量的计数是1010和1069，检验数据的可靠性。(取显著水平α=0.05，查表得：kα=1.96)2.分别测量10分钟得两个计数率1128cpm和1040cpm，问计数设备工作是否正常？

(取显著水平α=0.05，查表得：kα=1.96)29东华理工大学张怀强数据的预处理—习题1.两次测量的计数是1东华理工大学张怀强数据的预处理—习题3.测量6次得如下数据：29，37，27，33，35，32，数据是否正常?4.某污染监测仪的本底计数约为2cpm，本底和样品测量时间各10分钟，试确定判断限L1和探测下限L2和定量下限L3（相对误差小于10%），要求α、β≤0.05(Ka=Kβ=1.645)30东华理工大学张怀强数据的预处理—习题3.测量6次得如下数据东华理工大学张怀强数据的预处理内容核数据的检验可疑值舍取探测下限的确定变量的选择变量的变换网格变换与边部扩充31东华理工大学张怀强数据的预处理内容31东华理工大学张怀强数据的预处理—变量的选择变量的分类（按取值的方式分类）原始变量指各种研究对象的特征和标志，具有上一章提到的五种数据类型的取值组合变量由二个或多个原始变量组合而成，具有特定意义的新变量(如元素含量比，米百分数-厚度含量)可以减少变量数，使数学模型简单变换变量为了适合某种数学模型的要求，而作的简单数学运算，没有特定的含意包括线性变换变量、对数变换变量、伪变量等32东华理工大学张怀强数据的预处理—变量的选择变量的分类（按取东华理工大学张怀强数据的预处理—变量的选择变量的选择在进行数据预处理前，要对变量进行选择变量的选择包括原始变量、组合变量及变换变量的筛选、增补与组合目的选出与研究目的有关的、最重要的变量，是变量的结构最优化(变量个数尽可能少，且各变量独立，同时对主要信息没有多大损失)这样，不仅经济，而且能获得最佳的效果33东华理工大学张怀强数据的预处理—变量的选择变量的选择33东华理工大学张怀强数据的预处理—变量的选择变量的选择注意问题由于问题的复杂性、工作程度不同、取值空间不一致，要选出合适的变量，就要明确研究目的，兼顾各种观点，尽量多选变量，以免漏掉有用信息样本是统计分析的基础，要十分注意样本中变量的代表性，要全面收集三度空间的变量资料通过数学方法选出的变量，有时会与研究对象密切相关的变量不一致，这就需要尽可能的明确意义不明确的意义；又要对意义明确的变量查找原因，使其尽可能被使用34东华理工大学张怀强数据的预处理—变量的选择变量的选择34东华理工大学张怀强数据的预处理—变量的选择选择变量的数学方法几何作图法可直观的显示变量与研究对象之间的关系以及变量与变量间的关系根据直角坐标系中样本数据的散点凝聚趋势或离散特点决定变量取舍的方法1）点聚图法——考查变量间的关系2）数轴法——选择分类变量两总体的样品，对两个变量的散点图，若通过某一条直线能把两总体的散点基本分开(70%)，这两个变量可作分类变量。x1x2两变量数轴法xy点聚图法35东华理工大学张怀强数据的预处理—变量的选择选择变量的数学方东华理工大学张怀强数据的预处理—变量的选择选择变量的数学方法相关法利用相关原理选择变量的方法很多1）简单相关系数法（相关系数计算公式）2）逐步回归分析法3）秩相关系数法(等级相关系数法)秩：按变量x值由小到大的顺序排成序列(若有n个数据的值相同，序号取它们对应的序号平均值)，则每个数据的序号就成为该数据的秩如需要算出变量x和y的秩相关系数，按上法分别排序求秩，用x,y的秩代替原始变量值，用简单相关系数公式计算即得秩相关系数r。其中，di为对比序列的秩差；k为对比序列的数据对数36东华理工大学张怀强数据的预处理—变量的选择选择变量的数学方东华理工大学张怀强数据的预处理—变量的选择选择变量的数学方法相关法——秩相关系数法——例子如表，k=18，对r作显著性检验：取置信度α=0.05，自由度f=k-1=17，查相关系数临界值表得rα=0.4555。r>rα，则Pd与As相关。37东华理工大学张怀强数据的预处理—变量的选择选择变量的数学方东华理工大学张怀强数据的预处理—变量的选择选择变量的数学方法秩和检验法——选择分类变量基本思路：在A、B两总体中，变量x的取值分别为xiA,xjB序列(i=1,…k1,j=1,…k2),如果概率成立，则两总体关于变量x无差异；若上式不成立，说明两总体关于变量x差异明显，可作为分类变量。若x的大小用秩表示，即为秩和检验。38东华理工大学张怀强数据的预处理—变量的选择选择变量的数学方东华理工大学张怀强数据的预处理—变量的选择选择变量的数学方法秩和检验法——选择分类变量检验步骤：将两个总体的数据混合起来，根据变量值由小到大分两总体按秩排成两行；计算样品数较少的那个总体的秩和，用T表示；根据两总体的样品数k1,k2以及给定的显著性水平α，查秩和检验表求出秩和上限T2和下限T1；若T≥T2或T≤T1，则认为两总体有显著差异，x可选作分类变量。39东华理工大学张怀强数据的预处理—变量的选择选择变量的数学方东华理工大学张怀强数据的预处理内容核数据的检验可疑值舍取探测下限的确定变量的选择变量的变换网格变换与边部扩充40东华理工大学张怀强数据的预处理内容40东华理工大学张怀强数据的预处理——变量的变换目的把原始数据变换成适合所选数学模型的数据函数式：，z1为数学模型数据，也叫方法数据；z为原始数据统一变量的量纲尽可能使变量成正态分布使两变量间的非线性相关变为线性相关关系用一组新的、数目更少的、相互独立的变量代替原来组内有不同相关关系的变量把定量数据转化成定性数据，以适合数学模型形成数学模型需要的网格状分布数据41东华理工大学张怀强数据的预处理——变量的变换目的41东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的变换（线性变换）变换依据：变换前后，两两变量间的相关程度不变变换方法：标准化变换极差变换（正规化变换）均匀化变换（均值计量变换）均方差变换42东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的变换（线性变换）标准化变换：使数据的均值为0，方差为1

公式：n为测点数目，z1i：各测点变换后的数据，其均值为0，方差为1zi：各测点的原始数据S(σ)：均方差变换后，方法数据z1i的平均值为0，均方差为1。因此，它又属于正态化变换的范畴。43东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的变换（线性变换）标准化变换：使数据的均值为0，方差为1编程：voidCDataTransform::StandTransform(floatz[],floatz1[],intn){ floatzj,zs; CalculatezAverage(z[],zj,zs,n); for(inti=0;i<n;i++) { z1[i]=(z[i]-zj)/zs; }}44东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的变换（线性变换）标准化变换：使数据的均值为0，方差为1编程：voidCDataTransform::StandTransform(floatz[],floatz1[],intn){

floatzj,zs; CalculatezAverage(z[],zj,zs,n); for(inti=0;i<n;i++) { z1[i]=(z[i]-zj)/zs; }}voidCDataTransform::StandTransform(floatz[],floatz1[],intn) void：函数类型，空型，不返回值 CDataTransform:类 StandTransform(floatz[],floatz1[],intn):函数 StandTransform:函数名称45东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的变换（线性变换）标准化变换：使数据的均值为0，方差为1编程：voidCDataTransform::StandTransform(floatz[],floatz1[],intn){ floatzj,zs; CalculatezAverage(z[],zj,zs,n); for(inti=0;i<n;i++) { z1[i]=(z[i]-zj)/zs; }}voidCDataTransform::CalculatezAverage(floatz[],floatzj,floatzs,intn){ floattemp=0,temp2=0; for(inti=0;i<n;i++) { temp=temp+z[i]; temp2=temp2+z[i]*z[i]; } zj=temp/n; zs=sqrt((temp2-zj*temp)/(n-1));}46东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的变换（线性变换）极差变换（归一化变换）：其值范围在[0，1]区间分布，最小值为0，最大值为1。公式：z1i：各测点变换后的数据zi：各测点的原始数据zmax，zmin：原始数据中的最大值和最小值变换后，方法数据z1i有统一的量纲，其值范围在[0，1]区间分布，最小值为0，最大值为1特点：当zmax很大、zmin很小时，数据往往会趋于相等，使数据间差异不明显。47东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的变换（线性变换）极差变换（归一化变换）编程：voidCDataTransform::UnitTransform(floatz[],floatz1[],intn){ floatzmax,zmin,zcha; CalculatezMax(z[],zmax,zmin,n); zcha=zmax-zmin; for(inti=0;i<n;i++) { z1[i]=(z[i]-zmin)/zcha; }}48东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的变换（线性变换）极差变换（归一化变换）编程：voidCDataTransform::UnitTransform(floatz[],floatz1[],intn){ floatzmax,zmin,zcha; CalculatezMax(z[],zmax,zmin,n); zcha=zmax-zmin; for(inti=0;i<n;i++) { z1[i]=(z[i]-zmin)/zcha; }}voidCDataTransform::CalculatezMax(floatz[],floatzmax,floatzmin,intn){ zmax=z[0]; zmin=z[0]; for(inti=1;i<n;i++) { if(z[i]>zmax)zmax=z[i]; if(z[i]<zmin)zmin=z[i]; }}49东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的变换（线性变换）均匀化变换：在1附近变化公式：z1i：各测点变换后的数据，在1附近变化。zi：各测点的原始数据变换后，方法数据z1i都在1附近变化，其数学期望为1，且统一了量纲。适用范围：适用于比例型变量，如长度、体积、质量等数据。50东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的变换（线性变换）均匀化变换：在1附近变化编程voidCDataTransform::EqualTransform(floatz[],floatz1[],intn){ floatzj,zs; CalculatezAverage(z[],zj,zs,n); for(inti=0;i<n;i++) { z1[i]=z[i]/zj; }}51东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的变换（线性变换）均方差变换公式：z1i：各测点变换后的数据zi：各测点的原始数据S：变量的均方差变换后，方法数据z1i统一了量纲，使原始数据相对收敛52东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的变换（线性变换）均方差变换编程voidCDataTransform::RootTransform(floatz[],floatz1[],intn){ floatzj,zs; CalculatezAverage(z[],zj,zs,n); for(inti=0;i<n;i++) { z1[i]=z[i]/zs; }}53东华理工大学张怀强数据的预处理——变量的变换统一变量量纲的东华理工大学张怀强数据的预处理——变量的变换正态化变换使非正态性分布的数据（偏斜分布）变换为趋于正态性分布的数据（正态分布）变换方法：标准化变换角度变换：把原始数据变为0-90度之间的数平方根变换：适于服从泊松分布的离散性变量对数变换：适用于服从对数正态分布的数据54东华理工大学张怀强数据的预处理——变量的变换正态化变换54东华理工大学张怀强数据的预处理——变量的变换正态化变换角度变换：把原始数据变为0-90度之间的数公式：m：取正整数，通常取最大值zmax整数部分的位数变换后，数据变成了百分比数据，开方是为了避免数据过小通过变换，使百分比数据的概率分布曲线尾端拉长，中心轴压缩，分布曲线趋于正态。变换前后，两两变量间的相关关系略有差异。55东华理工大学张怀强数据的预处理——变量的变换正态化变换55东华理工大学张怀强数据的预处理——变量的变换正态化变换角度变换：把原始数据变为0-90度之间的数编程voidCDataTransform::AngleTransform(floatz[],floatz1[],intn){ floatzmax,zmin; CalculatezMax(z[],zmax,zmin,n); intmp=CalculateIntPower(zmax); for(inti=0;i<n;i++) { z1[i]=asin(sqrt(z[i]/mp));//或z1[i]=acos(sqrt(z[i]/mp)); }}56东华理工大学张怀强数据的预处理——变量的变换正态化变换vo东华理工大学张怀强数据的预处理——变量的变换正态化变换角度变换：把原始数据变为0-90度之间的数编程voidCDataTransform::AngleTransform(floatz[],floatz1[],intn){ floatzmax,zmin; CalculatezMax(z[],zmax,zmin,n); intmp=CalculateIntPower(zmax); for(inti=0;i<n;i++) { z1[i]=asin(sqrt(z[i]/mp));//或z1[i]=acos(sqrt(z[i]/mp)); }}57东华理工大学张怀强数据的预处理——变量的变换正态化变换vo东华理工大学张怀强数据的预处理——变量的变换正态化变换角度变换：把原始数据变为0-90度之间的数编程voidCDataTransform::AngleTransform(floatz[],floatz1[],intn){ floatzmax,zmin; CalculatezMax(z[],zmax,zmin,n); intmp=CalculateIntPower(zmax); for(inti=0;i<n;i++) { z1[i]=asin(sqrt(z[i]/mp));//或z1[i]=acos(sqrt(z[i]/mp)); }}intCDataTransform::CalculateIntPower(floatzmax){ intmp=1; while(zmax>=1) { zmax=zmax/10; mp=mp*10; } returnmp;}58东华理工大学张怀强数据的预处理——变量的变换正态化变换vo东华理工大学张怀强数据的预处理——变量的变换正态化变换平方根变换：使概率分布为正偏的数据变为接近正态分布公式：该变换适用于服从泊松分布的离散性变量变换后，方法数据的方差稳定C：常数，能使离散度大的数据趋于连续，开方后数据趋于正态分布。通常C不能取得太小59东华理工大学张怀强数据的预处理——变量的变换正态化变换59东华理工大学张怀强数据的预处理——变量的变换正态化变换平方根变换：使概率分布为正偏的数据变为接近正态分布编程voidCDataTransform::SQRTTransform(floatz[],floatz1[],intc,intn){ for(inti=0;i<n;i++) { z1[i]=sqrt(z[i]+c)); }}60东华理工大学张怀强数据的预处理——变量的变换正态化变换vo东华理工大学张怀强数据的预处理——变量的变换正态化变换对数变换：适用于服从对数正态分布的数据公式：该变换适用于服从对数正态分布的数据，如氡气浓度、铀、钍、金的含量等。C：常数，由于这类数据可能出现近于零的值，为避免其取对数后出现大的负值，所以加一个适当的常数C。61东华理工大学张怀强数据的预处理——变量的变换正态化变换61东华理工大学张怀强数据的预处理——变量的变换正态化变换对数变换：适用于服从对数正态分布的数据编程voidCDataTransform::LogTransform(floatz[],floatz1[],intc,intn){ for(inti=0;i<n;i++) { z1[i]=log(z[i]+c)); }}62东华理工大学张怀强数据的预处理——变量的变换正态化变换vo东华理工大学张怀强数据的预处理——变量的变换正态化变换方法选用规则首先考察数据的频率分布曲线，区分是正偏斜分布还是负偏斜分布若是负偏斜分布，用反正弦变换arcsin若是正偏斜分布，则视长尾收敛程度而定尾长的：采用对数变换尾中等长的：采用平方根变换尾略长的：采用反余弦变换尾的长短、偏斜强弱的区分是定性的，不易掌握。最可靠的办法是对同批数据试用各种变换，做出变换后的曲线并检验，从中选择最优的63东华理工大学张怀强数据的预处理——变量的变换正态化变换方法东华理工大学张怀强数据的预处理——变量的变换化直变换：使曲线函数变为直线函数（线性函数）的数学变换在直角坐标系内，按样本值点出散点图，然后选出适合散点分布趋势的最佳拟和函数步骤作散点图根据散点图的分布趋势，选取合适的拟合函数，并进行化直拟和。常用化直拟和函数：指数函数；对数函数；S型函数64东华理工大学张怀强数据的预处理——变量的变换化直变换：使曲东华理工大学张怀强数据的预处理——变量的变换化直变换：使曲线函数变为直线函数（线性函数）的数学变换指数函数:函数的图形形式：化直方法：1)两边取对数：2)令：3)得线性函数：xy(b>0)xy(b<0)65东华理工大学张怀强数据的预处理——变量的变换化直变换：使曲东华理工大学张怀强数据的预处理——变量的变换化直变换：使曲线函数变为直线函数（线性函数）的数学变换对数函数函数的图形形式：化直方法：1)令：2)得线性函数：xy(b<0)xy(b>0)66东华理工大学张怀强数据的预处理——变量的变换化直变换：使曲东华理工大学张怀强数据的预处理——变量的变换化直变换：使曲线函数变为直线函数（线性函数）的数学变换S型函数

函数的图形形式：化直方法：1)令：2)得线性函数：xy67东华理工大学张怀强数据的预处理——变量的变换化直变换：使曲东华理工大学张怀强数据的预处理——变量的变换两变量的组合变换：由二个原始变量组合成具有特定意义的新变量如元素含量比。例：U，Th，K测量，有时，U/Th,U/k,Th/k的效果更明显数据的要求两组数据必须是同一区域，一一对应第一组数据：x1i,y1i,z1i(i=1,2,…,n1)第二组数据：x2i,y2i,z2i(i=1,2,…,n2)则要求：n1=n2,x1i=x2i,y1i=y2i68东华理工大学张怀强数据的预处理——变量的变换两变量的组合变东华理工大学张怀强数据的预处理——变量的变换两变量的组合变换：由二个原始变量组合成具有特定意义的新变量变换运算加法：减法：乘法：除法：69东华理工大学张怀强数据的预处理——变量的变换两变量的组合变东华理工大学张怀强数据的预处理——变量的变换两变量的组合变换：由二个原始变量组合成具有特定意义的新变量编程读数据文件1并排序，得x1i,y1i,z1i(i=1,…,n1)读数据文件2并排序，得x2i,y2i,z2i(i=1,…,n2)n1=n2?提示数据有错，并退出x1i=x2i?y1i=y2i?提示数据有错，并退出数学运算开始结束NNYY70东华理工大学张怀强数据的预处理——变量的变换两变量的组合变东华理工大学张怀强数据的预处理内容核数据的检验可疑值舍取探测下限的确定变量的选择变量的变换网格变换与边部扩充71东华理工大学张怀强数据的预处理内容71东华理工大学张怀强数据的预处理——网格变换目的：把不规则的网点变成规则网点网格加密例如：原点距20m，现变为50m和10m012·3456现变为50m0’1’2’现变为10m0’1’2’3’4’5’6’7’8’9’10’72东华理工大学张怀强数据的预处理——网格变换目的：72东华理工大学张怀强数据的预处理——网格变换目的：把不规则的网点变成规则网点网格加密方法插值法拉格朗日插值三次样条插值距离导数法(近点按距离加权平均)方位法(按方位取点加权平均)曲面拟合趋势面拟合法趋势面和残差叠加法加权最小二乘拟合法73东华理工大学张怀强数据的预处理——网格变换目的：73东华理工大学张怀强数据的预处理——网格变换网格的规则化例：按点距d，线距l进行网格化步骤：1.排序，分别找出点距d、线距l及行、列的最大值、最小值：lmax,lmin,dmax,dmin2.按现在的点距d、线距l的值，进行网格化，把缺的数据用插值法补全，形成标准网格。74东华理工大学张怀强数据的预处理——网格变换网格的规则化74东华理工大学张怀强数据的预处理——网格变换网格加密测点的变换例：原点距d=50mj0’1’2’现变为d1=20mj1012·3456解：1)j1循环：计算j=(j1*d1)/d,j2=(j1*d1)modd2)若j2=0，z1(i*dk1+j1)=z(i*dk+j)3)否则，在j的前后取n个点作插值计算。75东华理工大学张怀强数据的预处理——网格变换网格加密75东华理工大学张怀强数据的预处理——网格变换voidCDataTransform::DataNetD(floatz[],floatz1[],floatd,floatd1,intdk,intlk,intn){ floatx[n],y[n]; intj,dk1,j2; dk1=(dk*d)/d1; for(inti=0;i<lk;i++){ for(intj1=0;j1<dk1;j1++){ j=(j1*d1)/d; j2=(j1*d1)modd; if(j2==0)z1[i*dk1+j1]=z[i*dk+j]; else { intbegindot=j–n/2+1; if(begindot<0)begindot=0; elseif(begindot+n>=dk)begindot=dk-n; floatnewd=float(j1*d1)/d; for(intkk=0;kk<n;kk++){ x[kk]=begindot+kk; y[kk]=z[i*dk+begindot+kk];} z1[i*dk1+j1]=Lagrange(x,y,newd,n); } } }}76东华理工大学张怀强数据的预处理——网格变换voidCDa东华理工大学张怀强数据的预处理——网格变换voidCDataTransform::DataNetD(floatz[],floatz1[],floatd,floatd1,intdk,intlk,intn){ floatx[n],y[n]; intj,dk1,j2; dk1=(dk*d)/d1; for(inti=0;i<lk;i++){ for(intj1=0;j1<dk1;j1++){ j=(j1*d1)/d; j2=(j1*d1)modd; if(j2==0)z1[i*dk1+j1]=z[i*dk+j]; else { intbegindot=j–n/2+1; if(begindot<0)begindot=0; elseif(begindot+n>=dk)begindot=dk-n; floatnewd=float(j1*d1)/d; for(intkk=0;kk<n;kk++){ x[kk]=begindot+kk; y[kk]=z[i*dk+begindot+kk];} z1[i*dk1+j1]=Lagrange(x,y,newd,n); } } }}floatCDataTransform::Lagrange(floatx[],floaty[],floatnewx,intn){floattemp1=0.0; for(inti=0;i<n;i++) { floattemp2=1; for(intj=0;j<n;j++) { if(i!=j)temp2=temp2*(newx-x[j])*(x[i]-x[j]); } temp1=temp1+temp2*y[i]; } new[m]=temp1;}77东华理工大学张怀强数据的预处理——网格变换voidCDa东华理工大学张怀强数据的预处理——网格变换网格加密测线间的变换例：原线距l=100m，现变为l1=50m解：1)i1循环：计算i=(i1*l1)/l,i2=(i1*l1)modl2)若i2=0，z(i1行)=z(i行)3)否则插入一行数据。分别在i的前后取n个点作插值计算A123456B123456C123456************100m78东华理工大学张怀强数据的预处理——网格变换网格加密A123东华理工大学张怀强数据的预处理——网格变换voidCDataTransform::DataNetL(floatz[],floatz1[],floatl,floatl1,intdk,intlk,intn){floatx[n],y[n];inti,lk1,i2;lk1=(lk*l)/l1;for(inti1=0;i1<lk1;i1++){i=(i1*l1)/l;i2=(i1*l1)modl;if(i2==0)for(intj=0;j<dk;j++)z1[i1*dk+j]=z[i*dk+j];else{ intbeginl=i–n/2+1;if(beginl<0)beginl=0;elseif(beginl+n>=lk)beginl=lk-n; floatnewl=float(i1*l1)/l;

for(intj=0;j<dk;j++){ for(intkk=0;kk<n;kk++){ x[kk]=beginl+kk;y[kk]=z[(beginl+kk)*dk+j];}z1[i1*dk+j]=Lagrange(x,y,newl,n);}}}}79东华理工大学张怀强数据的预处理——网格变换voidCDa东华理工大学张怀强数据的预处理——网格变换拉格朗日插值拉格朗日插值（线性插值）函数：两个点：三个点：80东华理工大学张怀强数据的预处理——网格变换拉格朗日插值80东华理工大学张怀强数据的预处理——网格变换计算机编程步骤1：先找出做插值所需的原始数据，取出放在另外的数组中。步骤2：用二重循环来实现插值运算。内循环：由累计乘积求得：外循环：由累加求得：81东华理工大学张怀强数据的预处理——网格变换计算机编程81数据的预处理——网格变换样条插值——样条函数样条曲线：工程师制图，用有弹性的木条一端固定，其它地方自由弯曲画曲线样条函数：描述这样曲线的函数实际上：由分段三次曲线连接而成，在连接点处有二阶连续导数实质：分段多项式的光滑连接82数据的预处理——网格变换样条插值——样条函数82数据的预处理——网格变换样条插值——三次样条插值函数定义：设在区间[a,b]上给定n+1个插值节点a=x0<x1<…<xn=b及其函数f(x)相应的值y0=f(x0),y1=f(x1),…,yn=f(xn)。若函数S(x)满足：S(xj)=yj(j=0,1,2,…,n)S(x)在每一小区间[xj,xj+1](j=0,1,…n-1)上是三次多项式S(x)在[a,b]上有连续二阶导数则称S(x)为三次样条插值函数83数据的预处理——网格变换样条插值——三次样条插值函数83数据的预处理——网格变换样条插值——三次样条插值函数每个小区间[xj,xj+1]内的S(x)：Sj(x)=Aj+Bjx+Cjx2+Djx3，j=0,1,2,…,n-1系数Aj,Bj,Cj,Dj待定，共4n个待定系数所以，需要4n个方程84数据的预处理——网格变换样条插值——三次样条插值函数84数据的预处理——网格变换样条插值——三次样条插值函数满足的条件插值条件：S(xj)=yjj=0,1,…,n（共n+1个条件）连接条件：共3(n-1)=3n-3个条件边界条件:(附加条件：需要2个)已知两端点的一阶导数值：S’(x0)=f’(x0),S’(xn)=f’(xn)已知两端点的二阶导数值：S’’(x0)=f’’(x0),S’’(xn)=f’’(xn)85数据的预处理——网格变换样条插值——三次样条插值函数85数据的预处理——网格变换三次样条插值方法—三弯矩方法一种构造方法S(x)在每个小区间[xj,xj+1]上是三次多项式,则S’’(x)在此区间上是一次多项式。若知两端点上的S’’(x)值,设S’’(xj)=Mj,S’’(xj+1)=Mj+1，则S’’(x)可以写成:86数据的预处理——网格变换三次样条插值方法—三弯矩方法86数据的预处理——网格变换三次样条插值方法—三弯矩方法由S’’(x)积分2次，得含有2个任意常数cj和dj的S(x)的表达式：cj和dj可由插值条件S(xj)=yj,S(xj+1)=yj+1确定87数据的预处理——网格变换三次样条插值方法—三弯矩方法87数据的预处理——网格变换三次样条插值方法—三弯矩方法未知：M0,M1,M2,…,Mn(n+1个未知数)由连接条件：S’(xj+0)=S’(xj-0),j=1,…,n-1得n-1个条件(方程)：88数据的预处理——网格变换三次样条插值方法—三弯矩方法88数据的预处理——网格变换三次样条插值方法—三弯矩方法根据边界条件1：S’(x0)=f’(x0),S’(xn)=f’(xn)得2个方程：89数据的预处理——网格变换三次样条插值方法—三弯矩方法89数据的预处理——网格变换三次样条插值方法—三弯矩方法根据边界条件1,得n+1个方程。其矩阵形式为：90数据的预处理——网格变换三次样条插值方法—三弯矩方法90数据的预处理——网格变换三次样条插值方法—三弯矩方法根据边界条件2：M0=f’’(x0),Mn=f’’(xn),，则式:的第一个方程和第n-1个方程为：91数据的预处理——网格变换三次样条插值方法—三弯矩方法91数据的预处理——网格变换三次样条插值方法—三弯矩方法根据边界条件2,得n-1个方程。其矩阵形式为：92数据的预处理——网格变换三次样条插值方法—三弯矩方法92数据的预处理——网格变换三次样条插值方法—三弯矩方法以上两种形式的方程组都是系数矩阵为严格对角占优的三对角方程组，存在唯一解可用追赶法进行求解93数据的预处理——网格变换三次样条插值方法—三弯矩方法93东华理工大学张怀强数据的预处理——网格变换距离导数法（近点按距离加权平均）按距离加权平均法：假定离网格点越近的数据点对网格点的影响越大。该法只考虑离网格点最近的几个数据点,这几个点对网格值的影响与距离有关,距离网格点越远影响越小。94东华理工大学张怀强数据的预处理——网格变换距离导数法（近点东华理工大学张怀强数据的预处理——网格变换距离导数法（近点按距离加权平均）其中：di为Zi点到网格点（x,y）的距离；Zi为邻域内（xi,yi）处的Z值；n为邻域内数据点的数目。95东华理工大学张怀强数据的预处理——网格变换距离导数法（近点东华理工大学张怀强数据的预处理——网格变换距离导数法（近点按距离加权平均）计算机编程步骤1：先统计出邻域中数据点的个数n，并将这些数据取出，放在另一新数组中。步骤2：新数组做循环累加运算。不足:距离法是取离网格点最近的几个数据点值来计算网格点值,不考虑方向,所取的点很可能集中到某一侧,其它方向会取不到点。96东华理工大学张怀强数据的预处理——网格变换距离导数法（近点东华理工大学张怀强数据的预处理——网格变换voiddistnet(floatx[],floaty[],floatz[],floatx1[],floaty1[],floatz1[],intnt,intnt1,floatd){floatdata[10],dist[10],dtemp;for(inti=0;i<nt1;i++){intn=0;for(intj=0;j<nt;j++){dtemp=srqt((x1[i]-x[j])*(x1[i]-x[j])+(y1[i]-y[j])*(y1[i]-y[j]));if(dtemp==0){z1[i]=z[j];n=-1;break;}elseif(dtemp<d){data[n]=z[j];dist[n]=dtemp;n=n+1;}}if(n==0)z1[i]=0;else{floattemp1=0,temp2=0;for(intk=0;k<n;k++){temp1=temp1+data[k]/dist[k];temp2=temp2+1/dist[k];}z1[i]=temp1/temp2;}}}97东华理工大学张怀强数据的预处理——网格变换voiddis东华理工大学张怀强数据的预处理——网格变换方位法(按方位取点加权平均)按方位取点加权法:以网格点(x,y)为中心，把区域划分成若干个象限，从每个象限内取点作加权平均,这就克服了距离法偏向的缺点。具体方法:若求某个网格点(x,y)的函数值时,则以(x,y)为原点将平面分成四个基本象限；再把每个象限等分成n0份,这样就把全平面分成4n0等份。98东华理工大学张怀强数据的预处理——网格变换方位法(按方位取东华理工大学张怀强数据的预处理——网格变换方位法(按方位取点加权平均)具体方法:然后在每个等分角内寻找一个离(x,y)最近的数据点,其值为Zi1,它到(x,y)的距离为di1；则网格(x,y)上的值为:99东华理工大学张怀强数据的预处理——网格变换方位法(按方位取东华理工大学张怀强数据的预处理——网格变换趋势面拟合法趋势面分析是地学领域常用的数学方法,它可以把长周期的趋势性变化和短周期的局部性变化分开。根据趋势性变化可以总结规律,根据局部性变化可以发现异常。100东华理工大学张怀强数据的预处理——网格变换趋势面拟合法10东华理工大学张怀强数据的预处理——网格变换趋势面拟合法从计算机制图角度看,趋势面分析是用简单的幂级数多项式来拟合复杂的地学曲面,有削平、填平实际曲面的作用。为了准确地反映实际曲面,是不能单独采用这种方法的。仅使用趋势面或残差(数据点值与趋势面计算值之差)作图时,总是为了其它目的,比如了解场值的区域性变化规律或了解异常的部位及程度。101东华理工大学张怀强数据的预处理——网格变换趋势面拟合法10东华理工大学张怀强数据的预处理——网格变换趋势面拟合法多项式趋势面拟合的数学原理，计算过程与普通的多项式最小二乘拟合类似。不同的是多项式趋势面拟合中自变量是地理(空间)坐标。按自变量个数可分为二维、三维多项式趋势面拟合。其中，二维空间的趋势面方程中，仅出现一次项时，称一阶趋势面；出现二次项时，称二阶趋势面；依次，三阶，四阶……102东华理工大学张怀强数据的预处理——网格变换趋势面拟合法10东华理工大学张怀强数据的预处理——网格变换趋势面拟合法如：二阶多项式趋势面方程：五阶多项式趋势面方程：103东华理工大学张怀强数据的预处理——网格变换趋势面拟合法10东华理工大学张怀强数据的预处理——网格变换趋势面拟合法——趋势面方程的建立多项式趋势面方程的数学模型：式中，z为观测值，εt为剩余值（εt的正态性假设能否满足，是多项式趋势面分析效果好坏的重要条件）B1、B2…为待定系数设拟和函数的形式是：104东华理工大学张怀强数据的预处理——网格变换趋势面拟合法——东华理工大学张怀强数据的预处理——网格变换趋势面拟合法——趋势面方程的建立设拟和函数的形式是：m次趋势面的系数bi的个数为:为了使拟合值逼近观测值zi，采用最小二乘法原理，以确定b0,b1,b2…105东华理工大学张怀强数据的预处理——网格变换趋势面拟合法——东华理工大学张怀强数据的预处理——网格变换趋势面拟合法——趋势面方程的建立最小二乘原理：得联立方程组：106东华理工大学张怀强数据的预处理——网格变换趋势面拟合法——东华理工大学张怀强数据的预处理——网格变换趋势面拟合法解上联立方程组，求得系数：b0,b1,b2,…，并把这些系数带入下列多项式函数，即得所求的趋势面方程。用建立好的拟合方程，带入被网格的点的x,y值，即可得该点网格变换结果。107东华理工大学张怀强数据的预处理——网格变换趋势面拟合法10东华理工大学张怀强数据的预处理——网格变换趋势面和残差叠加法(简称叠加法)在前面讨论的方法中,插值类方法均以反映局部变化为特征,外推能力(反映空白地区的能力)差,当数据点不均匀时,使用这两种方法的效果不好。而趋势面拟合法是建立在全部数据点的基础上,它考虑了整个区域的变化特征,并把这些特征融合到一个统一的多项式中,虽然有些外推能力,但拟合效果差。能不能产生一个既能反映局部特征,又能反映全局的新方法呢?----趋势面或残差叠加法即是这样一个新方法108东华理工大学张怀强数据的预处理——网格变换趋势面和残差叠加东华理工大学张怀强数据的预处理——网格变换趋势面和残差叠加法(简称叠加法)具体方法：①利用前面介绍的趋势面拟合法,首先拟合一个m次的趋势面。m是任意的,可以根据实际情况来选择。②作出数据点值与该趋势面之间的残差。③利用距离法或方位法将残差作加权处理,分配到网格点上。④将网格点上的趋势值和残差值相加,作为网格点值。109东华理工大学张怀强数据的预处理——网格变换趋势面和残差叠加东华理工大学张怀强数据的预处理——网格变换加权最小二乘拟合法对于趋势面拟合法,在给定了多项式的方次之后,根据最小二乘原理求出多项式系数,然后把网格点坐标代入多项式就可得到网格值,整个区域只有一个多项式。加权最小二乘拟合法：在趋势面拟合法的基础上,引入了距离权的概念。比如求网格点(x,y)的值,要考虑全部数据点对(x,y)的贡献,距(x,y)近的点权大,远的点权小110东华理工大学张怀强数据的预处理——网格变换加权最小二乘拟合东华理工大学张怀强数据的预处理——网格变换加权最小二乘拟合法换一个网格点则形成另外一些权值。这样，每一个网格点值都对应一个多项式，求一个网格点值就要解一次联立方程。所以加权最小二乘法一方面有趋势面法考虑全部数据点，反映趋势性变化的优点,另一方面又有距离法反映局部特征的优点。111东华理工大学张怀强数据的预处理——网格变换加权最小二乘拟合东华理工大学张怀强数据的预处理——网格变换加权最小二乘拟合法假定要计算网格点(x,y)上的值Z(x,y),为此需要求出一个多项式p(x,y),一般是二次多项式:对于一般趋势分析应有:n是数据点个数,(xi,yi)是数据点坐标,Zi是(xi,yi)上的测量值。112东华理工大学张怀强数据的预处理——网格变换加权最小二乘拟合东华理工大学张怀强数据的预处理——网格变换加权最小二乘拟合法具体方法：加权最小二乘法要考虑按距离加权,对上式作些改动:式中,w[(xi-x)2+(yi-y)2]就是权,它是距离的函数。113东华理工大学张怀强数据的预处理——网格变换加权最小二乘拟合东华理工大学张怀强数据的预处理——网格变换加权最小二乘拟合法具体方法：加权形式：1型网格化方法使离网格点较远的数据点对网格点的值也有较大影响,因此输出的图形比较平滑2型网格化方法突出离网格点近的数据点值的影响,输出的图形比较准确地反映实际情况114东华理工大学张怀强数据的预处理——网格变换加权最小二乘拟合东华理工大学张怀强数据的预处理——网格变换对比分析方法名称逼近程度外推能力唯一性运算速度适用范围插值法当数据分布均匀时高很差很差快适于均匀分布的数据点趋势面法不高强很强很快不宜作准确的等值线图叠加法很高强较强较快大量均匀分布也可用最小二乘法1型比较高强很强慢非均匀分布也可用,要求计算机速度快或网格少最小二剩法2型较1型为高强很强慢非均匀分布也可用,要求计算机速度快或网格少115东华理工大学张怀强数据的预处理——网格变换对比分析方法名称东华理工大学张怀强数据的预处理——边部扩充边部扩充：测线测点的外推目的：为了减少边界损失拉格朗日外推法（方法和公式同上）余弦尖