气候统计基本气候状态的统计检验课件

1、气候统计基本气候状态的统计检验气候统计基本气候状态的统计检验学习目标气候中常用检验方法，主要指参数检验，如平均值，方差显著性检验；注意气候问题特有的现象，如成对观测数据，存在时间持续性现象的数据的检验；掌握检验步骤；了解非参数检验方法，如遇到类似问题可以加以应用（强大的检验方法）；学习目标气候中常用检验方法，主要指参数检验，如平均值，方差显概述统计假设性检验，即我们通常所说的“显著性检验”。显著性检验是除参数估计之外的另一类重要的统计推断问题。有两种显著性检验方法：参数检验，当知道某一种理论分布可代表一组数据以及/或检验统计量的特征时采用的方法，因此，可以简化为对分布参数的检验，如Gaussi

2、an分布中的平均值 。概述统计假设性检验，即我们通常所说的“显著性检验”。概述非参数检验，没有找到合适的理论分布描述统计量时采用该方法，通常有两种方式实现检验：经典方法：数据的分布不重要，无论数据遵循何种分布，对于数据都采用相同的方式进行显著性检验，该方法是计算机广泛使用前常采用的方法；再取样过程：使用计算机反复对数据进行重取样来直接推断数据的分布特征。概述非参数检验，没有找到合适的理论分布描述统计量时采用该方法样本分布是对所有统计检验的一个基本概念；一个统计量是由一组数据计算的具体数值；某个统计量的样本分布就是描述这个统计量由不同组数据计算所体现的变化的概率分布；计算样本统计量的数据服从于样

3、本的变化，则样本统计量也服从于样本的变化；由不同数据组计算的统计量的值不同；样本分布是对所有统计检验的一个基本概念；样本分布概率分布可以描述样本统计量的随机变化，类似于概率分布可以描述数据的随机变化；样本统计量可由概率分布得到，这些分布就是样本分布；样本分布提供了描述统计量取可能值的相对频率；样本分布概率分布可以描述样本统计量的随机变化，类似于概率分布显著性检验的步骤明确要检验的问题，即确定检验统计量，参数检验下，检验统计量通常是相关分布的参数的样本估计值，非参数分布可以自由的定义检验统计量；定义一个原假设/零假设（ ），通常为人们希望去拒绝的一个问题，如两组样本平均值之间不存在差异。定义一个

4、备择假设（ ），通常它是原假设的对立假设。显著性检验的步骤明确要检验的问题，即确定检验统计量，参数检验显著性检验的步骤选择合适的检验统计量，在原假设成立的条件下，确定该统计量的概率分布（即确定零分布）。例如，检验两组样本平均值差异可选用t分布检验，检验方差的显著性可用F分布检验。给定显著性水平 ，由样本数据计算检验统计量，当检验统计量落在零分布的否定域则拒绝原假设。显著性检验的步骤显著性检验的基本思想可以用小概率原理来解释实际中，小概率事件不应发生。小概率原理：小概率事件在一次试验中是几乎不可能发生的，若在一次试验中小概率事件发生了，则说明该事件不是来自于我们假设的总体/分布（满足零假设），也

5、就说明我们对总体所做的假设不正确。显著性检验的基本思想可以用小概率原理来解释实际中，小概率显著性检验的基本思想观测到的显著水平：由样本数据计算出来的检验统计量所截取的尾部面积/概率（P值），这个概率较小，则反对原假设（小概率事件发生了）。若观测到的差异表明真实的差异存在的证据越强，则越有理由表明存在真实的差异。检验所用的显著性水平：针对具体问题的具体特点，事先规定检验标准。显著性检验的基本思想观测到的显著水平：由样本数据计算出来的检显著性检验的基本思想由以上原理得到的操作过程：把观测到的显著性水平与作为检验标准的显著性水平比较。若小于该标准时，则拒绝原假设；若大于该标准，则认为没有足够证据拒绝

6、原假设。实际操作：已由显著性水平表得到其对应的临界值，可直接比较检验统计量的观测计算值与临界值的大小。显著性检验的基本思想由以上原理得到的操作过程：把观测到的显著显著性水平以及P值检验水平(test level/level)：是零分布中“能够足够说明”不可能发生的区域，即拒绝域。检验水平已经提前选定，因此，具有主观性。P值：由样本计算得到的检验统计量的具体的概率值（前提条件：样本统计量满足零分布）。显著性水平以及P值检验水平(test level/level显著性水平（临界概率）如何理解 ？ 通常 取较小的值，即小概率。 例如，给定 ，若所分析的事件落在否定域，即概率不大于 的区域内，则说明小

7、概率事件发生了，但实际上这样的小概率事件是不可能发生的，则说明我们的原假设是错误的。显著性水平（临界概率）如何理解 ？假设性检验可能犯的两类错误第一类：原假设 实际上是正确的，但我们却错误地拒绝了它，犯了“弃真”的错误，称为第一类错误，用显著性水平 表示；第二类：原假设 实际上是不正确的，但我们却错误地接受了它，这是犯了“纳伪”的错误，称为第二类错误，用 表示。假设性检验可能犯的两类错误第一类：原假设 实际上是正假设性检验可能犯的两类错误 图示零分布的PDF特定 正确前提下的检验统计量分布的PDF当 减小，则 必然增加，因此为了较好的平衡误差概率的发生，有时会选择较不严格的显著性水平，如假设性

8、检验可能犯的两类错误 图示零分布的PDF特定 假设性检验可能犯的两类错误 图示落在拒绝域中的事件不是不可能发生，而是发生概率较小假设性检验可能犯的两类错误 图示落在拒绝域中的事件不是假设性检验可能犯的两类错误尽管我们希望最小化上述两类错误，但实际不可能；通过调整检验水平可以调整 和 的概率；但减少其中一个，则必然增加另一个。假设性检验可能犯的两类错误尽管我们希望最小化上述两类错误，但假设性检验可能犯的两类错误检验水平 的概率可以给定；但 的概率通常不能给定，由于对应于零假设可能存在很多备则假设；假设性检验可能犯的两类错误检验水平 的概率可以给定假设性检验可能犯的两类错误真实情况(未知)所 作

9、决 策接受H0拒绝H0H0为真正确犯第I类错误H0不真犯第II类错误正确假设性检验可能犯的两类错误真实情况所 作 决 单侧和双侧检验采用双侧检验还是单侧检验（左侧还是右侧），由原假设和备则假设共同决定。若检验统计量的观测计算值可能落入两分布的两侧（两尾）时，为双侧检验。若落入零分布的左侧时，则为左侧检验，反之为右侧。单侧和双侧检验采用双侧检验还是单侧检验（左侧还是右侧），由原单侧与双侧假设检验选择单侧或双侧假设检验，首先得依据我们所分析问题的物理本质。单侧检验：当我们兴趣的问题集中在某一侧，如图5.1中的备则假设是 ，而不是 ，则为右侧检验。若任何检验统计量大于 ，则拒绝原假设；例如：两个数据

10、总体的统计量的平方是否存在显著差异，原假设为无差异，则较大的正值将可能拒绝原假设，即上述问题为右侧检验单侧与双侧假设检验选择单侧或双侧假设检验，首先得依据我们所分单侧与双侧假设检验双侧检验：适用于检验统计量非常大或非常小均不符合零假设，通常对应于备则假设为“原假设不正确”的提法；其对应于显著性 ，若统计量大于右侧的 ，或者小于左侧的 ，则拒绝原假设；则双侧检验比单侧检验的检验统计量更极端；单侧与双侧假设检验双侧检验：适用于检验统计量非常大或非常小均单侧检验与双侧检验/21/2-Z/2 Z/2 Z 0 0 Z双侧检验左侧检验右侧检验单侧检验与双侧检验/21/2-Z/2 置信度间隔假设性检验估计出

11、了观测统计量落入拒绝域的可能性；置信度间隔则是找到检验统计量落在拒绝域外的可能取值范围；常用于构建图中样本统计量的error bar；置信度间隔假设性检验估计出了观测统计量落入拒绝域的可能性；置信度间隔置信度间隔参数检验单样本t检验最为常用的统计检验；t分布为对称分布，非常类似于Gaussian分布，但极值处（左右两侧）具有的概率分布高于Gaussian分布；适用于两种情况：总体方差未知时；遵从正态分布的均值检验，小样本也适用。参数检验单样本t检验最为常用的统计检验；参数检验单样本t检验t分布只有一个参数， ，称为“自由度”，自由度无限增大时，t 分布将趋近于Gaussian分布，实际上，当自

12、由度大于30后，两者的分布曲线基本接近。适用于总体方差未知。检验统计量为： 参数检验单样本t检验t分布只有一个参数， ，称为“自独立条件下平均值差异的显著性检验（两组样本平均值差异的显著性检验）两组独立样本平均值是否存在显著差异：例如在两种天气形势下平均冬季500mb高度的差异；气候模式中CO2浓度加倍与否，某地7月平均温度的差异；通常两组样本的平均值是有一定差异的，无论他们是否来自于相同的总体或数据产生过程相同；零假设是两组样本平均值无显著差异：若事先不知两组平均数的大小关系，则为双侧检验；否则是单侧检验；独立条件下平均值差异的显著性检验（两组样本平均值差异的显著独立条件下平均值差异的显著性

13、检验（两组样本平均值差异的显著性检验）原假设：两组样本平均值无显著差异；平均值差异通常近似满足Gaussian分布（样本足够大或两组样本本身满足Gaussian分布），则遵循Gaussian分布： 其中独立条件下平均值差异的显著性检验（两组样本平均值差异的显著独立条件下平均值差异的显著性检验（两组样本平均值差异的显著性检验） 得到标准Gaussian分布检验统计量： 总体方差不相等： 小样本满足t分布，自由度为： 大样本接近标准Gaussian分布； 独立条件下平均值差异的显著性检验（两组样本平均值差异的显著独立条件下平均值差异的显著性检验（两组样本平均值差异的显著性检验）总体方差相等： 自由

14、度为：上述两种表达式对应的分子部分若较小，则不拒绝原假设，若分子部分为分母部分的两倍，则在5%的显著性水平上拒绝原假设（双侧）。独立条件下平均值差异的显著性检验（两组样本平均值差异的显著成对（Paired Samples）或同时观测数据的平均值差异的显著性检验两组成对数据之间的平均值差异的显著性检验需要考虑这两组数据的相关程度（ ）。大气科学中，成对数据间通常为正相关，因此，通常的检验可能过高估计了两组样本差异的方差，则检验统计量值（绝对值）相应降低，通常，原假设原本应该被拒绝却可能会接受；成对（Paired Samples）或同时观测数据的平均值差成对（ Paired Samples）或同时

15、观测数据的平均值差异的显著性检验例如，两地某月同时观测的最高温度，存在较强的相关，即一地温度高，则另一地的温度也可能相应较高；则月平均最高温度的变化中有一部分是两地共有的，而上述检验公式的分子部分（两地最高温度平均值差值）已消除了共有变化的部分；成对（ Paired Samples）或同时观测数据的平均值成对（ Paired Samples）或同时观测数据的平均值差异的显著性检验相应的，分母部分也应该消除两者共有变化部分的影响；最简单和直接的方法是将双样本检验转化为单样本检验：成对（ Paired Samples）或同时观测数据的平均值成对（Pair Samples）或同时观测数据的平均值差异

16、的显著性检验总体平均值为：在零假设下，计算值通常为0；成对（Pair Samples）或同时观测数据的平均值差异的成对（Pair Samples）或同时观测数据的平均值差异的显著性检验检验统计量为： 是n对观测值差异的方差；对于具有正相关的两对数据，两者平均值差异较小时，也可能体现出两者平均值存在显著差异；成对（Pair Samples）或同时观测数据的平均值差异的时间非独立条件下的平均值差异的显著性检验上述检验，通常建立在构成样本的数据自身应满足独立性条件；大气数据通常较难满足“独立”条件，许多数据是时间非独立或者说具有时间上的持续性的特点，例如气温；并且，大气中数据的平均多指时间平均。时间

17、非独立条件下的平均值差异的显著性检验上述检验，通常建立在时间非独立条件下的平均值差异的显著性检验气象中的持续性使得数据时间平均的方差比独立数据大，因此在使用前面所给出的方法分析通常会“低估”统计检验分布的方差部分，从而增大了统计检验的值，因此增大了平均值差异通过显著性检验的可能性。时间非独立条件下的平均值差异的显著性检验气象中的持续性使得数时间非独立条件下的平均值差异的显著性检验时间非独立条件下的平均值差异的显著性检验时间非独立条件下的平均值差异的显著性检验有效样本量有效样本量（ ）即独立样本量； 独立样本分布的方差与原样本分布（ ）具有相同的方差，因此，可用 代替 ；在假定原数据的持续性满足

18、一阶自回归过程的前提下，有： ， 为时滞为1的自相关系数；则： ， 其中 为方差膨胀系数时间非独立条件下的平均值差异的显著性检验有效样本量有效样有效自由度实际上气候变量的一个突出特点就是具有红噪声谱，即不同时间的数据之间不是完全独立的(不是随机的)；气候变量某一时刻的状况对后面的状况是有影响的，很多气候变量有很强的持续性或者很高的自相关；因此进行相关系数等检验统计量的显著性检验时，需要首先对时间序列的有效自由度进行估计；有效自由度实际上气候变量的一个突出特点就是具有红噪声谱，即不有效自由度估计有效自由度的方法很多。红噪声时间序列的自相关系数随落后时间步长减少，自相关系数越大则独立样本数(有效自

19、由度)越小；Leith(1973)指出有效自由度与样本数(时间序列长度n)之间有如下关系（取滞后步长为1）：Bretherton等(1999)给出的另外的一种计算方法是 （取滞后步长为1） :有效自由度估计有效自由度的方法很多。红噪声时间序列的自相关系有效自由度Von Storch and Zwiers（1999）：其中 是自相关函数；有效自由度Von Storch and Zwiers（199举例考虑Ithaca和Canandaigua1987年1月平均最高温度是否存在显著差异？上述问题等同于分析两样本平均值差异是否显著的不等于0；这两组数据为成对数据，且各自存在序列相关；因此，需要考虑成对

20、数据检验方法，以及有效样本量；举例考虑Ithaca和Canandaigua1987年1月平举例两地平均值差异为：两地最高温度差异的标准差为：两地最高温度差异的滞后1自相关系数为：0.076有效样本量为：举例两地平均值差异为：举例使用单样本显著性检验：已知：双侧p值为：0.000004，即存在显著差异；举例使用单样本显著性检验：单样本的平均值显著性检验 u检验u检验可以对样本平均值与总体平均值有无显著性差异进行检验（适用于总体方差已知的情况）。H0： ；检验统计量： 为总体方差 遵从标准正态分布。见魏凤英所著书：p25页举例说明。 单样本的平均值显著性检验 u检验u检验可以对样本平均值双样本的平

21、均值显著性检验 u检验u检验可以对两个总体平均值有无显著性差异进行检验（适用于总体方差已知的情况）。H0： ；检验统计量： 分布为总体方差 遵从标准Gaussian分布。见魏凤英所著书：p26页举例说明。 双样本的平均值显著性检验 u检验u检验可以对两个总体平单样本的方差显著性检验 检验（1） 检验可以对正态总体方差有无显著性差异进行检验（适用于总体平均值未知的情况）。H0： ；检验统计量： 为总体方差 自由度：见魏凤英所著书：p29页举例说明。 单样本的方差显著性检验 检验（1） 检验可以单样本的方差显著性检验 检验（2） 检验可以对正态总体方差有无显著性差异进行检验（适用于总体平均值已知的

22、情况）。H0： ；检验统计量： 为总体方差 自由度： 单样本的方差显著性检验 检验（2） 检验可以双样本的方差显著性检验F检验F检验可以检验两个总体的方差是否存在显著差异（总体平均值未知）。H0： ；检验统计量： 自由度：见魏凤英所著书：p30页举例说明。 双样本的方差显著性检验F检验F检验可以检验两个总体的方 432 1 32 176565相关系数的检验t检验可用来检验两个变量的相关系数的显著性。H0：检验统计量：自由度：对于存在时间持续性的数据，应考虑有效自由度，可分别计算两数据的有效自由度，取两者平均，或更严格的选择自由度较小的值作为检验自由度；相关系数的检验t检验可用来检验两个变量的相

23、关系数的显著性。拟合优度检验第二章中已给出直观的、定性的对于拟合优度的估计，这里我们给出定量估计的方法；但定性的图例的方法依然具有使用价值，例如可以指出具体的拟合不足的位置；拟合优度的检验是一种非典型的检验方法，即寻找证据支持原假设； 拟合优度检验第二章中已给出直观的、定性的对于拟合优度的估计，拟合优度检验检验的方式是试图寻找证据支持零假设，即所使用的样本数据来自于假设分布； 但实际上在上述零假设下，零假设为错误的可能性非常多，因此，通常不可能找到一个最优的检验，而是存在很多种检验方法，究竟何种检验方法合适拟合优度检验是具有主观性的； 拟合优度检验检验的方式是试图寻找证据支持零假设，即所使用的

24、样拟合优度检验 检验 检验是简单且常用的拟合优度检验方法之一；该方法实际是将样本柱状图与离散变量的概率分布或连续变量的概率密度函数进行比较；由于该方法将数据分为离散的数据组，因此更合适用于分析离散随机变量；拟合优度检验 检验 检验拟合优度检验 检验对于连续变量，由于该检验方法将数据分组，因此在将数据四舍五入分组的情况下，可能会造成严重的信息损失的现象；但该方法应用灵活，可用于多变量数据；拟合优度检验 检验对于连续变量，由于该拟合优度检验 检验检验统计量为：拟合优度检验 检验检验统计量为：拟合优度检验 检验在每一组里，期望发生的数据个数依据拟合分布该组数据发生的概率与样本容量n的乘积得到；如果拟

25、合分布非常逼近样本，则每一组的期望数据个数与观测数据个数非常接近，则分子中的平方差异值也较小；但如果两者差异较大，则分子中平方差异值将由于平方的作用而扩大；拟合优度检验 检验在每一组里，期望发生拟合优度检验 检验分组原则上要求每一组中得到的期望数据个数不能太小，通常认为5个数据个数是每组的最小个数值；检验自由度为：由于检验统计量为正值，其较小的计算值支持零假设，因此为右侧检验；拟合优度检验 检验分组原则上要求每一组拟合优度检验 检验例如，分别用Gamma和Gaussian分布拟合1933-1982年一月Ithaca的降水；Gamma分布的参数：Gaussian分布的参数：拟合优度检验 检验例如

26、，分别用Gamm拟合优度检验 检验拟合优度检验 检验拟合优度检验 检验Gamma分布：Gaussian分布：自由度：拟合优度检验 检验Gamma分布：拟合优度检验 检验Gamma分布:查表知90%的累积频率对应的值为：6.251；则Gamma分布的拟合结果在10%的水平上不会被拒绝；Gaussian分布:99%的累积频率对应的值为：11.34599.9%的累积频率对应的值为：16.266则Gaussian分布的拟合结果将在1%的水平上被拒绝；拟合优度检验 检验Gamma分布:拟合优度检验K-S检验单样本的Kolmogorov-Smirnov (K-S)检验也是最常用的有关理论分布拟合优度的检验

27、方法； 检验比较的是经验和理论的PDF或离散分布函数，而K-S方法则比较的是经验和理论分布的CDF；拟合优度检验K-S检验单样本的Kolmogorov-Sm拟合优度检验 K-S检验假定观测数据可以由理论分布得到前提下给定原假设，对比分析其经验和理论CDF，若二者的差异达到一定的程度，则拒绝零假设；对于连续分布，K-S检验通常比 检验更有用；拟合优度检验 K-S检验假定观测数据可以由理论分布得到前拟合优度检验 K-S检验K-S检验的原始形式可以应用于任何分布，条件是分布参数不由样本估计；这就造成原始形式使用的局限性；由于采用样本估计分布参数值，则有利于拟合分布向样本逼近；从而，在检验数据与分布的

28、参数估计无关的假定下，检验临界值的选择很重要，通常会造成本应拒绝零假设的检验接受了零假设。拟合优度检验 K-S检验K-S检验的原始形式可以应用于任拟合优度检验 K-S检验Lilliefors 改进了原始K-S检验方法；K-S（Lilliefors）检验统计量： 其中 是经验累计概率，由下式估计得到 是理论累计分布函数计算得到。 拟合优度检验 K-S检验Lilliefors 改进了原始拟合优度检验 K-S检验即使原假设正确，即理论分布很好的拟合了样本数据，理论分布与样本分布之间仍可能存在差异；多大的差异可达到足够拒绝原假设的要求，依赖于所选择的检验水平、样本容量、所选用的分布等；拟合优度检验 K

29、-S检验即使原假设正确，即理论分布很好的拟合优度检验 K-S检验在原始K-S检验方法下，即分布参数的取得与样本无关；检验临界值可由下式得到：当 拒绝零假设； 拟合优度检验 K-S检验在原始K-S检验方法下，即分布参拟合优度检验 K-S检验由于参数估计不能来自于样本，则原始K-S检验方法并不适用；但可以用来给出在 的概率范围内，真实数据累计概率的范围：拟合优度检验 K-S检验由于参数估计不能来自于样本，则原拟合优度检验 K-S检验对于Lilliefors检验，其检验临界值依赖于所选用的分布；对于Gamma分布，检验临界值依赖于样本容量n和参数 ，当n增大，不规则的样本变化减小，则检验临界值减小，

30、即对于大样本的检验，只有检验统计值较小的才可能表明拟合结果较好；当 ，为Gaussian分布，即Gamma分布逼近Gaussian分布；拟合优度检验 K-S检验对于Lilliefors检验，其拟合优度检验 K-S检验例如：依然以分别用Gamma和Gaussian分布拟合1933-1982年一月Ithaca的降水为例；两幅检验图计算的经验累积概率和理论CDF均是观测的每月降水的函数；巧合的是，Gamma和Gaussian分布检验的最大差异点为同一点：Gamma分布：Gaussian分布：拟合优度检验 K-S检验例如：依然以分别用Gamma和G拟合优度检验 K-S检验 拟合优度检验 K-S检验拟合

31、优度检验 K-S检验 首先，假定降水数据可由拟合分布得到（原假设），备则假设反之；由于 是绝对值，因此这是一个单边检验问题（右侧检验）；当检验统计量值位于右尾处时，则拒绝原假设；当检验统计量值位于左尾处时， 则认为拟合效果很好； 拟合优度检验 K-S检验 首先，假定降水数据可由拟气候统计基本气候状态的统计检验拟合优度检验 K-S检验 上表中给出了必须拒绝零假设的最小 ，即临界值；样本容量n=50可以采用large n选项来估计检验临界值；Gaussian分布对应的选项为拟合优度检验 K-S检验 上表中给出了必须拒绝零假拟合优度检验 K-S检验 对于Gaussian分布：检验值：5%的显著性水平

32、：1%的显著性水平：对于Gamma分布 ：检验值：20%的显著性水平：拟合优度检验 K-S检验 对于Gaussian分布拟合优度检验 K-S检验 无论数据来自何种分布，可以计算CDF的置信度区间；n=50，对于95%的置信度区间：拟合优度检验 K-S检验 无论数据来自何种分布，可拟合优度检验 Smirnov检验 Sminov检验，即双样本的K-S检验；思想是两组数据相互比较，零假设为他们来自于相同的分布或产生过程；检验统计量：拟合优度检验 Smirnov检验 Sminov检验拟合优度检验 Smirnov检验 即寻找两组样本分别为 ，容量分别为 的经验累积分布函数的最大绝对差异；同样为单侧检验；

33、如果满足下式，则在 的显著性水平上拒绝零假设：拟合优度检验 Smirnov检验 即寻找两组样本分拟合优度检验 对于Gaussian分布的检验 Lilliefors检验可以用于检验Gaussian分布，且比 检验效果好；但基于相关概念建立检验方法效果更好；该方法由Shapiro-Wilk提出，由Filliben（1975）改进：计算样本数据 与标准Gaussian转换得到的数据 的相关，其中：拟合优度检验 对于Gaussian分布的检验 Li拟合优度检验 对于Gaussian分布的检验 因此，上述检验就是计算Guassian分布Q-Q图数据对的相关，相关计算结果并不受到标准Gaussian分布的

34、取值，即无量纲的影响；该检验为单侧检验，即高相关值支持零假设；由于Q-Q图是非减的，因此其检验临界值的要求将高于普通两独立变量的相关检验；拟合优度检验 对于Gaussian分布的检验 因此拟合优度检验 对于Gaussian分布的检验 拟合优度检验 对于Gaussian分布的检验 拟合优度检验 对于Gaussian分布的检验 例如图4.16（Q-Q图）的Gaussian分布检验；n=50，计算得到相关系数：检验结果表明： ，即拟合效果不好；通常数据转变会提高拟合结果，如对数据作对数变化；拟合优度检验 对于Gaussian分布的检验 例如拟合优度检验 对于Gaussian分布的检验 拟合优度检验

35、对于Gaussian分布的检验 非参数检验并非所有的检验都依赖于数据或者某种统计量的理论分布。不考虑研究对象总体分布的具体形式，也不对总体参数进行统计推断，而是对样本所代表的总体分布进行检验。由于这类方法不受总体参数的限制，故称非参数检验，又称任意分布检验（nonparametric, or distribution-free）；非参数检验并非所有的检验都依赖于数据或者某种统计量的理论分布非参数检验非参数检验可用于以下两种情况中的任何一中：无法找到合适的理论分布；数据所涉及到的物理含义较为复杂，无法得到解析的样本分布。参数检验中给出的五个步骤依然适用于非参数估计，差别在于步骤4（即零分布的获得

36、）。非参数检验非参数检验可用于以下两种情况中的任何一中：说明大部分的非参数方法均是基于秩（rank）而不是原始数据；例如Spearman相关。说明大部分的非参数方法均是基于秩（rank）而不是原始数据；秩（rank） 非参数检验中秩是最常使用的概念。什么是一个数据的秩呢？一般来说，秩就是该数据按照升序排列之后，每个观测值的位置。例如我们有下面数据15918317851371975918426310这下面一行（ ）就是上面一行数据 的秩。 秩（rank） 非参数检验中秩是最常使用的概念。什么是一个数秩（rank） 利用秩的大小进行推断就避免了不知道背景分布的困难。这也是大多数非参数检验的优点。多

37、数非参数检验明显地或隐含地利用了秩的性质；但也有一些非参数方法没有涉及秩的性质。 秩（rank） 利用秩的大小进行推断就避免了不知道背景分布的非参数检验的优缺点：优点： 适用范围广 对数据要求不严 方法简便、易于理解和掌握缺点： 损失信息、检验效能低符合条件首选参数检验不符合条件非参数检验非参数检验的优缺点：优点：符合条件首选参数检验不符合条件非参非参数检验方法经典非参数检验（classical nonparametric test），在计算机得到广泛使用前，该方法非常实用。再取样检验（resampling test），利用计算机建立对零假设的近似，且对数据作多次上诉操作。由于涉及到的零分布是

38、经验性的，因此，使用者可自由的选择相关统计量进行检验，而不用过于关注统计量的数学含义。非参数检验方法经典非参数检验（classical nonpa对于“位置”的古典非参数检验对于位置差异的检验有两种古典非参数检验方法：用于独立的双样本 Wilcoxon-Mann-Whitney rank-sum test类似于标准Gaussian分布检验统计量。用于成对的双样本 Wilcoxon signed-rank test类似于上述检验统计量对应的成对检验统计量。对于“位置”的古典非参数检验对于位置差异的检验有两种古典非参Wilcoxon-Mann-Whitney rank-sum test在1940s

39、分别由Wilcoxon，以及Mann和Whitney发现。该检验即resistance（不受异常值的影响），又robustness（如若检验满足t分布，也可采用该方法检验）。对于独立的两数据（既不存在时间上的相关，也不为“pair”）Wilcoxon-Mann-Whitney rank-sumWilcoxon-Mann-Whitney rank-sum test目标是检验两组数据位置差异是否显著：给出原假设为：两数据位置（平均值）相同，来自于相同的分布；可用单边或双边检验。类似于t检验：如果序列间存在相关，则该序列方差将会增大，将可能会导致不恰当的拒绝原假设；Wilcoxon-Mann-Whi

40、tney rank-sumWilcoxon-Mann-Whitney rank-sum test上述原假设的前提下，任何一个数据属于其中一组或另一组都是有可能的；两组数据属于同一个经验分布（即可交换性），它们的组合 组成这个经验分布；Rank-sum test statistic不是数据值本身的函数，而是数据排序后序号的函数，数据的基本分布并不重要。Wilcoxon-Mann-Whitney rank-sumWilcoxon-Mann-Whitney rank-sum test将2个样本数据混合并排序：定义 为数据1的序号和；定义 为数据2的序号和；则有：如果 ，则 和 应近似相等；若两数据容

41、量不相等，也应满足 和 近似相等；Wilcoxon-Mann-Whitney rank-sumWilcoxon-Mann-Whitney rank-sum test在零假设下，n个数据按照2组观测数据容量的大小进行分配方式将会非常多，具体而言，可以有： （其对应的检验统计量构成零分布）无论如何分配数据，如果观测的 和 在所有的分配方式中属于差异较大的一种分配方式，则拒绝零假设；Wilcoxon-Mann-Whitney rank-sumWilcoxon-Mann-Whitney rank-sum test实际分析中采用Mann-Whitney U 统计量：当两组观测样本容量均大于10，则可以建

42、立近似于Gaussian分布的参数：Wilcoxon-Mann-Whitney rank-sumWilcoxon-Mann-Whitney rank-sum test举例Counts of cloud-to-ground lightning for experimentally seeded and nonseeded stormsFrom Baughman et al. (1976), reproduced with permission of the American MeteorologicalWilcoxon-Mann-Whitney rank-sumWilcoxon-Mann-Whi

43、tney rank-sum test举例（续1）播撒的雷暴个数： ，平均产生19.25个云对地的闪电；非播撒的雷暴个数： ，平均产生69.45个云对地的闪电；非Gaussian分布，有一个非常强的界外置（358），它使得样本标准差为98.93，因此采用t检验非常可能会产生错误的结果。Wilcoxon-Mann-Whitney rank-sumWilcoxon-Mann-Whitney rank-sum test举例（续2）Rank-sum test procedure using the cloud-to-ground lightning dataWilcoxon-Mann-Whitney r

44、ank-sumWilcoxon-Mann-Whitney rank-sum test举例原假设：两组数据来自相同分布，闪电个数相同，即播撒不影响闪电个数。在Gaussian分布下：查表得到：p值为0.014（通常拒绝零假设）注：单侧检验，事先已知播撒可能会造成闪电次数减少。Wilcoxon-Mann-Whitney rank-sumWilcoxon signed-rank test使用于成对双样本（ ）位置差异检验；检验统计量也是基于数据的排序，而不是原数据值，因此这种方法也不依赖于数据是否满足特定的分布；考虑排序：该方法的排序过程基于成对数据差值绝对值的排序，即：Wilcoxon signe

45、d-rank test使用于成对 ：两样本来自同一分布当原假设成立时，任何成对数据的差值（ ）出现正号和负号的机会应接近均等。若数据对中存在 相等的情况，则平均分配rank的大小；若出现 ，则不考虑入实际计算中，则样本容量n变为 ，即对应 的数据对个数；Wilcoxon signed-rank test ：两样本来自同一分布Wilcoxon signed-假定零假设正确，则满足秩和接近相等：在零假设下，可以有 种方式选取 对数据（其对应的检验统计量构成零分布） ；Wilcoxon signed-rank test假定零假设正确，则满足秩和接近相等：Wilcoxon sigWilcoxon si

46、gned-rank test通常当 大于20个，可以建立近似于Gaussian分布，参数为：如果不满足零假设，则表明T计算值较大或较小；Wilcoxon signed-rank test通常当 Wilcoxon signed-rank test举例Wilcoxon signed-rank test procedure using data for counts of thunderstorms Reported in Northeastern United States (X) and Great Lakes States (Y) for 1885-1905Wilcoxon signed-ra

47、nk test举例WiWilcoxon signed-rank test 举例（续1）原假设：两地区雷暴频率相等。在Gaussian分布下：事先不知道两地区雷暴频率大小关系，则为双侧检验。Wilcoxon signed-rank test 举例再取样检验（resampling tests）基本思想：这种方法也称为randomization tests，rerandomization tests or Monte-Carlo tests；该方法具有较高的适应性，适合分析特定条件下的检验；由真实的数据构造人为数据集，构建的人为数据与真实数据等容量；再取样检验（resampling tests）基本

48、思想：再取样检验（resampling tests）基本思想：在此基础上计算所感兴趣的每一组人为数据的检验统计量，并由数据集计算得到的检验统计量构成零分布；分析真实数据计算得到的检验统计量在零分布中出现的概率。再取样检验（resampling tests）基本思想：再取样检验（resampling tests）优点不用考虑原数据的理论分布特征。任何统计量都可以作为检验主体，即我们所关心的任何物理特征或问题都可作为检验统计量，而进行显著性检验。再取样检验（resampling tests）优点不用Permutation test双样本检验（取样方式）取样方式：构造人为数据组的方式为不放回取样。这

49、是与bootstrap检验最关键的区别。类似于秩和检验：可交换性，即在原假设下，所有的数据来自相同的分布，则某个数据值属于这个样本或另一个样本是任意的。但有两点不同：适用于任何检验统计量。可用于矢量数据分析（Mielke等，1981；Zwiers，1987）。Permutation test双样本检验（取样方式）Permutation test双样本检验（计算过程）将两样本合为一个数据集利用均匀随机数生成器（程序），随机产生0，1之间的任意实数 ，产生这些数的概率相等， ；利用 反推 ；Permutation test双样本检验（计算过程）Permutation test双样本检验（计算过程）

50、假定 ，并排为一列，长度为 ；初始时给定一个参考数对下述过程进行 次计算：随机选择 ，方法为：得到 ，则知道Permutation test双样本检验（计算过程）Permutation test双样本检验（计算过程）交换序列中 与 的位置，即已将选出的 置于该序列的最后一位的位置；将参考数减去一个，即重复上述过程，直到进行 次后停止；则得到一组人为数据，容量仍为将前 个数作为样本1，剩下的数为样本2；对上述过程进行1000到10000次处理，得到零分布。Permutation test双样本检验（计算过程）Permutation test双样本检验（计算过程）上述过程可以进行 次取样；但实际进行1000到10000次处理，得到零分布；对于数据量较小的情况，可进行 次取样。Permutation test双样本检验（计算过程）Permutation test双样本检验（举例）前述闪电例子。构造检验统计量