数据分析技术授课假设检验概述

主讲教师：陈悦北京信息职业技术学院数据分析技术假设检验概述01原理02过程03逻辑步骤假设检验概述01假设检验——原理统计假设检验统计假设除非进行普查，否则一个统计假设是对或错，根本就不可能获得正确的答案用抽样调查所获得的数据，检验先前的统计假设，以判断其对或错。任何有关总体的叙述，都只是假设而已普查假设检验是一种方法，目的是为了决定一个关于总体特征的定量的断言是否真实。如果得到的统计量的实现值，在假设为真时应该是罕见的（小概率事件），将有理由拒绝这个假设。一般要设立一个原假设，利用数据来找出假设与现实之间的矛盾，从而否定这个假设，并称该检验显著（Significant）。假设检验都是以否定原假设为目标。如果否定不了，那就说明证据不足，无法否定原假设。01假设检验——原理1.假设与假设检验1）什么是假设在统计学中，假设一般用来指对总体参数所做的假定性说明。在统计学上有两种假设，一种称为原假设，或叫做零假设，记为H0；一种称为备选假设，记为H1；H1

是研究者提出的研究假设。前面的例子里提到的“从来没骂过人”就是一个原假设H001假设检验——原理2）什么是假设检验假设检验（hypothesistest）是指先提出一个假设，然后通过检验样本统计量的差异来推断总体参数之间是不是存在差异。在统计学上，只能对零假设H0进行直接的检验。01假设检验——原理假设检验的任务就是先假设H0是真的，然后以此为前提，如果有不合理的现象出现就说明假设是错误的，即H0为假。如果H0为假，就要拒绝H0并接受H1，则研究者的假设成立；如果H0为真，就要接受H0并拒绝H1，则研究者的假设不成立。这就是统计学上的“反证法”。01假设检验——原理2.假设检验中的小概率事件小概率事件就是指一个发生概率接近0的事件，也就是一般情况下不会发生的事件。例如，有人计算过“7+2”双色球复式彩票的中奖率，中一等奖的概率为1/17721088。可见，中一等奖的概率几乎接近于0，这就是一个小概率事件。01假设检验——原理首先，提出原假设，也称为零假设，记为H0同时也要提出备选假设，记为H1

。02假设检验——过程确定检验统计量。μ0=500然后再看这个统计量的数据实现值是否属于小概率事件。也就是说把数据代入检验统计量，看其值是否落入零假设下的小概率范畴。如果的确是小概率事件，那么就有可能拒绝零假设，或者说“该检验显著”；否则没有足够证据拒绝零假设，或者说“该检验不显著”02假设检验——过程在零假设下，检验统计量取其实现值及更加极端的值出现的概率称为p值。犯第一类错误的概率等于p值，或者不大于事先设定的显著性水平α。02假设检验——过程第二类错误?备选假设正确时没能拒绝零假设的错误，称为第二类错误(TypeⅡError)。在假设检验问题中，由于备选假设不是一个点，所以无法算出犯第二类错误的概率。02假设检验——过程到底p值是多小时才能够拒绝零假设呢?一般的统计书和软件中，使用最多的标准是拒绝零假设的概率应小于0.05，当然也可能是0.01，0.005，0.001等。这种事先规定的概率称为显著性水平(SignificantLevel)，用字母α来表示。α并不一定越小越好，因为这很可能导致不容易拒绝零假设，使得犯第二类错误的概率增大。当p值小于或等于α时，就拒绝零假设。所以，α是所允许的犯第一类错误的概率的最大值。当p值小于或等于α时，就说这个检验是显著的。统计显著不一定等价于实际显著。反过来也一样。02假设检验——过程第一，提出零假设和备选假设。第二，确定检验统计量。第三，确定显著性水平α。第四，根据数据计算检验统计量的实现值。第五，根据这个实现值计算概率p值。第六，进行判断，作出决策。03假设检验——逻辑步骤第一，提出零假设和备选假设。零假设H0为：总体均值与检验值之间不存在显著差异。具体表述为：零假设H0：μ=μ0

备选假设H1：μ≠μ003假设检验——逻辑步骤第二，选择合适的检验统计量。要根据实际情况来确定第三，确定显著性水平α。

一般情况下，使用的最多的α值是0.05和0.01。如果没有特殊要求，我们一般就使用0.05作为显著性水平α。03假设检验——逻辑步骤第四，计算检验统计量的实现值。第五，计算概率p值。03假设检验——逻辑步骤第六，进行判断，作出决策。如果p值小于或等于显著性水平α，就拒绝零假设，同意备选假设,认为总体均值与检验值之间存在显著差异；

如果p值大于显著性水平α，就不拒绝零假设，认为总体均值与检验值之间无显著差异。03