非参数统计分析

非参数统计分析参考书《非参数统计》中国统计出版社吴喜之《非参数统计》人民大学出版社王星《非参数统计讲义》北京大学出版社孙山泽第2页,共61页，2024年2月25日，星期天非参数统计狭义非参数统计非参数计量经济学非参数模型半参数模型估计总体的分布函数是否等于已知的分布检验两或以上个总体的分布是否相同，通常是检验其中位数是否相等估计总体的密度函数的曲线，但是不能写出解释式第3页,共61页，2024年2月25日，星期天第一章非参数统计及一些概念第4页,共61页，2024年2月25日，星期天教学中使用的软件SPSS和R。SPSS的非参数统计菜单已经比较全面了。第5页,共61页，2024年2月25日，星期天SPSS非参数检验的过程Chi-Squaretest卡方检验（检验总体是否服从某个给定的离散分布）2.Binomialtest二项分布检验（检验总体是否服从二项分布）3.

Runstest游程检验（检验样本序列是否随机）4.

1-SampleKolmogorov-Smirnovtest一个样本柯尔莫哥洛夫-斯米诺夫检验（检验总体是否服从某个连续分布）第6页,共61页，2024年2月25日，星期天5.

2independentSamplesTest两个独立样本检验（检验两个独立总体差异性）6.

KindependentSamplesTestK个独立样本检验（检验k个独立总体的差异性）7.

2relatedSamplesTest两个相关样本检验（检验两个相关总体差异性）8.

KrelatedSamplesTestK个相关样本检验（检验k个相关总体差异性）第7页,共61页，2024年2月25日，星期天思考的要点什么是计数统计量；什么是秩统计量，为什么要讨论秩；为什么要讨论秩的分布、秩的期望和方差；什么是符号秩和线性符号秩；线性符号秩的期望和方差。第8页,共61页，2024年2月25日，星期天第一节关于非参数统计在参数统计学中，最基本的概念是总体、样本、随机变量、概率分布、估计和假设检验等。其很大一部分内容是建立在正态分布相关的理论基础之上的。总体的分布形式或分布族往往是给定的或者是假定了的，所不知道的仅仅是一些参数的值。于是，人们的任务就是对一些参数，比如均值和方差(或标准差)，进行点估计或区间估计，或者是对某些参数值进行各种检验，比如检验正态分布的均值是否相等或等于零等等．最常见的检验为对正态总体的t—检验、F—检验和最大似然比检验等。又比如，线性回归分析中，需要估计回归系数

j，j称为参数，所以线性回归分析应该属于参数统计的范畴。第9页,共61页，2024年2月25日，星期天

然而，在实际生活中，那种对总体分布的假定并不是能随便做出的。有时，数据并不是来自所假定分布的总体。或者数据根本不是来自一个总体，数据因为种种原因被严重污染。这样，在假定总体分布的情况下进行推断的做法就可能产生错误的结论。于是，人们希望在不假定总体分布的情况下，尽量从数据本身来获得所需要的信息。这就是非参数统计的宗旨。因为非参数统计方法不利用关于总体分布的相关信息，所以，就是在对于总体分布的任何信息都没有的情况下，它也能很容易而又较为可靠地获得结论。这时非参数方法往往优于参数方法。在台湾这种方法称为“无母数统计”，即不知到总体信息的统计方法。第10页,共61页，2024年2月25日，星期天

在不知总体分布的情况下如何利用数据所包含的信息呢?一组数据最基本的信息就是次序。如果可以把数据按大小次序排队，每一个具体数目都有它在整个数据中(从最小的数起)的位置或次序，称为该数据的秩(rank)。数据有多少个观察值，就有多少个秩。在一定的假定下，这些秩和秩的统计量的分布是求得出来的，而且和原来的总体分布无关。这样就可以进行所需要的统计推断。注意：非参数统计的名字中的“非参数(nonparametric)”意味着其方法不涉及描述总体分布的有关数值参数（均值和方差等）；它被称为和分布无关(distribution—free)，是因为其推断方法和总体分布无关；不应理解为与所有分布(例如有关秩的分布)无关。

第11页,共61页，2024年2月25日，星期天【例1】在我国的工业和商业企业中随机抽取22家企业进行资产负债率行业差异分析，其某年底的资产负债率（％）如下：工业647655825982707561647383商业77808065939184918486

两个行业的负债水平是否有显著性差异a=0.05。这样的数据中有两个问题：

其一是样本容量不大；

其二是总体服从何种分布未知。下面我们来构造一种检验的方法，看他们的资产负债有无显著性差异。第12页,共61页，2024年2月25日，星期天将两类企业的资产负债混合排序，并给出其序次，这在统计中称为“秩”。在这张表中我们有两个可用的信息。负债率5559616464657073757677秩1234567891011组别11111211112负债率8080828283848486919193秩1213141516171819202122组别22111222222第13页,共61页，2024年2月25日，星期天

如果我们将12家工业企业的秩相加是94，其平均秩是7.88，将10家商业企业的秩相加得159，其平均秩为15.9，这就给我们一个可以考虑的信息，两种企业的资产负债是有差异的。他们的平均秩不同。另一个想法是好像工业排的顺序相对靠前，有11111，2，1111，222，111，222222共有6段（相同特点的个案的一段称为游程）。如果原假设成立，则两个行业的负债水平的分布使相同的，将其混合后，应能较为充分、均匀地混合，游程数R应该比较大，反之当游程数R较小，则说明两个总体的分布可能不同。那么6这个游程数是大还是小呢？第14页,共61页，2024年2月25日，星期天

【例2】模拟一个污染的正态分布，计算其样本均值，但是样本均值非正态分布了。这个分布是以0.8的概率是标准正态分布，0.2的概率混进方差为9的正态分布。workfileau11000seriesjunzhi

for!i=1to1000smpl120seriesy1=rndseriesy2=nrndseriesasmplify1<0.8a=y2smplify1>=0.8a=9*y2smpl120scalarmean=@mean(a)junzhi(!i)=meannextsmpl11000junzhi.hist第15页,共61页，2024年2月25日，星期天此数据的正态性检验是非正态。第16页,共61页，2024年2月25日，星期天非参数统计归纳起来有如下的三点优点：

1.对总体的假定少；

2.可以处理许多有问题数据，比如污染的正态分布，有奇异值的情形；

3.容易计算，当然如果不去证明统计量渐近分布。第17页,共61页，2024年2月25日，星期天第二节计数统计量

设是一个随机变量，对于一个给定的常数

0，定义随机变量称随机变量

为X按0分段的计数统计量。即满足括号里的条件得1，否则得0。一、计数统计量

第18页,共61页，2024年2月25日，星期天最常用的计数统计量为符号检验。设随机变量X1，…，Xn是从某个总体X中抽出的简单随机样本。且分布函数F(X)在X=0是连续的。假设检验问题，即检验0是其中位数。检验的统计量可以取二、计数统计量的应用在原假设为真的条件下，有服从参数为n和的二项分布b(n,0.5)。由于原假设为时，B应该不太大，也不太小，如果B太大或太小，应该拒绝原假设。第19页,共61页，2024年2月25日，星期天例生产过程是否需要调整。某企业生产一种钢管，规定长度的中位数是l0米。现随机地：从正在生产的生产线上选取10根进行测量，结果：9.8,10.1,9.7,9.9,9.8,10.0,9.7,10.0,9.9,9.8分析：中位数是这个问题中所关心的一个位置参数。若产品长度真正的中位数大于或小于10米，则生产过程需要调整。这是一个双侧检验，应建立假设为了对假设作出判定，先要得到检验统计量或。将调查得到数据分别与10比较，算出各个符号的数目：=1，=7，n=8。P值=0.0214小于显著性水平0.05。表明调查数据支持备择假设。即生产过程需要调整。第20页,共61页，2024年2月25日，星期天有人说我国国有经济单位15个行业的1996年职工平均工资的中位数为7000元。现从15个行业中抽出样本，如下表所示。

40384940579861616344661066956709--------6769699278977987854686798701--+++++在显著性水平a=0.05下，我国国有经济单位15个行业的1996年职工平均工资的中位数为7000元吗？因为，，故接受原假设。第21页,共61页，2024年2月25日，星期天

某自选商场的失窃金额在12个月的逐月记录（单位：万元）。经理向董事会说月中位数为10万元以上。在显著性水平0.05下，检验是否失窃值在10万元以下。3.6710.56102320.8611.3314.37-+++++12.6911.968.1616.5211.5813.50++-+++接受原假设，即平均为10万元以上.第22页,共61页，2024年2月25日，星期天第二节秩统计量

设来自总体X的样本，记为样本点的秩，即Ri为大于等于的的个数。一、秩统计量

第23页,共61页，2024年2月25日，星期天Xi5.61.42.75.22.64.82.3X(i)1.42.32.62.74.85.25.6Ri1234567第24页,共61页，2024年2月25日，星期天二、秩统计量的分布和数字特征

的联合分布为:的概率分布为第25页,共61页，2024年2月25日，星期天

Ri的数学期望：第26页,共61页，2024年2月25日，星期天

Ri的方差：第27页,共61页，2024年2月25日，星期天Ri和Rj的协方差由于所以第28页,共61页，2024年2月25日，星期天第29页,共61页，2024年2月25日，星期天一、绝对秩和符号秩设随机变量X1，X2，…，Xn

相互独立同分布，分布函数F(x)连续，关于y轴为对称。随机变量|X1|，|X2|，…，|Xn|对应的秩向量记为称为Xi的绝对秩称为Xi的符号绝对秩第四节线性符号秩统计量第30页,共61页，2024年2月25日，星期天若X是连续的随机变量，分布关于Y轴为对称，则随机变量|X|与计数统计量

(x)相互独立。第31页,共61页，2024年2月25日，星期天事实上，对于t0，i=1或i=0，显然有对于t>0，有因为，x关于0为对称，则第32页,共61页，2024年2月25日，星期天根据随机变量独立的充分必要条件，可知二者是独立的，同理可证在结论下，我们有如下结论。第33页,共61页，2024年2月25日，星期天设随机变量X1，X2，…，Xn

相互独立同分布，分布函数F(x)连续，关于y轴为对称。其绝对秩向量计数统计量二者相互独立。第34页,共61页，2024年2月25日，星期天二、符号秩统计量扩展若随机变量X1,X2,…,Xn相互独立且同连续的分布，分布关于轴为对称。其对应的符号秩Wilcoxon符号秩统计量第35页,共61页，2024年2月25日，星期天第36页,共61页，2024年2月25日，星期天第37页,共61页，2024年2月25日，星期天第38页,共61页，2024年2月25日，星期天

第39页,共61页，2024年2月25日，星期天三、线性秩统计量（一）线性秩序统计量的定义设X1，X2，

，XN为N个随机变量，其对应的秩向量记为：又设α(1),α(2),

,α(N)和c(1),c(2),

,c(N)是两组数，组内的N个数不全相等。定义统计量为

第40页,共61页，2024年2月25日，星期天

S称为线性秩统计量，α(1),α(2),

,α(N)被称为分值，c(1),c(2),

,c(N)被称为回归常数。

例二样本问题。随机变量X1，X2，

，Xm相互独立同分布，分布函数为F(x)；随机变量y1，y2，

，yn相互独立同分布，分布函数为G(y)。混合样本X1，X2，

，Xm和y1，y2，

，yn对应的秩向量，记为第41页,共61页，2024年2月25日，星期天取两组常数第42页,共61页，2024年2月25日，星期天若取两组数为：第43页,共61页，2024年2月25日，星期天则S为Y总体样本中，观测值大于混合中位数me的个数。第44页,共61页，2024年2月25日，星期天设a(1),a(2),

,a(N)

是一组，若秩向量在集合

上均匀分布（二）线性秩统计量的数字特征有定理1（线性秩统计量的数字特征）第45页,共61页，2024年2月25日，星期天第46页,共61页，2024年2月25日，星期天第47页,共61页，2024年2月25日，星期天第48页,共61页，2024年2月25日，星期天设a(1),a(2),

,a(N)是一组，若秩向量在集合

上均匀分布，则线性秩统计量有数学期望定理2（线性秩统计量的数字特征）第49页,共61页，2024年2月25日，星期天有方差其中第50页,共61页，20