第10章：参数模型的检验和选择

第10章参数模型的检验和选择

【考试内容】

10.1引言

10.2模型的直观选择

数据与模型的表示密度函数与分布函数的图像比较

p-p图和Q-Q图比较平均剩余寿命函数图

10.3分布的拟合优度检验

拟合优度检验

K-S检验

Anderson-Darling检验似然比检验

10.4最优模型的选择

主观判断法评分法

【要点详解】

§10.1引言

一般来说，对模型的筛选将经历如下的过程：第一：被选模型与实际数据图形上的直观比较和筛选；第二：用统计学方法对模型分布函数与经验分布函数进行检验(如拟合优度检验、K-S检验、Anderson-Darling检验等)；最后：由一定的标准进行模型选择(常用主观判断法和评分法)。

§10.2模型的直观选择

1．数据与模型的表示

本章中只讨论在同一点截断或删失数据。假设数据集的截断点是t，则经验分布的起始点也是t。为了和经验值进行比较，使用的模型必须是截断的。因此，截断后的模型表示为：其中F(x)、f(x)表示没有截断的模型。

2．密度函数与分布函数的图像比较

（1）对模型拟合程度最直接的检验方法是做图。一般选用经验分布图(卵形图)、直方图、核密度图等与备选模型的分布函数或密度函数图进行比较。当模型与样本的分布图像比较接近时，可以使用该函数拟合样本数据。如果差异较大，超出了可以接受的范围，则认为不能使用该函数进行拟合。（2）当模型的分布函数和经验分布函数很接近时，很难从图像上分辨出细徽的差别。可以直接画出两个函数差值的图像。也就是说，如果Fn(x)和F*(x)分别表示经验分布函数和由模型得到的分布函数，画出D(x)=Fn(x)－F*(x)的图像即可。

3．p-p图和Q-Q图比较

（1）p-p图

①p-p图（概率图）：是根据变量的经验分布与指定分布的累积分布函数之间的关系所绘制的图形。可以检验数据是否符合指定的分布。

②p-p图检验数据的步骤首先将观测值排序xl≤…≤xn；再对每个值构造坐标(Fn(xj)，F*(xj))；最后将每个坐标对应的点画在(Fn(x)，Fn*(x))的平面上。

③p-p图检验的结果分析当数据符合指定分布时，p-p图中各点近似呈一条45°直线。但是，在这种情况下，必须对经验分布函数的定义有所修改。如果p-p图中各点不呈直线，但有一定规律，则可以对变量数据进行转换，便转换后的数据更接近指定分布。（2）Q-Q图

Q-Q图是用样本数据的经验分位数与所指定分布的分位数之间的关系曲线来进行检验的。（3）p-p图和Q-Q图分析注意事项当分析p-p图和Q-Q图时，最好不要用严格的标准去衡量这些数据是否在一条直线上，通常只要看这些点是否近似在一条直线上即可。另外，当判断概率图上的点是否近似在一条直线上时，对样本点中两端的点可以不用关注，除非这些点偏离直线特别远，但是当有一个样本点偏离直线特别远，而其他样本点又基本近似在直线上时，偏离直线的那个样本点则视为离群点，不用考虑。

4．平均剩余寿命函数图

（1）平均剩余寿命函数平均剩余寿命函数考虑的是数据在尾部的情况，其定义为：

e(d)=E[X-d|X>d]如果平均剩余寿命函数随d递增，那么在变量取值较大处的期望结果会很大，因此概率向右移，说明其尾部相比那些平均剩余寿命函数递减或增速较慢的模型更厚。反之，如果平均剩余寿命函数随d递减，说明X的分布是轻尾分布。（2）平均剩余寿命函数图

通过样本平均剩余寿命函数图观察样本数据的尾部特征。使用经验估计二来代替e(d)，有：如果平均剩余寿命函数图呈现上升的趋势，说明样本的损失分布是一个明显的厚尾分布；而如果呈现下降的趋势则是轻尾分布；指数分布的平均超额函数图近似为一条水平的直线。

§10.3分布的拟合优度检验

在假设检验中，先要设定原假设和备选假设：

H0：数据来源于某个给定的总体；

H1：数据并非来源于给定的总体。针对原假设的不同，有两种处理的方式。如果原假设中给出了完整的模型，检验临界值可以较为容易地得出；如果原假设仅仅指明了模型的类型，而模型中仍含有待定的参数，如果模型的参数是通过样本数据估计得出，这时的检验统计量要比事先给定模型时的统计量要小。通常统计量较大时容易拒绝原假设，因此这种近似增加了犯第二类错误的概率，同时减小了犯第一类错误的概率。针对第二种情况，通过将样本随机分组的方式避免近似。将样本随机分为两部分，一部分进行参数估计，另一部分进行假设检验。当模型选定之后，又重新将所有数据用于参数估计。

1．拟合优度检验

拟合优度检验常用于离散分布的情况，如果是连续分布则需要把数据分成多个区间来考虑。（1）拟合优度检验验的步骤

①选定任意k-l个值使得t=c0<c1<c2<c3<c4<…<ck=∞，其中t为左截断点(如果没有截断则t=0)。记为观测值落在(cj-1，cj]区间中的概率。

注意：每组包括组上限，即左端是开区间、右端是闭区间。类似地，记pnj=Fn(cj)－Fn(cj-1)为由经验分布得到的(cj-1，cj]区间中的概率。

②构造

检验统计量为：其中n为样本量。若令为区间中观测值个数的期望值，并令Oj=npnj

为区间中的实际观测个数。此时有：当观测值n的值充分大时，统计量Q的分布会收敛于自由度为k-1-m的

分布，m为模型中待估参数的个数。如果计算得到的Q大于临界值，则拒绝原假设，表明原假设中的分布不能拟合样本数据。否则，无法拒绝原假设。这里通常取0.05。（2）拟合优度检验中，一定要满足：样本容量n要足够大、Ej不太小这两个条件。为提高模型估计的精度，通常认为Ej的值不小于5，总体的样本数据不小于50，否则需要将个数较少的组合并，以满足这个要求。

【例题10.1】对150名投保人，从签订保单受益凭证开始观察，直到其身故，且没有删失观测值，有21人在第1年身故，有27人在第2年身故，有39人在第3年，另有63人在第4年。考虑原假设为生存模型

在5%的显著性水平下，进行拟合优度检验，则统计量的值为（）。

A．2.85

B．3.15

C．3.35

D．3.65

E．3.95

【答案】D

【解析】根据生存模型，可知，计算结果如下表所示。即统计量的值为3.65。

【例题10.2】一年内每天发生的事故数分布如下表所示，考虑如下的假设检验：数据来自均值为0.6的Poisson分布，将数据分为尽可能多的组，并保证每个组期望的观测数至少为5。采用拟合优度检验，则统计量的值为（）。

A．1.3698

B．2.8778

C．3.3659

D．3.9847

E．4.8778

【答案】B

【解析】根据题目要求，将数据分成4组，即将事故数目为3，4，5的合并成一组。计算相应的值，得到下表。所以由上表可知统计量的值为2.8778。

2．K-S检验（1）K-S检验用来检验单一样本是否来自某一特定分布，这个检验的思想是：虽然Y1，Y2，…，Yn的分布未知，但根据大样本理论，Y1，Y2，…，Yn的经验分布函数Fn(x)在某种意义下收敛于其真实的分布，所以可以把Fn(x)与所假设的分布函数F*(x)作比较，看它们是否吻合。如果它们不能很好地吻合，就拒绝H0，即未知的真实分布函数不是由F*(x)给定的。（2）K-S检验统计量令t为左截断点(如果没有截断则t=0)，u为右删失点(如果没有删失则u=∞)。这时检验统计量为：注意：为确保Fn(x)有定义，这个统计量只适用于个体数据，且要求F*(x)在对应区间上是连续的。（3）如果已知一个样本观测值xl，…，xn，则Dn为F*(x)与Fn(x)差距的最大值为：①用来表示被检验的实际偏差度量，其中n为样本数。②当n→∞时，若F*(x)的函数形式完全给定，Y的近似分布为：③若F*(x)的形式已知，参数由数据估计，偏差度量将取得与前面结果不同的概率值，在这种情况下则需要对Y进行修正。

【例题10.3】某随机变量的5个观测分别为1，2，3，5，13，原假设：f（x）=2x-2e-2/x，x>0，则K-S检验统计量Dn的值为（）。A．0.039B．0.209C．0.168D．0.397E．0.351【答案】C【解析】根据原假设下随机变量的密度函数可得分布函数为：则K-S统计量计算结果如下表所示。所以K-S统计量Dn的值为0.168。

【例题10.4】一个来自总体X的样本包含12个数据：7、12、15、19、26、27、29、29、30、33、38、53。假设数据在32处删失，并使用参数为的指数分布拟合这组数据，则对应的K-S检验统计量的值为（

）。A．0.1865B．0.2146C．0.2298D．0.3132E．0.3369【答案】D【解析】对于此数据，删失后分布为：将经验分布函数和估计分布列表，如下表所示。由上表可以看出K-S统计量的值为0.3132。

3．Anderson-Darling检验（1）Anderson-Darling检验统计量是Fn(x)和分布F*(x)之间偏差的平方的加权期望值，权重是Fn(x)方差的倒数，即：其中：t为左截断点(如果没有截断则t=0)，u为右删失点(如果没有删失则u=∞)。注意：当x接近于t或u时，分母很小，从而权重较大，因此这个统计量更加看重尾部的估计。（2）Anderson-Darling检验统计量对于个体数据来说，积分形式如下：当t=0，u=∞时，上式与下面公式等价：

【例题10.5】一个来自服从参数=15的指数分布的总体的样本包含8个数据：3、4、8、10、12、18、22、35，则求Anderson-Darling统计量的值为（

）。A．0.304B．0.310C．0.321D．0.340E．0.354【答案】A【解析】由=15可得，原假设的分布函数为：，则Anderson-Darling统计量与计算结果如下表所示。从而根据统计量的公式：可以算得A2=0.304。

4．似然比检验（1）似然比检验考虑的是两个分布的比较。该检验的原假设和备选假设分别为：H0：数据来自服从A分布的总体；H1：数据来自服从B分布的总体。注意：为了能够进行正规的假设检验，A分布必须是B分布的一种特殊情形。（2）似然函数及统计量对于给定的样本xl，x2，…，xn，似然函数定义为：统计量定义为：称LR为似然比。LR的分子是参数没有被约束的似然函数最大值，分母是参数被约束时的最大值。显然有：LR≥1。在一定正则的条件下，Yn=2lnLR在原假设下以χ2分布为极限分布，参数为k-r，k为没有被约束的参数个数，r为被约束的参数个数。若，为已知参数，则r=0。若Yn大于置信水平为α临界值c，则拒绝原假设，即认为。

【例题10.6】用200份赔付数据拟合一个帕累托分布，给定：（1）对应的极大似然估计是（2）以极大似然估计值算得的对数似然函数值是-817.92；。若使用似然比检验对原假设进行检验，则检验统计量的值为（

）。A．3B．4.6C．7D．7.7E．8.1【答案】D【解析】帕累托分布的密度函数和似然函数分别为：对数似然函数值为：在原假设下，所以似然比统计量为：

【例题10.7】韦伯分布的密度函数为来自服从韦伯分布的总体的样本如下：595、700、789、799、1109。已知在θ和τ的极大似然估计点，∑ln（f（xi））=-33.05。当τ=2时，θ的极大似然估计是816.7。用似然比检验做一下检验H0：τ=2，H1：τ≠2，则在5%的显著水平下和在2.5%的显著水平下分别是（

）。A．无法拒绝原假设，拒绝原假设

B．拒绝原假设，无法拒绝原假设

C．无法拒绝原假