商务统计与预测第四部分检验问题

数据、模型与决策第四部分检验问题数据挖掘

大量的甚至“海量般”的观察数据呈现在我们面前。这些数据中有着大量有用的信息。把这些有用的信息挖掘出来的工作至关重要。矿石里含有很多的杂质，剔除了杂质才能把矿提炼出来。杂乱无章的原始数据中既包含着有用的信息，也包含着无用的，甚至误导我们的信息。识别并剔除或校正这些无用的、甚至误导我们的信息的工作至关重要。格朗特及其《观察》

格朗特（1620–1674）NaturalandPolitical服装店主ObservationsMadeupon英国皇家学会会员theBillsofMortality，1662关于死亡表的自然观察与政治观察，简称观察。格朗特的《观察》《关于死亡表的自然观察与政治观察，简称观察》有12章，8个表。

数据资料：自1604年起伦敦教会每周一本“死亡公报”。公报记录了一周内死亡和出生者的名单。死者按81种死因（内含63种病因）分类。公报中男女和不同地区分开统计。

格郎特开创性地分析了3000多期公报。格朗特的开创性工作格朗特做了前人没有想到，没有做的事。格朗特做的这件事对学术发展有重大影响，在应用上有重大意义。

1997年当代统计学家休伯画了一条螺旋线，表示统计的发展历程。螺旋线的起点就是格朗特，由他开始向外扩展，按时间先后次序一一列举了对统计发展作出贡献的统计学家。格朗特的《观察》关于

出生与死亡的一些结论新生儿的男女性别比为14∕13。新生男婴的比例为0.5185，新生女婴的比例为0.4815。出生100个女孩，平均来说出生107.108个男孩；在各年龄组男性死亡率皆高于女性；新生儿和大城市的死亡率较高；一般疾病和事故的死亡率较稳定；传染病的死亡率波动较大；性别比

新生儿的性别比为107到108(出生100个女婴，平均来说出生107到108个男婴)；如果只经过为数不多的观察，我们是得不出“新生儿的男女性别比为14∕13”这个规律的；只有经过很多次的观察，才能看到这样的一个规律。这就是统计学的“大数法则”。

正常情况：1)新生男婴的比例为2)新生女婴的比例为某城市当年有10万个新生婴儿，其中女婴4.75万，比例为0.475，低于正常比例0.4815。很可能有人说，当年生男生女没有人为因素的干涉，新生女婴的比例仅较正常比例小了0.0065，看来这是偶然偏低，不足为怪。当年新生女婴的出生比例究竟是正常，还是超乎寻常的低？统计检验问题——“反证法”当年新生女婴的比例究竟是正常，还是超乎寻常的低？这一类问题就是所谓的统计检验问题。检验问题的解决方法有点类似于大家熟悉的“反证法”。数学问题的反证法，是在假设条件下寻找矛盾(不可能发生的事情)，反过来说明假设不会成立。统计检验问题使用的反证法是在假设条件下寻找几乎矛盾(几乎不大可能发生的事情)，反过来怀疑假设成立。小概率事件

通常称几乎不大可能发生的事为小概率事件。小概率事件并不是不可能发生，只是发生的可能性比较小。必须指出的是，有的时候有些场合，尤其是长时间的实践，应认为小概率事件还是有可能发生的，而且它一定会发生。这就是所谓的墨菲定律。会出错的，终将出错

工程师墨菲曾参加美国空军1949年的一项实验，需要将16个火箭加速度计悬空装在受试者的上方。支架上固定火箭加速度计的有两个位置。按实验要求，其中的一个位置是正确的，而另一个是错误的。不可思议的是，竟然有人有条不紊地将16个火箭加速度计全部安装在错误的位置。于是墨菲说，如果有两种选择，其中的一种将导致灾难，则必定有人会选择它。后来墨菲的这一句话演变为人们熟知的这样一句话：“会出错的，终将出错”。墨菲定律

“会出错的，终将出错”。这一句话，不同的人，不同的场合，有不同的含意。对于使用电脑的人来说，重要的资料应做好备份。这是因为再好的电脑也有可能出问题。人，尤其是老年人要把重要的事情用笔记下来。记性再好的人也可能会忘事。常规的肺炎，大多是左心衰竭导致死亡

观察到的情况：连续3位患儿都因右心衰竭而死。图

经估算：倘若是常规的肺炎，连续3位患儿都因右心衰竭而死的可能性非常小。判断：怀疑他们患的不是常规的肺炎，而是手足口病。刘晓琳医生的推断过程

刘晓琳医生的推断过程的改进图

经估算：倘若是常规的肺炎，连续3位、4位和更多位患儿都因右心衰竭而死的概率非常小。判断：怀疑他们患的不是常规的肺炎，而是手足口病。推断原则：在连续有比较多的患儿都因右心衰竭而死时，才说他们患的不是常规的肺炎。观察到的情况：连续3位患儿都因右心衰竭而死。新生女婴的比例究竟是正常，还是超乎寻常的低？图

经计算：倘若女婴出生比例正常，等于0.4815，10万个新生婴儿中有4.75万和更少个女婴的可能性等于？？？。判断：？？？推断原则：新生的10万个女婴中女婴很少的时候，才认为新生女婴的比例超乎寻常的低。观察到的情况：10万个新生婴儿中有4.75万个女婴用反证法解统计检验问题的关键

——计算概率在这一年女婴出生的比例正常，等于公认的0.4815的时候，计算该城市这一年10万新生婴儿中女婴的人数等于小于4.75万的概率。倘若这一年女婴出生的比例等于0.4815，那么这一年新生女婴的人数应该是二项分布。从而使用Excel，输入“=binomdist(47500,100000,0.4815,1)”就可算得，倘若这一年女婴出生的比例正常，10万个新生婴儿中有4.75万和更少个女婴的可能性仅等于0.0000197。新生女婴的比例究竟是正常，还是超乎寻常的低？图

经计算：倘若女婴出生比例正常，等于0.4815，10万个新生婴儿中有4.75万和更少个女婴的可能性仅等于0.0000197，低于10万分之2。判断：可能性如此的小，这说明在女婴出生比例正常时，有4.75万个女婴出生是几乎不可能发生的事。因而认为这一年女婴出生比例超乎寻常的低。推断原则：新生的10万个女婴中女婴很少的时候，才认为新生女婴的比例超乎寻常的低。观察到的情况：10万个新生婴儿中有4.75万个女婴检验问题——两个假设

检验患儿患的是否是常规的肺炎；检验女婴出生比例是否超乎寻常的低；检验额定标准为每袋净重0.5公斤的袋装葡萄糖的平均糖重是否是0.5公斤；检验治疗心血管病的药是否损伤肾功能；检验吸烟是否危害人体健康。这些检验问题都有互相对立的两个假设。“有罪推定”与“无罪推定”

审讯嫌疑人时有两个假设：“嫌疑人有罪”和“嫌疑人无罪”。有罪推定将“嫌疑人有罪”作为原假设，即首先认为嫌疑人有罪，然后寻找证据证明他无罪。倘若有充分、确凿、有效的证据证明嫌疑人无罪，则认为他无罪。反之，倘若没有充分、确凿、有效的证据证明嫌疑人无罪，则认为他有罪。无罪推定将“嫌疑人无罪”作为原假设，即首先认为嫌疑人无罪，然后寻找证据证明他有罪。倘若有充分、确凿、有效的证据证明犯罪嫌疑人有罪，则认为他有罪。反之，则认为他无罪。“有罪推定”与“无罪推定”

有罪推定论保护(也就是不轻易否定)“嫌疑人有罪”的假设。这意味着有罪推定论不轻易说嫌疑人无罪。宁枉勿纵。无罪推定论保护(也就是不轻易否定)“嫌疑人无罪”的假设。这意味着无罪推定论不轻易说嫌疑人有罪。宁纵勿枉。检验问题：原假设和备择假设原假设：不轻易否定的假设，也就是说有了充分、确凿、有效的证据后才能拒绝的假设。原假设记为备择假设：不轻易肯定的假设，也就是说有了充分、确凿、有效的证据后才能接受的假设。备择假设记为

“有罪推定”与“无罪推定”

有罪推定论：原假设：嫌疑人有罪；备择假设：嫌疑人无罪。无罪推定论：原假设：嫌疑人无罪；备择假设：嫌疑人有罪。原假设和备择假设女婴出生比例是否超乎寻常低的检验问题原假设：女婴出生比例正常；备择假设：女婴出生比例超乎寻常的低。额定标准为每袋净重0.5公斤的袋装葡萄糖的平均糖重是否有0.5公斤的检验问题原假设：平均糖重0.5公斤；备择假设：平均糖重不是0.5公斤。

无罪推定原假设和备择假设检验治疗心血管病的药是否损伤肾功能原假设：药损伤肾功能；备择假设：药没有损伤肾功能。有罪推定吸烟是否危害人体健康的检验问题原假设：吸烟无害；备择假设：吸烟有害。

无罪推定实际问题中确定

原假设与备择假设的通常方法首先确定备择假设。将有了充分、确凿、有效的证据后才认为它正确的假设确定为备择假设；然后将备择假设的对立假设确定为原假设。检验法则检验问题：女婴出生比例是否低了？原假设：女婴出生比例p=0.4815；备择假设：女婴出生比例p<0.4815。检验法则：在新生女婴比较少的时候拒绝原假设，认为新生女婴的比例p<0.4815。“什么时候拒绝原假设”称为是检验法则

确定检验法则是解统计检验问题的第一个关键。p值—概率(probability)值

“计算什么样的概率”，是解统计检验问题的第二个关键。检验法则：在新生女婴很少的时候认为女婴出生比例低于0.4815观察到的数据：当年10万个新生婴儿中有4.75万个女婴。在女婴出生比例等于0.4815时，计算10万个新生婴儿中有4.75万和更少个女婴的的概率。p值

“计算p值”，是解统计检验问题的第二个关键。若p值比较小，这意味着在原假设成立时观察到的这件事基本上是不大可能发生的，则就有了充分、确凿、有效的证据拒绝原假设，从而认为备择假设是正确的。若p值不小，则意味着还没有找到充分、确凿、有效的证据，因而不能拒绝原假设，只得认为原假设是正确的。检验的水平

若p值不比0.01大，则说p值很小。我们在水平下(高度显著地)拒绝原假设；若p值比0.01大，但不比0.05大，则说p值比较小。我们在水平下(显著地)拒绝原假设，但在水平下不能(高度显著地)拒绝原假设。若p值比0.05大，则说p值不小，这说明没有充分、确凿、有效的证据认为备择假设是正确的，我们在水平下不能拒绝原假设，只得认为原假设是正确的。假设检验问题的4个步骤1)建立原假设

和备择假设

。2)确定检验法则。3)计算p值。4)①

p值

，则在水平

下高度显著地拒绝原假设；②

p值

，则不能在水平

下高度显著地拒绝原假设，能在水平

下显著地拒绝原假设；③

p值

,则不能拒绝原假设。

犯第一、第二类错误的概率分别为

在检验问题中，犯“弃真”和“取伪”两类错误都总是不可避免的。一个好的检验方法，应该是使检验结果犯这两类错误的概率都尽量地小。但当样本容量一定时，若减少犯某类错误的概率，则犯另一类错误的概率往往增大。若要使犯两类错误的概率都减少，只能增加样本容量。比例的检验问题—第1种类型

女婴出生比例(proportion)p是否超乎寻常低的检验问题原假设：，女婴出生比例正常；备择假设：，女婴出生比例超乎寻常的低。

检验法则：在新生女婴比较少的时候拒绝原假设，认为新生女婴的比例p超乎寻常的低。产品是否合格？

某个产品的质量标准：不合格品的比例不超过1%。随机检验100个产品，倘若其中没有发现不合格品，或仅发现1个不合格品，可想而知质量检验员肯定认为产品合格。倘若发现2个不合格品那应如何判断？依据估计方法，不合格率的估计为2%，超过了所允许的不合格率的上限1%。考虑到估计有误差，因而绝不能就此就说产品不合格。产品很可能是合格的，仅仅是由于随机因素的影响，样本比例偶然偏高了。产品是否合格？

某个产品的质量标准：不合格品的比例不超过1%。在随机检验的100个产品中倘若发现了2个不合格品，则判断产品是否合格的问题，显然是下面这样一个统计检验问题：：产品不合格率：

比例的检验问题——第2种类型

产品是否合格的检验问题原假设：，产品合格；备择假设：，产品不合格。这个检验问题相当于

:

:

检验法则：不合格品比较多的时候拒绝原假设，认为产品不合格。比例的检验——单边拒绝

—总体中具有某种特性的个体所占的比例(proportion)。从总体中随机抽取个个体，假设其中有个个体具有这种特性。单边拒绝检验问题的第1种类型①

：：②

：：单边拒绝检验问题的第2种类型①

：：②

：：比例的检验——单边拒绝(1)

单边拒绝检验问题的第1种类型①

：，：②

：，：随机抽取个个体，假设其中有个个体具有这种特性。在比较小的时候拒绝，认为。检验的p值(概率(probability)值)等于个个体中有和更少个个体具有这种特性的概率输入“”比例的检验——单边拒绝(2)

单边拒绝检验问题的第2种类型①

：：②

：：随机抽取个个体，假设其中有个个体具有这种特性。在比较大的时候拒绝，认为。检验的p值(概率(probability)值)等于个个体中有和更多个个体具有这种特性的概率。输入“”

产品是否合格？

产品是否合格的检验问题原假设：，产品合格；备择假设：

，产品不合格。在随机检验的100个产品中倘若发现了2个不合格品。检验p

值：在时，100个产品中有2和更多个不合格品的概率。

输入“=1-binomdist(1,100,0.01,1)”p值。判断：产品合格。产品合格与否的检验问题的检验过程图

经计算：在产品合格，不合格率p达到上限0.01时，100个产品中有2个和更多个不合格品的概率，也就是检验的p值等于26.42%。p值大于0.05，这说明在产品合格时，检验100个产品，有可能发现2个和更多个不合格品。因而不能认为产品不合格。故判断产品合格。检验，观察到的情况：100个产品中有2个不合格品。检验法则：在检验的100个产品中，如果发现比较多的不合格品，则认为，产品不合格。为什么判断产品合格？

既然p值是在产品合格，时，100个产品中有2和更多个不合格品的概率，所以在随机检验的100个产品中发现了2个不合格品的时候，倘若认为，判断产品不合格，则犯错误的概率就等于26.42%。显然，人们是不愿意冒这么大的风险作出“产品不合格”的判断。p值告诉我们倘若根据现有的样本观察值拒绝原假设，则在原假设成立时我们承受的风险，犯错误的概率就如p值那么大。水平(或0.01)意味着在原假设成立时我们若拒绝原假设，则承受的风险，犯错误的概率不会比(或0.01)大。

新生女婴的比例究竟是正常，还是超乎寻常的低？图

经计算：倘若女婴出生比例正常，等于0.4815，10万个新生婴儿中有4.75万和更少个女婴的可能性仅等于0.0000197，低于10万分之2。可能性如此的小，这说明在女婴出生比例正常时，有4.75万个女婴出生是几乎不可能发生的事。因而认为这一年女婴出生比例超乎寻常的低。这样一个判断有0.0000197的可能性出错。人们显然愿意冒如此小的风险，判断这一年女婴出生比例超乎寻常的低。推断原则：新生的10万个女婴中女婴很少的时候，才认为新生女婴的比例超乎寻常的低。观察到的情况：10万个新生婴儿中有4.75万个女婴比例的检验——第3种类型

抛掷图钉，“钉尖朝上”的概率是否等于0.65的检验问题原假设：；备择假设：。检验法则：在抛掷颗图钉中，如果钉尖朝上的图钉比较多或比较少则拒绝原假设，认为钉尖朝上出现的概率。抛掷103颗图钉，倘若钉尖朝上63颗，则该如何判断，“钉尖朝上”的概率是否等于0.65。比例的检验——双边拒绝

—总体中具有某种特性的个体所占的比例(proportion)。从总体中随机抽取个个体，假设其中有个个体具有这种特性。双边拒绝检验问题

：：检验法则：在比较小或比较大的时候拒绝原假设，认为。

比例的检验——双边拒绝

—总体中具有某种特性的个体所占的比例。双边拒绝检验问题

：：随机抽取个个体，假设其中有个个体具有这种特性。①若，则认为在小的一边，检验的p值个个体中有和更少个个体具有这种特性的概率)输入“”比例的检验——双边拒绝

—总体中具有某种特性的个体所占的比例。双边拒绝检验问题

：：随机抽取个个体，假设其中有个个体具有这种特性。②

若，则认为在大的一边，检验的p值个个体中有和更多个个体具有这种特性的概率)输入“”钉尖朝上”的概率是否等于0.65？

“钉尖朝上”的概率是否等于0.65？：：，抛掷103颗图钉，钉尖朝上63颗。倘若钉尖朝上的概率，平均来说钉尖朝上应该有颗。抛掷103颗钉尖朝上63颗。63颗应理解为在小的一边。输入“=binomdist(63,103,0.65,1)”,得单边拒绝的值等于0.2365，从而有双边拒绝检验的值等于2*0.2365=0.4730。判断：不能拒绝原假设，认为“钉尖朝上”的概率等于0.65。倘若拒绝原假设，认为“钉尖朝上”的概率不等于0.65，则有47.30%的可能性犯错误。大瓶咖啡容量是否低于标签上标值质检部门定期对某型号大瓶咖啡的容量进行检验，检验其容量是否低于标签上标明的容量1000克。设随机抽取的瓶咖啡样本的观察数值为。在样本均值大于，或正好等于1000克时，可想而知质检部门肯定不会因咖啡重量不足而进行投诉。而倘若样本均值小于1000克，当然也不会立即投诉。能不能投诉需要检验。大瓶咖啡容量是否低于标签上标值大瓶咖啡的容量的分布是正态分布。检验问题：；。瓶咖啡的随机样本的观察数值为9951023984989997100610489949799891026103298998510029931007102196098398896910079749849831044991985101310089939521012992998经计算：样本均值(克)；样本方差(平方克)；样本标准差(克)。大瓶咖啡容量是否低于标签上标值由于样本均值是总体均值的估计，所以人们很自然地想到，在比较小的时候拒绝原假设，认为大瓶咖啡的平均容量低于1000克，可因重量不足进行投诉。根据瓶咖啡样本算得的样本均值是不是比较小？这就需要利用反证法，在原假设成立，均值时计算小于等于997.08的概率，也就是检验的值。人们发现，由于样本均值的大小与量纲(单位)有关系，这个值的计算不太方便。样本t值计算样本

t值：样本t值的大小与量纲(单位)没有关系。检验法则：在样本t值：是一个比较小的负数的时候，拒绝原假设，认为备择假设是正确的，可因重量不足进行投诉。

t检验是不是一个比较小的负数？看一个人长得矮不矮，就看周围比他矮的人多不多。如果周围比他矮的人不多，我们就说这个人比较矮。看一个数是不是比较小，就看比他小的概率大不大。如果这个概率比较小，我们就认为这个数比较小。检验p

值为单尾(下)概率：。如果p

值比较小，则认为是比较小的负数。

t分布的对称性检验p

值为单尾(下)概率：。由于t分布是对称分布，所以检验p

值也等于单尾(上)概率：。

t分布的Excel函数命令

输入“=tdist(a,m,1)”，则得自由度为的分布单尾(上)概率的值:，其中a必须是正数。输入“=tdist(0.8335,35,1)”，得检验的p

值

p值不小，我们不能投诉。倘若投诉，出错的可能性有20.51%正态均值的t检验—单边拒绝

从正态总体中随机抽取n个个体，计算：样本均值，样本标准差，样本t

值：单边拒绝检验问题的第1种类型①

：：②

：：单边拒绝检验问题的第2种类型①

：：②

：：正态均值的t检验—单边拒绝(1)

单边拒绝检验问题的第1种类型①：：②

：：从正态总体中随机抽取n个个体，计算：样本均值，样本标准差，样本值：检验法则：在样本值是一个比较小的负数的时候拒绝原假设，认为

检验的p值为单尾(下)概率：输入“”正态均值的t检验—单边拒绝(2)

单边拒绝检验问题的第1种类型①：：②

：：从正态总体中随机抽取n个个体，计算：样本均值，样本标准差，样本值：检验法则：在样本值是一个比较大的正数的时候拒绝原假设，认为

检验的p值为单尾(上)概率：输入“”袋装葡萄糖糖重包装机包装葡萄糖，额定标准为每袋净重0.5公斤。袋装葡萄糖糖重是正态分布。包装机工作是否正常的检验问题：原假设；备择假设。称重袋葡萄糖，计算样本均值，样本标准差和样本值：在样本值是一个比较小的负数或比较大的正数时拒绝原假设，认为，包装机工作不正常。双边拒绝p

值=单边拒绝p值的2倍袋装葡萄糖糖重袋葡萄糖的称重为

0.4970.4960.5130.5050.4980.5180.5020.4770.4890.482经计算：，样本值，故输入“”。检验的值等于。因而不拒绝原假设，认为，包装机工作正常。倘若认为包装机工作不正常，出错的可能性高达63.79%正态均值的t检验—双边拒绝

双边拒绝检验问题

：，：。从总体中随机抽取n个个体，计算样本均值，样本标准差与样本t

值

检验法则：在是一个比较小的负数或比较大的正数的时候拒绝原假设，认为。计算p

值：①在时，输入“”②在时，输入“”城市公共汽车公司城市公共汽车公司在某个汽车站测量公共汽车延误时间(到达时间与应到达时间的差)。现有辆公共汽车的测量值(单位：分)：1.8，–1.6，–1.2，–0.5，–0.3，–1.0，2.9，1.1，0.0，–1.1。经计算样本均值；样本方差；样本标准差。公共汽车是否准点到达？假设延误时间有正态分布

首先检验均值是否等于0，也就是公共汽车是否准点到达。检验。

表4-1一个正态总体均值的假设检验(显著性水平为α)

延误时间的波动幅度是否过大？假设延误时间有正态分布公司要求公共汽车的延误时间的波动幅度不能太大，规定其标准差小于或等于1分钟。标准差的检验问题原假设，备择假设。通常将关于标准差的检验问题改写成方差的形式：原假设，备择假设。方差的检验—单边拒绝假设总体有正态分布。方差的下面两个检验问题的处理方法相同：①，备择假设②，备择假设计算样本值:

在值比较大的时候拒绝原假设，认为方差。注意：离差平方和延误时间的波动幅度是否过大？延误时间有正态分布。原假设，备择假设。辆公共汽车的样本方差。样本值，

是不是一个比较大的数？检验的p

值等于自由度为样本容量的分布(记为)大于等于19.4094的概率，它是分布的上尾概率。

卡方检验是不是一个比较大的数？看一个人长得高不高，就看周围比他高的人多不多。如果周围比他高的人不多，我们就说这个人比较高。看一个数是不是比较大，就看比他大的概率大不大。如果这个概率比较小，我们就认为这个数比较大。

p

值等于分布的上尾概率。如果