浅谈统计学的发展脉络课件

浅谈统计学的发展脉络陈家鼎Page

2若干值得注意的事项统计学的性质与特点统计学的发展脉络统计学的性质与特点《中国大百科全书》统计学：

研究怎样地收集、整理和分析数据，

以对所考察的问题做出推断或预测

直至为采取一定的决策和行动提供依据和建议。《不列颠百科全书》统计学：“收集和分析数据的科学与艺术。”定义统计学的性质与特点统计学是数学性质的科学，可看成数学的一个分支，但与数学其他众多分支有很大的不同。定义统计学的性质与特点中立性不肯定因果关系特点应用社会经济统计生物医学统计工业应用统计...统计学的发展脉络描述性统计占主导地位《关于死亡公报的自然和政治观察》(J·Graunt,1662)萌芽时期(~1900)推断性统计方法寿命表最小二乘法矩法...统计学的发展脉络统计思想上的重大进展：

数据是来自服从一定概率分布的总体。

统计学就是用数据去推断这个分布的未知方面。正态分布(Gauss,1809)Pearson分布族(K.Pearson,1894)

分布(F.Helmet,1876)萌芽时期(~1900)统计学的发展脉络学科形成时期(1900~1950)数据的类型随机变量的统计随机向量的统计（多元统计）随机过程的统计（包括时间序列）四位大家K.

Pearson(

1857~1936)R.

A.

Fisher(

1890~1962)J.

Neyman(

1894~1981)A.Wald(

1902~1950)统计学的发展脉络蓬勃发展时期(1950~)

统计学各分支都向纵深发展，除了建立已有统计方法（如最大似然估计、最小二乘估计）的理论基础和精细化之外，针对类别数据（定性数据）、不完全数据提出了处理方法。特别是1980年以来，高速计算机的使用对统计学的发展有重大影响。统计学的发展脉络蓬勃发展时期(1950~)推荐：现代数学手册·随机数学卷陈希孺、郑忠国主编华中科技大学出版社(2000)1.概率论2.数理统计3.试验设计4.抽样调查5.质量管理6.线性模型7.多元统计分析8.贝叶斯统计9.稳健统计10.蒙特卡罗法11.现代统计计算方法12.随机过程13.时间序列分析14.随机分析15.排队论16.库存论17.马尔可夫决策过程18.可靠性与生存分析19.决策分析统计学的发展脉络蓬勃发展时期(1950~)表1引用率最高的几个统计学方向方向引用率(次)作者生存分析35252E.Kaplan&P.Meier(1958)EM算法22724A.Demster等(1977)生存分析20022D.R.Cox(

1972)广义线性模型16945P.Mccullagh(

1983,

1989)自助法16321B.Efron(

1979)统计学的发展脉络蓬勃发展时期(1950~)表二贝叶斯统计计算的引用率方向引用率（次）作者MCMC方法15017W.Hastings(

1970)MCMC方法10706S.Geman(1984)看来，贝叶斯统计的日益兴盛是一大特点。若干值得注意的事项一类是显著性检验：控制第一类错误概率不超过给定的值

，对第二类错误概率只要求尽量小。另一类是控制两类错误概率大小的检验。正态性检验有新的国家标准GB/T4882——2001,

时可用W检验；当

时可用EP检验。关于假设检验若干值得注意的事项对于比率p（成功率）的检验有国际标准IEC1123(1991)对于指数分布的的检验有国际标准IEC61124(2006)关于假设检验若干值得注意的事项要考察m个因素

对某个指标y的影响，因素

有

个水平要比较，所有可能的水平组合有

种。如何安排试验（即选取一部分水平组合做试验）以回答下列问题：A.哪个因素影响最大，哪个次之，

哪些因素的影响可以忽略?B.N种水平组合中较优或最优的是哪些？关于试验设计若干值得注意的事项拉丁方设计

正交拉丁方设计

正交设计日本利用正交设计提高产品质量，取得很大成绩。关于试验设计我国以张里千(1929-)为代表在1970年代初最先认识到不可把解决问题A与B混为一谈。若以B为目标（工业试验常是这样），则在试验安排上不必考虑因素间交互作用，用小的正交表多安排因素，试验的次数少。其中未知，是随机误差。设

如何把找出来？若干值得注意的事项这是普遍性问题，现以线性回归为例说明其重要性和复杂性。设

是因变量，

是自变量，

关于变量选择若干值得注意的事项设有观测数据：

时即令则关于变量选择若干值得注意的事项（残差平方和）其中是

中元素个数，使

达到最小值的

记为。关于变量选择若干值得注意的事项定理设下列条件满足A.是独立列，

且

(对某个

)；B.正定。若且则

有下列性质：a.相合性：；b.渐近有效性：的最小二乘估计

与已知时

的最小二乘估计有渐近相等的均方误差：关于变量选择2≥若干值得注意的事项

从1990年代以来出现了新的方法。最引人注意的是Lasso方法和适应的Lasso估计。前者是R.

Tibshirani(

JRSS,ser.B,58(

1996),267-288)

提出的，后者是H.

Zou(

JASA,101(2006),1418-1429)

提出的。a.

对于模型

，给定正数

，在条件下，

的最小值点

叫做

的Lasso估计。当

较小时，Lasso估计

的许多分量为0，所建立的回归方程不含有这些分量为0所对应的自变量。Lasso估计有许多较好性质，但后来发现在许多情况下，所选出的自变量缺乏相合性。关于变量选择若干值得注意的事项b.

适应的Lasso估计设

是

的最小二乘估计，

,使

达到最小值的

叫做适应的Lasso估计。当样本量较大时有很多

使得

的一些分量为0。因而用

建立的回归方程

实现了变量选择。关于变量选择若干值得注意的事项可以证明，只要

适当选择（例如，

且

），适应的Lasso估计在相当广泛的条件下有下列性质：相合性：

满足收敛速度快：

依概率有界，但仍有大问题：对给定的

的最优或较优选择是什么？关于变量选择总之，变量选择问题相当复杂。参考文献[1]陈希孺数理统计学简史湖南教育出版社(2002)[2]韦博成漫话信息时代的统计学中国统计出版社(2011)[3]陈家鼎等数理统计学讲义(第二版)高等教育出版社(2006)[4]陈家鼎郑忠国概率与统计北京大学出版社(2007)[5]陈铁梅定量考古学北京大学出版社(2005)[6]王学仁地质数据的多变量分析科学出版社(1982)[7]现代数学手册·随机数学卷(陈希孺、郑忠国主编)1-932

华中科技大学出版社(2000)[8]张里千等：正交法与应用数学，科学出版社(2009)[9]陈家鼎，生存分析与可靠性，北京大学出版社(2005)参考文献[10]茆诗松，高等数理统