金勇进：统计思维与哲学

1、统计思维与哲学中国人民大学 金勇进 电子邮箱：一. 统计的定义 英国大百科全书：“data science”，关于数据的科学。 与数据有关的学科有许多。 会计与统计：会计与统计： 会计侧重微观，是精密的，一角一分都要对上； 统计侧重宏观，误差是统计特征。统计和数学统计和数学数学：演绎思维由一般到具体 大前提 海尔空调质量都是好的， 小前提 我买的空调是海尔牌的， 结论 我买的空调质量是好的。特征：前提正确，推理正确，结论必定正确。统计：基本是归纳思维由具体到一般 形式如： 他买的空调是海尔牌，质量好； 你买的空调是海尔牌，质量好； 我买的空调是海尔牌，质量也好； 所以海尔牌空调质量都是好的。

2、有误差，结论有风险，但结论如果正确则提供新鲜信息。二二. . 统计与哲学统计与哲学基本观点偶然与必然偶然与必然。任何事情既是偶然又是必然,偶然包含在必然之中。回归模型回归模型是偶然和必然结合的体现。XY量变到质变量变到质变。量变到一定的“度”就转为质变。假设检验：用统计量 t 与 比较，作出是否拒绝原假设的决策，这里的 就是“度”（临界值）。 nSxtxHxH/:10) 1(2/nt) 1(2/nt个别与一般个别与一般 以出生率为例，每个产妇生下的婴儿或男或女，但男婴女婴性别比约为107：100，这是世界各国普遍的统计规律，具有一般性。现象与本质现象与本质美国人爱运动，表现为：数据特征穷人喜欢

3、篮球较穷的人喜欢保龄球收入中等的人喜欢橄榄球收入中等偏上的人喜欢棒球高收入人喜欢网球大款喜欢高尔夫球本质：收入越高，喜欢的球越小数据特征统计学中充满辩证法既是不确定的，又是可靠的；既是模糊的，又是清晰的；从偶然中探询必然；从现象中探询本质（规律）；是科学，又是艺术。三. 数据功能泰坦尼克号相关数据(全船共2208 人)The Titanic Data CountCol %Row %DSA143896.5168.5166192.0631.492099C523.4947.71577.9452.2910914907182208CountCol %Row %DSF1268.4626.8134447.9

4、173.19470M136491.5478.4837452.0921.52173814907182208DeVeauxGender By SurvivedClass By SurvivedAge By SurvivedCountCol %Row %DS11228.1937.5420328.2762.46325216711.2158.6011816.4341.40285352835.4474.7917824.7925.21706Crew67345.1775.4521930.5024.5589214907182208Survival by gender c c2 Test Odd Ratio Te

5、st按性别划分按性别划分CountCol %死死活活女女1268.4634447.91470男男136491.5437452.0921.52173814907182208Tree model|M346%93%31,2,CChildAdult1 or 2F27%100%33%23%1stCrew1 or Crew2 or 314%案例： 1. 谁首先打长途电话？ 2. 谁是商家感兴趣的客户？（会员卡）StatisticsInformation About State 强国需知十三数 -商鞅 (390 B.C.) 我们每天产生大量的数据,用不好就变成数据垃圾 Descriptor Data Set

6、 Size in Bytes Storage Mode 很小 102一页纸 小 104几页纸 中等 106几张软盘 大 108硬盘 巨大 1010几个硬盘 超巨大 1012磁带存储架（Robotic Magnetic Tape Storage Silos） 海量数据 1015 数据存储室我们面临海量数据的挑战 数据挖掘数据数据 数据搜集 数据准备 数据质量挖掘挖掘 数据侦测 数据描述 数据分析数据挖掘成为当前一个热门的话题四. 关于抽样 样本和总体 调查的是样本，目标却是总体。 什么样的样本可以代表总体？ 这是好的样本吗？全球性调查报告：中国人均性伴侣数全球排第一全球性调查报告：中国人均性伴侣

7、数全球排第一 “近日，2004年杜蕾斯全球性调查报告向社会发布。引人注目的是报告中显示中国人的平均性伴侣数最多，为193人，远远高于全球的平均数105人；而中国人平均每年性生活的频率却只有90次，排全球倒数第7位，低于全球平均水平103次。同时，报告还显示中国首次接受性教育的年龄为137岁，最接近世界平均水平，然而却只有22的调查对象认为青少年性教育由家人或监护人完成。”资料来源：北京晨报，2004年11月25日矛盾：为什么性伴侣最多，性频率却不高？首次接受性教育的年龄走低，却不是由家长来完成性教育任务？中国青年报社会调查中心通过民意中国网，对3032人进行了一项调查，调查显示：91.2%的人

8、认为目前青少年性教育缺失，其中53.7%的人认为“严重缺失”，调查称青少年性教育缺失学校责任最大 。资料来源：中国青年报，2010年8月3日问题在于，样本是怎样产生的？去年中国去年中国91%91%民众受到尊重对待民众受到尊重对待 6月末，盖洛普在北京将最近4年在中国的民调成绩单公布于众，其中最主要的一项民调结果显示，2009年中国民众认为受到尊重对待的比例为91%，比2008年提升了两个百分点，高于87%这一全球平均比例。资料来源：中国经济周刊 ，2010年08月03日但是，这一“好成绩”不仅没有得到广泛的认同，反而招来不少质疑。有媒体称，这跟现实感觉不符，有“被代表的嫌疑”。还有分析人士把这

9、份调查结果看作是盖洛普抛出的“橄榄枝”，是“政府公关”。 成功的案例好样本是可以抽出的，但要花气力。1. 1. 概率抽样和非概率抽样概率抽样和非概率抽样概率抽样概率抽样是严格意义上的抽样特征：随机原则 单元入样概率已知 可以计算抽样误差应用场合：用样本推断总体，描述性研究 非概率抽样非概率抽样 抽选样本时不是依据随机原则 几种有代表性的非概率抽样方式 重点调查： 有意选样： （个案研究） 方便选样：如拦截式调查，柜台调查等 自填式样本:如网上调查 非概率抽样特点： 简单、方便、快捷、成本低，抽样技术要求不高，但不能用于对总体目标量的估计，特别是不能对调查的精度进行评估。1)1)抽样框抽样框总体

10、的延伸,目标总体和抽样总体.目标总体：要研究的总体抽样总体：产生样本的总体抽样总体的具体体现抽样框，是抽取样本，计算样本单位入样概率的依据。良好抽样框的标志：一对一联接 3. 3. 抽样误差与非抽样误差抽样误差与非抽样误差 抽样误差：抽样随机性带来的，无法避免 可以计算 可以控制 计算抽样误差的水平（误差计算正确）可以体现设计人员的专 业水准。非抽样误差：什么是非抽样误差主要体现在三个方面： 抽样框误差 无回答误差（回答误差），无回答误差更具一般性的理由 计量误差非抽样误差特点：难以测度，成因复杂非抽样误差的控制可以体现调查方的执行能力完美的调查是科学和艺术的结合科学体现在对抽样误差的把握艺术

11、体现在对非抽样误差的掌控目前我国很多抽样调查项目，科学性不足，艺术性欠缺。误差的计算与控制是我们面临的严重挑战4. 4. 平衡的艺术平衡的艺术精度与费用之关系精度与费用之关系精度精度100%95%60%20%40% .费用费用案例三案例三. 软件陷阱软件陷阱盲目使用统计软件的陷阱，抽样方法与分析方法不对应。例：欲分析家庭有线电视与购买个人电脑是否相互独立，随机抽取了500个家庭，调查结果如下表所示： 个人电脑 有 无 合计 有 119 188 307 无 88 105 193 合计 207 293 500有线电视运用传统的卡方检验，设原假设 ：拥有个人电脑与拥有有线电视相互独立。经计算 。因此没有充分理由拒绝，可以认为家庭拥有个人电脑与拥有有线电视相互独立。0H22.280.1310Pc但如果是采用整群抽样，向500个家庭的夫妇同时进行调查，得到的结果如下：