统计漫谈课件教材讲义_第1页
统计漫谈课件教材讲义_第2页
统计漫谈课件教材讲义_第3页
统计漫谈课件教材讲义_第4页
统计漫谈课件教材讲义_第5页
已阅读5页,还剩117页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

引言统计漫谈什么是统计呢?报表?数字?你觉得你们需要统计吗?为什么?统计的定义用以收集数据、分析数据和由数据得出结论的一组概念、原则和方法.什么地方统计用得上呢?任何领域.运用统计的领域包括(1)精算农业动物学人类学考古学审计学晶体学人口统计学牙医学生态学经济计量学教育学选举预测和策划工程流行病学运用统计的领域包括(2)金融水产渔业研究遗传学地理学地质学历史研究人类遗传学水文学工业法律语言学文学劳动力计划管理科学市场营销学医学诊断运用统计的领域包括(3)气象学军事科学核材料安全管理眼科学制药学物理学政治学心理学心理物理学质量控制宗教研究社会学调查抽样分类学气象改善搏采,等等...统计历史人物EdmondHalley(哈雷)(1656-1742)LeonhardEuler(欧拉)(1707-1783)ThomasRobertMalthus(马尔萨斯)(1766-1834)RonaldAylmerFisher(费歇)(1890-1962),Moivre(棣美佛)(1667-1754)PierreSimonLaplace(拉普拉斯)(1749-1827)JacobBernoulli(伯努利)(1654-1705)ThomasBayes(贝叶斯)(1702-1761),AdrienMarieLegendre(勒让德)(1752-1833)FriedrichGauss(高斯)(1777-1855)JohannGregorMendel(孟德尔)(1822-1884)KarlPearson(皮尔森)(1857-1936)WilliamFeller(费勒)(1906-1970).JerzyNeyman(1894-1981)EgonSharpePearson(1895-1980)你想过下面的问题吗?当你买了一台电视时,被告知三年内可以免费保修。你想过厂家凭什么这样说吗?说多了,厂家会损失;说少了,会失去竞争,也是损失。到底这个保修期是怎样决定的呢?在同一年级中,同样统计学的课程可能由一些不同教师讲授。教师讲课方式当然不一样,考试题目也不一定相同。那么如何比较不同班级的统计学成绩呢?大学排名是一个非常敏感的问题。不同的机构得出不同的结果;各自都说自己是客观、公正和有道理的。到底如何理解这些不同的结果呢?你想过下面的问题吗?任何公司都有一个信用问题。当然,在这些公司试图得到贷款时并没有不还贷的不良记录。如何根据它们的财务和商业资料来判断一个公司的信用等级呢?我国东部和西部的概念是一个比较笼统的概念。如何能够根据需要,选择一些指标来把各省,或各市县甚至村进行分类呢?疾病传播时,如何能够通过感染者入院前后的各种因素得到一个疾病传染方式的模型呢?你想过下面的问题吗?如何通过大众调查来得到性别、年龄、职业、收入等各种因素与公众对某项事物(比如商品或政策)的态度的关系呢?一个从来没有研究过红楼梦的统计学家如何根据比较写作习惯得出红楼梦从哪一段开始就不是曹雪芹的手笔了呢?如何才能够客观地得到某个电视节目的收视率,以确定广告的价格是否合理呢?你如何理解下面说法?“明天降水概率为40%”“我冬天去新加坡度假的概率为10%”“该节目收视率是30%”

“调查结果表明20%的观众喜欢某节目”“抽样调查结果的误差为±3%”

“支持率的95%置信区间为(25%,30%)”“某学校排名第一”“某县是贫困县”你如何理解下面说法?“某国的综合竞争力排名第43位”“该国家属于发展中国家”“该药品疗效99%”“该国贫富差距大”“这个县收入比那个县高”“该结果统计显著”“消费价格指数为120%”“他的血压已经正常了”可以想象出的统计应用例子如何确定观众/听众是否忠实于某节目(专栏)如何对电视节目排名次什么因素影响一个节目的收视率如何按照各种不同环境估计某商店的顾客人数如何按照各种指标评价雇员如何把地区(市县镇等)按照各种指标分类如何确定红楼梦第几回不是曹雪芹所写如何确定一个产品的可靠性如何进行偏差较少的民意调查如何根据一些财务数据发现漏税的嫌疑单位?你相信统计结果吗?数据可以有误或作假统计方法(有意或无意)使用不当可以误导。有低级误导和高级误导。常识判断和直觉是重要的关于美国选举的两个例子(1)谁会在1936选举中获胜?AlfLondon还是

F.D.R.(罗斯福)?LiteraryDigest

(文摘)送出一千万份问卷(返回二百四十万份)后,预测London会赢.而Gallop(盖洛普)只问了5000人说

Roosevelt(罗斯福)会赢.最后罗斯福和盖洛普都赢了.文摘倒闭了.谁会在1948选举中获胜?ThomasDewey还是HarryTruman(杜鲁门)?Crossley,Gallop(盖洛普),Roper所有都预测Dewey

会赢(每个机构用了5000个问卷).最后(包括盖洛普)他们都输了,而杜鲁门赢了.关于美国选举的两个例子(2)统计的一些做法统计可以指导我们收集数据.当拥有来自一些变量(指标)的数据或记录,但缺乏模型来描述这些变量之间关系的情况下,可用统计方法建立模型.在有了一定的模型时,统计可以确定手中数据是否令人信服地支持某种论点.模型也用来对未来进行预测.统计直观的图表展示,可以使各个领域的专家容易理解中国统计的独特历史环境中国统计过去分为“统计学”(文科的列宁主义统计)和“数理统计”(数学类的国际意义上的统计)国内一些学者把统计称为是经济学科的一部分,则是中国特有的与前苏联关联的国情所造成;读者可以从《苏联大百科全书》的统计学条款得到答案。但前苏联的经济学中的统计学概念是其意识形态和计划经济体系的产物,其模型多属于小学数学水平,很难称为数学模型。这与现代经济学所需要的大量的统计和数学形成鲜明对照.前苏联式的“统计学”不是目前国际流行意义上的统计学或统计学的分支。有人说,我们应该学“经济统计”、“管理统计”等等。可以说,我们所学的是“一加一等于二”,而作为统计的个别应用是“一个苹果加一个苹果等于两个苹果”。难道苹果换成香蕉就不知道该怎么办了吗?统计的内容和需要的知识数学的几乎所有内容(不一定事先知道需要什么)用计算机做统计计算其他(对象)领域的知识数学的重要性真正严格的逻辑仅存在于数学之中,只能够从学习数学中获得。(哲学,法律?)数学的逻辑服务于现代理性社会的所有方面。(例如法律)在一定的公理系统下,纯粹数学是唯一可以说得出绝对是非的世界。为什么人们对数学家的印象是“呆”?(世界并不是完美的)统计和数学的区别数学思维是以演绎为主统计思维是以归纳为主,兼有演绎统计各领域利用几乎所有存在的数学内容.但统计本身的数学是为具体目标服务的,自己一般不形成数学体系计算机的重要性由于统计和数据打交道,没有计算机的发展统计就没有前途.计算机和统计的发展相辅相成数据和模型的关系作为根据的数据(比如各地人均GDP,各种资源,自然条件等和航空旅客人数)基于数据建立模型(回归模型)模型用来指导未来,预测未来(某城市GDP达到某水平,是否需要建立或扩建机场等决策…)模型随时要根据新的数据来改进(新的飞机,新的消费理念,新的旅游景点等)没有完美的模型没有无误差的数据统计思维类似于物理学,统计在否定中发展统计的一个重要但又往往不易为人所理解的特点是统计从来不绝对地说“是”或者“不是”。统计只能够说可能,而且往往提供某事可能发生的概率。是非是人类社会的产物大灰狼吃羊犯错误了吗?人类社会之外的自然界有是非吗?人类社会的“是非”是一成不变的吗?统计只说可能性是实际世界的真实体现。真实世界充满了不确定性。从某种意义来说,生活中唯一确定的事情就是其不确定性。

正是不确定性使得生活充满了魅力和迷人的色彩。有多少人会享受其未来每一时刻全部已经确定了的世界呢?我们肩膀上长着自己的脑袋我们可以充分运用我们自己的逻辑思维我们需要习惯逆向思维方式让我们没有任何约束地看待世界上的任何问题这样,世界就不会停滞,就会更让人能够接受两个简单的

数理统计例子

考试分数的t-检验之例假定有两个班级进行考试。从第一个班抽取2个观测值的一个样本,分数为(数据1)(n=2):-100,-300分(样本均值-200分)

从第二个班抽取10个观测值的样本,分数为(数据2)(n=10):100,100,100,100,100,100,99,99,99,99(样本均值99.6分)哪个班平均成绩更接近100分?考试分数的t-检验之例H0:m=100对Ha:m<100

(假定分数可以多于100)数据1(n=2):-100,-300分(样本均值-200分)

t=-3,df=1,p-value=0.1024结论:在水平a=0.1下接受这-100分和-300分所代表的总体的均值为100的零假设(你同意吗?)。数据2(n=10):100,100,100,100,100,100,99,99,99,99(样本均值99.6分)t=-2.4495,df=9,p-value=0.0184

结论:在水平a=0.05下拒绝由这六个100分四个99分所代表的总体均值为100的零假设。

假设检验的企图是否定零假设(H0).何时能说“接受零假设”?越学越糊涂吗?

下面再看一个回归例子两个变量X和Y的相关检验(各有51个观测值),看来相关.X和Y的回归的方差分析和对斜率b1的t-检验(还有R2值等).看来显著.查看正态性:(PP图与残差图和Kolmogorov-Smirnov检验:ks=0.098,p-value=0.5),未发现问题.但是实际数据的X和Y没有一点关系

(一个点除外)H=X(X’X)-1X’的对角线元素hi究竟是接受、拒绝、还是怀疑我们被灌输的东西?我们肩膀上长着自己的脑袋.为什么不能呢?最高指示:怀疑一切

KarlMarx(我的座右铭)谢谢大家本课内容包含统计回顾方差分析主成分分析和因子分析聚类分析判别分析典型相关分析对应分析列联表Logistic回归Poisson对数线性模型时间序列分析。。。。统计基本概念回顾随机性和规律性现实中的随机性和规律性从中学起,我们就知道自然科学的许多定律,例如物理中的牛顿三定律,物质不灭定律以及化学中的各种定律等等。但是在许多领域,很难用如此确定的公式或论述来描述一些现象。比如,人的寿命是很难预先确定的。一个吸烟、喝酒、不锻炼、而且一口长荤的人可能比一个很少得病、生活习惯良好的人活得长。因此,可以说,活得长短是有一定随机性的(randomness)。这种随机性可能和人的经历、基因、习惯等无数说不清的因素都有关系。现实中的随机性和规律性但是从总体来说,我国公民的平均年龄却是非常稳定的。而且女性的平均年龄也稳定地比男性高几年。这就是规律性。一个人可能活过这个平均年龄,也可能活不到这个年龄,这是随机的。但是总体来说,平均年龄的稳定性,却说明了随机之中有规律性。这种规律就是统计规律。概率和机会你可能经常听到概率(probability)这个名词。例如在天气预报中会提到降水概率。大家都明白,如果降水概率是百分之九十,那就很可能下雨;但如果是百分之十,就不大可能下雨。因此,从某种意义说来,概率描述了某件事情发生的机会。显然,这种概率不可能超过百分之百,也不可能少于百分之零。换言之,概率是在0和1之间的一个数,说明某事件发生的机会有多大。有些概率是无法精确推断的比如你对别人说你下一个周末去公园的概率是百分之八十。但你无法精确说出为什么是百分之八十而不是百分之八十四或百分之七十八。其实你想说的是你很可能去,但又没有完全肯定。实际上,到了周末,你或者去,或者不去;不可能有分身术把百分之八十的你放到公园,而其余的放在别处。有些概率是可以估计的比如掷骰子。只要没有人在骰子上做手脚,你得到6点的概率应该是六分之一。得到其他点的概率也是一样。得到6的概率或者机会是可以知道的,但掷骰子的结果还只可能是六个数目之一。这个已知的规律就反映了规律性,而得到哪个结果则反映了随机性。如果你掷1000次骰子,那么,大约有六分之一的可能会得到6;这也是随机性呈现有规律的一个体现。变量做任何事情都要有对象。比如一个班上注册的学生有200人,这是一个固定的数目,称为常数(constant)或者常量。但是,如果猜测今天这个班有多少人会来上课,那就没准了。这有随机性。可能有请病假或事假的,也可能有逃课的。这样,就要来上课的人数是个变量(variable)。另外对于某项政策同意与否的回答,也有“同意”、“不同意”或者“不知道”三种可能值;这也是变量,只不过不是数量而已。变量当变量按照随机规律所取的值是数量时该变量称为定量变量或数量变量(quantitativevariable);因为是随机的,也称为随机变量(randomvariable)。象性别,观点之类的取非数量值的变量就称为定性变量或属性变量或分类变量(qualitativevariable,categoricalvariable)。这些定性变量也可以由随机变量来描述,比如男性和女性的数目,同意某政策人数的比例等等。只有当变量用数量来描述时,才有可能建立数学模型,才可能使用计算机来分析。数据有了变量的概念,什么是数据呢?拿掷骰子来说,掷骰子会得到什么值,是个随机变量;而每次取得1至6点中任意点数的概率它在理论上都是六分之一(如果骰子公平)。这依赖于在掷骰子背后的理论或假定;而在实际掷骰子过程中,如果掷100次,会得到100个由1至6点组成的数字串;再掷100次,又得到一个数字串,和前一次的结果多半不一样。这些试验结果就是数据。所以说,数据是关于变量的观测值.通过数据可以验证有关的理论或假定(比如每一次得到每个点的概率是不是1/6等等)。对于顾客是否喜欢某种饮品的调查也类似,但这里不象掷骰子那样事先可以大致猜测顾客喜欢与否的概率。在问了1000人之后,可能有364人说喜欢,而480人说不喜欢,其余的人可能不回答,或说不知道,或从来没有喝过这种饮料。这些数目就是数据。当然,它仅仅反映了1000个被问到的人的观点;但这对于估计整个消费群体的观点还是有用的。统计和计算机现代生活越来越离不开计算机了。最早使用计算机的统计当然更离不开计算机了。事实上,最初的计算机仅仅是为科学计算而建造的。大型计算机的最早一批用户就包含统计。而现在统计仍然是进行数字计算最多的用户。计算机现在早已脱离了仅有计算功能的单一模式,而成为百姓生活的一部分。计算机的使用,也从过去必须学会计算机语言到只需要“傻瓜式”地点击鼠标。结果也从单纯的数字输出到包括漂亮的表格和图形的各种形式。统计软件统计软件的发展,也使得统计从统计学家的圈内游戏变成了大众的游戏。只要你输入你的数据,点几下鼠标,做一些选项,马上就得到令人惊叹的漂亮结果了。你可能会问,是否傻瓜式的统计软件使用可以代替统计课程了?当然不是。数据的整理和识别,方法的选用,计算机输出结果的理解都不象使用傻瓜相机那样简单可靠。统计软件有些诸如法律和医学方面的软件都有不少警告,不时提醒你去咨询专家。但统计软件则不那么负责。只要数据格式无误、方法不矛盾而且不用零作为除数就一定给你结果,而且没有任何警告。另外,统计软件输出的结果太多;即使是同样的方法,不同软件输出的内容还不一样;有时同样的内容名称也不一样。这就使得使用者大伤脑筋。即使是统计学家也不一定能解释所有的输出。因此,就应该特别留神,明白自己是在干什么。不要在得到一堆毫无意义的垃圾之后还沾沾自喜。统计软件统计软件的种类很多。有些功能齐全,有些价格便宜;有些容易操作,有些需要更多的实践才能掌握。还有些是专门的软件,只处理某一类统计问题。面对太多的选择往往给决策带来困难。这里介绍最常见的几种。统计软件SPSS:这是一个很受欢迎的统计软件;它容易操作,输出漂亮,功能齐全,价格合理。对于非统计工作者是很好的选择。Excel:它严格说来并不是统计软件,但作为数据表格软件,必然有一定统计计算功能。而且凡是有MicrosoftOffice的计算机,基本上都装有Excel。但要注意,有时在装Office时没有装数据分析的功能,那就必须装了才行。当然,画图功能是都具备的。对于简单分析,Excel还算方便,但随着问题的深入,Excel就不那么“傻瓜”,需要使用函数,甚至根本没有相应的方法了。多数专门一些的统计推断问题还需要其他专门的统计软件来处理。SAS:这是功能非常齐全的软件;尽管价格不菲,许多公司还是因为其功能众多和某些美国政府机构认可而使用。尽管现在已经尽量“傻瓜化”,仍然需要一定的训练才可以进入。对于基本统计课程则不那么方便。统计软件S-plus:这是统计学家喜爱的软件。不仅由于其功能齐全,而且由于其强大的编程功能,使得研究人员可以编制自己的程序来实现自己的理论和方法。它也在进行“傻瓜化”以争取顾客。但仍然以编程方便为顾客所青睐。R软件:这是一个免费的,由志愿者管理的软件。其编程语言与S-plus所基于的S语言一样,很方便。还有不断加入的各个方向统计学家编写的统计软件包。同时从网上可以不断更新和增加有关的软件包和程序。这是发展最快的软件,受到世界上统计师生的欢迎。是用户量增加最快的统计软件。对于一般非统计工作者来说,主要问题是它没有“傻瓜化”。统计软件Minitab:这个软件是很方便的功能强大而又齐全的软件,也已经“傻瓜化”,在我国用的不如SPSS与SAS那么普遍。Statistica:也是功能强大而齐全的“傻瓜化”的软件,在我国用的也不如SAS与SPSS那么普遍。Eviews:这是一个主要处理回归和时间序列的软件。GAUSS:这是一个很好用的统计软件,许多搞经济的喜欢它。主要也是编程功能强大。目前在我国使用的人不多。FORTRAN:这是应用于各个领域的历史很长的非常优秀的编程软件,功能强大,也有一定的统计软件包。计算速度比这里介绍的都快得多。但需要编程和编译。操作不那么容易。MATLAB:这也是应用于各个领域的以编程为主的软件,在工程上应用广泛。编程类似于S和R。但是统计方法不多。统计软件当然,还有其他的软件,没有必要一一罗列。其实,聪明的读者只要学会使用一种“傻瓜式”软件,使用其他的仅仅是举一反三之劳;最多看看帮助和说明即可。如果只有英文帮助,那还可以顺便提高你的英文阅读能力。想想看举出你所知道的统计应用例子。举出日常生活中随机性和规律性的例子。你使用过统计软件或者利用过其他软件中的统计功能吗?你有什么经验和体会?数据的收集二手数据每天翻开报纸或打开电视,就可以看到各种数据。比如高速公路通车里程、物价指数、股票行情、外汇牌价、犯罪率、房价、流行病的有关数据(确诊病例、疑似病例、死亡人数和出院人数等等);当然还有国家统计局定期发布的各种国家经济数据、海关发布的进出口贸易数据等等。从中可以选取对自己有用的信息。这些间接得到的数据都是二手数据。第一手数据获得第一手数据并不象得到二手数据那么轻松。某些在华的外资企业每年至少要花三四千万元来收集和分析数据。他们调查其产品目前在市场中的状况和地位并确定其竞争对手的态势;他们调查不同地区,不同阶层的民众对其产品的认知程度和购买意愿以改进产品或推出新品种争取新顾客;他们还收集各地方的经济交通等信息以决定如何保住现有市场和开发新市场。市场信息数据对企业是至关重要的。他们很舍得在这方面花钱。因为这是企业生存所必需的,绝不是可有可无的。观测数据和试验数据上面所说的数据是在自然的未被控制的条件下观测到的,称为观测数据(observationaldata)。而对于有些问题,比如在不同的医疗手段下某疾病的治疗结果有什么不同、不同的肥料和土壤条件下某农作物的产量有没有区别、用什么成分可以提高某物质变成超导体的温度等等。这种在人工干预和操作情况下收集的数据就称为试验数据(experimentaldata)。

总体和样本要想了解北京市民对建设北京交通设施是以包括轨道运输在内的公共交通工具为主还是以小汽车为主的观点,需要进行调查;调查对象是所有北京市民,调查目的是希望知道市民中对这个问题的不同看法各自占有的比例。显然,不可能去问所有的北京市民,而只能够问一部分;并且根据这一部分的观点来理解整个北京市民的总体观点。总体和样本这种情况下,称所有(每个)北京市民对这个问题的观点为一个总体(population),而调查时问到的那部分市民的观点为该总体的一个样本(sample)。当然,也有可能调查所有的人(比如人口普查),那叫做普查(census)。总体是包含所有要研究的个体(element)的集合。而样本是总体中选中的一部分。

随机样本在抽取样本时,如果总体中的每一个体都有同等机会被选到样本中,这种抽样称为简单随机抽样(simplerandomsampling),而这样得到的样本则称为随机样本(randomsample)。随机样本就北京交通问题的调查为例,在随机抽样的情况下,如果样本量(samplesize,也就是样本中个体的数目)在总体中的比例为1/5000,那么,无论在东城区或者在延庆县,无论在白领阶层还是蓝领阶层被问到的人的比例都应该大体是1/5000。也就是说,这种比例在总体的任何部分是大体不变的。方便样本在实践中,得到随机样本不容易。很多搞调查的人就采取简单的办法。还以北京的交通问题的调查为例。假定按照随机选出的电话号码进行调查。这样肯定节省时间和资源,但这样得到的就不是一个随机样本了。如果按照随机选择的数字(无论号码本上有没有)打电话,那很多电话是空号或单位电话;显然这种样本也不是随机样本,它称为方便样本(conveniencesample)。在调查中,即使选择对象的确是随机的,最理想的情况所得到的样本也只代表那些愿意回答问题人的观点所组成的总体;没有回答问题的人的观点永远不会被这种调查的样本所代表。方便样本这种不回答的问题是抽样调查特有的问题。在其他问题中,也有使用方便样本的情况。比如在肺癌研究中,人们往往看到吸烟和肺癌的关系的数据;这些数据并不是整个人群中采集的随机样本;它们可能只是医院中的病人记录中得到的。在杂志和报纸上也有问卷,但得到的只是拥有这份报刊,而且愿意回答的人的观点。误差

假定在某一职业人群中女性占的比例为60%。如果在这个人群中抽取一些随机样本,这些随机样本中女性的比例并不一定是刚好60%,可能稍微多些或稍微少些。这是很正常的,因为样本的特征不一定和总体完全一样。这种差异不是错误,而是必然会出现的抽样误差(samplingerror)。刚才提到在抽样调查中,一些人因为种种原因没有对调查作出反映(或回答),这种误差称为未响应误差(nonresponseerror)。而另有一些人因为各种原因回答时并没有真实反映他们的观点,这称为响应误差(responseerror)。和抽样误差不一样,未响应误差和响应误差都会影响对真实世界的了解;应该在设计调查方案时尽量避免。抽样调查的一些常用方法在抽样调查时,最理想的样本是前面提到的随机样本。但是由于实践起来不方便,在大规模调查时一般不用这种全部随机抽样的方式,而只是在局部采用随机抽样的方法。下面介绍几种抽样方法。这里没有深奥的理论;读者完全可以根据常识判断在什么情况下简单的随机样本不方便以及下面的每个方法有什么好处和缺陷。对于它们具体的设计、实施与数据分析,有许多专门的书籍,就不在这里赘述了。一些抽样方法1.分层抽样(stratifiedsampling)。这是先把要研究的总体按照某些性质分类(stratum),再在各类中分别抽取样本。在每类中调查的人数通常是按照这该类人的比例,但出于各种考虑,也可能不按照比例,也可能需要加权(加权就是在求若干项的和时,对各项乘以不同的系数,这些系数的和通常为1)。比如可以按照教育程度把要访问的人群分成几类;再在每一类中调查和该类成比例数目的人。这样就确保了每一类都有成比例的代表。一些抽样方法2.整群抽样(clustersampling)。这是先把总体划分成若干群(cluster),再(通常是随机地)从这些群中抽取几群;然后再在这些抽取的群中对个体进行抽样。比如,在某县进行调查,首先在所有村中选取若干村子,然后只对这些村子的人进行调查。显然,如果各村情况差异不大,这种抽样还是方便的。否则就会增大误差了。一些抽样方法3.多级抽样(multistagesampling)。在群体很大时,往往在抽取若干群之后,再在其中抽取若干子群,甚至再在子群中抽取子群,等等。最后只对最后选定的最下面一级进行调查。比如在全国调查时,先抽取省,再抽取市地,再抽取县区,再抽取乡、村直到户。在多级抽样中的每一级都可能采取各种抽样方法。因此,整个抽样计划可能比较复杂,也称为多级混和型抽样。一些抽样方法4.系统抽样(systematicsampling)。这是先把总体中的每个单元编号,然后随机选取其中之一作为抽样的开始点进行抽样。如果编号是随机选取的,则这和简单随机抽样是等价的。在选取开始点之后,通常从开始点开始按照编号进行所谓等距抽样;也就是说,如果开始点为5号,“距离”为10,则下面的调查对象为15号、25号等等。抽样方法的选择不能一概而论实际上每个抽样通常都可能是各种抽样方法的组合。既要考虑精确度,还要根据客观情况考虑方便性、可行性和经济性。不能一概而论。计算机中常用的数据形式数据是由一些变量和它们的观测值所组成。下面就是调查人们对某个问题观点的一个数据的方阵形式。其中有6个变量:观点(观测值为支持、反对和不知道三种)、教育程度(有高中低三种取值,用H、M、L表示)、月收入(取值为实际数字)、性别(取值有男女两个,用M和F表示)以及地区号(用数字1,2,3,4表示)等。该表一共有1364个观测值(问卷回答)。可以看出这些变量有定性(属性)变量,也有定量(数值)变量。按照这个数据的格式,每一列为一个变量的不同观测值;而每一行则称为一个观测值,它是个由数量值和属性值组成的向量,每一个值相应于一个变量。思考1.

举出一些观测数据和试验数据的例子。2.

举出简单随机样本的例子。3.

根据你的经验,举出总体和样本的一些具体例子。4.

举出调查抽样时可能发生的各种影响调查结果的问题,并且提出你认为可以减少或避免这些问题的建议。5.

根据你的直觉,本章提到的几种抽样方法的优缺点是什么?原因何在?6.

举出一些书报上发表的数据例子,并指出那些是变量,哪些是观测值。数据的描述如同给人画像一样直方图比如某个地区(地区1)学校高三男生的身高;有163个度量如何用图形来表示这个数据,使人们能够看出这个数据的大体分布或“形状”呢?一个办法就是画一个直方图(histogram)。盒型图比直方图简单一些的是盒形图(boxplot,又称箱图、箱线图、盒子图)。后面图的左边一个是根据地区1高三男生的身高数据所绘的盒形图;其右边的图代表另一个地区(地区2)的高三学生的身高茎叶图地区1高三男生身高数据的茎叶图

HEIGHTStem-and-LeafPlotFrequencyStem&Leaf9.0015.00122334417.0015.5566666777889999920.0016.0111222222333333344435.0016.5555566666666777778888888888899999925.0017.000000001111222223333334424.0017.55566667777777777788889913.0018.011111112233311.0018.556677888994.0019.23332.0019.563.00Extremes(>=198)Stemwidth:10.00Eachleaf:1case(s)散点图往往人们得到的数据有两个变量的,比如美国男士和女士初婚年限的数据。该数据描述了自1900年到1998年男女第一次结婚延续的时间的中位数。当然,不可能将所有人的婚姻年限都给出来。所以,每年就取了一个中间的值(中位数)作为代表。自1900到1960年是每十年一个值,以后到1990是每五年取一个数,1995年以后是每年一个数。这里的一个变量为记录年份,另一个是结婚时间长短。由于分男士和女士,因此有两二维数据。这时可以以一个变量为横坐标(如年份),另一个为纵坐标(这里是结婚年限)来点图。这种图称为散点图(scatterplot)。还可以看出在二十世纪六十年代婚姻年限降低,而后来又升高。而男子的年限平均比女性长。这个图是用SPSS画的。

定性变量的点图定性变量(或属性变量,分类变量)不能点出直方图、散点图或茎叶图,但可以描绘出它们各类的比例。下面用SPSS绘的图表示了说世界各种主要语言的人数的比例

饼图条形图汇总统计量或概括统计量(summarystatistic)汇总统计量(位置)均值(mean)中位数(median)(第一,第三)四分位数(点)(firstquantile,thirdquantile)k-百分位数(k-percentile)众数(mode)汇总统计量(尺度)

(scalestatistic)极差(range)四分位间距(四分位极差)(interquantilerange)

标准差(standarddeviation)

方差(variance)

两个尺度不同的数据的直方图,左边的标准差大约只有右边的一半

数据的标准得分

(standardscore)

两个水平类似的班级(一班和二班)上同一门课,但是由于两个任课老师的评分标准不同,使得两个班成绩的均值和标准差都不一样(数据:grade.sav)。一班分数的均值和标准差分别为78.53和9.43,而二班的均值和标准差分别为70.19和7.00。那么得到90分的一班的张颖是不是比得到82分的二班的刘疏成绩更好呢?怎么比较才能合理呢?虽然这种均值和标准差不同的数据不能够直接比较,但是可以把它们进行标准化,然后再比较标准化后的数据。一个标准化的方法是把原始观测值(亦称得分,score)和均值之差除以标准差;得到的度量称为标准得分(standardscore)。思考1.

根据你的经验,给出定性和定量变量的例子。2.

对于问题1中你的例子,试图画出各种描述性图形并计算汇总统计量。3.

举例说明众数、中位数和均值的优缺点。4.

举例说明尺度统计量说明了数据的什么特性。5.

标准得分实际上是对原始数据的一种标准化。试举出标准得分的用处。统计推断从数据得到对现实世界的结论的过程估计总体它代表我们所关心的那部分现实世界。而在利用样本中的信息来对总体进行推断之前人们一般对代表总体的变量假定了分布族。比如假定人们的身高属于正态分布族;对抽样调查假定了二项分布族等等。这些模型基本上是根据经验来假定的,所以仅仅是对现实世界的一个近似。在假定了总体分布族之后,进一步对总体的认识就是要在这个分布族中选择一个适合于我们问题的分布;由于分布族成员是由参数确定的,如果参数能够估计,对总体的具体分布就知道得差不多了。估计一种是点估计(pointestimation),也就是用估计量的实现值来近似相应的总体参数。另一种是区间估计(intervalestimation);它是包括估计量在内(有时是以估计量为中心)的一个区间;该区间被认为很可能包含总体参数。点估计给出一个数字,用起来很方便;而区间估计给出一个区间,说起来留有余地;不象点估计那么绝对。无偏估计(大样本性质)区间估计的置信度(大样本性质)估计

注意置信区间的论述是由区间和置信度两部分组成。有些新闻媒体报道一些调查结果只给出百分比和误差(即置信区间),并不说明置信度,也不给出被调查的人数,这是不负责的表现。因为降低置信度可以使置信区间变窄(显得“精确”),有误导读者之嫌。如果给出被调查的人数,则内行可以由推算出置信度(由后面给出的公式),反之亦然。一个描述性例子

一个有10000个人回答的调查显示,同意某种观点的人的比例为70%(有7000人同意),可以算出总体中同意该观点的比例的95%置信区间为(0.691,0.709);另一个调查声称有70%的比例反对该种观点,还说总体中反对该观点的置信区间也是(0.691,0.709)。到底相信谁呢?实际上,第二个调查隐瞒了置信度(等价于隐瞒了样本量)。如果第二个调查仅仅调查了50个人,有35个人反对该观点。根据后面的公式可以算出,第二个调查的置信区间的置信度仅有11%。假设检验在假设检验中,一般要设立一个原假设;而设立该假设的动机主要是企图利用人们掌握的反映现实世界的数据来找出假设和现实的矛盾,从而否定这个假设。在多数统计教科书中(除了理论探讨之外)的假设检验都是以否定原假设为目标。如果否定不了,那就说明证据不足,无法否定原假设。但这不能说明原假设正确。很多教科书在这个问题上不适当地用“接受原假设”的说法,犯了明显的低级逻辑错误。假设检验的过程和逻辑首先要提出一个原假设,比如某正态总体的均值等于5(m=5)。这种原假设也称为零假设(nullhypothesis),记为H0。与此同时必须提出对立假设,比如总体均值大于5(m>5)。对立假设又称为备选假设或备择假设(alternativehypothesis)记为记为H1或Ha。假设检验的过程和逻辑根据零假设(不是备选假设!),我们可以得到该检验统计量的分布;然后再看这个统计量的数据实现值(realization)属不属于小概率事件。也就是说把数据代入检验统计量,看其值是否落入零假设下的小概率范畴;如果的确是小概率事件,那么我们就有可能拒绝零假设,否则我们说没有足够证据拒绝零假设。假设检验的过程和逻辑注意:零假设和备选假设在假设检验中并不对称。因检验统计量的分布是从零假设导出的,因此,如果发生矛盾,当然就对零假设不利了。不发生矛盾也不说明备选假设有问题(因为和备选假设无关)。假设检验的过程和逻辑检验统计量在零假设下等于这个样本的数据实现值或更加极端值的概率称为p-值(p-value)。显然得到很小p-值意味着小概率事件发生了。如果小概率事件发生,是相信零假设,还是相信数据呢?当然是相信数据。于是就拒绝零假设。但小概率并不能说明不会发生,仅仅发生的概率很小罢了。拒绝正确零假设的错误常被称为第一类错误(type

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论