统计分析方法

1、统计分析方法 2012年1统计学定量的哲学定性的数学2哲学、数学和统计学都是人类认知世界最基础的共用科学统计学： 基于观察进行归纳和推断哲学和数学：对观察结果的抽象，各种 辩证逻辑和形式逻辑。3 “统计” 的产生“统计”一词最早出现在中世纪拉丁语Status中，意为各种现象的状态和状况。意大利语Stato表示“国家”的概念，也有国家结构和国情知识的意思。十八世纪德国人亨瓦尔（G.Achenwall）在近代欧洲各国国家学纲要一书绪言中，提出了Statistika”（统计）这个词，是指“国家显著事项的比较和记述”或“国势学” 。各国相继沿用“统计”，法国译为Statistique，意大利译为Sta

2、tistica，英国译为Statistics。4“统计” 的产生日本最初把“统计”译为“政表”、“政算”、“国势”、“形势”等，直到1880年设立了统计院，才确定以“统计”二字正名。1903年（清光绪廿九年），“统计”一词从日本传到我国。1907年（清光绪卅三年），彭祖植编写的统计学在日本出版，同时在国内发行，这是我国最早的一本统计学书籍。统计一词成了记述国家和社会状况的数量关系的总称。5不明于数欲举大事，如舟之无楫而欲行于大海也！ 管子6“统计”的另一条轨迹概率论数理统计7“统计”的两种色彩实务，现实，历史，政治，经济，社会理论，概率，数理，随机，估计，检验8统计简史统计思维（更好的掌握不确

3、定性）与人类行为有关，亘古有之。统计工作（更好的了解总体情况）与政权统治有关，有国家就有了统计。统计科学是基于数据和概率的研究，概率学则源自对赌博的研究。近一百多年来发展迅速。9统计的三个涵义1. 统计工作我是做统计的2. 统计数据统计表明，据统计 3. 统计学我是个统计学家10如果没有统计工作，数据从何而来？如果没有统计数据，分析如何下手？统计分析方法是科学研究的有效支撑。11在终极的分析中，一切知识都是历史在抽象的意义下，一切科学都是数学在理性的基础上，所有的判断都是统计学对统计的一知半解常常造成不必要的上当受骗对统计的一概排斥往往造成不必要的愚昧无知12人类发现（发明）了统计学 人类是广

4、褒宇宙中的流浪汉，孤单地生存在一个冷酷、陌生的空间里。我们可能是在最近一个冰川期后起源的，在自然的劫后余迹前孤立无援，生存在茫茫的时间中。我们依靠地球提供衣食，我们每个个体的出生都是随机事件的牺牲品。为了解决生命的寂寞、穷困、艰险和短暂，我们要与天斗、与地斗，甚至与同类斗。凭着一点有限的感性知识和大脑，我们开始探究自然和自身，寻求真理和秩序，建立可以各种知识体系和解释模型，而我们的辉煌成就之一就是统计学。13什么是统计学?它是科学、技术、逻辑、还是艺术?它是一门像数学、物理、化学和生物学那样有确切定义的独立的研究学科吗?统计学中我们研究的现象又是什么?什么是统计学14 统计学是一门收集、整理和

5、分析统计数据的方法科学，其目的是探索数据的内在数量规律性，用于指导实践，以达到对客观事物的科学认识。Statistics: the science of collecting, analyzing, presenting, and interpreting data. Copyright 1994-2000 Encyclopaedia Britannica, Inc. （不列颠百科全书）15特点方法与应用科学与艺术客观与主观定性与定量16统计方法基于数据， 用指标， 去描述； GDP，CPI，CBD, Gini基于概率， 用模型， 去推断。 相关性，因果性，分布，估计，检验 17统计方法慧眼：

6、数据， 指标， 描述； data index describe慧根：概率， 模型， 推断。 probability model infer18统计描述数值表图19统计推断估计（见微知著，指鹿为马）检验（起始于怀疑，结束于肯定）20生活中的统计推断 生活中绝大多数的疑问及推断都是统计意义上的。比如 ：今天下班回家会堵车吗？！我毕业后月薪能拿到多少呢？能拿到1万吗？明天股市会怎样？会涨吗？冬天来了，春天还会远吗？今天天晴，明天还会天晴吗？诗曰清明时节雨纷纷，明天清明会下雨吗？听说天枰座和狮子座很合，那我和你呢？我身边人都很好，这个社会也是好人更多吗？大家听课这么认真，全校的学风也是很好吗？ 21统

7、计方法的特点突出量的分析，研究有规律的量变。从现实数据（或概率）出发认识世界，解释世界。根据有限信息做出的推断，有概率层面的保证。最后一根稻草107:100投十次硬币都是正面朝上22统计方法的局限突出量的分析，不涉及质的规定， 有量变，而没有质变。统计分析结果揭示“是什么”，不能解释“为什么”。统计推断后的决策不是完全可靠，只能概率保证。23统计，有所为有所不为，有所能有所不能。 不要夸大，夸大等于捧杀。 不要误用，误用等于谋杀。 不要不用，不用就是自杀。用好统计，造福人类。24统计应用actuarial work (精算) agriculture (农业)animal science (动物

8、学) anthropology (人类学)archaeology (考古学) auditing (审计学)crystallography (晶体学) demography (人口统计学)dentistry (牙医学) ecology (生态学)econometrics (经济计量学) education (教育学) election forecasting and projection (选举预测和策划)engineering (工程) epidemiology (流行病学)finance (金融)fisheries research (水产渔业研究)gambling (赌博) genetic

9、s (遗传学)geography (地理学) geology (地质学)historical research (历史研究) human genetics (人类遗传学)25统计应用(续)hydrology (水文学) Industry (工业) linguistics (语言学) literature (文学)manpower planning (劳动力计划)management science (管理科学)marketing (市场营销学) medical diagnosis (医学诊断)meteorology (气象学) military science (军事科学)nuclear ma

10、terial safeguards (核材料安全管理)ophthalmology (眼科学) pharmaceutics (制药学)physics (物理学) political science (政治学)psychology (心理学) psychophysics (心理物理学)quality control (质量控制) religious studies (宗教研究)sociology (社会学) survey sampling (抽样调查)taxonomy (分类学) weather modification (气象改善)26思想核心性思想（关于“统计什么和如何统计”的世界观与方法论）

11、主体性思想（如何运用统计理论与方法去艺术地解决实际问题）支撑性思想（描述和推断）基础性思想（概括为察、量、分、合、标、表、较、联、估、预、限、策12个字）。27那个统计也是一种思想方法2829 统计能给我们想说的话披上现实的外衣: *抽烟对健康是有害的； *身材高的父母，有较高身材的子女； *服用阿斯匹林会减少心脏病第二次发作的机会； *每天摄取500毫升的维生素C，生命可以延长6年； *怕老婆的丈夫得心脏病的机会较大； *今年的犯罪率与前一年相比下降了10%; *明天有30%的可能要下雨; *股票市场的道琼斯指数价格增加了50点; *世界上每4个新生婴儿中有一个是中国人; *如果你坚持独身,

12、你的寿命要减少8年.30 能从数字中学习有助于成为有效率的公民，正如韦尔斯(H.G.Wells)所强调的: 统计思维总有一天会像读与写一样成为一个有效率公民的必备能力。用事实说话 到用统计说话3119世纪欧洲上流社会的人们坚持认为一个“有教养的人”必须精通拉丁文、希腊文和英国古典文学。他们会“骄傲”地宣称，没有能力和数或任何数学概念打交道。20世纪以来，在有关社会经济、文化政治、教育医疗等日常生活的各种声明与反诉中，统计起着支配性的作用。32现代人须懂统计现代人须有文化。统计是有关数据和概率的文化。统计让人豁达，淡泊以明志宁静以致远！33对统计学的误解与怀疑: 谎言，该死的谎言与统计； 统计不

13、能用来代替判断力； 我已知答案，请给我统计事实去证实； 利用统计学，可以证明一切事物。 统计犹如比基尼游泳衣.它暴露的是明显的 地方，而遮盖住最重要的。 34五大统计学派可识别性，统计诊断，因果分析波动性，稳健性，稳定性，信仰度协调性，贝叶斯学派功能性，频率学派经济性，风险，效用，判决理论35阴阳五行木火土金水 邻相生，间相克36阴阳八卦000001010011100101110111乾（天） 坤（地）震（雷）巽（风）坎（水）离（火）艮（山）兑（沼泽） 37统计学与数学统计学要感谢数学！统计学与数学的哲学思想存在根本冲突，归纳和演绎！统计学只有远离数学，去解决具体问题，才能迅速发展！38数学推

14、导vs统计推断数学推导，基于逻辑的，理论的，因果的， 必然的，绝对的，规则的， 比如由XY，导出X+1Y+1。统计推断，基于观察的，经验的，相关的， 或然的，相对的，概率的， 比如由你坐前排，推断你考试得高分。 3940八个英文单词 MDCD数学：mathematics 演绎：deduce 计算：calculate 推导：derive SIDI统计：statistics 归纳 ：induce 描述： describe 推断 ：infer41数学的思想和框架数学的本质：数和形数学的特点：抽象小学：加减乘除（和差积商）的算术； 形状图中学：代数和函数； 坐标图大学：极限和微积 线性代数42代数、几

15、何、概率代数是有序的逻辑几何是形象的逻辑概率是随机的逻辑43零的优美性质在加法中，它是唯一不改变被加数值的数。在乘法中，它是唯一与任何数相乘却不改变自身值的数。4445芝诺悖论阿基里斯跑不过乌龟 值得尊重的问题！大智若愚的哲人！46悖论的数学解决不证明是否能追上，直接计算追上需要的时间：小学：相对距离除以相对速度中学：无穷数列尝试去证明，但还是很抽象（1/0=无穷）：大学：极限（微积分）意义：如何理解有限和无限；如何理解离散和连续。症结：无限段长度的和，可以是有限的；无线段时间的和，可以是有限的。47悖论的真正解决量子理论：时间和空间不能无限分割！ （不要没完没了了）统计思想：进行一次试验，看

16、能否追上， 重复多次，证据更充分，结论更可靠。统计学家没有数学家和理论物理家有智慧，但也没有他们那么纠结。统计是基于现实的归纳和挖掘。48魔术，还是悖论？数学中的极限：一根固定长度的绳子，折一次剩下一半，折无数次后，不见了？统计中的假设检验：10000个彩票号中有1个会中奖，按假设检验的观点，任何一个号都不会中奖，那个中奖的号哪去了？49统计学与物理物理：格物致理，物质世界的特征和规律。从亚里士多德时代的自然哲学，牛顿时代的经典力学，直至现代物理中的相对论和量子力学。统计：自然和社会经济现象中的统计特征和规律。 统计学可称作是社会物理学。相同点：研究有序和无序，不变和变化； 有解释（描述），也

17、有预言（推断）。50苹果为什么会落地？ （解释）松开手，苹果会怎样？ （预言）51统计物理学statistical physics 基于对宏观物质的微观认识，用概率统计的方法进行研究，又称统计力学。热力学：第零定律：温度，热平衡 第一定律：能，能量守恒 第二定律：熵，热传递（时间单方向） 第三定律：绝对零度52量子力学规律牛顿力学规律统计力学微观宏观热力学53概率统计与混沌理论 要认识物质世界是很复杂的，结果是难以预料的！混沌理论与相对论、量子力学同被列为二十世纪的 最伟大发现。 相对论消除了关于绝对空间和时间的幻想； 量子力学质疑微观世界里牛顿式的物理因果律； 混沌理论质疑宏观世界里拉普拉斯

18、式的决定型果律。 54混沌理论复杂性： 自然现象中云彩、海岸线、人脑电波的性状的 无规则，曼德尔布罗特创建了分形几何； 社会现象中人生道路和公司发展的无常。 （但同时是自相似的）555657混沌理论世事难料 确定性的原因会产生不规则的结果， 简单的原因会产生复杂的结果： 蝴蝶效应；差之毫厘谬以千里； 丢失一个钉子，坏了一只蹄铁， 折了一匹战马，伤了一位骑士， 输了一场战斗，败了一场战争， 亡了一个帝国！ （对初始条件的极端敏感依赖性）58概率统计与混沌理论概率是真正意义上不可决定的随机， 混沌是决定论系统的内在随机，现象太复杂看似随机；统计中小扰动产生小误差， 混沌中小扰动可能产生大误差；两者

19、都是从无序中寻求有序，异中求同， 即使混沌也并不是简单的无序，有规律可循。59统计学与天文学在天文学中，首先是观察和测量，重要是对一些运动星体的位置进行估计。观测和估计都有误差。拉普拉斯发明了误差函数来说明天文学中的统计问题，高斯发现了误差函数的正态性。统计中的个体，天文中的星体。60拉普拉斯的天体力学是一本极具影响力的书，描述了如何根据地球上的观测数据，来计算行星与彗星的位置。拿破仑看完书后说：“这本关于宇宙系统的书，却根本没有提到他的创造者上帝”。拉普拉斯的回答是：“我不需要这个假设条件”。61统计学与音乐音乐是人类用灵魂从计数中感受到的快乐。 莱布尼兹乐谱即排列组合。若干个（五、七、十二

20、）音排列起来形成音阶。音阶、音律、音程（频率比，取决于弦长）。钢琴的键盘是按十二平均律的原理制作的。（十二平均律运用了统计学中几何平均的思想）巴赫的平均律钢琴曲集是其键盘音乐中最伟大的作品，被喻为音乐上的旧约圣经。 62统计学与生物学（遗传学）高尔登从生物学的角度研究社会现象，在自然遗传中，提出“相关”，“相关系数”，“回归”等重要的统计概念。 （高尔顿发现了指纹，通过研究身高发现了回归）K.皮尔逊是高尔顿的学生，他提出了矩估计、拟合优度检验和卡方分布等。E.皮尔逊是K的儿子，他和奈曼一起提出了假设检验（原假设和备择假设）。Fisher在作物收成变动研究中提出了极大似然估计、显著性检验和方差分

21、析（F分布）等。在当代，生物统计学是一门非常重要的专业！ 63统计学和社会学19世纪的欧洲大陆，很多统计学家兼任政府统计家，形成社会统计学派。比如恩格尔！社会统计学是否就是社会学中的统计学？“社会”是研究对象，“统计”是研究方法。64统计学和经济学经济学包括应用经济学和理论经济学，应用经济学包括金融、国际贸易、国民经济、产业经济、经济统计、计量经济等二级学科。诺贝尔经济学奖获得者中，大多数也是统计学家，或者精通统计模型。 （还有很多是搞博弈论的）现代经济学研究强调计量和统计模型。 （也有人强调理论论证和逻辑推导）65统计学与计量经济学关系：计量经济学中的推断（估计和检验）方法基本就是统计方法，

22、在样本数据收集、整理、描述以及模型确定等方面，统计学提供重要支撑。区别：经济统计是统计学的分支，强调对经济变量的分析、描述和推断；计量经济学是经济学的分支，强调用数据及模型去验证经济理论。定位：统计学是方法论科学，计量经济学是实质性科学。66统计学与信息论信息是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。 信息概念的前提是变异度（方差），艾什比甚至认为信息等同于变异度。信息的本质特征是消除事物的不确定性，事件的信息量与其概率成对数关系。67统计在工业中的应用田口方法System DesignParameter DesignTolerance Design Quality is s

23、quared loss function!68统计与数据挖掘data mining697 2 2x3 40 6 二四六八 1 1 = 1 10002=100100100 7/8 6873x不三不四 接二连三 陆续不断 无独有偶 一成不变 千方百计 七上八下了不起thanks707172统计的魅力（三个定律）大中小73统计的魅力：大数定律抛硬币，几次的话结果不好说， 几千次的话心里就有底了。保险公司（特别是寿险）不担心赔钱；赌博公司（正规的）即使不作弊也不担心赔钱。 前提：生意好，顾客多（样本量大）。微观上无序，不稳定；宏观上有序，有保证。74无序中的有序就像原子和分子的个体游动一样，尽管单个水平下的游动存在不确定性，但对大量个体活动的平均行动来说，我们可以观察到某种稳定性，即会出现“无序中的有序”. 一个系统中多个个体平均行为所显示的不确定性将会随着个体总数的不断增加而逐渐减少，因而可以把这个系统作为一个整体，其表现的几乎是决定