定量分析方法.ppt

1、天丽科技 研究部 何运维 2012年,定量分析方法,一、定量分析方法概述 二、定量分析的一般方法 三、定量分析方法使用,一、定量分析方法概述,1. 什么是定量分析方法 2. 定量分析方法的分类 3. 定量分析方法的一般程序 4. 数据分布的一般特征,1.1 什么是定量分析方法,早期的公共管理推荐经验科学的研究方法，把观测、实验、对比、抽样、案例、访谈、调查等方法，作为主要方法。 20世纪40年代以后，开始引入运筹学，控制论，系统工程、系统分析、损益分析，计算机模拟等定量分析方法。 定量分析的定义：借助于经济学，数学，计算机科学、统计学，概率论以及帮助决策的决策理论来进行逻辑分析和推论。,1.2

2、 定量分析方法的分类,回归分析法 时间序列分析法 层次分析法 决策法 优化方法 投入产出分析法,1.3定量分析方法的一般程序,通常分析研究要经历选择课题、制定课题计划、数据搜集、分析与预测、成果应用及评价五个阶段，各个阶段的关系已经具体每个阶段中需要做的工作可以细分成如右图。 “制定课题计划”处理的好就能把握好一个大方向，避免或少走弯路。 “数据搜集”是后期工作的立足点，数据充分准确与否关系整个研究成果的可信度。 “数据整理和鉴别”是数据分析与预测的前期工作，这个阶段的成果直接服务于“数据分析与预测” “数据分析与预测”是核心工作也是任务最繁重的工作，这里将涉及到一系列的定量分析方法和纷繁的数

3、学计算，要求较高，难度也是最大的。,数据收集,数据搜集 分析研究的性质及其研究方法，决定了分析研究必须以大量的、翔实的数据为基础才能获得成果。因此，数据搜集是对具体数据进行分析研究、对未来状况进行预测的前提，也是决定整个分析研究能否得出正确的、有效地结论的关键。搜集的数据越全、越充分，研究的基础就越牢固，结论就越准确、可靠。 数据搜集的一般程序 课题分析包括内容分析、地域分析和时域分析三方面，只有对课题研究的内容和概貌、所涉及的学科和领域、所需数据的内容范围和重点、主题和类属等进行认真的分析，得以确切的认识，才能选择适当的搜集方式，顺利的开展数据调查活动。,数据整理与鉴别,经过数据搜集得到的数

4、据通常是杂乱无章的，同时由于数据来源的广泛性、渠道的多样性，使得其真实性和可靠性很难保证。这些数据还远远不能达到使用的要求，必须对其进行鉴别和整理之后，才能在此基础上进行更深入的研究。 数据整理是属于数据的初加工，一般流程可用下图表示： 形式整理：将众多数据进行形式上的排序，不涉及数据具体内容，而是凭借某一外在依据进行分门别类的处理。（外在依据：学科，使用方向，内容要点。） 内容整理：在形式整理得基础上进一步深化，从内容角度对数据再处理。 简单举例：国民经济数据，可能得到的一手资料就非常纷繁，那可能的一种整理方式，首先形式整理分为第一产业、第二产业、第三产业；内容整理再有可能对第一产业数据进一

5、步分解，比如按季度划分，分别统计报表，提炼增长趋势等观点。,1.4 数据分布的一般特征,集中趋势的测度 找出一组数据的中心或中间位置。相关概念：众数（频此出现最多的数，分单众数、复众数、无众数）、中位数（排序了的顺序数据的中间那个数）、分位数（特殊的中位数）、平均数、加权平均数； 离散趋势的测度 极差（全距，衡量一组数据跨度的系数）；平均差；方差和标准差； 两者需要结合来看：数据的离散程度越大，集中趋势的测度值对该组数据的代表性就越差；离散程度越小，其代表性越好。以两组数据为例：0、50、100；48，50，52,二、定量分析的一般方法,回归分析法 时间序列分析法 层次分析法 决策法 优化分析

6、方法,2.1 回归分析法,回归分析法：是运用数理统计方法从事务已知状态预测未来状况的一种定量研究方法。它的基本功能是从涉及多因素相互交织的复杂现象中寻找规律，推断出有意义的结论。 回归分析法着眼于研究变量之间的互相关系，把其中一些因素作为控制的变量，而把另一些随机变量作为因变量，利用适当的数学模型尽可能趋向于趋势变化的均值描述它们的关系的分析 基本步骤： 搜集数据是后续所有工作的基础。 设定回归方程就是明确自变量和因变量关系的过程。因变量是果，是我们待预测的因素；自变量是因，它的发展规律将影响因变量的趋势，选择什么自变量，要能够代表预测对象的发展变化，特征参数的选择将直接影响到预测结果的准确性

7、。 注意趋势的延续性。,2.1 回归分析法,1 回归分析方法概述 2 一元线性回归分析 3 多元线性回归分析 4 一元非线性回归分析 5 多重线性回归 6 Excel的函数使用,2.1.1 回归分析方法概述,一种建立统计观测值之间的数学关系的方法 通过自变量的变化来解释因变量的变化，从而由自变量的取值预测因变量的可能值 自变量与因变量的相关关系,2.1.1.1 最小二乘法,原理：因变量估计值与观测值之间均方误差极小 (使残差平方和最小的方法) 在实际操作中，可以通过Matlab或者Excel种的回归分析工具计算系数a和b,2.1.1.2 回归模型的检验,判定系数 R2 用来判断回归方程的拟合优

8、度。 通常可以认为当R2大于0.9时，所得到的回归直线 拟合得较好，而当R2小于0.5时，所得到的回归直线很 难说明变量之间的依赖关系。 t 统计量 如果对于某个自变量，其t统计量的P值小于显著水 平（或称置信度、置信水平），则可认为该自变量与因 变量是相关的。 F 统计 如果F统计量的P值小于显著水平（或称置信度、置 信水平），则可认为方程的回归效果显著。,2.1.1.3 回归预测的步骤,第一步，获取自变量和因变量的观测值。 第二步，绘制XY散点图。 第三步，写出带未知参数的回归方程。 第四步，确定回归方程中参数值 第五步，判断回归方程的拟合优度。 第六步，进行预测,2.1.2 一元线性回归

9、,【例5-1】 “阿曼德匹萨”是一个制作和外卖意大利匹萨的餐饮连锁店，其主要客户群是在校大学生。为了研究各店铺销售额与店铺附近地区大学生人数之间的关系，随机抽取了十个分店的样本，得到的数据如下：,试根据这些数据建立回归模型。然后再进一步根据回归方程预测一个区内大学生人数为1.6万的店铺的季度销售额。,2.1.2 一元线性回归,求回归系数a和b的方法 规划求解 斜率：SLOPE() 截距：INTERCEPT() LINEST()函数 回归分析报告 散点图添加趋势线 求判定系数R2的方法 拟合度：RSQ()函数 回归分析报告 趋势线,2.1.3 多元线性回归,多元线性回归模型的一般形式 多元线性回

10、归预测步骤 第一步，获得候选自变量和因变量的观测值。 第二步，从候选自变量中选择合适的自变量。有几种常用的方法： 最优子集法（ R2最接近1） 向前增选法等 第三步，确定回归系数，判断回归方程的拟合优度。 第四步，根据回归方程进行预测。,2.1.4 一元非线性回归,用一条曲线来拟合因变量对于自变量的依赖关系 通过变量替换把问题转化为一元或多元线性回归问题后，用线性回归分析的方法建立回归模型，并进行预测(即化非线性回归为线性回归) 对于更复杂的情况，现在有很多拟合工具可以使用，如Origin、Matlab等,2.1.4.1 幂函数曲线拟合,2.1.4.2指数函数曲线拟合,2.1.4.3 对数函数

11、曲线拟合,2.1.4.4 双曲线函数拟合,2.1.4.5二次多项式及三次多项式,2.1.4.6 S型（Logistic）曲线拟合,2.1.4.7 回归分析的步骤,回归分析步骤 观察XY散点图，确定拟合曲线类型（对数曲线），写出带未知参数的回归方程 确定参数值，方法有： 回归分析 规划求解 变量替换 添加趋势线 用回归方程进行预测 （注：在拟合曲线类型不能确定时，可选不同类型进行尝试，比较结果）,2.1.4.8 回归分析举例,某企业想了解公司某种产品的产量与收益 之间有何关系，为此收集整理了历年的产量收益数 据资料。试根据这些资料建立适当模型说明产量与收益之间的关系。 下面分别为直线拟合和对数拟

12、合的结果，从结果中可以看出，对数拟合更合适,作线性回归拟合,做对数拟合,2.1.4.8 回归分析举例,2.1.5 多重线性回归,在实际问题中，自变量的个数可能多于一个，随机变量 y与多个可控变量x1,x2,x3,xk之间是否存在相关关系，则属于多重（元）回归问题。 多重线性回归模型,随机变量 与 之间的线性关系,其中,未知,则上式称为多重线性回归模型。,多重线性回归模型的矩阵形式,考虑多元函数,确定 的最小二乘法,目标：确定 使 最小,方法：,解得：,多重线性回归方程,有效性检验方差分析法,线性回归方程 是否有统计意义，可检验假设,是否成立,方法：方差分析法，将总离差平方和分解,有效性检验方差

13、分析法,SR 回归平方和，反映线性关系对观测结果产生的数据波动，SR越大，线性相关关系越强。 SE剩余平方和（或残差平方和），反映除线性因素之外的其它因素对观测结果产生的数据波动，SE越大，则其它因素对Y的影响越大。,有效性检验方差分析法,在H0成立的条件下，可以证明：,（n为观测次数，k为自变量个数）,构造F统计量,当 时，拒绝H0,2.1.6 Excel的函数使用,函数：计算机执行的一步或多步运算过程, 包括数学和三角函数、较复杂的矩阵运算函数及复杂的数据分析函数等。12类, 300多种。 (1) Excel 函数组成 函数名、参数 函数名：指定要执行的运算。 参数 指定函数使用的数值或单

14、元格数据。要放在括号( )内。 (2) 基本语法 开头必须有 =。如 = LOG(10) (也可用 +, -开头) 参数必须放在圆括号( )内, ( )前后无空格, 不用参数的函数用空( )。 参数间要用逗号“,”隔开; 参数可以是数值、数组、单元格、单元 格区域、表达式、函数 (嵌套7层)等。 可用名称作为参数，如已定义的单元格名、区域名。,(3)函数调用 概念：函数调用使用函数的过程，函数的返回值结果。 方法 先选定插入函数的单元格, 用下列方法之一调用函数。 “插入”/fx插入函数 搜索函数/选择类别/ 选择函数 函数名输入参数； 键盘输入 =函数名, 参数； 输入=，再点击左侧函数列表

15、框, 选已用过的函数；在( )内输入参数； 点击按钮 S 选函数名。,用好帮助 菜单栏帮助/ “F1”键； 有关该函数的帮助,2.1.6.1一元线性回归,由最小二乘法求直线方程 y = ax+b 的参数： 斜率 slope a 截距 intercept b; 还有相关系数 correlation r /R2， Linest 可对一组数据作线性回归分析（Line Statistic） 通式：y =a1x1+a2x2+ . +amxm+b Linest 给出回归参数a1, a2, ., am, b, 数值数组形式, 即返回a, b回归参数, 还可有附加回归统计值r2, F, df, SS, 误差等

16、 Linest函数语法 格式 Linest(y值数列, x值数列, 常数_逻辑，统计_逻辑) 返回值 为数值数组。,数值数组(回归参数+回归统计值),数值数组的顺序,使用Linest 函数的操作过程: 先选定将要显示数组的区域，然后输入函数、适当参数，再依次按下Ctrl+Shift+Enter输入参数后“确定”的方法。 不能删除数值数组中的单个元素。,2.1.6.2 多元线性回归,LINEST和“数据分析”的“回归” 还可对多个自变量xi 的函数式 y = a1x1+ a2x2+.+ amxm+ b 作线性拟合，计算出 m 个xi 相对应的系数 a1，a2，.，am 及常数 b，还有回归统计。

17、,2.1.6.3多项式拟合,实验数据为一曲线, 其拟合函数的形式不清楚时, 常用多项式(普适函数)进行拟合 y=b+a1x+a2x2+.+amxm 用Excel拟合方法 (1) 直接拟合法：“添加趋势线”类型多项式阶数。 (2) 变量变换法： 变换方法 x1=x，x2=x2，.，xm=xm 化为多元一次函数： y=b+a1x1+a2x2+ .+amxm 求多项式的参数 b，a1，a2，.，am 可用 LINEST函数； “数据分析”“回归”工具拟合。 方次尽量低；常用到 3 次方。n个数据点，拟合的多项式最高阶数为 n1。,2.1.6.4 Excel使用小结,求回归系数、判定系数 规划求解 回

18、归分析 回归分析报告 添加趋势线 Excel内建函数 INTERCEPT()，SLOPE() LINEST() RSQ() SUMXMY2(),2.2 时间序列分析法,时间序列分析法：是一种根据研究对象的历史上的一系列已知数据（时间序列），分析并找出事物随时间发展的轨迹，用数学模型去描述研究对象随时间变化的发展规律，并根据该模型预测事物的未来发展状况的定量分析预测方法。 在我看来，时间序列分析法就是一种特殊的回归分析法，它们之间的区别是时间序列法不需要知道影响变量变化的因素，也不必去寻求因果关系，而是把各种因素的影响都转化为时间的影响，只要有足够的历史统计数据可以用来构成一个合理长度的时间序列

19、。 前提： 决定研究对象以前发展的诸因素，在很大程度上也将决定该对象的未来发展。 研究对象的发展过程属于渐进式变化，而不是跳跃式的变化。 时间序列分析法的数学建模与回归分析法基本一致，只是将自变量现在只关注时间了，将数据绘制成图表，找出变化趋势，定出曲线模型，之后求解系数即可。,2.3 层次分析法,层次分析法（AHP）：属于系统决策论，它将判断和价值结合为一个逻辑的整体，它依赖于想象、经验和知识去构造问题所处的梯阶层次，并根据逻辑、直觉和经验去给出判断。它通常会将整个系统中的元素有机的结合起来考虑，并得出全面的结果。 从简单例子得到感性认识：我想买一辆车，现在有三个牌子的车供我选择，但是具体买

20、哪辆车我却有多个参考标准（这里就有一个系统的概念），其中这些方面的权重又不一样，问题来了我如何决策？ 1. 首先我依据自己的想象、经验和知识构造了如下的一个递阶层次，暂不管它是否合理，只少这是目前我自己所能考虑的方面，在后续有另外的考虑时还能从新调整。 2. 接下来就是一个权重问题了，依据AHP方法我构造如下一个两两比较矩阵，两两比较都是针对某一个准则而言的.,2.3 层次分析法,3. 和积法权重计算步骤： 将判断矩阵每一列归一化 每一列经归一化后的判断矩阵按行相加 对上一步生成的向量归一化 计算判断矩阵最大特征根 4.计算各层元素对目标层的合成权重 AHP作为一种有用的决策工具有着明显优点：

21、 适用性：用AHP进行决策，输入的信息主要是决策者的选择与判断，决策过程充分反映了决策者对决策问题的认识，这就使以往决策者与决策分析者难以沟通的状况得到改变。通常由决策者直接使用AHP进行决策将大大增加决策的有效性； 简洁性：AHP从本质而言是一种思维方法，它把复杂问题分解成各个组成因素，又将这些因素按支配关系分组形成梯阶层次结构。通过两两比较的方式确定层次中诸因素的相对重要性。然后综合决策者的判断，确定决策方案相对重要性的总排序。整个过程就是分解、判断、综合； 适用性：AHP不仅能进行定量分析，还能进行定性分析。它将决策工程中定性与定量因素有机地结合起来，用一种统一方式进行处理。在诸如资源分

22、配、冲突分析、方案评比、计划等问题中AHP都有着良好的适用性； 系统性。,2.4 决策法,决策法：指人们为实现预定目标，根据一定的条件，采用科学的方法和手段（与传统决策的区别）从所有可供选择的方案中找出最满意的一个方案，进行实施，直至目标的实现。系统论、控制论、信息论等新学科的出现，运筹学、概率统计等应用数学的产生与发展，为实现科学的决策提供了基础。 决策一般遵循如下的一个过程： 根据自然状况的可控程度，决策问题可分为确定性、不确定型和风险型决策三种,提出问题指找出系统在发展变化的过程中，期望状态与实际状态的差异 目标是决策者希望达到的决策效果 黄框中的拟定备选方案和方案评估是决策过程中的关键

23、，在拟定方案时必须做到严谨求实，对决策方案的每个步骤都要仔细推敲，严格论证。而且要做到敢于创新，大胆探索。 方案优选个人认为是决策的精髓。前期环节都是为最优方案选择做准备。在进行选择时，要注意不仅要确定最优方案，而且要准备可以启动的后备方案。,2.4.1 确定性决策,确定型决策 确定型决策是指决策系统的全部事实明确，可以准确列举，只存在一种确定的自然状态的决策。一般特点: 只有一个确定的自然状态； 存在决策者希望达到的一个明确目标； 存在可供选择的两个或两个以上的行动方案； 不同的行动方案在确定状态下的损益可以计算出来。 很抽象？还是看下面的例子吧 一位投资者手中有10000美元，有数种投资方

24、案，所得回报可以确定，见下 表，问这位投资者该如何决策？,可以看到此类中自然状态是唯一的； 投资者的目标是获得最大年终收益； 面临4个可供选择的决策方案； 每个决策者的损益是已知的； 这个确定型决策较为简单的就能选择出执行方案，投资政府证券,2.4.2 不确定性决策,不确定型决策 不确定型决策是指决策者面临多种可能的自然状态，且未来自然状态出现的概率不可预知，可选方案在不同状态下结果不同的决策。不确定型决策一般具备以下特点: 存在着两种或两种以上的自然状态，既不能确定未来何种自然状态会出现，也无法得到各自然状态出现的概率； 存在决策者希望达到的一个明确目标； 存在可供选择的两个或两个以上的行动

25、方案； 不同的行动方案在确定状态下的损益可以计算出来。,在这种情况下，决策者只能依据一定的简单原则来进行分析决策，这样的简单原则，我们称为决策准则，常用的决策准则有：乐观准则、悲观准则、折衷准则、等可能性准则、后悔值准则。,2.4.3 决策准则,乐观准则 又称最大最大准则，这是一种趋险型决策准则。决策者对未来持乐观态度，不管未来情况如何，总是选择最好结果。找出每一个方案的最好结果； 悲观准则 又称最小最小准则，是一种避险型决策准则。与乐观准则相反，选择在最差自然状态下带来最多收益的方案； 折衷准则 也称乐观系数法决策准则。提出一个乐观系数a，即最好状态出现的概率为a，最差状态出现的概率则为（1

26、-a） 方案收益=最好状态收益 * a + 最差状态收益 * （1-a） 等可能性准则 认为各种自然状态等可能性发生 方案收益=各状态下收益*各状态发生概率；各状态发生概率= 1/状态数量,2.4.4 风险型决策,风险型决策 风险型决策是指决策者在进行决策时，虽然无法确知未来将会出现何种自然状态，但却可以了解未来可能有几种状态出现以及每种状态出现的概率。 一般特点 存在着两种或两种以上的自然状态(如销售中的畅销、滞销等)，各种自然状态出现的概率可以通过计算或估计得到； 存在决策者希望达到的一个明确目标； 存在可供选择的两个或两个以上的行动方案； 不同的行动方案在确定状态下的损益可以计算出来。 很抽象？还是看例子吧 一位投资者手中有10000美元，有数种投资方案，在不同利率变化情况下所得回报可以确定，并且利率上升的概率为40%，利率不变的概率为30%，利率下降的概率为30%见下表，问这位投资者该如何决策？ 最大收益期望值决策准则：最大收益期望值决策准则是指当决策目标的指标为收益时，选择收益期望值最大的方案为决策