回归分析与经验公式拟合解析PPT学习教案

1、会计学1 回归分析与经验公式拟合解析回归分析与经验公式拟合解析 9-2 回归分析是处理变量之间相关关系的一种 数理统计方法,也是广泛用于获得数学表达式 的较好方法。本章介绍测量中常用的一元与 多元线性回归以及一元非线性回归的基本方 法。 主菜单结束 第1页/共64页 9-3 主菜单结束 第2页/共64页 9-4 变量间的关系可分为函数关系和相关 关系。本节介绍这两种关系，并对回 归分析的一些基本概念作一个简要的 介绍。 主菜单结束 第3页/共64页 9-5 1、是一一对应的确定关系 2、设有两个变量和，变量随变量一起变化，并完全依赖于，当变量某个数值时，依确定的关系取相应的值，则称是的函数，记

2、为，其中称为自变量，称为因变量 xyyx xx x y yy = f(x) xy v如以速度作匀速运动的物体，走过的距离与 时间之间，有如下的函数关系 vs t svt 主菜单结束 第4页/共64页 9-6 1、变量间关系不能用函数关系精确表达 3、当变量取某个数值时，变量的值可能有几个 xy 2、一个变量的取值不能由另一个变量惟一确定 v如人的身高( )与体重( )之间的关系 y x 主菜单结束 第5页/共64页 9-7 v3、利用所求的关系式，根据一个或几个变量的 值，预测或控制另一个变量的值，并要知道这种预 测或控制可达到的精密度。 一种处理变量间相关关系的数理统计方法。 他主要解决以下

3、几个问题 v1、从一组样本数据出发，确定变量之间的数学 关系式 v2、对这些关系式的可信程度进行各种统计检验 ，并从影响某一特定变量的诸多变量中找出哪些变 量的影响显著，哪些不显著 主菜单结束 第6页/共64页 9-8 回归模型的类型 回归模型回归模型 一元回归一元回归 线性线性 回归回归 非线性非线性 回归回归 线性线性 回归回归 非线性非线性 回归回归 多元回归多元回归 一个自变量 两个及两个以上自变量 主菜单结束 第7页/共64页 9-9 1、回答“变量之间是什么样的关系？ ” 2、方程中运用 q1个数字的因变量 q1个或多个数字的或分类的因变量 3、主要用于预测或估计 主菜单结束 第8

4、页/共64页 9-10 主菜单结束 第9页/共64页 9-11 主菜单结束 第10页/共64页 9-12 1、当只涉及一个自变量时称为一元回归， 若因变量与自变量之间为线性关系时 称为一元线性回归 3、描述因变量如何依赖于自变量和误 差项的方程称为回归模型。 y x 2、对于具有线性关系的两个变量，可以 用一个线性方程来表示它们之间的关系 y x 主菜单结束 第11页/共64页 9-13 由实验获得两个变量和的一组样本数据，构造如下一元线性回归模型 xy 11 ( ,)x y 22 (,)xy(,) nn xy iii yabx 一元线性回归模型概念一元线性回归模型概念 v模型中，是的线性函数

5、部分加上误差项 yx xy v线性部分反映了由于的变化而引起的变化 v误差项是随机变量 反映了除和之间的线性关系之外的随机因素对 的影响 是不能由和之间的线性关系所解释的变异性 v和称为模型的参数 xy y xy ab 主菜单结束 第12页/共64页 9-14 1、误差项是一个期望值为的随机变量，即。对于一个给定的值，的期望值为 ( )0E i x i y () ii E yabx 2、对所有的值，的方差都相同 i x i 2 3、误差项是一个服从正态分布的随机变量，且相互独立。即 i 2 (0,) i N 独立性意味着对于一个特定的值，它所对应的 与其它值所对应的不相关 i x i j x

6、j 对于一个特定的值，它所对应的值与其它 值所对应的不相关 i x i y j x j y 一元线性回归模型基本假定一元线性回归模型基本假定 主菜单结束 第13页/共64页 9-15 1、描述的平均值或期望值如何依赖于的方程称为回归方程 y x 2、简单线性回归方程的形式如下 ( )E yabx 方程的图示是一条直线，因此也称为直线回归方 程 是回归直线在轴上的截距，是当时的期 望值 是直线的斜率，表示当每变动一个单位时， 的平均变动值 ay0 x b x y 回归方程概念要点 主菜单结束 第14页/共64页 9-16 1、总体回归参数和是未知的，必须利用样本数据去估计他们 ab 2、用样本统

7、计量和代替回归方程中的未知参数和，这时就得到了经验的回归方程 a b 3、一元线性回归的经验的回归方程 yabx 是回归直线在轴上的截距 是直线的斜率，它表示对于给定的的值， 是的估计值，也表示当每变动一个单位时， 的平均变动值 a y b x y x y y ab 经验的回归方程 主菜单结束 第15页/共64页 9-17 2 () () xy xx l n xyx y b l n xx x aybx 22 1111 222222 11 1 1111 , ()() ()() nnnn iiiii iiii nn xxiyyi ii n xyii i xx yy xxxyx y nnnn lxx

8、n xn xlyynyny lxxyynxynx y 式中 根据最小二乘法的要求，可得 和的计算公式和的计算公式 a b 主菜单结束 第16页/共64页 9-18 主菜单结束 第17页/共64页 9-19 偏差平方和的分解偏差平方和的分解 测量值之间的差异来源于两 个方面 12 , n y yy 由于自变量取值的不同造成的 x 除以外的其它因素(如对的非线性影响、测量误差等)的影响 i yy x y 对一个具体的观测值来说，变异的大 小可以通过该实际观测值与其均值之 差来表示 x 主菜单结束 第18页/共64页 9-20 0 y x yy = yab x = + y _ y y _ yy _

9、y 主菜单结束 第19页/共64页 9-21 ()() iiii yyyyyy 两端平方后求和得到 222 111 nnn iiii iii yyyyyy 总偏差平方和 回归平方和 残余平方和 总回残 总残回 三个平方和的关系三个平方和的关系 主菜单结束 第20页/共64页 9-22 自由 度 1n 总 计算 公式yy l 总 在总的偏离中除 了对线性影 响之外的其它因 素而引起变化 的大小 xy y 1 回 2 xy xy xx l bl l 回 在总的偏差中因和的线性关系而引起变化的大小 xy y 2n 总回残 总回残 总偏差平方和 回归平方和 残余平方和 意义 反映因变量的n个观测值与其

10、均值的总偏差 三个平方和的意义三个平方和的意义 主菜单结束 第21页/共64页 9-23 1、检验自变量和因变量之间的线性关系是否 显著 2、具体方法是将回归平方和和残余平方和加 以比较，应用F检验来分析二者之间的差别是 否显著 如果是显著的，两个变量之间存在线性关系 如果不显著，两个变量之间不存在线性关系 主菜单结束 第22页/共64页 9-24 2、计算检验统计量 F 回回 剩剩 1 2 F n 回 剩 3、在给定显著性水平 下，由分布表查得临界值 。 1,2Fn 4、作出决策。若，拒绝，则认为该回归效果显著。反之，则不显著。 1,2FFn 即 检验步骤 1、提出假设 线性关系不显著 0

11、:H 0 H 主菜单结束 第23页/共64页 9-25 4、残余标准差的计算公式 2 s n 残 x yy 1、表征除了与线性关系之外其它因素影响值偏离的大小 2、反映实际观测值在回归直线周围的分散状况 3、从另一个角度说明了回归直线的拟合程度 主菜单结束 第24页/共64页 9-26 偏离 回归 残余 总和 平方 和 xy bl 回 yy l 总 总回残 自由 度 1n 2n 标准 差 2 s n 残 统计 量 2 F s 回 置信 限 1,2Fn 0.10.0 5 0.0 1 显著 否 显著 否 显著 否 方差分析表 主菜单结束 第25页/共64页 9-27 主菜单结束 第26页/共64页

12、 9-28 回归系数的不确定度回归系数的不确定度 1、回归系数的不确定度是描述回归系数的分散性 2 1 ( ) xx x U as nl 1 ( ) xx U bs l 2 ab xx x ss l 2、回归系数和的标准不确定度的计算公式 a b 3、回归系数和的协方差的计算公式 a b 式中，是残余标准差 s 主菜单结束 第27页/共64页 9-29 回归方程的稳定性回归方程的稳定性 1、回归值的波动大小，波动愈小，回归方程的稳定性愈好。 y 2、回归值的波动大小的计算公式 y 标准不确定度来表示。 y ( )U y 2 1 ( ) xx xx U ys nl 回归值的波动大 小不仅与剩余标

13、 准差s有关，而 且还取决于试验 次数n及自变量 取值范围。 第28页/共64页 9-30 提高回归方程中各估计量稳定性的方法提高回归方程中各估计量稳定性的方法 (1) 提高观察数据本身的准确度 (2) 尽可能增大观测数据中自变量的取 值范围 (3) 增加观测次数 (4) 减小残余误差，即拟定合适回归方程 使其尽可能合乎实际数据的变化规律 主菜单结束 第29页/共64页 9-31 主菜单结束 第30页/共64页 9-32 回归预测值回归预测值及其不确定度及其不确定度 x y 、利用估计的回归方程，对于自变量的一个给定值，求出因变量的一个估计值，就是回归的预测值 0 x 0 y 的标准不确定度来

14、表述 y yabx 2 1 ( ) xx xx u ys nl 2n 的扩展不确定度来表述 y p yabxU 1,2pn 2、预测值与实际值之间存在偏差，因此给出预测值时，还必须给出其不确定度。有以下两种表示方式 0 y y 主菜单结束 第31页/共64页 9-33 【例【例9-19-1 】试对下表所列实验数据做直线拟合，并作方差分析和预测。 i x i y i x i y i x i y i x i y 180200145165123110191205 104100141135151180190220 134135144160110130153145 1411251901901081101

15、55160 204235190210158130177185 150170161145107115177205 121125165195180240143160 151135154150127135 147155116100115120 主菜单结束 第32页/共64页 9-34 【解】 直线拟合计算 11 150.09,158.28 3434 ii xxyy 2 25453 xxi lxx 32325 xyii lxxyy 32.3aybx 2 50094,1.27 yyixyxx lyybll 32.3 1.270yx 故有 直线拟合 主菜单结束 第33页/共64页 9-35 方差分析 50

16、094 yy l 总 2 41037 xyxx ll 回 9057 总回残 282.516.8s 偏离 回归 残余 总和 平方 和 自由 度 标准 差 统计 量 2 145.0F s 回 置信 限 1,32F 0.0 1 高度显著 41037 9057 50094 32 33 16.8145.0 7.50 主菜单结束 第34页/共64页 9-36 预测 对于，查分布表得 232n 0.01(32) 2.74t 0.05(32) 2.04t 0.10(32) 1.69t 2 1 ( )2.88 xx xxs u ys nln ( ) ( ) p Utu y 故有 32.301.2707.89(0

17、.99,32)yxp 32.301.2705.88(0.95,32)yxp 32.301.2704.87(0.90,32)yxp 主菜单结束 第35页/共64页 9-37 100120 y 240 220 180 140 100 140160180200 x yx = 32.30 + 1.27 主菜单结束 第36页/共64页 9-38 主菜单结束 第37页/共64页 9-39 主菜单结束 第38页/共64页 9-40 0111222iiimmimi ybb xxbxxbxx 1 1 n jji i xx n 1、一个因变量与两个及两个以上自变量之间的回归 2、描述因变量如何依赖于自变量和误差项

18、的方程称为多元线性回归模型 12 , m x xx y 3、涉及个自变量的多元线性回归模型可表示为 m 是参数01 , m b bb 是被称为误差项的随机变量 是的线性函数加上误差项 说明了包含在里面但并不能被个自变量的 线性关系所解释的变异性 y 12 , m x xx y 主菜单结束 第39页/共64页 9-41 对于组实际观测数据，多元线性回归模型可表示为 12 (,) iimii xxxy n yXB 1 2 n y y y y 1112121 1212222 1122 1 1 1 mm mm nnmnm xxxxxx xxxxxx xxxxxx X 0 1 2 m b b b b B

19、 1 2 n 式中 主菜单结束 第40页/共64页 9-42 1、自变量是确定性变量，不是随机变量 2、随机误差项的期望值为，且方差都相同 3、误差项是一个服从正态分布的随机变量，即，且相互独立 12 , m x xx 2 2 (0,)N 主菜单结束 第41页/共64页 9-43 1、描述的平均值或期望值如何依赖于的方程称为多元线性回归方程 12 , m x xx y 2、多元线性回归方程的形式为 0111222 mmm ybb xxbxxbxx 称为偏回归系数 表示假定其他变量不变，当每变动一个单 位时，的平均变动值 12 , m b bb i b i x y 主菜单结束 第42页/共64页

20、 9-44 1、总体回归参数是未知的，利用样本数据去估计 2、用样本统计量代替回归方程的未知数，即得到估计的回归方程 012 , m b b bb 012 , m b b bb 012 , m b b bb 0111222 mmm ybb xxbxxbxx 是的估计值 是的估计值 012 , m b b bb 012 , m b b bb y y 主菜单结束 第43页/共64页 9-45 0 1 1 n i i by n 1 1 21 2 o o mo m b l l b l b L 1 11212 1 12 m mmmm lll lll L 1111 1 nnnn jkjijkikjikij

21、iki iiii lxxxxx xxx n 1111 1 nnnn jojijijiijii iiii lxxyx yxy n ,1,2,j kn 参数的最小二乘估计 主菜单结束 第44页/共64页 9-46 计算过程计算过程 1 n i i y 1 ,1,2, n ji i xjm 1 , ,1,2, n jiki i x xjk j km 1 ,1,2, n jii i x yjm jk l jo l 1 L ,0,1,2, j bjm 主菜单结束 第45页/共64页 9-47 主菜单结束 第46页/共64页 9-48 1、检验因变量和所有的自变量之间的是否存在一个显著的线性关系，也被称为

22、总体的显著性检验 2、具体方法是将回归平方和和残余平方和加以比较，应用F检验来分析二者之间的差别是否显著 如果是显著的，因变量与自变量之间存在线性关系 如果不显著，因变量与自变量之间不存在线性关系 主菜单结束 第47页/共64页 9-49 检验的检验的步骤步骤 2、计算检验统计量 m (1) F nm 回 残 ( ,1)F m nm 1、提出假设 线性关系不显著 至少有一个不等于 012 :0 m Hbbb 112 :, m Hb bb 3、在给定显著性水平 下，由分布表查得临界值 4、作出决策。若，拒绝，则认为该回归效果显著。反之，则不显著。 ,1FFm nm 0 H 主菜单结束 第48页/

23、共64页 9-50 偏离 回归 残余 总和 平方 和 jo bl 回 yy l 总 总回残 自由 度 1n 1nm 标准 差 1 s n m 残 统计 量 置信 限 ,1Fm nm 显著 否 m m (1) F nm 回 残 方差分析表方差分析表 2 ii yy 总回残 2 iyy yyl 总 2 i j jo yyb l 回 主菜单结束 第49页/共64页 9-51 主菜单结束 第50页/共64页 9-52 1、一个多元线性回归方程是显著的，并不意味着每个自变量 对因变量的影响都是重要的,可能其中有某些变量的作用很小。 12 , m x xx 2、用偏回归平方和来考察每个特定因素在总回归中所

24、起的作用 偏回归平方和偏回归平方和 i V 回回 回归平方和，反映了所有 个回归自变量对因变 量 的总影响 m y 回 舍弃某，其余个回归自变量可拟合出 元线性回归方程，其相应的回归平方和，它反 映了其余个回归自变量所起的总作用。 回 表示出单独对回归因变量的影响 y i x 1m 1m 1m i x 主菜单结束 第51页/共64页 9-53 偏回归平方和的实用计算公式偏回归平方和的实用计算公式 2 i i ii b V c 原元回归的正规方程系数矩阵L的逆矩阵 中的第列元素 m 1 Li 回归方程的回归系数 1、直接利用定义式计算偏回归平方和非常繁杂 2、可利用实用公式计算 主菜单结束 第5

25、2页/共64页 9-54 分析步骤分析步骤 (1) 计算每个自变量的偏回归平方和 (2) 凡是偏回归平方和大的变量，一定是对有重要影响 的因素。可用残余平方和对它进行检验。 y 残 F 计算统计量 1 (1) i i V F nm 残 当时，则认为变量对的影响在水平上显著 (1,1) i FFnm i xy (3) 偏回归平方和小的变量，不一定不显著。但偏回归平方 和最小的那个变量，肯定是所有变量中对作用最小的一个， 假如此时变量检验结果又不显著，那可以将该变量剔除。剔 除一个变量后，得重新建立元新回归方程，计算回归系 数和偏回归平方和。 1m 主菜单结束 第53页/共64页 9-55 在对的多元回归中，当取消一个变量后， 个变量新的回归系数（），与原来的回归系数之间 有如下关系 12 , m x xxy i x 1m j b ji j b 0 , ij jji ii c bbbij c by 新老回归系数间的关系 ，原元回归的正规方程系数矩 阵L的逆