线性回归的基本思想

线性回归的基本思想第一页，共三十页，编辑于2023年，星期三6.1回归的含义6.2总体回归函数6.3总体回归函数的统计或随机设定6.4随机误差项的性质6.5样本回归函数6.6“线性”回归的特殊含义6.7从双变量回归到多元线性回归6.8参数估计：普通最小二乘法6.9综合6.10一些例子6.11总结第二页，共三十页，编辑于2023年，星期三6.1

回归的含义回归分析是用来研究一个变量（称之为被解释变量explainedvariable或应变量dependentvariable）与另一个或多个变量（称之为解释变量explanatoryvariable或自变量independentvariable）之间关系的一种分析方法。例如研究商品的需求量与该商品的价格、消费者的收入以及其他同类商品的价格之间的关系。通常我们用Y表示应变量，用X表示自变量。第三页，共三十页，编辑于2023年，星期三

回归分析是用来处理一个应变量与另一个或多个自变量的关系，但它并不一定表明因果关系的存在。两个变量是否存在因果关系，哪一个是应变量，哪一个是自变量是由正确的经济理论决定的。

需要注意的是具有因果关系的变量之间一定具有数学上的相关关系，而具有相关关系的变量之间并不一定具有因果关系。

例如：中国的国内生产总值与印度的人口之间具有较强的相关性（相关系数较高），因为二者都以较快的速度增长，但显然二者之间不具有因果关系。第四页，共三十页，编辑于2023年，星期三回归分析的应用（1）通过已知变量的值来估计应变量的均值（2）根据经济理论建立适当的假设并对其进行检验（3）根据自变量的值对应变量的均值进行预测（4）上述多个目标的综合第五页，共三十页，编辑于2023年，星期三6.2

总体回归函数:假想一例下面我们通过一个具体例子说明回归分析的用途。表6-1每周博彩支出和每周个人可支配收入个人可支配收入每周博彩支出

消费者1501752002252502753003253503751283335363840424345462273131343637393539403252930313332343133344332728293030313030315232426272829302927286152022262527293330327181820232325263228308121517212222243032319131416182018253132331015101916183223253431均值20.922.124.426.127.329.230.331.933.033.6第六页，共三十页，编辑于2023年，星期三分析步骤：（1）以个人可支配收入X为横轴，每周博彩支出量Y为纵轴，对表中数据作散点图。（2）分析两变量间的关系（3）做出总体回归直线见Excel文件。第七页，共三十页，编辑于2023年，星期三总体回归函数PRFB1和B2是参数(parameters)，也称回归系数(regressioncoefficients)。B1又称为截距(intercept)，B2又称为斜率(slope)。斜率度量了X每变动一个单位，Y的均值的变化率。Y的条件期望，可简写为E(Y)注意：回归分析是条件回归分析(conditionalregressionanalysis)。(6-1)第八页，共三十页，编辑于2023年，星期三}u6.3

总体回归函数的统计或随机设定

随机总体回归方程(stochasticPRF)ui表示随机误差项(randomerrorterm)，简称误差项。0150300XY每周个人可支配收入（美元）每周博彩支出（美元）20.902530.324.0}u...(6-2)第九页，共三十页，编辑于2023年，星期三6.4

随机误差项的性质

（1）在解释变量中被忽略的因素的影响；（2）变量观测值的观测误差的影响；（3）模型关系的设定误差的影响；（4）其它随机因素的影响包括人类行为中的一些内在随机性；（5）奥卡姆的剃刀原则——“简单优于复杂”。第十页，共三十页，编辑于2023年，星期三6.5样本回归函数如何估计总体回归函数，即求参数B1、B2呢？前面我们已经介绍了：总体回归函数PRF随机总体回归方程(stochasticPRF)(6-1)(6-2)如果已知整个总体的数据，如上例，问题就比较简单，但在实际中，我们往往不能得到整个总体的数据，只有来自总体的某一个样本数据，我们该怎么做？第十一页，共三十页，编辑于2023年，星期三Y18242623302734353340X150175200225250275300325350375Y23182425282731293334表6-2、6-3来自表6-1总体的两个随机样本X150175200225250275300325350375做散点图及估计样本回归直线见Excel文件表6-2表6-3第十二页，共三十页，编辑于2023年，星期三样本回归直线可用样本回归函数SRF来表示：(6-3)(6-1)随机的样本函数：(6-4)(6-2)第十三页，共三十页，编辑于2023年，星期三样本回归函数随机样本回归函数总体回归函数随机总体回归方程观察值可表示为(6-3)(6-4)(6-1)(6-2)(6-6)(6-7)线性OLS总结第十四页，共三十页，编辑于2023年，星期三图6-4

总体回归线与样本回归线......e1u1Y1AenunXY0需求量价格第十五页，共三十页，编辑于2023年，星期三6.6“线性”回归的特殊含义解释变量线性与参数线性图6-5

线性和非线性需求曲线非线性举例：1.解释变量线性例如：2.参数线性非线性举例：例如：第十六页，共三十页，编辑于2023年，星期三图6-5线性和非线性需求曲线1111XXYY价格价格需求量a)线性需求曲线b)非线性需求曲线第十七页，共三十页，编辑于2023年，星期三6.7从双变量回归到多元线性回归多元线性回归：如果博彩支出是收入(X2)、财富(X3)和年龄(X4)的函数，则扩展的博彩支出函数如下：个体博彩支出函数（即随机总体回归函数）为：（6-11）（6-12）第十八页，共三十页，编辑于2023年，星期三6.8参数估计：普通最小二乘法普通最小二乘法(OLS)最小二乘原理总体回归方程：样本回归函数：因而[利用(6-3)]最小二乘原理就是选择合适参数使得全部观察值的残差平方和(RSS)最小，数学形式为：

(6-13)第十九页，共三十页，编辑于2023年，星期三普通最小二乘法就是寻找使RSS达到最小时的参数作为参数估计值的一种方法。利用极值原理可以得到：(6-16)(6-17)正规方程(6-14)(6-15)求解得到：第二十页，共三十页，编辑于2023年，星期三普通最小二乘估计量的一些性质：（1）（2）（3）（4）第二十一页，共三十页，编辑于2023年，星期三6.9综合解得：利用OLS方法估计样本回归方程，具体计算步骤如表6-4：见Excel文件。第二十二页，共三十页，编辑于2023年，星期三斜率：截矩：表6-4博彩一例的原始数据及OLS计算步骤（来自表6-2）YiXiXiYiXi平方xiyiyi平方xi平方xiyiYi估计值eiei平方eiXi18150270022500-112.5-1112112656.25123819.8364-1.836433.372-275.464824175420030625-87.5-5257656.25437.521.87282.127194.525372.258826200520040000-62.5-393906.25187.523.90912.090824.372418.163623225517550625-37.5-6361406.2522525.9455-2.945568.676-662.750330250750062500-12.511156.25-12.527.98192.018074.073504.51702727574257562512.5-24156.25-2530.0183-3.018319.110-830.034434300102009000037.55251406.25187.532.05461.945323.784583.5954353251137510562562.56363906.2537534.09100.908940.826295.4065333501155012250087.54167656.2535036.1274-3.127439.781-1094.60124037515000140625112.51112112656.25123838.16381.836193.372688.5724合计2902625803257406250039451562.54200290.00-0.00119

51.891-0.3371第二十三页，共三十页，编辑于2023年，星期三对博彩支出回归结果的解释对博彩支出的估计结果解释如下：斜率系数0.08145表示，在其他条件保持不变的情况下，PDI每增加一美元，每周平均博彩支出将增加约8每分。截距7.6182表示，当PDI为0时，博彩的平均支出为7.62美元。截距一般没有什么特殊的经济含义。第二十四页，共三十页，编辑于2023年，星期三6.10一些例子例6-1：受教育年限与平均小时工资根据由528个观察值组成的样本，表6-5给出了平均小时工资Y和受教育年限X的数据。根据劳动经济学中的人力资本理论，预期平均工资随受教育年限的增加而增加，二者正相关。数据的回归结果如下：

回归结果表明，在其他条件不变的情况下，受教育年限每增加一年，平均小时工资增加72美分。前面已经提到过，在大多数情况下，截距没有什么明显的经济含义，本例亦如此。第二十五页，共三十页，编辑于2023年，星期三例6-2：奥肯定律：布鲁金斯学会主席，前总统经济顾问委员会主席奥肯（ArthurOkun）根据美国1947-1960年的数据，得到如下回归方程，称之为奥肯定律：其中，Yt表示失业率的变动（百分数），Xt表示实际产出的增长率（百分率），用实际GNP度量，2.5是对美国历史的观察得到的长期产出增长率。在上面方程中，截距为零，斜率为-0.4。奥肯定律是说实际GNP的增长每超过2.5%一个百分点，失业率将降低0.4个百分点。奥肯定律被用来预测失业率减少到一定的百分点而所需的实际GNP的增长率。当实际GNP增长率为5%时，将使失业率减少一个百分点，或者说若使增长率达到7.5%，则减少失业率2个百分点。第二十六页，共三十页，编辑于2023年，星期三例6-3：股票价格与利率股票价格和利率是重要的经济指标。利用S&P500综合指数(1941～1943年＝10)度量股票价格，三月期国债利率(％)度量利率。表6-13给出了1980～1999年这些变量的数据。根据散点图（见Excel文