多元线性回归模型及假定

MACROBUTTONMTEditEquationSection2SEQMTEqn\r\hSEQMTSec\r1\hSEQMTChap\r1\h第三章多元线性回归模型基本规定：1、理解多元线性回归模型的定义2、理解多元线性回归模型的假定3、掌握参数估计的计算4、理解参数记录性质第一节多元线性回归模型及假定一、多元线性回归模型许多经济现象往往要受多种原因的影响，研究被解释变量受多种解释变量的影响，就要运用多元回归模型。多元线性回归模型与一元线性回归模型基本类似，只不过解释变量由一种增长到两个以上，被解释变量与多种解释变量之间存在线性关系。假定被解释变量与多种解释变量之间具有线性关系，是解释变量的多元线性函数，称为多元线性回归模型。即(3-1)其中为被解释变量，为个解释变量，为个未知参数，为随机误差项。被解释变量的期望值与解释变量的线性方程为：(3-2)称为多元总体线性回归方程，简称总体回归方程。对于组观测值，其方程组形式为：(3-3)即其矩阵形式为=+即(3-4)其中为被解释变量的观测值向量；为解释变量的观测值矩阵；为总体回归参数向量；为随机误差项向量。总体回归方程表达为：(3-5)与一元线性回归分析同样，多元线性回归分析仍是根据观测样本估计模型中的各个参数，对估计参数及回归方程进行记录检查，从而运用回归模型进行经济预测和分析。多元线性回归模型包括多种解释变量，多种解释变量同步对被解释变量发生作用，若要考察其中一种解释变量对的影响就必须假设其他解释变量保持不变来进行分析。因此多元线性回归模型中的回归系数为偏回归系数，即反应了当模型中的其他变量不变时，其中一种解释变量对因变量的均值的影响。由于参数都是未知的,可以运用样本观测值对它们进行估计。若计算得到的参数估计值为，用参数估计值替代总体回归函数的未知参数，则得多元线性样本回归方程：(3-6)其中为参数估计值，为的样本回归值或样本拟合值、样本估计值。其矩阵体现形式为:(3-7)其中为被解释变量样本观测值向量的阶拟合值列向量；为解释变量的阶样本观测矩阵；为未知参数向量的阶估计值列向量。样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差。(3-8)二、多元线性回归模型的假定与一元线性回归模型相似，多元线性回归模型运用一般最小二乘法(OLS)对参数进行估计时，有如下假定：假定1零均值假定：，即(3-9)假定2同方差假定(的方差为同一常数)：假定3无自有关性：(3-10)假定4随机误差项与解释变量不有关(这个假定自动成立)：假定5随机误差项服从均值为零，方差为的正态分布：假定6解释变量之间不存在多重共线性：即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵的秩为参数个数k+1，从而保证参数的估计值唯一。第二节多元线性回归模型的参数估计及记录性质一、多元线性回归模型的参数估计(一)回归参数的最小二乘估计对于具有个解释变量的多元线性回归模型设分别作为参数的估计量，得样本回归方程为：观测值与回归值的残差为：由最小二乘法可知应使所有观测值与回归值的残差的平方和最小，虽然(3-11)获得最小值。根据多元函数的极值原理，分别对求一阶偏导，并令其等于零，即(3-12)即化简得下列方程组(3-13)上述个方程称为正规方程，其矩阵形式为(3-14)由于设为估计值向量样本回归模型两边同乘样本观测值矩阵的转置矩阵，则有得正规方程组：(3-15)由假定(6)，，为阶方阵，因此满秩，的逆矩阵存在。因而(3-16)则为向量的OLS估计量。以二元线性回归模型为例，导出二元线性回归模型的OLS估计量的体现式。由(3-3)式得二元线性回归模型为为了计算的以便，先将模型中心化。设，则二元回归模型改写为中心化模型。(3-17)记(3-18)将代入得(3-19)由于(3-20)则由(3-16)式得(3-21)其中由(3-21)式可知得(3-22)(3-23)(3-24)(二)随机误差项的方差的估计量样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差则设，可以得出是阶对称幂等矩阵，，。于是而残差的平方和为其中“”表达矩阵的迹，即矩阵主对角线元素的和。于是随机误差项的方差的无偏估计量，记作，即，，为残差的原则差(或回归原则差)。因此(3-25)其中(3-26)例如,对于二元线性回归模型()(3-27)(3-28)二、估计参数的记录性质1、线性性指最小二乘估计量是被解释变量的观测值的线性函数。由于设，则矩阵为一非随机的阶常数矩阵。因此(3-29)显然最小二乘估计量是被解释变量的观测值的线性函数。2、无偏性将代入(3-16)式得(3-30)则因此是的无偏估计量。3.最小方差性设为阶数值矩阵，为阶随机矩阵(随机变量为元素的矩阵)，为阶数值矩阵，则下面我们推导的方差、协方差矩阵。定义：由(3-30)式得因此(3-31)这个矩阵主对角线上的元素表达的方差，非主对角线上的元素表达的协方差。例如是位于的第行与第列交叉处的元素(主对角线上的元素)；是位于的第行与第列交叉处的元素(非主对角线上的元素)在应用上，我们关怀的的方差，而忽视协方差，因此把(3-31)式记作(3-32)记，则，因此是的最小方差线性无偏估计。这阐明，在(3-1)式系数的无偏估计量中，OLS估计量的方差比用其他估计措施所得的无偏估计量的方差都要小，这正是OLS的优越性所在。用替代则得的原则估计量的估计值，乃称为原则差。(3-33)其中对于二元回归模型()，求估计量的方差，由(3-32)式得其中于是因此(3-34)(3-35)(3-36)(3-37)其中第三节明显性检查一、拟合优度检查(一)总离差平方和分解设具有个解释变量的回归模型为其回归方程为离差分解：总离差平方和分解式为：(3-38)即(3-39)总离差平方和分解为回归平方和与残差平方和两部分。(二)样本决定系数对于多元回归方程，其样本决定系数为复决定系数或多重决定系数。，简记为。(3-40)根据式(3-39)(3-41)由于由(3-26)式知因此(3-42)作为检查回归方程与样本值拟合优度的指标：越大，表达回归方程与样本拟合的越好；反之，回归方程与样本值拟合较差。详细的，当时,求样本决定系数由(3-28)式，得，因此有(3-43)(三)调整后的样本决定系数在使用时，轻易发现的大小与模型中的解释变量的数目有关。假如模型中增长一种新解释变量，总离差不会变化，但总离差中由解释变量解释的部分，即回归平方和将会增长，这就是说与模型中解释变量个数有关。但通过增长模型中解释变量的数目而使增大是错误的，显然这样来检查被回归方程与样本值拟合优度是不合适的，需要对进行调整，使它不仅能阐明已被解释离差与总离差的关系，并且又能阐明自由度的数目。以表达调整样本决定系数，(3-44)其中这里是残差平方和的自由度，是总离差平方和的自由度。由(3-44)式得其中,是样本观测值的个数,是解释变量的个数。从式中可以看出，当增长一种解释变量时，由前面分析可知会增长，引起减少，而增长，因而不会增长。这样用鉴定回归方程拟合优度，就消除了对解释变量个数的依赖。或只能阐明在给定的样本条件下回归方程与样本观测值拟合优度，并不能做出对总体模型的推测，因此不能单凭或来选择模型，必须对回归方程和模型中各参数的估计量做明显性检查。二、方程明显性检查由离差平方和分解(3-39)式可知，总离差平方和的自由度为，回归平方和是由个解释变量对的线性影响决定的。因此它的自由度为。因此，残差平方和的自由度由总离差平方和的自由度减去回归平方和的自由度，即为。检查回归方程与否明显，第一步，作出假设备择假设H1：b1、b2、…、bk不一样步为0第二步，在成立的条件下，计算记录量第三步，查表临界值对于假设，根据样本观测值计算记录量给定明显水平，查第一种自由度为，第二个自由度为的分布表得临界值。当时，拒绝，则认为回归方程明显成立；当时，接受，则认为回归方程无明显意义。三、参数明显性检查回归方程明显成立，并不意味着每个解释变量对被解释变量的影响都是重要的。假如某个解释变量对被解释变量的影响不重要，即可从回归模型中把它剔除掉，重新建立回归方程，以利于对经济问题的分析和对进行更精确的预测。为此需要对每个变量进行考察，假如某个解释变量对被解释变量的作用不明显，那么它在多元线性回归模型中，其前面的系数可取值为零。因此必须对与否为零进行明显性检查。由(3.44)式(3-45)其中对回归系数进行明显性检查，环节如下：(1)提出原假设；备择假设。(2)构造记录量，当成立时,记录量。这里是的原则差，为解释变量个数，计算由式(3-45)给出。(3)给定明显性水平，查自由度为的分布表，得临界值。(4)若，则拒绝，接受，即认为明显不为零。若，则接受，即认为明显为零。四、运用多元线性回归方程进行预测对于多元线性回归模型其中，，根据样本观测值运用最小二乘法求得回归方程预测就是给解释变量某一特定值对被解释变量的值进行估计，作为的预测值。设，称其为预测误差。为一随机变量，可以证明服从正态分布，即将式中用它的估计值替代，则得的原则差其中记录量对于给定置信水平，预测值置信区间为即为五、多元线性回归分析实例第四节最大似然估计一、似然函数(一)基本假定对于所研究的模型，给定如下基本假设：(1)(2)(3)(4)随机抽样总是生产单一的最也许成果：任意样本都是其所属总体的代表。这个强假定是针对小样本而言的。（二）似然函数确定随机变量的任一观测样本的联合概率的函数，就称为的似然函数。一般体现式为：(3-47)二、极大似然估计法的基本思想极大似然估计法(maximumlikelihoodestimation,MLE)需要对随机扰动项的分布做出假定，一般选择正态分布假定。在极大似然估计中，假定样本是固定的，个观测值都是独立观测的，这个样本可由多种不一样的总体生成，而每个样本总体均有自己的参数。那么在可供选择的总体中，哪个总体最也许生成所观测到的个样本值？为此需要估计每个也许总体获