3.2 多元线性回归模型的参数估计ppt课件

1、第二节第二节 多元线性回归模型的参数估计多元线性回归模型的参数估计 参数的最小二乘估计 参数估计量的性质22 =() iiiQeYY1.最小二乘准则：残差平方和最小最小二乘准则：残差平方和最小2.最小二乘估计量的推导过程最小二乘估计量的推导过程01k根据多元函数求极值的必要条件， ， ，应满足下列线性方程组一、参数的最小二乘估计一、参数的最小二乘估计201122= () iiikkiYXXX0112200112211011222() ( 1)02() ()02() ()0iiikkiiiikkiiiiikkikikQYXXXQYXXXXQYXXXX 将上式化简整理后得0112220111221

2、11201122iikkiiiiiikkiiiikiikiikikkikiinXXXYXXX XX XX YXX XX XXX Y0,., ,1,jjk上述方程组称为，解正规方程组即可得参数正规方程组最量的小二乘估计正规方程组的矩阵形式正规方程组的矩阵形式12211211212 iikiiiiikiikiikiikikinXXXXXX XX XXX XX XX0112 iiikiikYX YX Y即即XX = XYXX满由于矩阵秩，所以-1 = (X X) X Y将上述过程用矩阵表示如下： 即求解方程组：得到： 于是：2 iQee e(Y-X) (Y-X) 寻找一组参数估计量 ，使得残差平方和

3、最小。0(Y-X) (Y-X)0 (Y Y XYY X XX)20 (Y YY X X X)0XYXXXYXX1 ()X XX Y离差形式的最小二乘估计量离差形式的最小二乘估计量样本回归函数的离差形式样本回归函数的离差形式1 122iiikkiyxxx其矩阵形式为其矩阵形式为 y = x其中其中 ：12 , nyyyy =112111222212 , kknnknxxxxxxxxxx12 k在离差形式下，参数的最小二乘估计结果为在离差形式下，参数的最小二乘估计结果为 这里：这里： y被解释变量样本观测值拟合值的离差形式的列向量；被解释变量样本观测值拟合值的离差形式的列向量；未知参数估计值的列向

4、量。未知参数估计值的列向量。1()xxxy01122kkYXXX=解释变量样本观测值的离差形式的矩阵；解释变量样本观测值的离差形式的矩阵；x例例3.1 教材教材54页页解：参数的最小二乘估计量为解：参数的最小二乘估计量为1()XXXY其中其中012, 1 9 56 1 8 53, 1 5 120X 58 48 88Y代入数据得代入数据得113.83438.3553 0.1801 可以证明，随机误差项可以证明，随机误差项u u的方差的方差 的无偏估计量为的无偏估计量为 1122knkneiee3.3.随机误差项随机误差项u u的方差的方差 的无偏估计的无偏估计 22其中其中k为解释变量的个数。为

5、解释变量的个数。2eeSS2注：有时也用表示的无偏估计量，而 或通回归标准差残差常称为或标准差。2222(1)ienk另外，关于的一个分布为： 二、参数估计量的性质二、参数估计量的性质 在满足基本假定的情况下，未知参数的普通最小二乘估计量仍具有：线性性、无偏性、有效性。120,1, jnj=kY YY 线性性是指最小二乘估计量 ()是被解释变量观测值, , 的线性函数。 1、线性性 证明证明最小二乘估计量为-1 = (X X) X Y令 -1A = (X X) X则 = AY 12 , , 1) 6kXXXknAY 由，是确定性变量，所以 是一个非随机的(阶常数矩阵，这就说明 是 的基本假定（

6、 ）线性函数。 2、无偏性、无偏性 无偏性是指估计量的数学期望等于参数真实值。无偏性是指估计量的数学期望等于参数真实值。证明证明() -1-1-1 = (X X) X Y = (X X) X XU= (X X) X U对上式两端取数学期望得对上式两端取数学期望得( )( )EEE-1-1(XX) XU(XX) XU所以， 是 的无偏估计量。 3、有效性最小方差性）、有效性最小方差性） 最小方差性是指在所有的线性无偏估计量中，最小方差性是指在所有的线性无偏估计量中，OLS估计量具有最小的方差。估计量具有最小的方差。这里我们只给出参数估计量 的方差协方差矩阵。00110011( )( )( )()()(,) kkkkVarEEEEE 0010101101 () (,) (,)(,) () (,) = (,) (,)kkkkVarCovCovCovVarCovCovCov () kVar( )()()VarE ()()E-1-1(X