多元线性回归中的参数估计

1、§5.4 多元线性回归中的参数估计多元回归模型设自变量是可控变量，因变量是随机变量，它们之间具有统计相关关系，若， （5.4-1）则称（5.4-1）式为元回归模型。， （5.4-2）则称（5.4-2）式为元线性回归模型。 （5.4-3）则称（5.4-3）式为取，称为元线性回归（平面）方程。未知参数 称为回归系数。对变量;作次（）观测，得到观测值，即有观测变量观测次数 12n 于是模型（5.4-3）又化为则称（5.4-4）式为观测值模型为表达方便，在寻求（5.4-4）式的矩阵表示，记则模型（5.4-4）又化为 其中协方差矩阵为显然工作：估计未知参数,；对模型的假设检验和对参数的假设检验

2、；在处对作预测。多元线性回归中的参数估计（1）的最小二乘估计给定，相应的满足模型（5.4-4），从而以近似的观测值时产生的均方误差为如有使，则称为的最小二乘估计。为求，令即（5.4-8）式称为正规方程组。其矩阵形式为即亦即 （5.4-9）称为正规方程。当可逆时，有 其中称为经验回归常数；称为经验回归系数；元线性方程 （5.4-11）式称为经验回归平面方程。由正规方程组（5.4-8）式中的第一个方程可得即与有关，上式代入（5.4-11）式，得故维的点总位于经验回归平面上。（2）的矩估计将（5.4-10）式中的代入的表达式时，得到，称之为残差平方和或剩余平方和。故 由矩法知，的矩估计为 （3）多重

3、相关系数令其中称多重相关系数。越接近1时，越接近0，说明线性回归的效果越好；特别，当时，说明观测点 全部落在上。例5.4-1 根据经验，在人的身高相等的条件下，其血压与体重，年龄有关，现有如下13组观测数据：观测次数体重年龄血压1152501202183201413171201244165301265158301176161501257149601238158501259170401321015355123111644013212190401551318520147试求关于，的线性回归方程。解：设回归模型为，记求解经验回归系数MATLAB 程序：x1=152 183 171 165 158 1

4、61 149 158 170 153 164 190 185;x2=50 20 20 30 30 50 60 50 40 55 40 40 20;x=ones(1,13);x1;x2'y=120 141 124 126 117 125 123 125 132 123 132 155 147'b=inv(x'*x)*x'*yb = -62.9634 1.0683 0.4002即有所求经验回归平面为经验回归平面图形MATLAB 程序：plot3 (x1,x2,y','ro') gridhold onX1,X2=meshgrid(x1, x2)

5、;y1=-62.9634+ 1.0683 *X1+0.4002*X2;mesh(X1,X2,y1)图5.4-1 散点图与经验回归平面图中视线被遮住的部分没有显示，若再键入命令hidden off，则被遮住的部分会同时显示。hidden off 图5.4-2 散点图与经验回归平面求的矩估计、多重相关系数MATLAB命令：>>n=length(y);>>q=(y-x*b)'*(y-x*b);>>sigma2=q/nsigma2 = 6.2639>>r=sqrt(1-q/(n*var(y,1)r = 0.9727即, .多项式回归一元非线性回归

6、化为多元线性回归多项式回归模型为：令，则模型化为元线性回归模型（5.4-3）注：多项式回归一般在的情况下使用，当时称为抛物线回归。例5.4.2 已知废品率与化学成分有统计相关关系，现有试验数据如下：化学成分3436373839393940废品率1.301.000.730.900.810.700.600.50化学成分4041424343454748废品率0.440.560.300.420.350.400.410.60试求对的回归方程。解：画散点图，确定选配的曲线类型MATLAB 程序：x=34 36 37 38 39 39 39 40 40 41 42 43 43 45 47 48 ;y=1.3

7、0 1.00 0.73 0.90 0.81 0.70 0.60 0.50 0.44 0.56 0.30 0.42 0.35 0.40 0.41 0.60;plot(x,y,'ro') 图5.4-3 观测值的散点图设有二次多项式回归模型 ，.令，则回归模型化为 ，记，求解经验回归系数：MATLAB 程序：x1=34 36 37 38 39 39 39 40 40 41 42 43 43 45 47 48 ;x2=x1.2;n=length(x1);x=ones(1,n);x1;x2'y=1.30 1.00 0.73 0.90 0.81 0.70 0.60 0.50 0.4

8、4 0.56 0.30 0.42 0.35 0.40 0.41 0.60'b=inv(x'*x)*x'*yb = 18.2642 -0.8097 0.0092即经验回归平面为从而经验回归曲线为经验回归曲线与散点图的比较MATLAB 程序：>> y1=y'>> plot(x1,y1,'ro')>>hold on >>f='18.2642-0.8097*x1+0.0092*x1.2'>>fplot(f,34,48)图5.4-4 散点图与经验回归曲线求的矩估计、多重相关系数MATLAB命令：>> q=(y-x*b)'*(y-x*b);>> q/nans = 0.0082>> sqrt(1-q/(n*var(y,1)ans =0.9387即, .多元回归中统计量的分布（1）随机向量的数字特征 定义的数学期望向量和协方差矩阵如下：，协方差矩阵的特点： 主对角元素； ，故协方差矩阵是对称矩阵； 当相互两两独立时，； 当独立同分布时，.期望向量和协方差矩阵的运算性质：对随机向量和常数矩阵，有；.（2）未知参数估计量的分布定理：. 即（5.4-10）式中的最小二乘估计量是未知参数的无偏估计。进一步有.定