多元线性回归模型的参数估计

多元线性回归模型的参数估计1/29/2023第一页，共三十页，2022年，8月28日相关分析：提供了现象之间相关关系的方向和相关的密切程度方面的信息，但不提供现象之间如何关联方面的信息回归分析：提供现象之间如何关联的信息

原则上：回归分析是在相关分析的基础上进行的

一、回归分析与相关分析1/29/2023第二页，共三十页，2022年，8月28日19世纪末，英国著名统计学家FrancisGalton研究孩子及他们父母的身高时发现，身材高的父母，他们的孩子也高，但这些孩子平均起来并不像他们的父母那样高；对于比较矮的父母，他们的孩子比较矮，但这些孩子的平均身高要比他们的父母的平均身高高。Galton把这种孩子的身高向中间值靠近的趋势称之为一种回归效应。回归这个术语便开始传播开来。现在的回归分析已经没有原来的含义，但这种说法一直沿袭下来，重在表明这是研究数值变量之间关系的方法。回归的来历：1/29/2023第三页，共三十页，2022年，8月28日“因变量”或“被解释变量”（dependentvariable）“解释变量”或“自变量”（independentvariables）随机变量回归的方法：建立回归模型用一个恰当的代数式来表达变量

与随机变量

的依存关系：

1/29/2023第四页，共三十页，2022年，8月28日一个自变量两个及两个以上自变量回归模型多元回归一元回归线性回归非线性回归线性回归非线性回归回归模型的类型：1/29/2023第五页，共三十页，2022年，8月28日二、多元线性回归模型解释变量xi

是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。随机误差项具有0均值和同方差1.模型的假设特殊的：随机误差项服从0均值、同方差的正态分布1/29/2023第六页，共三十页，2022年，8月28日2.多元模型的解析表达式行坐标——表示第几次观察列坐标——表示第几个自变量解释变量xi

是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。1/29/2023第七页，共三十页，2022年，8月28日线性回归模型”中的“线性”一词在这里有两重含义：一是被解释变量y与解释变量x之间为线性关系，即解释变量x仅以一次方的形式出现在模型之中。用数学语言表示为：二是被解释变量y与参数之间为线性关系，即参数仅以一次方的形式出现在模型之中。用数学语言表示为：1/29/2023第八页，共三十页，2022年，8月28日3.多元模型的矩阵表达式1/29/2023第九页，共三十页，2022年，8月28日三.多元线性回归模型的参数估计(OLS)参数值估计参数估计量的性质偏回归系数的含义正规方程样本容量问题1/29/2023第十页，共三十页，2022年，8月28日1.参数值估计(最小二乘估计----OLS)1.剩余平方和：2.最小二乘估计原理：剩余平方和达到最小值1/29/2023第十一页，共三十页，2022年，8月28日3.得到下列方程组求参数估计值的实质是求一个k+1元方程组1/29/2023第十二页，共三十页，2022年，8月28日4.剩余平方和表示成矩阵形式1/29/2023第十三页，共三十页，2022年，8月28日7.最小二乘估计量的性质（1）线性（估计量都是被解释变量观测值的线性组合）1/29/2023第十四页，共三十页，2022年，8月28日（2）无偏性（估计量的数学期望=被估计的真值）1/29/2023第十五页，共三十页，2022年，8月28日（3）有效性（估计量的方差是所有线性无偏估计中最小的）1/29/2023第十六页，共三十页，2022年，8月28日这一性质表明系数向量的各个分量间一般也是相关的．1/29/2023第十七页，共三十页，2022年，8月28日这一性质表明残差向量的各个分量间一般也是相关的．1/29/2023第十八页，共三十页，2022年，8月28日注解：k与k+1凡是按解释变量的个数为k的，那么共有k+1个参数要估计。而按参数个数为k的，则实际有k-1个解释变量。总之两者相差1而已！要小心所用的k是什么意思！所以如果本来是用解释变量个数的k表示的要转换成参数个数的k则用k-1代换原来的k就可以了！1/29/2023第十九页，共三十页，2022年，8月28日6.偏回归系数的意义偏回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动多元回归模型中的回归系数称为偏回归系数1/29/2023第二十页，共三十页，2022年，8月28日7.正规方程由最小二乘法得到的用以估计回归系数的线性方程组，称为正规方程1/29/2023第二十一页，共三十页，2022年，8月28日正规方程的结构Y——被解释变量观测值nx1X——解释变量观测值（含虚拟变量nx(k+1)）X`X——设计矩阵（实对称(k+1)x(k+1)矩阵）X`Y——正规方程右端（k+1)x11/29/2023第二十二页，共三十页，2022年，8月28日8.最小二乘估计（OLS）下回归线的性质1/29/2023第二十三页，共三十页，2022年，8月28日1/29/2023第二十四页，共三十页，2022年，8月28日9.多元回归模型参数估计中的样本容量问题样本是一个重要的实际问题，模型依赖于实际样本。获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。最小样本容量：满足基本要求的样本容量1/29/2023第二十五页，共三十页，2022年，8月28日最小样本容量n≥k+11/29/2023第二十六页，共三十页，2022年，8月28日满足基本要求的样本容量一般经验认为：n≥30或者n≥3(k+1)才能满足模型估计的基本要求。n≥3(k+1)时，t分布