第十次课一元线性回归中的参数估计课件

1、 在现实问题中，处于同一个过程中的一些变量，往往是相互依赖和相互制约的，它们之间的相互关系大致可分为两种： 相关关系问题 （1）确定性关系函数关系； （2）非确定性关系相关关系； 相关关系表现为这些变量之间有一定的依赖关，但这种关系并不完全确定，它们之间的关系不能精确地用函数表示出来，这些变量其实是随机变量，或至少有一个是随机变量。 相关关系举例 例如：在气候、土壤、水利、种子和耕作技术等条件基本相同时，某农作物的亩产量 Y 与施肥量 X 之间有一定的关系，但施肥量相同，亩产量却不一定相同。亩产量是一个随机变量。 又如：人的血压 Y 与年龄 X 之间有一定的依赖关系，一般来说，年龄越大，血压越

2、高，但年龄相同的两个人的血压不一定相等。血压是一个随机变量。 农作物的亩产量与施肥量、血压与年龄之间的这种关系称为相关关系，在这些变量中，施肥量、年龄是可控变量，亩产量、血压是不可控变量。一般在讨论相关关系问题中，可控变量称为自变量，不可控变量称为因变量。对于x的一组不完全相同的值x1, x2,xn作独立观察, 得到随机变量y相应的观察值y1,y2, ,yn, 构成n对数据. 用这n对数据可作出一个散点图, 直观地描述一下两变量之间的关系.yxo这里有三幅散点图.yxo(1)oyx(2)yxo(3)根据散点图, 考虑以下几个问题:(1)两变量之间的关系是否密切, 或者说我 们能否由x来估计y.

3、(2)两变量之间的关系是呈一条直线还是呈某种曲线.(3)是否存在某个点偏离过大.(4)是否存在其它规律.yxo(1)oyx(2)yxo(3)考虑采用线性方程拟合采用非线性方程拟合以下重点讨论前者函数关系与相关关系的区别 相关关系影响的值，函数关系决定的值， 因此，统计学上讨论两变量的相关关系时，是设法确定：在给定自变量 的条件下，因变量 的条件数学期望不能确定。回归分析的概念 研究一个随机变量与一个（或几个）可控变量之间的相关关系的统计方法称为回归分析。 只有一个自变量的回归分析称为一元回归分析；多于一个自变量的回归分析称为多元回归分析。引进回归函数称为回归方程 回归方程反映了因变量 随自变量

4、 的变化而变化的平均变化情况. 回归分析主要包括三方面的内容 （1）提供建立有相关关系的变量之间的数学关系式（称为经验公式）的一般方法； （2）判别所建立的经验公式是否有效，并从影响随机变量的诸变量中判别哪些变量的影响是显著的，哪些是不显著的；回归分析的内容 （3）利用所得到的经验公式进行预测和控制。一元线性回归模型 如果试验的散点图中各点呈直线状，则假设这批数据的数学模型为 设随机变量Y依赖于自变量x，作n次独立试验，得n对观测值：称这n对观测值为容量为n的一个子样，若把这n对观测值在平面直角坐标系中描点，得到试验的散点图.其中 ，且相互独立，则 图 9-1其中 同服从于正态分布 相互独立，

5、因此 其中 是与 无关的未知常数。（9.1）一元线性回归模型 一般地，称如下数学模型为一元线性模型 而 称为回归函数或回归方程。称为回归系数。1.最小二乘估计 设是的一组观测值,对每个样本观测值 考虑 与其回归值 的离差综合考虑每个离差值,定义离差平方和所谓最小二乘法,就是寻找参数的估计值使得离差平方和达到极小值,即选择使得满足上式的称为回归参数二乘估计。的最小由于的极小值总是存在的 因此应满足即整理得正规方程组 若记 Y 对x 的经验回归直线方程 经验回归系数 代入回归直线方程，得：表明：对于一组样本观察值，经验回归直线始终通过散点图的几何中心 在经验回归直线上例1 在钢线碳含量x对于电阻效

6、应y的研究中, 得到了以下数据:碳含量（%） 0.10 0.30 0.40 0.55 0.70 0.80 0.95电阻（微欧） 15 18 19 21 22.6 23.8 26假设对于给定的 x,y 为正态变量, 且方差与 x 无关.如果x,y满足经验公式 求线性回归方程 解 设现在 所求的线性回归方程为 定理5.1.1（1） 证明：定理5.1.1（3） 定理5.1.1（2） 证明：2.的估计 定理5.1.2 从而的无偏估计为残差/剩余平方和 因随机因素引起的误差Qe 的计算例2 求例1中的无偏估计.解 由例1得 我们注意到 只反映了x对y的影响，所以回归值 就是yi中只受xi影响的那一部分,

7、 而 则是除去 xi的影响后, 受其它种种因素影响的部分, 故将 称为残差. 3 相关系数分析 称为变差，可分解为两部分.因此, y1, y2, , yn 的总变差为 : 回归平方和残差平方和（或剩余平方和）总离差平方和可以证明即 可以分解为两部分: 回归平方和 与残差平方和 . (10)得出 所以 反映了由于自变量x的变化引起的因变量 y 的差异，体现了x对y的影响；而 反映了种种其它因素对y的影响, 这些因素没有反映在自变量中, 它们可作为随机因素看待. 越大，变量 与 之间的线性相关程度越强。 （1） （2） 时， （3） 时， 与 有线性相关关系； 与 无线性相关关系； 4 线性回归方

8、程的显著性检验（1）t 检验检验假设 由于,因此当原假设成立时,有 与且相互独立从而对于给定的显著性水平 ,该假设检验问题的拒绝域为 例3 检验例1中的线性回归是否显著. 解 检验假设 拒绝域为 由例2得 0.5321xxS=拒绝 即认为线性回归显著（2）F 检验 定理5.1.3 当时检验假设 选取统计量 对给定的显著性水平 的拒绝域为 5回归系数的区间估计 6预测 （1）单值预测 设回归方程为 （2）区间预测 标准化后 又且相互独立由t分布的定义则回归方程为 例4 求例1中当碳含量为0.50时,电阻的置信水平为0.95的置信区间 解 由例1和例2可得 编号123456789脂肪含量%15.4

9、17.518.920.021.022.815.817.819.1蛋白质含量%44.039.241.838.937.438.144.640.739.8试求出 与 的关系，并判断是否有效。 例1 为了研究大豆脂肪含量 和蛋白质含量 的关系，测定了九种大豆品种籽粒内的脂肪含量和蛋白质含量，得到如下数据（2）建立模型 由散点图，设变量 与 为线性相关关系： 确定回归系数 和 ： 编号123456789x15.417.518.920.021.022.815.817.819.1168.3y44.039.241.838.937.438.144.640.739.8364.5x2237.16306.25357.

10、21400441519.84249.64316.84364.813192.75y219361536.641747.241513.211398.761451.611989.161656.491584.0414813.2xy677.6686790.02778785.4868.68704.68724.46760.186775.02解 （1）描散点图 所以，所求的回归方程为 利用回归方程进行预测1、点预测 时， 即为 的点预测值。 2、区间预测 统计量 对给定的置信水平 ， 的预测区间为 （3）检验回归方程的有效性 查相关系数临界值表 因为 所以回归方程在 的检验水平下有统计意义。即可以认为大豆的蛋白

11、质含量与脂肪含量有线性相关性。 前一节，我们学习了一元线性回归分析问题，在实际应用中，有些变量之间并不是线性相关关系，但可以经过适当的变换，把非线性回归问题转化为线性回归问题。 可线性化的一元非线性回归 常见的几种变换形式： 1、双曲线 令 2、幂函数曲线 令 化非线性回归为线性回归 变形 3、指数函数曲线 令 变形 4、负指数函数曲线 令 化非线性回归为线性回归 变形 5、对数函数曲线 令 6、S型（Logistic）曲线 令 化非线性回归为线性回归 变形 例1 测定某肉鸡的生长过程，每两周记录一次鸡的重量，数据如下表x/周2468101214y/kg0.30.861.732.22.472.672.8由经验知鸡的生长曲线为Logistic曲线，且极限生长量为k=2.827，试求y对x的回归曲线方程。解 由题设可建立鸡重y与时间x的相关关系为 令 则有 列表计算 序号xyyX2y2xy120.32.13144.5414.262240.860.827160.6843