概率论与数理统计》ppt课件

1、第十一章 回归分析,11.1回归概念 11.2一元线性回归方程 11.3可线性化的回归方程,1.理解变量间的相关关系以及回归分析的主要任务,2.会用最小二乘法建立回归直线方程,一元线性回归方程的建立,回归直线方程的有效性检验,教学要求,重点,回归分析的任务是：根据试验数据取估计回归函数，讨论有关的点估计、区间估计、假设检验等问题,特别重要的是对随机变量Y的观察值做出点预测和区间预测,确定性关系是指变量之间的关系可以用函数关系来表达的,11.1 回归概念,自然界和生产实践中的许多现象之间存在着 相互依赖、相互制约的关系,一、现象,二、关系,非确定性关系即所谓相关关系,回归分析是研究相关关系的一种

2、数学工具。它能帮助我们从一个变量取得的值去估计另一个变量所取得值,另一类是统计关系或称相关关系。即变量之间虽然存在着密切的关系，但从一个（或一组）变量的每一确定的值，不能求出另一变量的确定的值。可是在大量试验中，这种不确定的关系，具有统计规律性，这种联系使称为统计相关,二、关系,一类是函数关系，即变量之间有着确定的关系。例如已知圆的半径R，则圆面积可以用公式S= R2 来计算。这里S与R之间有着确定的关系,这些关系表现在量上主要有两种类型,例 1 居民按人口计算的平均收入与某种商品（如糖果）的消费量之间，有着一定的联系。一般说来平均收入高的，消费量大，但平均收入相同时，这种商品的消费量却不一定

3、是完全相同的,例 2 森林中的同一种树木，其断面直径与高度之间是有联系的。一般说来，较粗的树较高，但直径相同的树，其高度也不完全是相同的,例 3 消费者对某种商品（比如西红柿）的月需求量与该种商品的价格有很密切的关系。一般说来，价格低时需求量大，价格高时需求量小，但同一种价格，月需求量也不完全相同,例 4 农作物的产量与施肥量、气候、农药 也有这种不确定的关系,即便是具有确定关系的变量，由于试验误差的影响，其表现形式也具有某种程度的不确定性,如果这个模型是线性的就称为线性回归分析。这种方法是处理变量间相关关系的有力工具，是数理统计中一种常用的方法。它不仅告诉人们怎样建立变量间的数学表达式，即经

4、验公式，而且还利用概率统计知识进行分析讨论，判断出所建立的经验公式的有效性，从而可以进行预测或估计。这在实际中是很有用的。本章主要介绍如何建立经验公式，以及建立的经验公式其有效性的判断,由一个或一组非随机变量来估计或预测某一个 随机变量的观察值时，所建立的数学模型及所 进行的统计分析，称为回归分析,11.2 一元线性回归方程,具有相关关系的变量间虽然不具有确定的函数关系，但是可以借助函数关系表达它们之间的统计规律性。用以近似地描述具有相关关系的变量间联系的函数称为回归函数,在实际中最简单的情况是由两个变量组成的关系，比如：在经济关系中，对某种商品的需求量随价格的升降而变化；居民消费随收入的增减

5、而改变等等,首先考察两量间的模型即,我们对普通变量x取定一组不完全相同的值,分别是在,处对Y的独立观察结果,称,是一个样本,对应的样本值记为,如何利用样本来估计Y关于x的回归函数,首先需要推测f (x)的形式，可将每对观察值,在直角坐标系中描绘出它的相应的点，这种图称为散点图。通过散点图可以粗略的看出f (x)的形式,由于两个变量之间不存在完全确定的函数关系，因此必须把随机波动产生的影响引入方程,其中，y是随机变量，x是普通变量，是随机项。随机变量yi表示对应于给定变量x的值xi的试验结果,首先一个问题是如何根据已经试验的结果以及以往的经验来确定回归函数的类型以及求出函数中的未知参数的估计，得

6、到经验公式,一） 回归直线方程,例1 以家庭为单位，某种商品年需求量与该商品价格之间的一组调查数据如表11-1所示,统计结果表明，尽管价格不变，需求仍可能变化，价格改变需求也可能不变。但是，总的趋势是家庭对该商品的年需求量随着价格的上升而减少，它们之间存在着密切的联系。我们要找出近似地描述它们关系的回归函数，也就是求出d对于p的回归方程,的类型，先把10对数据作为直角坐标平面上点的 坐标，并把这些点画在直角坐标平面上。这样得到的图称为散点图（如图11-1,为了确定回归函数,可以看出，所有的点大体上分布在一条直线的周围。即需求量与价格大致成线性关系,要求出回归直线方程L，就是要找出a与b的估计量

7、,因而可以决定该种商品的需求量y对价格x的回归 函数为直线型。我们把y对x的回归函数记为,b称为回归系数,y 对x的回归直线方程,达到最小,使直线 L 总的看来与所有的散点最接近,通常是固定x使得,一般地，两个变量的线性回归模型为,取一个容量为n的样本,并且假定,平面上任意一条直线L的方程记为,用数值,描述点,与它沿平行纵轴方向到L的远近距离,定量地描述了直线L与n个观察点总的接近程度。Q的大小随直线L的位置变化而变化。也就是说，Q 的值随着 a和 b的不同而变化。它是 a和b的二元函数,称它们为a及 b的最小二乘估计,要找一条总的看来最接近这n个点的直线， 就要找出使得Q达到最小值的,求法可

8、以利用微积分中的极值求法,整理后得,由（1）得,代入（2）得,11.8,11.9,于是所求的回归直线方程为,11.10,可以用（11.9）与（11.8）式分别计算 为了清楚起见，可先列出回归计算表如表11-2,可以证明， 确实使平方和Q达到最小,例1 以家庭为单位，某种商品年需求量与该商品价格之间的一组调查数据如表11-1所示,比如求例子1中的回归方程,所求回归方程应为,继续计算,解：设回归直线方程为,21,EX,P223 1、2、3、4,二） 相关性检验,说明x值的变化对y没有影响，因而变量x不能控制变量y，用回归直线方程(11.10)不能描述两个变量y与x之间的关系,用最小二乘法求出的回归

9、直线并不需要事先假定y与x一定具有线性相关的关系,就方法最小二乘法本身而言，对任意一组数据都可以用（11.8)及(11.9)式给它们配一条直线，描述y与x间的关系,因此，需要判断y对x的回归函数的类型是否为线性的，也就是这两个变量间是否真的存在着近似线性的关系。如果在,中的b=0,因此，在相关性检验时首先提出待检假设,二） 相关性检验,因此，在相关性检验时首先提出待检假设,若H0成立，则x与y之间无线性关系，由此建立的回归直线方程就无效,若拒绝H0，则x与y之间存在线性关系，由此建立的回归直线方程就有效,用方差分析的方法进行检验,为此先介绍平方和分解公式，将x对y的线性影响与随机波动引起的变差

10、分开,总的离差平方和,对于任意n组数据,总的离差平方和,总和Syy,余和Q,回归和U,在平方和分解公式中,须证明,成立,带入上式左端得,a,0,1,0,2,证明,3,证明,是回归直线上的点,说明,也是样本值的均值点,在平方和分解公式中,其中U是 对于其平均值 的离差平方和,它反映了 的分散程度。而这一分散性是由于在回归直线上它们所对应的横坐标 ，的变化引起的，并且通过x对于y的线性影响表现出来，称它为回归平方和,11.1,可更清楚地看出x对y的线性影响与U的关系,至于Q，它是对应于变量x的每一个取值 xi ，变量y的实际观察值yi与回归函数值 的离差平方和，是由总误差中分离出x对y的线性影响之

11、外的其余因素而产生的误差,在（11.2）式假定下，Q完全是随机项 引起的，称为残差平方和或剩余平方和,在平方和分解公式中,如果 U的值大，说明U起主导作用，建立的回归方程回归效果显著,如果 Q的值大，说明Q起主导作用，建立的回归方程回归效果不显著,则建立的回归方程无效,可以证明,回归直线方程,若建立的回归直线方程无效，则b=0,认为x与y之间存在线性相关关系,1.首先提出待检假设,2.根据假设选取统计量,在H。成立的条件下所选统计量,3.对于给定的检验水平 ，构造小概率事件,4)根据样本观察值计算统计量F的值并与临界值F比较,5)下结论,如果F F ， 则否定假设H0,只有存在线性相关关系的变

12、量之间建立回归直线方程才是有意义的,为了检验相关性，有时选用样本相关系数,为统计量，并把R的临界值列成相关系数表(附表七,不过这两种检验方法是一致的,这是由于,因此，F的值较大等价于|R|较大，可以用,以例1为例，说明相关性检验的步骤,可以用（11.9）与（11.8）式分别计算 为了清楚起见，可先列出回归计算表如表11-3,例1 以家庭为单位，某种商品年需求量与该商品价格之间的一组调查数据如表11-1所示,解：设回归直线方程为,相关性检验的一般步骤,1.提出待检假设,2.列出方差计算表（如表113,根据表中结果继续计算,3.列出方差分析表,4.78,12.18,7.53,11.86,0.32,在显著性一栏内画一个,在显著性一栏内再画一个,4.结论：拒绝假设H0,认为b0,变量x对y有极其显著的线性影响,所求回归方程应为,继续计算,11.3 可线性化的回归方程,如果由观察数据画出的散点图或由经验认为两个变量之间不能用线性关系近似描述，但是其中有些回归方程仍可化为线性回归方程，那么只要进行变量替换，就能直接利用线性回归方程的结果。 在经济领域中常用的有下面几种形