线性代数之回归分析

第十章回归分析节回归分析的概述第二节参数估计第三节假设检验第四节预测与控制第五节非线性回归的线性化处理线性代数之回归分析共41页，您现在浏览的是第1页!节回归分析的概述一个过程中多个变量之间的关系分为两类：确定性关系，也就是通常所说的函数关系；非确定性关系，即所谓的相关关系。确定性关系是指当一些变量的值确定以后另一些变量的值也随之完全确定的关系。相关关系是指变量之间有一定的依赖关系，但当一些变量的值确定以后，另一些变量的值虽随之变化却并不能完全确定，这时变量间的关系不能精确地用函数来表示。上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第2页!(1)给出建立具有相关关系的变量之间的数学关系式（通常称为经验公式）的一般方法；(2)判别所建立的经验公式是否有效；判别哪些预报变量对响应变量的影响是显著的，哪些是不显著的；(3)利用所得到的经验公式进行预测和控制。回归分析（regressionanalysis）是数理统计中研究一个响应变量与若干个预报变量之间相关关系的一种有效方法；其中只有一个预报变量的回归分析称为一元回归分析，多于一个预报变量的回归分析称为多元回归分析。回归分析的任务主要有三个：上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第3页!一元回归分析与最小二乘法取定x时随机变量y的数学期望E(y|x)作为x时随机变量y的估计值，即显然，当x变化时E(Y|X=x)是x的函数，记作可以用一个确定的函数关系式大致地描述y与x之间的相关关系。函数称为y关于x的回归函数，简称回归；称为y关于x的回归方程。上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第4页!通常先限制为某一类型的函数。函数的类型可以由与被研究问题的本质有关的物理假设来确定；若没有任何理由可以确定函数的类型，则只能根据在试验结果中得到的散点图来确定。在确定了函数的类型后，就可以设其中a1,a2……ak为未知参数。寻找合适的回归函数的问题就归结为：如何根据试验数据合理地选择参数a1,a2……ak的估计值上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第5页!在n次独立试验中得到观测值（x1,y1）,（x2,y2）,…（xn,yn），利用极大似然估计法估计未知参数a1,a2，…ak,时，有似然函数似然函数L取得极大值，上式指数中的平方和取最小值。即为了使观测值（xi,yi）(i=1,2,…,n)出现的可能性最大，应当选择参数a1,a2,…,ak，使得观测值yi与相应的函数值的偏差平方和最小。这就是最小二乘法的概率意义。上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第6页!1、一元线性回归回归方程为方程的图形称为回归直线。x,y的相关关系可表示为其中a,b,2为不依赖于x的未知参数，上式称为一元线性回归模型，简称一元线性模型。当y与x间满足这种关系时，y与x间有线性相关关系。考虑回归函数是线性函数，即，这就是所谓的一元线性回归分析。回归方程为第二节参数估计上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第7页!线性回归方程为称为经验回归系数（也称回归系数），对应的直线称为经验回归直线（简称回归直线）。亦可表示为上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第8页!例1Pearson测量了10对父子的身高，所得数据如下（单位：英寸）父亲身高606264666768707274儿子身高63.665.26666.967.167.468.370.170求儿子身高y关于父亲身高x的回归方程。上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第9页!2、多元线性回归上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第10页!上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第11页!1、方差分析法（F检验法）考察样本y1,y2,……yn的偏差平方和，或称总平方和剩余平方和，反映了观测值偏离回归直线的程度，这种偏离是由于观测误差等随机因素引起的。上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第12页!例1在上例中，利用方差分析检验儿子的身高Y与父亲身高X之间的线性相关关系是否显著。上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第13页!2.

相关系数检验法（r检验法）考察相关系数r的大小:若相关系数r的绝对值很小,则表明y与x之间的线性相关关系不显著,或者根据不存在线性相关关系若相关系数r的绝对值较大(接近于1)时,才表明y与x之间的线性相关关系显著上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第14页!r检验法的步骤和法则为:由试验数据计算出相关系数r的值并与临界值比较.上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第15页!1、预测第四节预测与控制x与y之间的关系不是确定的，所以对于任意给定x0,不可能精确地知道相应值y0。将x=x0代入线性回归方程只能得到y0的估计值（回归值）对y0进行区间估计，即给定的置信度1-，求出y0的置信区间（称为预测区间）,这就是所谓的预测问题。上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第16页!y0的置信水平为1-的预测区间近似为上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第17页!例1:在上例中，若父亲身高为70英寸，求其儿子的身高的置信度为95%的预测区间。当x0＝70时，有已经计算得Q剩＝1.494，解：已经求得线性回归方程为所求得置信度为95％的预测区间是（68.499－1.96×0.432，68.499＋1.96×0.432）即（67.656，69.346）英寸上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第18页!上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第19页!上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第20页!解：这是非线性回归问题。由已知的经验公式两边取对数，得作变量替换并设a=lnA,则有（ui,vi）(i=1,2,…,11)的数据如下表上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第21页!上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第22页!回归方程反映了y的数学期望E(y)随x的变化而变化的规律性。y与x的相关关系表示为是随机误差，它是均值为零的随机变量，通常假定是不依赖于X的未知参数。的大小在一定程度上反映了在x处随机变量y的观测值的大小,如能找到,就能在一定条件下解决如下两个问题：1.在给定的置信度下，估计当x取某一定值时y的取值情况,这就是所谓的预测问题；2.在给定的置信度下,控制X的取值范围以使y在给定的范围内取值,这就是所谓的控制问题。上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第23页!这些估计值使得方程在一定的意义下“最佳地”表现变量Y与X之间的相关关系。选取中参数，使得观测值yi与相应的函数值(i=1,2……n)的偏差平方和为最小，这就是所谓的最小二乘法。最小二乘法的概率意义：设当可控变量X取任意实数x时，随机变量Y服从正态分布，即Y的概率密度为其中，而是不依赖于x的常数。上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第24页!解方程组求出参数a1,a2,……ak的估计值（这样求出的参数a1,a2,……ak的估计，称为最小二乘估计（leastsquaresestimation,简称LSE））,再求回归方程的估计式（称为经验回归方程）。分别求S对a1,a2,……ak的偏导数，并令它们等于零，就得到上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第25页!用最小二乘法确定未知参数a及b。考虑试验点关于回归直线的偏差平方和分别求Q对a及b的偏导数，令它们等于零，得方程组上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第26页!上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第27页!可知，当父亲身高高于或低于父代身高的平均值时，儿子的身高有向子代的平均身高靠近的趋势，这就是“回归”。上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第28页!正规方程上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第29页!当且仅当b≠0时，变量Y与X之间存在线性相关关系，为了检验Y与X之间的线性相关的显著性，应当检验原假设H0：b=0是否成立。若拒绝H0，则认为Y与X之间存在线性关系，所求得得线性回归方程有意义；若接受H0，则认为Y与X得关系不能用一元线性回归模型来表示，所求得的线性回归方程无意义。第三节假设检验上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第30页!回归平方和它反映回归值的分散度，这种分散是由于Y与X之间得线性相关关系引起的；统计量上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第31页!方差来源平方和自由度F值临界值显著性回归剩余37.0351.49418198.313F0.01(1,8)=11.26**总计38.5299因为F>F0.01(1,8)，所以儿子的身高Y与父亲的身高X之间的线性相关关系特别显著。上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第32页!上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第33页!3、

t检验法上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第34页!y0的置信水平为1-的预测区间为上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第35页!例如，置信度为95%预测区间是置信度为99%预测区间是若在回归直线的上下两侧分别作与回归直线平行的直线及则可以预料，在所有可能出现的试验点（xi,yi）(i=1,2,…,n)中，大约有95％的点在这两条直线之间的带型区域内。上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第36页!2、控制上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第37页!第五节非线性回归的线性化处理对于复杂的非线性回归问题,一般采用变量代换法将非线性模型线性化,在按照线性回归方法进行处理.上一页下一页返回线性代数之回归分析共41页，您现在浏览的是第38页!例1:在彩色显象中,根据以往的经验知道,形成染料光学密度y与析出银的光学密度x之间有下面类型的关系式:现对y及x同时作11次观察，测得试验数据如下xiyixiy