九章节回归分析续

1、第九讲第九讲 回归分析（续）回归分析（续）一、预测和控制一、预测和控制二、一元曲线回归二、一元曲线回归三、多元回归分析三、多元回归分析一、预测和控制一、预测和控制在回归检验中，如果回归方程的效果显在回归检验中，如果回归方程的效果显著，著，著，著，预测预测和和控制控制。测（或预报）相应的测（或预报）相应的 值或其可能的取值范值或其可能的取值范围。围。也就是回归方程与实际数据拟合效果显也就是回归方程与实际数据拟合效果显紧接着的问题就如何利用回归方程进行紧接着的问题就如何利用回归方程进行所谓预测就是对给定的所谓预测就是对给定的 ， 0 x预预0y而控制正好与预测相反，而控制正好与预测相反，它是根据它

2、是根据 的预的预y期范围来如何控制期范围来如何控制 的范围。的范围。x（一）预测（一）预测设设 是样本，是样本，),( ,),(nnyxyx110 x给定给定 ， 有有000bxay且且 与与 相互独立。相互独立。0i),(ni1有有相互对立相互对立iiiiiivarebxay,)(,)(20回归方程为回归方程为 。xbay根据回归方程根据回归方程的意义，自然用回归值（或拟合值）的意义，自然用回归值（或拟合值）00 xbay作为作为 的预测值。的预测值。0y由于由于)()() ()(0000yebxaxbeaeye所以所以 是是 的无偏估计。的无偏估计。0y)(0ye下求下求 的预测区间：的预

3、测区间：0y独立，由于独立，由于bxxyxbay)(000且且 与与 相互独立，相互独立，yb则有则有设设相互相互iin),(2000yy220110 xxlxxnn)(,根据根据 与与 相互独立有相互独立有0y0y0y22001xxlxxnbxan)(,即即2200011xxlxxnyy)(),( 10n又由于又由于 相互独立，相互独立，qby,可知可知 与与 独立；独立；0yq再再由由 与与 独立，独立，0yq可知可知 与与 独立，独立，00yyq故故2112000nqlxxnyyxx)()(2nt这样置信度为这样置信度为 的预测（置信）区间为的预测（置信）区间为1),(nnryry00其

4、中其中.)()(21122021nqlxxnntrxxn由上式可知，残差平方和由上式可知，残差平方和 越小，预测区间越越小，预测区间越q窄，即预测越精确；窄，即预测越精确；另对给定的样本观测值和另对给定的样本观测值和置信度，置信度， 越靠近越靠近 ，0 xx预测区间越精确。预测区间越精确。由于由于 的任意性，的任意性，0 x因此夹在两曲线因此夹在两曲线)()(xryxyn01)()(xryxyn02之间的部分就是之间的部分就是 的置信度的置信度bxay的预测带。的预测带。1特别地当特别地当 很大且很大且 越接近越接近 时，时，n22210210nquynquy,若要若要 的值以概率的值以概率

5、落在给定落在给定bxay（二）控制（二）控制10 xx的置信度的置信度0y1为为 的预测区间可近似的表示为的预测区间可近似的表示为区间区间 内，那么变量内，那么变量 应控制在什么范围应控制在什么范围),(21yyx内，内，即就是要求出区间即就是要求出区间 ，),(21xx使当使当21xxx时，对应的时，对应的 值以概率值以概率 落在区间落在区间12221211nquxbanquxyy)(y),(21yy之内。之内。在此仅讨论在此仅讨论 很大且很大且 越接近越接近 的情形。的情形。 n0 xx令令2221212nquxbanquxyy)(求解方程组可得求解方程组可得anquybx212111an

6、quybx212122当当 时，时，0b 的控制区间为的控制区间为 ；时，时， 的控制区间为的控制区间为 。而当而当x),(21xx0bx),(12xx显然要实现上述显然要实现上述对对 的控制，的控制，x必须有必须有.222112nquyy二、一元曲线回归二、一元曲线回归 常用的线性化方法：常用的线性化方法：1. 双曲线双曲线xbaye)(1,1,1xvyu令令则可线性化为则可线性化为.)(bvaue2. 幂函数幂函数baxye)(,ln,ln,lnacxvyu令令则可线性化为则可线性化为.)(bvcue3. 指数曲线指数曲线bxaeye)(,ln,lnacyu令令则可线性化为则可线性化为.)

7、(bxcue4. 倒指数曲线倒指数曲线,1,ln,ln,lnxvacxvyu令令则可线性化为则可线性化为.)(bvcuexbaeye)(5. 对数曲线对数曲线xbayeln)(,ln xv 令令则可线性化为则可线性化为.)(bvaye6.曲线曲线xbeaye1)(,1xevyu令令则可线性化为则可线性化为.)(bvaues7. 多项式多项式ppxxxye 2210)(,iixv 令令则可线性化为则可线性化为ppvvvye 22110)(这种情形常用的是二次多项式。这种情形常用的是二次多项式。注注(1) 线性化的过程使得有关的显著性检验线性化的过程使得有关的显著性检验无法进行，无法进行，但仍可根

8、据原始数据计算但仍可根据原始数据计算niiyyq12)(及及,)()(11212niiniiiyyyyr仍称其为拟合优度。仍称其为拟合优度。(2) 可以根据可以根据和拟合和拟合剩余标准差剩余标准差)2/( nqr优度优度的值来评判拟合的好坏。的值来评判拟合的好坏。三、多元回归分析三、多元回归分析 考虑含考虑含 个因素的回归模型个因素的回归模型p 222110)(, 0)( varexxxypp其中其中 是可观测的随机变量，是可观测的随机变量，yp ,10是未参是未参数，称为回归系数，数，称为回归系数， 是不可观测的随机误差，是不可观测的随机误差，称为回归因子或设计因子，简称因子。称为回归因子或

9、设计因子，简称因子。pxx,1), 1(pii 实际上反映了因子实际上反映了因子 对观测值对观测值 的的ix（一）多元回归模型（一）多元回归模型y贡献大小，因此也称贡献大小，因此也称 为因子为因子 的效应。的效应。iix设有设有 组观测值组观测值nnixxyipii,),(11则有则有相互独立相互独立且且iiiiippiiivarenixxxy,)(,)(,22211001用矩阵可表示如下：用矩阵可表示如下： ivarexy2)(, 0)( （*）其中其中,21 nyyyy,p10,npnppxxxxxxx1221111111n21称称 为设计矩阵，且一般假设为设计矩阵，且一般假设 。x1 p

10、x)(rank显然有显然有.)(,)(iyvarxye2（二）参数的最小二乘估计及性质（二）参数的最小二乘估计及性质误差的平方和为误差的平方和为)()()( xyxyqt选择参数选择参数 使上式达到最小。使上式达到最小。 求导后求导后对对 )(q可得可得 xxyxqtt22 令令, 0 q有有yxxxtt 此方程称为此方程称为正规方程正规方程，由于由于 可逆，所以可逆，所以xxtyxxxtt1)( 就是参数就是参数 的最小二乘估计。的最小二乘估计。 性质性质1 使得使得 达到最小。达到最小。)( q证明证明)()()( xyxyqt)()( xxyxxyt)()()()( xxxyxyttt)

11、()(2 xyxtt 由于由于0)()( xyxtt0)()( xxt所以所以).()()( xyxyqt性质性质2是是 的线性无偏估计。的线性无偏估计。 性质性质4 是是 的最好的最好(协方差阵最小协方差阵最小)线性无偏线性无偏 证明证明设设 是是 的任一线性无偏估计，的任一线性无偏估计，ay 即即 )(aye这样对任一这样对任一 有有1pr , ax所以所以.1piax同时亦有同时亦有.)(2taaayvar 最小二乘估计最小二乘估计 的协方差阵是的协方差阵是.)()(12xxvart 估计。估计。性质性质3 分解式分解式 成立，成立，qulyyyyl总误差平方和总误差平方和，u回归平方和

12、回归平方和，q残差平方和残差平方和。)()(011zxxxazxxxatttttttzxxxaxxxazttttt)()()(11zxxaazttt)(1即即.)(11 pttttrzallforzxxzzaaz这样有这样有,)(1xxaatt).()( varayvar即即对任一对任一 维向量维向量 ，1p1prz由于由于性质性质5称称 为为拟合值拟合值，yxxxxxytt1)( yxxxxiyyett)(1 称称为为残差向量残差向量。, 0),(ecov 即即 与与 不相关。不相关。 e证明证明),(ecov )( ,)(11yxxxxiyxxxcovtttt tttttxxxxiyyco

13、vxxx)()(,()(11 )()(112ttttxxxxixxx 0性质性质62 的无偏估计为的无偏估计为.112pneepnqt 证明证明由于由于)()(eeeqet)(tr)(tr)(tr12ttnxxxxievar )()(12ttnxxxxitr(tr )()(12xxxxittntr(tr )1()()(212pniipn tr(tr性质性质7若在模型若在模型(*)中再假设中再假设 ， ), 0(2in 则则 也是也是 的极大似然估计。的极大似然估计。 （三）回归方程和回归系数的显著性检验（三）回归方程和回归系数的显著性检验现在考虑模型现在考虑模型 ), 0(2inxy 即在模型

14、即在模型(*)的基础上再假设误差向量服从多维的基础上再假设误差向量服从多维正态分布。正态分布。（*）定理定理)1(22 pnq 对模型对模型(*)而言，有而言，有(1)(2)(3)(,(12xxnt 独立。独立。与与独立，独立，与与qe )(22pu (4)的条件下的条件下在在021p 独立。独立。与与且且qu(1)回归方程的显著性检验回归方程的显著性检验考虑假设检验问题考虑假设检验问题不全为零不全为零), 1(:; 0:110pihhip 由定理知当由定理知当 成立时，成立时，0h)1,()1/(/pnpfpnqpuf有有因此显著性水平为因此显著性水平为 的拒绝域为的拒绝域为 )1,(:1p

15、npfffw (2)回归系数的显著性检验回归系数的显著性检验考虑假设检验问题考虑假设检验问题),(:;:pihhii210010由定理知当由定理知当 成立时，成立时，0h), 2 , 1()1()1/(/pipntpnqctiii 有有其中其中 为矩阵为矩阵 对角线上的元素，即向量对角线上的元素，即向量iictppiitccccxxdiag),()(110011)(xxt的第的第 个元素。个元素。1i因此显著性水平为因此显著性水平为 的拒绝域为的拒绝域为 )(|:|121pntttw同理，同理，也可给出也可给出被择假设被择假设分别为分别为), 2 , 1(0:0:11pihhii 或或时回归系

16、数的检验的拒绝域。时回归系数的检验的拒绝域。顺便给出回归系数的区间估计。顺便给出回归系数的区间估计。的置信区间为的置信区间为 ， 1置信度为置信度为iid 其中其中.1)1(21pnqcpntdiii 注：注：如果协方差矩阵如果协方差矩阵 ，wvar2)( 其中其中, 0w此时有此时有,212121 wxwxywy 212121 wxwyw令令则有则有 ivarexy2)(, 0)( (四四) “最优最优”回归方程的选择回归方程的选择“全部比较全部比较” 法，法， “只出不进只出不进” 法，法，“只进不出只进不出” 法，法， 逐步回归法逐步回归法ywxxwxyxxxtttt)()(1111 称为称为加权最小二乘估计加权最小二乘估计。就变为模型就变为模型(*)，由该模型得到的最小二乘估计由该模型得到的最小二乘估计课外小论文：课外小论文：利用逐步回归法建立国家财政收入回利用逐步回归法建立国家财政收入回归模型。影响财政收入的因素可能为工业归模型。影响财政收入的因素可能为工业总产值总产值(亿元亿元)、农业总产值、农业总产值(亿元亿元)