多元回归和相关

多元回归和相关第一页，共二十七页，2022年，8月28日本章主要内容有：

①确定各个自变数对依变数的各自效应和综合效应，即建立由各个自变数描述和预测依变数反应量的多元回归方程；②对上述综合效应和各自效应的显著性进行测验，并在大量自变数中选择仅对依变数有显著效应的自变数，建立最优多元回归方程；③评定各个自变数对依变数的相对重要性，以便研究者抓住关键，能动地调控依变数的响应量。

第二页，共二十七页，2022年，8月28日第一节多元回归一、多元回归方程二、多元回归的假设测验三、最优多元线性回归方程的统计选择四、自变数的相对重要性第三页，共二十七页，2022年，8月28日一、多元回归方程多元回归或复回归(multipleregression)：依变数依两个或两个以上自变数的回归。

(一)多元回归的线性模型和多元回归方程式若依变数Y同时受到m个自变数X1、X2、…、Xm的影响，且这m个自变数皆与Y成线性关系，则这m+1个变数的关系就形成m元线性回归。

第四页，共二十七页，2022年，8月28日一个m元线性回归总体的线性模型为：

其中，～N(0，)。一个m元线性回归的样本观察值组成为：

(10·1)(10·2)第五页，共二十七页，2022年，8月28日一个m元线性回归方程可给定为：

b0是x1、x2、…、xm都为0时y的点估计值；b1是by1·23…m的简写，它是在x2，x3，…，xm皆保持一定时，x1每增加一个单位对y的效应，称为x2，x3，…，xm不变(取常量)时x1对y的偏回归系数(partialregressioncoefficient)

。

(10·3)第六页，共二十七页，2022年，8月28日(二)多元回归统计数的计算(10·2)

用矩阵表示为：

即Y=Xb+e

(10·4)第七页，共二十七页，2022年，8月28日其中(三)多元回归方程的估计标准误

Qy/12…m

称为多元离回归平方和或多元回归剩余平方和，它反映了回归估计值和实测值y之间的差异。

最小

自由度：

=n-(m+1)

(10·5)

sy/12…m（10·6）第八页，共二十七页，2022年，8月28日二、多元回归的假设测验(一)多元回归关系的假设测验测验m个自变数的综合对Y的效应是否显著。若令回归方程中b1、b2、…、bm的总体回归系数为、、…

、，则这一测验所对应的假设为H0：

0对HA：不全为0。

第九页，共二十七页，2022年，8月28日由于多元回归下SSy可分解为Uy/12…m和Qy/12…m两部分，Uy/12…m由x1、x2、…、xm的不同所引起，具有=m；Qy/12…m与x1、x2、…、xm的不同无关，具有=n-(m+1)，由之构成的F值：

(10·8）第十页，共二十七页，2022年，8月28日(二)偏回归关系的假设测验

偏回归系数的假设测验，就是测验各个偏回归系数bi(i=1，2,…，m)来自=0的总体的概率，所作的假设为H0：=0对HA：≠0，测验方法有两种。1．t测验

第十一页，共二十七页，2022年，8月28日

服从的t分布，可测验bi的显著性。

(10·9)=sy/12…m(10·10)(10·11)第十二页，共二十七页，2022年，8月28日2.F测验

(10·12)

就是y对xi的偏回归平方和，。

(10·13)

第十三页，共二十七页，2022年，8月28日三、最优多元线性回归方程的统计选择剔除不显著自变数的过程称为自变数的统计选择，所得的仅包含显著自变数的多元回归方程，叫做最优的多元线性回归方程。第十四页，共二十七页，2022年，8月28日逐步回归(stepwiseregression)：为了获得最优方程，回归计算就要一步一步做下去，直至所有不显著的自变数皆被剔除为止。自变数统计选择的具体步骤为：第一步：m个自变数的回归分析，一直进行到偏回归的假设测验。

第十五页，共二十七页，2022年，8月28日第二步：m-1个自变数的回归分析，也是一直进行到偏回归的假设测验。第三步：m-2个自变数的回归分析，又一直进行到偏回归的假设测验。

……如此重复进行，直至留下的所有自变数的偏回归都显著，即得最优多元线性回归方程。第十六页，共二十七页，2022年，8月28日四、自变数的相对重要性偏回归系数bi本身并不能反映自变数的相对重要性，其原因有二：①bi是带有具体单位的，单位不同则无从比较；②即使单位相同，若Xi的变异度不同，也不能比较。通径系数(pathcoefficient，记作pi)：即对bi进行标准化，在分子和分母分别除以Y和Xi的标准差，从而消除单位和变异度不同的影响，获得一个表示Xi对Y相对重要性的统计数。第十七页，共二十七页，2022年，8月28日通径系数pi统计意义是：若Xi增加一个标准差单位，Y将增加(pi＞0)或减少(pi＜0)pi个标准差单位。(10·14)第十八页，共二十七页，2022年，8月28日第二节多元相关和偏相关一、多元相关二、偏相关三、偏相关和简单相关的关系第十九页，共二十七页，2022年，8月28日一、多元相关多元相关或复相关(multiplecorrelation)：在M=m+1个变数中，m个变数的综合和1个变数的相关。偏相关(partialcorrelation)：在其余M-2个变数皆固定时，指定的两个变数间的相关。

第二十页，共二十七页，2022年，8月28日(一)多元相关系数在m个自变数和1个依变数的多元相关中，多元相关系数记作Ry·12…m，读作依变数y和m个自变数的多元相关系数。

Ry·12…m=（10·15）

第二十一页，共二十七页，2022年，8月28日多元相关系数为多元回归平方和与总变异平方和之比的平方根。Ry·12…m的存在区间为[0，1]。

(二)

多元相关系数的假设测验令总体的多元相关系数为，则对多元相关系数的假设测验为H0：对HA：，第二十二页，共二十七页，2022年，8月28日F测验：

其中的=m，=n-(m+1)，R2为的简写。

（10·16）第二十三页，共二十七页，2022年，8月28日二、偏相关(一)偏相关系数偏相关系数：表示在其它M-2个变数都保持一定时，指定的两个变数间相关的密切程度。偏相关系数以r带右下标表示。如有X1、X2、X33个变数，则r12·3表示X3变数保持一定时，X1和X2变数的偏相关系数；

第二十四页，共二十七页，2022年，8月28日若有M个变数，则偏相关系数共有M(M-1)/2个。偏相关系数的取值范围是[-1，1]。偏相关系数解法是：由简单相关系数rij(i，j=1，2，…，M)组成的相关矩阵：

第二十五页，共二十七页，2022年，8月28日求得其逆矩阵：令xi和xj的偏相关系数为rij·

，解得后即有

rij·