统计学教案习题11多元线性回归与logistic回归

〔一〕把握内容

第十一章多元线性回归与logistic一、教学大纲要求多元线性回归分析的概念：多元线性回归、偏回归系数、残差。多元线性回归的分析步骤：多元线性回归中偏回归系数及常数项的求法、多元线性回归的应用。P值下结论。logistic回归模型构造：模型构造、发病概率比数、比数比。5．logistic回归参数估量方法。6．logistic回归筛选自变量：似然比检验统计量的计算公式；筛选自变量的方法。〔二〕生疏内容常用统计软件〔SPSS及SAS〕多元线性回归分析方法：数据预备、操作步骤与结果输出。〔三〕了解内容标准化偏回归系数的解释意义。二、教学内容精要(一)多元线性回归分析的概念将直线回归分析方法加以推广，用回归方程定量地刻画一个应变Y与多个自变量X间的线形依存关系，称为多元线形回归multiplelinearregressio，简称多元回归multiple regressio〕bX0 1 1 2 2 k k式中Yˆ为各自变量取某定值条件下应变量均数的估量值，X，X ，…，X 为自变量，k为自变量个数，b为回归方1 2 k 0程常数项，也称为截距，其意义同直线回归，bb1 2

，…,bk

称为偏回归系数partialregressioncoefficien，b 表示j

以外的自变量固定条件下，Xj

每转变一个单位后Y的平均转变量。j(二)多元线性回归的分析步骤Yˆ是与一组自变量X，X ，…，X 相对应的变量Y的平均估量值。1 2 k多元回归方程中的回归系数bb1 2

，…,bk

可用最小二乘法求得，也就是求出能使估量值Yˆ和实际观看值Y的残差平方和e2i

(YYˆ2为最小值的一组回归系数bb1 2

，…,bk

值。依据以上要求，用数学方法可以得出求回归系数bb1

，…,bk

的以下正规方程组normalequatio：bl

bl

bl l111

212

k1k 1ybl121

bl222

bl lk2k 2ybl1k1

bl

bl lkkk ky式中l

(X

X)(X X)XX

(X)(X)i jij

i i j

i j nl (Xiy

X)(YY)XY(i i

X)( Y)in常数项b0

可用下式求出：

b YbX0 1

bX2

bXk k〔三〕多元线性回归分析中的假设检验在算得各回归系数并建立回归方程后，还应对此多元回归方程作假设检验，推断自变XX1 2

，…，Xk

是否与Y真有线性依存关系，也就是检验无效假设H0。检验时常用统计量F

〔0 1

3

0〕,备选假设H1

为各

0j式中nk为自变量的个数。

MSF 回归MS误差

l (nk1)l k回归误差l k回归式中 l回归

bl1y

bl

blkkyl l误差

l回归l 总

2lyy(四)logistic回归模型构造设X,X, ,X 为一组自变量，Y为应变量。当Y是阳性反响时，记为Y=1；当Y是阴性反响时，记为Y=0。1 2 kP表示发生阳性反响的概率；用Q表示发生阴性反响的概率，明显PQ=1。Logistic回归模型为：1P e0X12X2kXk1同时可以写成：

1e0X12X11Q11

kXk11e01

XX1 2

kXk式中

(jk)是与争论因素X

有关的参数，称为偏回归系数。0 j

大事发生的概率P与x之间呈曲线关系，当x在

之间变化时，P或Q在〔0，1〕之间变化。假设有n例观看对象第i名观看对象在自变量X ,Xi1

, ,Xi2

作用下的应变量为Yi

Yi

=Yi

相应地用P表示其发生阳性反响的概率；用Q表示其发生阴性反响的概率，仍旧有PQ

=1P和Q

的计算如下：i i1 e01

Xi12

Xi2

kXik

i i i i0Pi 1e0Q

X 1 i1 1

Xi2

kXik1i 1e01

Xi12

Xi2

kXik这样，第i个观看对象的发病概率比数〔odds〕为PQi i

，第l个观看对象的发病概率比数为PQl l

，而这两个观ORoddsrati。比照数比取自然对数得到关系式：ln

(X

X )(X

X )(X

X )PQi iPQPQi iPQ

2 i2

k ik lkl l 等式左边是比数比的自然对数，等式右边的X Xij lj

j

Xi

的不同暴露水平Xij

与X 之差。lj 的流行病学意义是在其它自变量固定不变的状况下Xj

的暴露水平每转变一个测量单位时所引起的比数比的j自然对数转变量。或者说，在其他自变量固定不变的状况下，当自变量X

的水平每增加一个测量单位时所引起的比数j比为增加前的ej倍。同多元线性回归一样，在比较暴露因素对反响变量相对奉献的大小时，由于各自变量的取值单位不同，也不能用偏回归系数的大小作比较，而须用标准化偏回归系数来做比较。标准化偏回归系数值的大小，直接反映了其相应的暴露因素对应变量的相对奉献的大小。标准化偏回归系数的计算，可利用有关统计软件在计算机上解决。〔五〕logistic回归参数估量由于logistic回归是一种概率模型，通常用最大似然估量法〔maximumlikelihoodestimate〕求解模型中参数 的j估量值bj

(jk)。YXX1

, ,X2

作用下的阳性大事〔或疾病〕发生的指示变量。其赋值为：1，第iY i 0，第i第i个观看对象对似然函数的奉献量为：li

PYiii

Q1Yii当各大事是独立发生时，则n个观看对象所构成的似然函数L是每个观看对象的似然函数奉献量的乘积，即Lnl

PYQ1Y式中∏为i1到n的连乘积。

i ii i ii1 i1依最大似然估量法的原理，使得L到达最大时的参数值即为所求的参数估量值，计算时通常是将该似然函数取自然对数〔称为对数似然函数〕后，用Newton—Raphson迭代算法求解参数估量值b〔六〕logistic回归筛选自变量

(j2，，k)。j在logistic回归中筛选自变量的方法有似然比检〔likelihoodratiotes计分检(score testWald检test)三种。其中似然比检验较为常用， 用Λ 2lnL”L2(lnL”lnL)式中lnL为方程中包含m(mk)L”为在方程中包含原m个自变量的基础上再参加1X

后的似然函数值Hj

Λ听从自由度为12

2(1)时，则在水平上拒绝无效假设，即认为X应参加。逆向进展即可剔除自变量。〔一〕单项选择题

Xj三、典型试题分析

j多元线性回归分析中，反映回归平方和在应变Y的总离均差平方和中所占比重的统计量是〔 。复相关系数偏相关系数偏回归系数确定系数答案：D[评析] 此题考点：多元线性回归中的几个概念的理解。多元线性回归中的偏回归系数〔multiplelinearregression〕表示在其它自变量固定不变的状况下自变量X 每转变j一个单位时，单独引起应变量Y的平均转变量。确定系数〔coefficientofdetermination〕表示回归平方和SS

占总离均差平方和SS

R2。即R2总

SS SS回归

回归R〔multiplecorrelationcoefficient〕,p0R≤1。Logistic回归分析适用于应变量为〔 。A．分类值的资料 B．连续型的计量资料C．正态分布资料 D．一般资料答案：A[评析]此题考点：logistic回归的概念。logistic料，特别适用于应变量为二项分类的情形。模型中的自变量可以是定性离散值，也可以是计量观测值。〔二〕计算题依据表11-2数据，分别用SPSS统计软件、SAS统计软件写出多元线性回归的统计分析步骤及其简要结果。表11-1 某学校20名一年级女大学生肺活量及有关变量测量结果编号 体重X/kg 胸围X /cm 肩宽X/cm 肺活量Y/L1 2 3150.873.236.32.96249.084.134.53.13342.878.331.01.91455.077.131.02.63545.381.730.02.86645.374.832.01.91751.473.736.52.98853.879.437.03.28949.072.630.12.521053.979.537.13.271148.883.833.93.101252.688.438.03.281342.778.230.91.921452.588.338.13.271555.177.231.12.641645.281.630.22.851751.478.336.53.161848.772.530.02.511951.378.236.43.152045.875.032.51.94答案：SPSEXAP1sa4列20StatisticRegressionLinear...Dependent：YIndependent(s)：X，X，X1 2 3Method：Enter结果：ModelVariablesEntered ModelVariablesEntered VariablesRemovedMethod1XXX.Enter3〔肩宽〕,2〔胸围〕,1〔体重〕Allrequestedvariablesentered.DependentVariable:Y〔肺活量〕ModelRRModelRRSquareAdjustedRSquare.662Std.ErroroftheEstimate1.846.715.2893a Predictors:(Constant),X3,X2,X1ANOVAModelSumofSquaresdfMeanSquareFSig.1 Regression3.36731.12213.413.000Residual1.339168.368E-02Total4.70619a Predictors:(Constant),b DependentVariable:Y

X ,X ,X3 2 1ModelUnstandardizedModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)XXX321-4.6761.321-3.541.0036.036E-02.021.4742.899.0103.508E-02.015.3332.272.0375.010E-02.029.3071.735.102a DependentVariable:YSAS：

数据步 过程步DATA EXAP11—2；INPUTx1x2x3y@@； PROCREG；CARDS； MODELy=x1x2x3；50.873.236.32.96„45.875.032.51.94； RUN；结果：

AnalysisofVarianceSourceDFSumofSquaresMeanSquareFValuePr>FModel33.367321.1224413.410.0001Error161.338930.08368CorrectedTotal194.70626ParameterEstimatesParameterStandardVariableDFEstimateErrortValuePr>|t|Intercept1-4.675531.32051-3.540.0027X110.060360.020822.900.0105X210.035080.015442.270.0372X310.050100.028881.730.1020[评析] 此题考点：统计软件关于多元线性回归的分析方法及主要输出结果。依据SPSS或SAS的输出结果，可进展以下分析：检验H： 0的方差分析表。F=13.413，P=0.0001，拒绝H，肺活量至少与一个自变量存在线0 1 2 3 0性关系。估量偏回归系数b，b，bY

4.680.06X0.04X 0.05X，R2=0.715，R2=0.662。1 2 3

1 2 3 a偏回归系数检验，见表11-2。表11-2 偏回归系数估量值及其检验偏回归系数估量值偏回归系数估量值SEtPb-4.6751.321-3.540.00b0.0600.0212.900.01b0.0350.0152.270.04b0.0500.0291.730.10123〔一〕单项选择题

四、习题可用来进展多元线性回归方程的协作适度检验是：2检验 B．F检验 C．U检验 D．Ridit检验在多元回归中，假设对某个自变量的值都增加一个常数，则相应的偏回归系数：不变 B．增加一样的常数 C．削减一样的常数 D．增加但数值不定在多元回归中，假设对某个自变量的值都乘以一个一样的常数k，则：该偏回归系数不变该偏回归系数变为原来的1/k倍全部偏回归系数均发生转变该偏回归系数转变，但数值不定作多元回归分析时，假设降低进入的F界值，则进入方程的变量一般会：增多 B．削减 C．不变 D．可增多也可削减〔二〕名词解释1.多元线性回归 2.偏回归系数 3.复相关系数 4.确定系数5.比数 6.比数比〔三〕logistic回归模型中，偏回归系数的解释意义是什么？i〔四〕某学者争论在某种养分缺乏状态下儿童的体重〔Y，k〕与身高〔X，c、年龄〔X ，岁〕的关系获得了1 212名观看对象的观测资料，计算得到如下根本数据：XYX 1611，X2219631，X ，X2976，Y341，Y29883，XXY1XY46439，

1 2 2 1 23079。1 2请写出求解Y

b bX bX二元线性回归方程的正规方程组。0 1 1 2 2设方程组的解为b0

2.114，b1

0.135，b2

0.923，请写出回归方程。完成以下方差分析表。 表11-3 12名儿童体重与身高、年龄回归分析方差分析表变异来源 v SS MS F回归残差总和〔一〕 单项选择题

五、习题答案要点1．B 2．A 3．B 4．A〔二〕名词解释用回归方程定量地刻画一个应变量Y与多个自变量X间的线性依存关系，称为多元线性回归〔multiplelinearregressio，简称多元回归multiple regressio。多元线性回归的根本形式为：bbXbX bX b，b0 1 1 2 2 k k 1 2

，…,bk

称为偏回归系数〔partialregressioncoefficien，bj

X

以外的自变量固定条件下，Xj

每转变一个单位后Y的平均转变量。j复相关系