十简单相关与简单直线回归分析SimpleLinearRegressionand课件

2023/9/14Jen-peiLiu,PhD1十一、簡單相關與簡單直線回歸分析(SimpleCorrelationsandSimpleLinearRegression)

(Chapter11)劉仁沛教授國立台灣大學農藝學研究所生物統計組國立台灣大學流行病學與預防醫學研究所國家衛生研究院生物統計與生物資訊組jpliu@.tw【本著作除另有註明，網站之內容皆採用

創用CC姓名標示-非商業使用-相同方式分享3.0台灣

授權條款釋出】2023/8/5Jen-peiLiu,PhD1十一、簡單2023/9/14Jen-peiLiu,PhD2例1：氮肥用量與水稻穀收量表(公斤)氮肥用量x00.51.01.52.02.5稻穀收量y101832485562例2：成人年齡與血液中膽固醇的量年齡x343944464851膽固醇y(mg/ml)141.4180.5178.4212.0203.2224.1年齡x53661656667膽固醇y(mg/ml)186.0350.0286.3287.6330.3371.3例3：年雨量與小麥產量年雨量(公厘/20)23.520.422.825.928.927.126.825.2產量(公斤/100)20.423.033.535.844.641.245.439.02023/8/5Jen-peiLiu,PhD2例1：氮肥2023/9/14Jen-peiLiu,PhD3氮肥用量與稻穀收量的ScatterPlot2023/8/5Jen-peiLiu,PhD3氮肥用量與2023/9/14Jen-peiLiu,PhD4年齡與膽固醇量的ScatterPlot(mg/ml)2023/8/5Jen-peiLiu,PhD4年齡與膽固2023/9/14Jen-peiLiu,PhD5年雨量與小麥產量的ScatterPlot(公斤/100)2023/8/5Jen-peiLiu,PhD5年雨量與小2023/9/14Jen-peiLiu,PhD6探討兩個變數之間的關係問題： 兩個變數間是否存在直線關係？ 將直線關係以方程式表示

資料型態(xi,yi)2023/8/5Jen-peiLiu,PhD6探討兩個變2023/9/14Jen-peiLiu,PhD7探討兩個變數之間的關係假定(Assumptions)每對資料均為獨立常態相同變方X與Y的關係為直線2023/8/5Jen-peiLiu,PhD7探討兩個變2023/9/14Jen-peiLiu,PhD8簡單相關係數(Simplecorrelationcoefficient)簡單直線回歸(SimpleLinearRegression)模式建立之推論(ModelsandInference)回歸模式直線性檢定(EvaluationofLinearity)假定之確認(CheckingtheModelAssumptions)2023/8/5Jen-peiLiu,PhD8簡單相關係2023/9/14Jen-peiLiu,PhD9ⅡⅠⅢⅣⅡⅠⅢⅣⅡⅠⅢⅣμχμχμχμyμyμyy(a)ρ>0正相關(b)ρ<0負相關(c)ρ=0無相關圖11.8b三種不同族群相關散播圖2023/8/5Jen-peiLiu,PhD9ⅡⅠⅢⅣⅡ2023/9/14Jen-peiLiu,PhD10象限(χ-μχ)(y-μy)(χ-μχ)(y-μy)Ⅰ+++Ⅱ-+-Ⅲ--+Ⅳ+--2023/8/5Jen-peiLiu,PhD10象限(χ2023/9/14Jen-peiLiu,PhD11正相關：落在第Ⅰ及Ⅲ象限的點數>落在第Ⅱ及Ⅳ象限的點數負相關：落在第Ⅰ及Ⅲ象限的點數<落在第Ⅱ及Ⅳ象限的點數無相關：落在第Ⅰ及Ⅲ象限的點數=落在第Ⅱ及Ⅳ象限的點數2023/8/5Jen-peiLiu,PhD11正相關：2023/9/14Jen-peiLiu,PhD12族群簡單相關係數：(x1,y1)…(xN,yN)，-1<ρ<12023/8/5Jen-peiLiu,PhD12族群簡單2023/9/14Jen-peiLiu,PhD13樣品簡單相關係數樣品資料：(x1,y1),…,(xn,yn)乘積和：X平方和：Y平方和：2023/8/5Jen-peiLiu,PhD13樣品簡單2023/9/14Jen-peiLiu,PhD14樣品簡單相關係數樣品資料：(x1,y1),…,(xn,yn)r之範圍：-1≦r≦12023/8/5Jen-peiLiu,PhD14樣品簡單2023/9/14Jen-peiLiu,PhD15xyr=1xyr=-1(a)完全正相關(b)完全負相關2023/8/5Jen-peiLiu,PhD15xyr2023/9/14Jen-peiLiu,PhD16(a)不完全正相關(b)不完全負相關xy0<r<1xy-1<r<02023/8/5Jen-peiLiu,PhD16(a)不2023/9/14Jen-peiLiu,PhD17xyr=0xyr=0(a)無相關(b)曲線關系2023/8/5Jen-peiLiu,PhD17xyr2023/9/14Jen-peiLiu,PhD18簡單相關係數顯著性檢定H0：ρ=0v.s.Ha：ρ≠0顯著水準：α檢定統計值：決策方法：若｜T｜>tα/2,n-2拒絕H02023/8/5Jen-peiLiu,PhD18簡單相關2023/9/14Jen-peiLiu,PhD19例：雨量與小麥產量

n=8,Σxi=200.5,Σyi=296.52023/8/5Jen-peiLiu,PhD19例：雨量2023/9/14Jen-peiLiu,PhD20簡單直線回歸(SimpleLinearRegression)水稻穀產量期望值E(y)與氮肥用量(x)可以用直線關係描述

E(yi)=β0+βxi，i=1,…,6(=n)yi：依變數(Dependentvariable)xi：獨立(自)變數(Independentvariable)β0：截距(Intercept)x=0時y的值

β：斜率(Slope)x變動一個單位y變動的量但實際觀測值與直線E(y)=β0+βx有差距原因：環境、實驗誤差、量測誤差及其他原因

yi=β0+βxi+εi，i=1,…,6(=n)εi：誤差(Error)2023/8/5Jen-peiLiu,PhD20簡單直線2023/9/14Jen-peiLiu,PhD21TheSimpleLinearRegressionModel(Hereβ>0)xy-interceptOne-unitchangeinxSlope=βMeanvalueofywhenxequalsx0Anobservedvalueofywhenxequalsx0yβ00ErrortermStraightlinedefinedbytheequationμy∣x=β0+βxx0=Aspecificvalueoftheindependentvariablex2023/8/5Jen-peiLiu,PhD21The2023/9/14Jen-peiLiu,PhD22假定(Assumptions)：獨立性(Independent)常態性(Normality)直線關係(Linearity)相同變方(homogeneityofVariance)無數條直線可描述X與Y的關係選擇直線的方法： 最小平方法(LeastSquaresMethod)

德國大數學家Gauss發明2023/8/5Jen-peiLiu,PhD22假定(A2023/9/14Jen-peiLiu,PhD23yixie1e2e3e4e6e5圖11.4回歸直線與殘差圖2023/8/5Jen-peiLiu,PhD23yixi2023/9/14Jen-peiLiu,PhD24最小平方法2023/8/5Jen-peiLiu,PhD24最小平方2023/9/14Jen-peiLiu,PhD25正常方程式(NormalEquations)2023/8/5Jen-peiLiu,PhD25正常方程2023/9/14Jen-peiLiu,PhD26斜率估算值截距估算值預測直線回歸方程式(PredictedLinearRegressionEquations)殘差估算值

為當獨立之變數為xi時，依變數之最小平方預測平均值2023/8/5Jen-peiLiu,PhD26斜率估算2023/9/14Jen-peiLiu,PhD27計算推測直線回歸方程式所需統計值例：成人年齡與血液膽固醇含量2023/8/5Jen-peiLiu,PhD27計算推測2023/9/14Jen-peiLiu,PhD28假定獨立性常態性直線關係相同變方殘差εi為常態分布族群平均值為0族群變方為σ22023/8/5Jen-peiLiu,PhD28假定獨立2023/9/14Jen-peiLiu,PhD29AnIllustrationoftheModelAssumptionsy32.545.9XThestraightlinedefinedbytheequationμy∣x=β0+βx(thelineofmeans)Populationofyvalueswhenx=45.9Populationofyvalueswhenx=32.512.4=Observedvalueofywhenx=32.5Themeanfuelconsumptionwhenx=32.5Themeanfuelconsumptionwhenx=45.99.4=Observedvalueofywhenx=45.92023/8/5Jen-peiLiu,PhD29AnI2023/9/14Jen-peiLiu,PhD30σ2之估算殘差估算值殘差估算值平方殘差(估算值)平方和估算殘差值時必須先計算b0和bSSE之自由度為n-22023/8/5Jen-peiLiu,PhD30σ2之估2023/9/14Jen-peiLiu,PhD31斜率與截距變方之估計2023/8/5Jen-peiLiu,PhD31斜率與截2023/9/14Jen-peiLiu,PhD32例成人年齡與膽固醇2023/8/5Jen-peiLiu,PhD32例成2023/9/14Jen-peiLiu,PhD33斜率H0：β=0V.S.Ha：β≠0顯著水準α檢定統計值(Teststatistic)決策方法若｜Tβ｜>tα/2,n-2拒絕H0β之(1-α)％信賴區間2023/8/5Jen-peiLiu,PhD33斜率H02023/9/14Jen-peiLiu,PhD34截距H0：β0=0V.S.Ha：β0≠0顯著水準α檢定統計值(Teststatistic)決策方法若｜Tβ0｜>tα/2,n-2拒絕H0β0之(1-α)％信賴區間2023/8/5Jen-peiLiu,PhD34截距H02023/9/14Jen-peiLiu,PhD35例：成人年齡與膽固醇斜率H0：β=0V.S.Ha：β≠0α＝0.05

｜Tβ｜＝6.7419>t0.025,10＝2.228，拒絕H0β之95％信賴區間2023/8/5Jen-peiLiu,PhD35例：成人2023/9/14Jen-peiLiu,PhD36例：成人年齡與膽固醇截距H0：β0=0V.S.Ha：β0≠0α＝0.05

｜Tβ0｜＝1.2756<t0.025,10＝2.228β0之95％信賴區間2023/8/5Jen-peiLiu,PhD36例：成人2023/9/14Jen-peiLiu,PhD37回歸變方分析表總變異可由x解釋之變異不可由x解釋之變異獨立變數XY2023/8/5Jen-peiLiu,PhD37回歸變方2023/9/14Jen-peiLiu,PhD38總變異＝可由x所解釋變異+不可由x解釋變異總平方和＝回歸平方和+殘差平方和SST=SSR+SSESyy=bSxy+(Syy-bSxy)自由度：n-1=1+(n-2)2023/8/5Jen-peiLiu,PhD38總變異＝2023/9/14Jen-peiLiu,PhD39迴歸變方平方和變因自由度平方和均方F值迴歸1SSR=b×SxyMSR=SSR/1MSR/MSE殘差n-2SSE=SST-SSRMSE=SSE/(n-2)總計n-1SST2023/8/5Jen-peiLiu,PhD39迴歸變方2023/9/14Jen-peiLiu,PhD402023/8/5Jen-peiLiu,PhD402023/9/14Jen-peiLiu,PhD41例：成人年齡與膽固醇SST=Syy=52100.7825SSR=b×Sxy=(5.65025)×(7558.15) =42705.4370SSE=SST-SSR =52100.7825-42705.4370 =9395.3455ANOVA表變因自由度平方和均方F迴歸142705.437042705.437045.4538殘差109395.3455939.53455總計1152100.78252023/8/5Jen-peiLiu,PhD41例：成人2023/9/14Jen-peiLiu,PhD42決定係數(CoefficientofDetermination)R2=決定係數

=

可由獨立變數解釋之變異總變異

=SSR/SST 0<R2<1當只有一個獨立變數時

R2=(相關係數)２=r22023/8/5Jen-peiLiu,PhD42決定係數2023/9/14Jen-peiLiu,PhD43例：成人年齡與膽固醇F=42705.4370/939.53455=45.4538，F0.05,1,10=4.9646拒絕H0F=45.4538=(6.7419)2=(Tβ)2R2=SSR/SST=42705.4370/52100.7825=0.8197=(0.9054)22023/8/5Jen-peiLiu,PhD43例：成人2023/9/14Jen-peiLiu,PhD442023/8/5Jen-peiLiu,PhD442023/9/14Jen-peiLiu,PhD452023/8/5Jen-peiLiu,PhD452023/9/14Jen-peiLiu,PhD46例：成人年齡與膽固醇年齡為55歲之膽固醇分佈平均值的估計(預測)值95％信賴區間2023/8/5Jen-peiLiu,PhD46例：成人2023/9/14Jen-peiLiu,PhD47例：成人年齡與膽固醇年齡為55歲之膽固醇的預測值95％信賴區間2023/8/5Jen-peiLiu,PhD47例：成人2023/9/14Jen-peiLiu,PhD48獨立變數x2023/8/5Jen-peiLiu,PhD48獨立變數2023/9/14Jen-peiLiu,PhD49直線性檢定(TestforLinearity)獨立變數依變數(重複)平均重複數獨立變數下的依變數必須有重複2023/8/5Jen-peiLiu,PhD49直線性檢2023/9/14Jen-peiLiu,PhD50直線性檢定(TestforLinearily)2023/8/5Jen-peiLiu,PhD50直線性檢2023/9/14Jen-peiLiu,PhD512023/8/5Jen-peiLiu,PhD512023/9/14Jen-peiLiu,PhD52變方分析表變因自由度平方和均方F值迴歸1SSR=b．SxyMSR殘差n-2SSE=Syy-b．SxyMSE

欠合k-2SSLF=SSE-SSPEMSLF=SSLF/(k-2)MSLFMSPE

純誤差n-kSSPE=MSPE=SSPE/(n-k)總計n-1SST=Syy2023/8/5Jen-peiLiu,PhD52變方分析2023/9/14Jen-peiLiu,PhD53直線性檢定(TestforLinearity) H0：符合直線假定

v.s. Ha：不符合直線假定顯定水準：α決策方法：

FLF=MSLF/MSPE>Fα，k-2，n-k

拒絕H02023/8/5Jen-peiLiu,PhD53直線性檢2023/9/14Jen-peiLiu,PhD54例子：成人年齡與血壓(mmHg)年齡203040506070血壓102110108120115118112126119120135130120128150146148138140160155159150總和yi320465365529722624ni3434542023/8/5Jen-peiLiu,PhD54例子：成2023/9/14Jen-peiLiu,PhD55例子：成人年齡與血壓(mmHg)2023/8/5Jen-peiLiu,PhD55例子：成2023/9/14Jen-peiLiu,PhD56例子：成人年齡與血壓(mmHg)2023/8/5Jen-peiLiu,PhD56例子：成2023/9/14Jen-peiLiu,PhD57例子：成人年齡與血壓(mmHg)2023/8/5Jen-peiLiu,PhD57例子：成2023/9/14Jen-peiLiu,PhD58變方分析表變因自由度平方和均方F值迴歸(R)16228.70966228.7096殘差(E)(23-2=21)391.029518.6025欠合(L)6-2=476.996219.24911.0420純誤差(P)23-6=17314.033318.4725總計(T)23-1=226619.7391FLF=1.0240<F0.05，4，17=2.9647無法拒絕H02023/8/5Jen-peiLiu,PhD58變方分析2023/9/14Jen-peiLiu,PhD59變方分析表變因自由度平方和均方F值迴歸(年齡)16228.70966228.7096334.5082殘差21391.029518.6025總計(T)226619.7391F

=6228.7096/18.6205=334.5082>F0.05，1，21=