复回归的估计标准误计算公式为课件

第14章

複迴歸與相關分析14-1第14章

複迴歸與相關分析14-114-2目標使用複迴歸分析，描述多個獨立變數與一個相依變數間的關係。建構、解釋，以及應用ANOVA表格。計算與解釋複迴歸的估計標準誤、複判定係數與調整複判定係數。進行迴歸係數是否不為0的假設檢定。進行每一個迴歸係數的假設檢定。使用殘差分析去評估複迴歸分析的假設。計算相關獨立變數的影響。了解與使用屬性獨立變數。14-2目標使用複迴歸分析，描述多個獨立變數與一個相依變數間複迴歸分析任意多個獨立變數（k），其公式如下所示：14-3此方程式是由最小平方法建立。因為判斷b1、b2等係數的過程非常繁雜，因此建議採用Excel或MINITAB軟體計算。複迴歸分析任意多個獨立變數（k），其公式如下所示：14-3此複迴歸與相關分析兩個獨立變數，其複迴歸方程式的一般形式為：

14-4其中X1與X2是兩獨立變數。a

是截距，亦即方程式通過Y軸的點。b1是當X2保持不變時，X1每變動一單位Y'的淨改變量。它被稱為偏迴歸係數、淨迴歸係數或迴歸係數。b2是X1當保持不變時，X2每變動一單位Y'的淨變動量。複迴歸與相關分析兩個獨立變數，其複迴歸方程式的一般形式為：RegressionPlanefora2-IndependentVariableLinearRegressionEquation14-5RegressionPlanefora2-Indep範例Salsberry不動產公司專門銷售位於美國東岸的房子。該公司最常接到的問題之一是：冬天時需要花多少錢在房屋的暖氣上？研究部門被要求建立一套有關房屋暖氣花費的指導方針。有三個變數與暖氣的成本有關：(1)每天戶外的平均溫度（℉）、(2)屋頂天花板厚度（以英寸為單位）和(3)暖氣爐的使用年數。研究部門隨機選擇最近剛賣出的20

棟房屋為樣本。根據樣本1月份的暖氣花費，以及該地區1月份的平均室外溫度、屋頂天花板厚度、暖氣爐使用年數等進行研判。表14-1列示了相關樣本資料。14-6範例Salsberry不動產公司專門銷售位於美國東範例continued

表

14-120棟房屋之樣本1月份影響暖氣花費的因子14-7範例continued表14-120棟房屋範例continued請計算複迴歸方程式。哪些變數是獨立變數？哪些變數是相依變數？請討論迴歸係數。為什麼有些為正、有些為負呢？截距值是多少？假設平均室外溫度是30度、天花板的厚度為5英寸且暖氣爐的使用年數為10年，請估計這間房屋的暖氣花費是多少？

14-8範例continued請計算複迴歸方程式。哪些變數範例continued相依變數是1月份的暖氣花費，用

Y

表示。此外，有三個獨立變數：平均室外溫度，用

X1表示。屋頂天花板厚度，用X2

表示。暖爐使用年數，用X3

表示。用來估計Y。具有三個獨立變數之複迴歸方程式的一般式為：範例continued相依變數是1月份的暖氣花費，用MultipleLinearRegression–MinitabExample14-10MultipleLinearRegression–M範例continued14-11範例continued14-11範例continued複迴歸方程式的估計式為 假若知道平均室外溫度、屋頂天花板厚度、以及暖爐使用年數，則我們就可以預估1月份的暖氣花費。舉例說明，如果平均室外溫度是30度（X1），屋頂天花板厚度是5英吋（X2），暖爐使用年數是10年（X3），把這些值代入上式的獨立變數中而得到：14-12範例continued複迴歸方程式的估計式為 範例continued

平均室外溫度的迴歸係數－4.583是負數，表示暖氣花費與室外溫度呈現反向關係。這樣的結果並不令人感到意外，隨著室外溫度增加，房屋的暖氣花費則減少。如果平均室外溫度每增加1度，而固定另外兩個獨立變數，可預期房屋每月的暖氣花費將減少$4.583。如果波士頓的平均室外溫度為25度，而費城的室外平均溫度為35度，在其他條件不變的情況下，預期在費城的暖氣花費將比波士頓少$45.83。 14-13範例continued平均室外溫度的迴歸係數－4.範例continued至於「屋頂天花板厚度」這個變數也是反向關係，代表天花板厚度愈厚，房屋的暖氣花費就愈少，所以係數為負號也合乎邏輯。假設固定平均室外溫度與暖氣爐使用年數，那麼每增加1英寸的天花板厚度，預期每月的房屋暖氣花費將減少$14.83。

14-14範例continued至於「屋頂天花板厚度」這個範例continued

變數「暖氣爐使用年數」則為正向關係，亦即使用年數愈多，房屋的暖氣成本也就愈高。暖氣爐的使用年數每增加1年，預期每個月房屋的暖氣成本會增加$6.1。

14-15範例continued變數「暖氣爐使用年數」則為複迴歸的估計標準誤複迴歸估計標準誤是描述在迴歸線周圍的變異程度。其衡量單位與獨立變數相等。其不能判斷哪一個標準誤較大或較小。14-16複迴歸的估計標準誤複迴歸估計標準誤是描述在迴歸線周圍的變異程複迴歸的估計標準誤計算公式為：14-17複迴歸的估計標準誤計算公式為：14-17複迴歸與複相關的假設相依變數與獨立變數具有線性關係：獨立變數與相依變數間必須具有線性關係。相依變數必須是連續變數，且觀測資料至少是區間尺度。所有Y值的實際值與預估值間的變異程度皆相同。也就是，所有Y值的每個(Y－

)必須要接近相等。這種情形下的差距稱為等差(homoscedasticity)。由Y－

所計算出來的殘差必須服從平均數為0的常態分配。複迴歸與複相關的假設相依變數與獨立變數具有線性關係：例子既然有三個獨立變數，複迴歸估計標準誤寫為要如何解釋估計標準誤51.05

這個值呢？這表示當使用這個方程式預測花費時所出現的誤差。首先，估計標準誤的單位與相依變數的單位相同，所以單位是元。第二，如果殘差近似常態分配，大約有68%的殘差是在±51.05之間，以及大約有95%落在(±2

51.05)=±102.1之間。

14-19例子既然有三個獨立變數，複迴歸估計標準誤寫為14-19Excelsolution14-20Excelsolution14-20ANOVA表ANOVA表格可分析獨立變數的變異度。此變異可分為兩部分：可以由複迴歸所解釋的變異，亦即由獨立變數解釋的變異。

殘差誤差，或稱不可解釋的變異。14-21ANOVA表ANOVA表格可分析獨立變數的變異度。14-2ANOVA表表頭為SS

的欄位代表平方和，或稱變異程度

總變異=SStotal誤差變異=SSE迴歸變異=SSR=SStotal－SSE表頭為MS（均方）的欄位，是將SS項除以df

而得。所以，均方迴歸MSR等於SSR/kMSE等於SSE/[n－(k+1)]14-22ANOVA表表頭為SS的欄位代表平方和，或稱變異程度複判定係數複判定係數（coefficientofmultipledetermination）在相依變數Y

之總變異中，可由獨立變數X1,X2,X3,……,Xk來解釋的部分。14-23複判定係數複判定係數（coefficientofmult複判定係數複判定係數的性質如下：標示為R2。值介於0到1之間。值接近0

代表獨立變數與相依變數之間的相關性很小。值接近1代表獨立變數與相依變數之間的相關性很大。不能為負數。因為平方的數不可以是負數。因為R2的值介於0到1之間，很容易解釋與比較。14-24複判定係數複判定係數的性質如下：14-24複判定係數計算公式如下：14-25複判定係數計算公式如下：14-25調整複判定係數在複迴歸方程式中獨立變數的個數會使得判定係數變大，每增加一個新的獨立變數皆會使得預測更為精確。造成SSE更小，SSR更大。因此，R2的增加是因為獨立變數的總個數，而不是因為新增的獨立變數是相依變數的好預測因子。事實上，若變數個數與樣本數相等，則判定係數為1。這種情形是有問題的。為平衡獨立變數的個數所造成複判定係數的影響，統計軟體使用調整複判定係數。14-26調整複判定係數在複迴歸方程式中獨立變數的個數會使得判定係數變調整複判定係數計算公式如下：14-27調整複判定係數計算公式如下：14-27例子用公式

[14-3]計算複判定係數：如何解釋這個值？我們說：獨立變數（平均室外溫度、屋頂天花板厚度、暖爐使用年數）可解釋暖氣花費總變異的80.4%。換句話說，19.6%

的變異是由於誤差或是由沒考慮的變數所造成。ANOVA表格中，19.6%是誤差的平方和除以平方總和。 14-28例子用公式[14-3]計算複判定係數：14-28例子continued暖氣花費的範例，調整複判定係數如下：請比較判定係數R2

為0.8，而調整複判定係數為0.77。

14-29例子continued暖氣花費的範例，調整複判定係數如下聯合檢定：檢定複迴歸模式是否有效能夠檢定獨立變數對相依變數Y的解釋能力有多少。以問句的方式詮釋：可以不依賴獨立變數來估計相依變數嗎？這個檢定稱為聯合檢定（globaltest）。14-30聯合檢定：檢定複迴歸模式是否有效能夠檢定獨立變數對相依變數聯合檢定檢定統計量為F分配，其自由度為k

與n－(k+1)，其中n為樣本個數。14-31聯合檢定檢定統計量為F分配，其自由度為k與找尋F臨界值14-32找尋F臨界值14-32找出計算之F值14-33找出計算之F值14-33解讀14-34計算出F值為21.90，在拒絕域內，故拒絕H0。虛無假設之所有複迴歸參數皆為0，故拒絕之。

解讀：某些獨立變數(amountofinsulation,etc.)具有解釋相依(heatingcost)變異能力。解讀14-34計算出F值為21.90，在拒絕域內，故拒絕H0個別迴歸係數的檢定個別檢定為對個別變數進行檢定，判斷哪些迴歸係數為0哪些不為0。如果一個β值等於0，則代表該獨立變數無法解釋相依變數的任何變異。因此，當發現係數不能拒絕時，就必須將它從迴歸方程式中剔除。檢定統計量為t

分配，以及其自由度為n－(k+1)。14-35個別迴歸係數的檢定個別檢定為對個別變數進行檢定，判斷哪些迴歸個別迴歸係數的檢定公式如下：其中bj

為任何一個迴歸係數，sbi為迴歸係數bj之分配的標準差。14-36個別迴歸係數的檢定公式如下：14-36斜率之臨界t-stat14-37斜率之臨界t-stat14-37計算斜率之t-stat14-38計算斜率之t-stat14-38斜率顯著性結論14-39斜率顯著性結論14-39殘差分析殘差為實際變數Y

與預測變數Y'間的差異。想要了解殘差是否服從常態分配，可以使用直方圖來表示。繪製殘差與相對應的Y'值可以顯示在這些殘差中是否出現某種趨勢或型態。14-40殘差分析殘差為實際變數Y與預測變數Y'間的差異。14殘差圖14-41殘差圖14-41殘差直方圖14-42殘差直方圖14-42評估複迴歸的假設

線性關係：獨立變數與相依變數間必須具有線性關係。大與小的

值產生相同的殘差變異：不管的大小，

是不相關的。殘差服從常態機率分配：殘差

是實際值

Y

與估計值

的差異，它近似常態分配，且平均數為0。

14-43評估複迴歸的假設線性關係：獨立變數與相依變數間必須具有線性評估複迴歸的假設獨立變數之間不應該有相關。殘差是獨立的。即相依變數的相鄰觀測值是不相關的。但當時間因素被考慮進樣本觀測值，則這項假設經常不滿足。14-44評估複迴歸的假設獨立變數之間不應該有相關。14-44變異膨脹因子變異膨脹因子（varianceinflationfactor）公式如下：是判定係數，挑選的獨立變數被使用作為相依變數，剩下的獨立變數仍然作為獨立變數。若VIF>10，則顯示獨立變數應被刪除。

14-45變異膨脹因子變異膨脹因子（varianceinflatio獨立的觀測迴歸分析與相關分析的第五個假設是：殘差應該是獨立的。即殘差應該沒有固定的形式，它們應該不會相關。如果殘差有相關，這種情況稱為自相關（autocorrelation）。自相關經常發生在資料蒐集的過程持續一段時間。

14-46獨立的觀測迴歸分析與相關分析的第五個假設是：殘差應該是獨立的質變數通常希望在分析中使用名目尺度的變數──例如：性別區分、房屋是否有游泳池、或是球賽在主客場等。因為它們描述了一個特定的性質，所以稱為質變數（qualitativevariables）。14-47質變數通常希望在分析中使用名目尺度的變數──例如：性別區分、虛擬變數為了將質變數利用在迴歸分析中，使用虛擬變數來表示兩個可能的條件，並將之編碼為0或1。虛擬變數（dummyvariables）：一種只有兩個可能結果的變數。進行分析時，將其中一個結果編碼為1，另一個結果編碼為0。14-48虛擬變數為了將質變數利用在迴歸分析中，使用虛擬變數來表示兩個範例

表

14-1的範例，有三個獨立變數與暖氣的成本有關：戶外溫度、天花板厚度、暖氣爐的使用年數。為所有獨立變數建立相關矩陣。是否有多重共線性的問題？為每個獨立變數求出變異膨脹因子，並解釋之