多元回归分析导论课件

中級社會統計第十三講複迴歸分析©Ming-chiChenPage.1社會統計中級社會統計第十三講©Ming-chiChenPage.1複迴歸分析前面我們學到只有一個自變項的簡單迴歸分析我們知道一個地區的人均病床數會影響到該地區的平均餘命我們也知道一個地區的人均教育支出會影響該地區的平均餘命但是如果教育支出相等的條件下，醫療資源的多寡會不會影響平均壽命？兩者孰輕孰重？控制的概念（在其他條件不變的情況下）©Ming-chiChen2社會統計複迴歸分析前面我們學到只有一個自變項的簡單迴歸分析©Ming複迴歸分析研究兩個或兩個以上的IV對DV的影響的分析方式，稱為複迴歸分析（multipleregressionanalysis）又稱多元迴歸分析迴歸方程式©Ming-chiChen3社會統計複迴歸分析研究兩個或兩個以上的IV對DV的影響的分析方式，稱多元迴歸MultipleRegressionModels統計成績與努力（所花時間）的關係如下：觀念©Ming-chiChen4社會統計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels兩者的迴歸線：觀念©Ming-chiChen5社會統計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels將學生對於數理科目的興趣納入考量發現：觀念x2=30x2=20x2=10©Ming-chiChen6社會統計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels如果我們針對具有相同興趣水準的學生來考量努力與成績的關係，則可以分別用三個迴歸線來表達：觀念©Ming-chiChen7社會統計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels這三條線的斜率似乎沒有原本迴歸線來得大，表示努力與成績的關係有一部份是受到興趣的干擾(confounding):有興趣的學生通常花比較多的時間觀念©Ming-chiChen8社會統計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels此時利用多元迴歸比簡單迴歸可以算出三條簡單迴歸的「平均斜率」。觀念©Ming-chiChen9社會統計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels多元迴歸用來分析一個以上自變數對於依變數的影響，可以看出「其他變數不變（常數）」的條件下，某一個變數對於依變數產生的「淨」影響為何？觀念©Ming-chiChen10社會統計多元迴歸MultipleRegressionModelsPartialDerivative偏微分觀念觀念經濟學說我們對於某商品的需求量與價格及所得有關：在所得不變的條件下，商品價格x1變動，對於需求量y有何影響?©Ming-chiChen11社會統計PartialDerivative偏微分觀念觀念經濟學說我PartialDerivative偏微分觀念觀念假設所得固定為100，因為價格變動所造成的商品需求變動可以表為：帶入原來的函數：©Ming-chiChen12社會統計PartialDerivative偏微分觀念觀念假設所得固PartialDerivative偏微分觀念觀念如果我們將x1切割成很小的單位，則每個極小單為的變動所造成的q變動為：在x2不變（保持恆定）的情況下，x1的變動所造成y的變動©Ming-chiChen13社會統計PartialDerivative偏微分觀念觀念如果我們將PartialDerivative偏微分觀念觀念X2所得X1價格y需求三個以上的自變數在三度空間上無法表達。二個自變數的多元迴歸分析在於設法找出最合適資料分佈的一個平面。©Ming-chiChen14社會統計PartialDerivative偏微分觀念觀念X2所得X多元迴歸的參數推估求多元迴歸x1與x2的係數？我們可以將所有的觀察值y視為x1與x2的線性函數加上誤差值e多元迴歸的預測值可以表為：©Ming-chiChen15社會統計多元迴歸的參數推估求多元迴歸x1與x2的係數？我們可以將所有TheNormalEquation觀念X2所得X1價格y需求求使e2最小的平面©Ming-chiChen16社會統計TheNormalEquation觀念X2所得X1價格yTheNormalEquation觀念求MinimumQ?將(1)式分別對a,b1,b2做偏微分，再將所得之方程式設為零，然後求解聯立方程式即可求得最小值。©Ming-chiChen17社會統計TheNormalEquation觀念求MinimumTheNormalEquation觀念e總和為零e與x1及x2不相關(uncorrelated)©Ming-chiChen18社會統計TheNormalEquation觀念e總和為零e與x1BasicRulesforDifferentiationRule8:thechainrule複習©Ming-chiChen19社會統計BasicRulesforDifferentiatioExampleofchainrule複習©Ming-chiChen20社會統計Exampleofchainrule複習©Ming-c微分求迴歸係數©Ming-chiChen21社會統計微分求迴歸係數©Ming-chiChen21社會統計©Ming-chiChen22社會統計©Ming-chiChen22社會統計TheNormalEquation觀念©Ming-chiChen23社會統計TheNormalEquation觀念©Ming-chiTheNormalEquation觀念SumAverage©Ming-chiChen24社會統計TheNormalEquation觀念SumAveragTheNormalEquation觀念SumAverage©Ming-chiChen25社會統計TheNormalEquation觀念SumAveragTheNormalEquation觀念迴歸平面通過中心點:©Ming-chiChen26社會統計TheNormalEquation觀念迴歸平面通過中心點NormalEquationsinReducedForm觀念若將所有變數都以「離均值」來表示求b1,b2等於：©Ming-chiChen27社會統計NormalEquationsinReducedFoNormalEquationsinReducedForm觀念解聯立方程式：©Ming-chiChen28社會統計NormalEquationsinReducedFoNormalEquationsinReducedForm觀念解聯立方程式：©Ming-chiChen29社會統計NormalEquationsinReducedFo觀念©Ming-chiChen30社會統計觀念©Ming-chiChen30社會統計一般化迴歸模型的假設條件依變數Yi為隨機變數，自變數（Xi,i=1,…,k）為預先選定的變數。ZeroMean:E(ei)=0Homoscedasticity:e2isthesameforallvalueofindependentvariable.Normality:ei為常態分配Noserialcorrelation:E(eiej)=0,ijIndependentofeiandxij:E(eixij)=0©Ming-chiChen31社會統計一般化迴歸模型的假設條件依變數Yi為隨機變數，自變數（Xi,一般化迴歸模型的假設條件Noperfectmulticollinearity:itisnotpossibletofindasetofnumbersc0,c1,…cksuchthat‧樣本數n>k+1，在複迴歸模型若有k個自變數，則有k+1（包括截距α）個迴歸參數，此時利用樣本來估計迴歸參數時，樣本數必須大於k+1個。©Ming-chiChen32社會統計一般化迴歸模型的假設條件NoperfectmulticoTheGeneralMultipleRegressionModelb0,b1,…bkaretheleast-squaresestimatesofβ0,β1,…βkthatminimizetheresidualsumofsquares:TheGauss-MarkovTheorem:Ifthebasicassumptionshold:

b0,b1,…bkaretheunbiasedestimatesofβ0,β1,…,βkb0,b1,…bkhavetheminimumvariancesamongtheclassoflinearunbiasedestimators母體迴歸線樣本迴歸線©Ming-chiChen33社會統計TheGeneralMultipleRegressioEstimatedStandardErrorofRegression如同在簡單迴歸中，為了要做假設檢定，我們必須要估計e2。在簡單迴歸中，我們知道S2e=SSE/(n-2)為e2的不偏估計式。同理，在複迴歸中，S2e=SSE/(n-(K+1))為e2的不偏估計式。其中n為樣本數，(K+1)為所欲估計的未知數（即K個自變數加上一個常數項）。

©Ming-chiChen34社會統計EstimatedStandardErrorofReEstimatedStandardErrorofRegressionSSE的一般性公式：©Ming-chiChen35社會統計EstimatedStandardErrorofRePartitionofTotalSumofSquares觀念多元迴歸中，SST=SSR+SSE仍然成立e與x1及x2不相關©Ming-chiChen36社會統計PartitionofTotalSumofSquaPartitionofTotalSumofSquares觀念SST=SSE+SSR©Ming-chiChen37社會統計PartitionofTotalSumofSquaSumofSquareduetoRegression觀念代入以大寫字母來表示與平均值間的差異。©Ming-chiChen38社會統計SumofSquareduetoRegressioSumofSquareduetoRegression觀念©Ming-chiChen39社會統計SumofSquareduetoRegressioCoefficientofDeterminationR2判定係數用來衡量迴歸方程式的配合度或解釋力©Ming-chiChen40社會統計CoefficientofDeterminationRAdjustedRsquare如果樣本數小或自變項個數增加，會使自由度變小，因此判定係數R2會高估。亦即在複迴歸模型中若不斷加入與模型無關的解釋變數時，R2會提高一些，不能代表迴歸模型的解釋能力。需要調整複判定係數（adjustedcoefficientofmultipledetermination）主要調整的是自由度©Ming-chiChen41社會統計AdjustedRsquare如果樣本數小或自變項個數增AdjustedRsquare©Ming-chiChen42社會統計AdjustedRsquare©Ming-chiCheAdjustedRsquare©Ming-chiChen43社會統計AdjustedRsquare©Ming-chiCheAdjustedRsquare©Ming-chiChen44社會統計AdjustedRsquare©Ming-chiCheMeasuringGoodnessoffit在複迴歸中，可利用Ｆ檢定迴歸方程式中所有的自變數對於依變數Y是否有聯合的解釋能力： H0：迴歸方程式無解釋能力β0=β1=β2=…=βK=0 H1：迴歸方程式有解釋能力（β不全為零）©Ming-chiChen45社會統計MeasuringGoodnessoffit在複迴歸中MeasuringGoodnessoffitReject©Ming-chiChen46社會統計MeasuringGoodnessoffitRejec©Ming-chiChen47社會統計©Ming-chiChen47社會統計部分迴歸係數的F檢定檢定新增的IV對DV是否有影響設原複迴歸模型有k個IV，新增Q個IV，欲檢定新增的Q個IV是否對DV有影響，H0：βk+1=βk+2=…=βk+Q=0H1：H0不為真©Ming-chiChen48社會統計部分迴歸係數的F檢定檢定新增的IV對DV是否有影響©Ming個別迴歸參數的檢定由樣本估計出來的迴歸係數必須接受統計檢定，以了解母體參數的真實性質（從樣本得到這樣的係數，是否意味著母體參數不為零）。若母體迴歸變異數σ2已知，則利用Z分配進行檢定或區間估計。但如果σ2未知，用樣本變異數S2Y|XZ（也就是Se2）來代替，進行t檢定。©Ming-chiChen49社會統計個別迴歸參數的檢定由樣本估計出來的迴歸係數必須接受統計檢定，樣本誤差值變異數Se2©Ming-chiChen50社會統計樣本誤差值變異數Se2©Ming-chiChen50社會統二元迴歸係數的變異數©Ming-chiChen51社會統計二元迴歸係數的變異數©Ming-chiChen51社會統計假設檢定迴歸係數檢定所要檢定的假設©Ming-chiChen52社會統計假設檢定迴歸係數檢定所要檢定的假設©Ming-chiChe迴歸係數的t檢定©Ming-chiChen53社會統計迴歸係數的t檢定©Ming-chiChen53社會統計Stata複迴歸結果===///©Ming-chiChen54社會統計Stata複迴歸結果===///©Ming-chiChenConfidenceIntervalsandtestsofhypotheses每一個β之95%信賴區間：自變數個數©Ming-chiChen55社會統計ConfidenceIntervalsandtestsStata複迴歸結果©Ming-chiChen56社會統計Stata複迴歸結果©Ming-chiChen56社會統計複迴歸分析的統計預測：預測母體依變項的平均值信賴區間©Ming-chiChen57社會統計複迴歸分析的統計預測：預測母體依變項的平均值信賴區間©Min複迴歸分析的統計預測：預測母體依變項的信賴區間©Ming-chiChen58社會統計複迴歸分析的統計預測：預測母體依變項的信賴區間©Ming-cStata求預測值©Ming-chiChen59社會統計Stata求預測值©Ming-chiChen59社會統計Stata求預測值©Ming-chiChen60社會統計Stata求預測值©Ming-chiChen60社會統計預測母體依變項平均值的信賴區間•在Stata裡用predict新變數名稱,stdp這個指令來求對應數值。•predictstderr,stdp©Ming-chiChen61社會統計預測母體依變項平均值的信賴區間•在Stata裡用predi母體預測值平均E(Y|X)或μy的95％信賴區間先求出t值，要知道自由度在31-3＝28下，α=0.05的t值。在Stata中，用invttail(28,.05/2)generateyhatll=yhat-stderr*invttail(28,.05/2)這是信賴下界generateyhatul=yhat+stderr*invttail(28,.05/2)這是信賴上界©Ming-chiChen社會統計©Ming-chiChen62社會統計母體預測值平均E(Y|X)或μy的95％信賴區間先求出t值，Stata中求對應特定Xp預測母體值的標準差©Ming-chiChen社會統計•

在Stata裡用predict新變數名稱,stdf這個指令來求對應數值。這裡和前面略有不同。•predictstderrf,stdf©Ming-chiChen63社會統計Stata中求對應特定Xp預測母體值的標準差©Ming-ch母體預測值Y-hat的95％信賴區間先求出t值，要知道自由度在31-3＝28下，α=0.05的t值。在Stata中，用invttail(28,.05/2)generateyhatllf=yhat-stderrf*invttail(28,.05/2)這是信賴下界Generateyhatulf=yhat+stderrf*invttail(28,.05/2)這是信賴上界©Ming-chiChen社會統計©Ming-chiChen64社會統計母體預測值Y-hat的95％信賴區間先求出t值，要知道自由度複迴歸模型中解釋變數的相對重要性複迴歸模型中，各個IV的相對重要性國家在教育上的投入（0.0045）還是人口數目（0.00049）對中國各省市的平均餘命的影響比較重要？迴歸係數不能直接比較。因為單位不同。©Ming-chiChen65社會統計複迴歸模型中解釋變數的相對重要性複迴歸模型中，各個IV的相對複迴歸模型中解釋辨識的相對重要性我們可以用標準差來把迴歸係數化成同樣單位標準化的迴歸係數又稱為beta-coefficientsIV變動一個標準差，DV變動的標準差數。©Ming-chiChen66社會統計複迴歸模型中解釋辨識的相對重要性我們可以用標準差來把迴歸係數Stata求標準化迴歸係數©Ming-chiChen67社會統計Stata求標準化迴歸係數©Ming-chiChen67社Stata求標準化迴歸係數哪一個IV影響比較大？©Ming-chiChen68社會統計Stata求標準化迴歸係數哪一個IV影響比較大？©Ming-虛擬變數DummyVariables在迴歸方程式中，我們假設所有的變數皆為連續變數。如果遇到名目尺度變數，我們可以用虛擬變數來進行分析。虛擬變數(D)又稱為類別變數(categoricalvariables)，通常以(0,1)來區別類別。如男性D=1，女性D=0觀念©Ming-chiChen69社會統計虛擬變數DummyVariables在迴歸方程式中，我們假虛擬變數DummyVariables虛擬變數可以用來比較下列效果：Temporaleffect時間效果：戰時vs.平時，顛峰vs.非顛峰，假日vs.週間Spatialeffects地區效果：都市vs.鄉村Qaulitativevariables質性變數：已婚vs.未婚，男性vs.女性，白人vs.非白人Broadgroupingsofqualitativevariables化約變數。觀念©Ming-chiChen70社會統計虛擬變數DummyVariables虛擬變數可以用來比較下虛擬變數DummyVariablesBasecase比較基底（或referencegroup參考組）當虛擬變數為0時的所有觀察值。因此虛擬變數的迴歸係數衡量比較基底與非比較基底兩群樣本之間的差異。觀念©Ming-chiChen71社會統計虛擬變數DummyVariablesBasecase比較虛擬變數DummyVariables觀念©Ming-chiChen72社會統計虛擬變數DummyVariables觀念©Ming-chi虛擬變數DummyVariables觀念當D=0時，當D=1時，©Ming-chiChen73社會統計虛擬變數DummyVariables觀念當D=0時，當D=虛擬變數DummyVariablesYX教育年數家務時數©Ming-chiChen74社會統計虛擬變數DummyVariablesYX教育年數家務時數©Stata與虛擬變數打開85q1-family.dta依變項為j2，注意缺失值定義和每週家務工作168小時的轉換（＝112小時）在Stata裡產生虛擬變數以a1受訪者的性別為例taba1,gen(sex)這裡逗點之後的gen就是要求Stata從a1來產生一個名叫sex1（原本是a1=1男生）和sex2這兩個虛擬變數當然我們只需要用到sex1，而把女生當作對照組還有用婚姻狀態a5產生wed1（未婚）這個虛擬變數（把a5=3定義為缺失）我另外用eduy這個關於教育年數（小學及以下為6，初中9，高中12，大專及以上16）的連續變數。作法是generateeduy=6ifb1==1…©Ming-chiChen75社會統計Stata與虛擬變數打開85q1-family.dta©MiStata與虛擬變數sex1=1為男生，sex1=0是對照組女生©Ming-chiChen76社會統計Stata與虛擬變數sex1=1為男生，sex1=0是對照Stata與虛擬變數©Ming-chiChen77社會統計Stata與虛擬變數©Ming-chiChen77社會統計虛擬變數的推論統計包括男性這個虛擬變數在內的所有變數的迴歸係數都顯著，可以拒絕虛無假設（係數等於零）©Ming-chiChen78社會統計虛擬變數的推論統計包括男性這個虛擬變數在內的所有變數的迴歸係虛擬變數DummyVariables觀念當男性=0時(女性)當男性=1時(男性)©Ming-chiChen79社會統計虛擬變數DummyVariables觀念當男性=0時(女性虛擬變數DummyVariables©Ming-chiChen80社會統計虛擬變數DummyVariables©Ming-chiC兩個虛擬變數的迴歸©Ming-chiChen81社會統計兩個虛擬變數的迴歸©Ming-chiChen81社會統計兩個虛擬變數的迴歸未婚男性未婚女性已婚男性已婚女性©Ming-chiChen82社會統計兩個虛擬變數的迴歸未婚男性未婚女性已婚男性已婚女性©Ming兩個以上類別的虛擬變數當所欲比較的類別超過兩個時，必須在迴歸方程式中加入K-1個虛擬變數，K為類別數。©Ming-chiChen83社會統計兩個以上類別的虛擬變數當所欲比較的類別超過兩個時，必須在迴歸兩個以上類別的虛擬變數當所有的類別虛擬變數為0時，為比較基底組（參考組）的迴歸線。©Ming-chiChen84社會統計兩個以上類別的虛擬變數當所有的類別虛擬變數為0時，為比較基底族群虛擬變數的推論統計族群的虛擬變數都未達顯著水準，可見得對家務時數沒有影響。©Ming-chiChen85社會統計族群虛擬變數的推論統計族群的虛擬變數都未達顯著水準，可見得對比較基底組的選擇究竟哪一組當作比較基底最好沒有一定的答案，一般的選擇原則為：(1)最大人數組為基底。(2)不要以「其他」類別為基底。(3)人數過少的組別不要當基底。(4)同質性最高的為基底，即標準差最小的組。©Ming-chiChen86社會統計比較基底組的選擇究竟哪一組當作比較基底最好沒有一定的答案，一Interactionwithdummyvariable另外一種常見的非線性關係稱為交互作用(interaction)。在線性迴歸模型中，每一個自變數對於依變數的影響為固定的，每單位X1的變動，永遠造成B1單位Y的變動。但有時候x在不同情況下，可能對Y的影響大小並不同。©Ming-chiChen87社會統計InteractionwithdummyvariablInteractionwithdummyvariable所謂交互作用，指的是x1對y的影響，決定於x2的數值。或者說在不同的x2水準下，x1對Y有不同的影響。現實世界中常有類似的交互作用出現：例如學歷對於收入的影響決定與個人的聰明才智（聰明人較能發揮學歷的效用）年資對於薪資的影響在公務員、醫生、農人等不同職業類別中並不相同。©Ming-chiChen88社會統計InteractionwithdummyvariablInteractionwithdummyvariable欲測試x1,x2是否存在交互作用，僅需將x1及x2兩變數相乘後放入模型中即可。若x1,x2存在交互作用，則B3的統計檢定會顯著不同於零。©Ming-chiChen89社會統計Interactionwithdummyvariabl虛擬變數DummyVariables+交叉觀念當D=0時，當D=1時，©Ming-chiChen90社會統計虛擬變數DummyVariables+交叉觀念當D=0虛擬變數DummyVariables+交叉產生交互作用項到達顯著水準©Ming-chiChen91社會統計虛擬變數DummyVariables+交叉產生交互作用男女不同的教育效果©Ming-chiChen92社會統計男女不同的教育效果©Ming-chiChen92社會統計男女不同的教育效果斜率和截距都有所不同©Ming-chiChen93社會統計男女不同的教育效果斜率和截距都有所不同©Ming-chiCModelsinvolvingpolynomials在迴歸方程式中，有時自變數以二次項(parabola)或三次項(cubicpolynomial)的型態出現。X年資收入©Ming-chiChen94社會統計Modelsinvolvingpolynomials在迴Modelsinvolvingpolynomials©Ming-chiChen95社會統計Modelsinvolvingpolynomials©M中級社會統計第十三講複迴歸分析©Ming-chiChenPage.96社會統計中級社會統計第十三講©Ming-chiChenPage.1複迴歸分析前面我們學到只有一個自變項的簡單迴歸分析我們知道一個地區的人均病床數會影響到該地區的平均餘命我們也知道一個地區的人均教育支出會影響該地區的平均餘命但是如果教育支出相等的條件下，醫療資源的多寡會不會影響平均壽命？兩者孰輕孰重？控制的概念（在其他條件不變的情況下）©Ming-chiChen97社會統計複迴歸分析前面我們學到只有一個自變項的簡單迴歸分析©Ming複迴歸分析研究兩個或兩個以上的IV對DV的影響的分析方式，稱為複迴歸分析（multipleregressionanalysis）又稱多元迴歸分析迴歸方程式©Ming-chiChen98社會統計複迴歸分析研究兩個或兩個以上的IV對DV的影響的分析方式，稱多元迴歸MultipleRegressionModels統計成績與努力（所花時間）的關係如下：觀念©Ming-chiChen99社會統計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels兩者的迴歸線：觀念©Ming-chiChen100社會統計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels將學生對於數理科目的興趣納入考量發現：觀念x2=30x2=20x2=10©Ming-chiChen101社會統計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels如果我們針對具有相同興趣水準的學生來考量努力與成績的關係，則可以分別用三個迴歸線來表達：觀念©Ming-chiChen102社會統計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels這三條線的斜率似乎沒有原本迴歸線來得大，表示努力與成績的關係有一部份是受到興趣的干擾(confounding):有興趣的學生通常花比較多的時間觀念©Ming-chiChen103社會統計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels此時利用多元迴歸比簡單迴歸可以算出三條簡單迴歸的「平均斜率」。觀念©Ming-chiChen104社會統計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels多元迴歸用來分析一個以上自變數對於依變數的影響，可以看出「其他變數不變（常數）」的條件下，某一個變數對於依變數產生的「淨」影響為何？觀念©Ming-chiChen105社會統計多元迴歸MultipleRegressionModelsPartialDerivative偏微分觀念觀念經濟學說我們對於某商品的需求量與價格及所得有關：在所得不變的條件下，商品價格x1變動，對於需求量y有何影響?©Ming-chiChen106社會統計PartialDerivative偏微分觀念觀念經濟學說我PartialDerivative偏微分觀念觀念假設所得固定為100，因為價格變動所造成的商品需求變動可以表為：帶入原來的函數：©Ming-chiChen107社會統計PartialDerivative偏微分觀念觀念假設所得固PartialDerivative偏微分觀念觀念如果我們將x1切割成很小的單位，則每個極小單為的變動所造成的q變動為：在x2不變（保持恆定）的情況下，x1的變動所造成y的變動©Ming-chiChen108社會統計PartialDerivative偏微分觀念觀念如果我們將PartialDerivative偏微分觀念觀念X2所得X1價格y需求三個以上的自變數在三度空間上無法表達。二個自變數的多元迴歸分析在於設法找出最合適資料分佈的一個平面。©Ming-chiChen109社會統計PartialDerivative偏微分觀念觀念X2所得X多元迴歸的參數推估求多元迴歸x1與x2的係數？我們可以將所有的觀察值y視為x1與x2的線性函數加上誤差值e多元迴歸的預測值可以表為：©Ming-chiChen110社會統計多元迴歸的參數推估求多元迴歸x1與x2的係數？我們可以將所有TheNormalEquation觀念X2所得X1價格y需求求使e2最小的平面©Ming-chiChen111社會統計TheNormalEquation觀念X2所得X1價格yTheNormalEquation觀念求MinimumQ?將(1)式分別對a,b1,b2做偏微分，再將所得之方程式設為零，然後求解聯立方程式即可求得最小值。©Ming-chiChen112社會統計TheNormalEquation觀念求MinimumTheNormalEquation觀念e總和為零e與x1及x2不相關(uncorrelated)©Ming-chiChen113社會統計TheNormalEquation觀念e總和為零e與x1BasicRulesforDifferentiationRule8:thechainrule複習©Ming-chiChen114社會統計BasicRulesforDifferentiatioExampleofchainrule複習©Ming-chiChen115社會統計Exampleofchainrule複習©Ming-c微分求迴歸係數©Ming-chiChen116社會統計微分求迴歸係數©Ming-chiChen21社會統計©Ming-chiChen117社會統計©Ming-chiChen22社會統計TheNormalEquation觀念©Ming-chiChen118社會統計TheNormalEquation觀念©Ming-chiTheNormalEquation觀念SumAverage©Ming-chiChen119社會統計TheNormalEquation觀念SumAveragTheNormalEquation觀念SumAverage©Ming-chiChen120社會統計TheNormalEquation觀念SumAveragTheNormalEquation觀念迴歸平面通過中心點:©Ming-chiChen121社會統計TheNormalEquation觀念迴歸平面通過中心點NormalEquationsinReducedForm觀念若將所有變數都以「離均值」來表示求b1,b2等於：©Ming-chiChen122社會統計NormalEquationsinReducedFoNormalEquationsinReducedForm觀念解聯立方程式：©Ming-chiChen123社會統計NormalEquationsinReducedFoNormalEquationsinReducedForm觀念解聯立方程式：©Ming-chiChen124社會統計NormalEquationsinReducedFo觀念©Ming-chiChen125社會統計觀念©Ming-chiChen30社會統計一般化迴歸模型的假設條件依變數Yi為隨機變數，自變數（Xi,i=1,…,k）為預先選定的變數。ZeroMean:E(ei)=0Homoscedasticity:e2isthesameforallvalueofindependentvariable.Normality:ei為常態分配Noserialcorrelation:E(eiej)=0,ijIndependentofeiandxij:E(eixij)=0©Ming-chiChen126社會統計一般化迴歸模型的假設條件依變數Yi為隨機變數，自變數（Xi,一般化迴歸模型的假設條件Noperfectmulticollinearity:itisnotpossibletofindasetofnumbersc0,c1,…cksuchthat‧樣本數n>k+1，在複迴歸模型若有k個自變數，則有k+1（包括截距α）個迴歸參數，此時利用樣本來估計迴歸參數時，樣本數必須大於k+1個。©Ming-chiChen127社會統計一般化迴歸模型的假設條件NoperfectmulticoTheGeneralMultipleRegressionModelb0,b1,…bkaretheleast-squaresestimatesofβ0,β1,…βkthatminimizetheresidualsumofsquares:TheGauss-MarkovTheorem:Ifthebasicassumptionshold:

b0,b1,…bkaretheunbiasedestimatesofβ0,β1,…,βkb0,b1,…bkhavetheminimumvariancesamongtheclassoflinearunbiasedestimators母體迴歸線樣本迴歸線©Ming-chiChen128社會統計TheGeneralMultipleRegressioEstimatedStandardErrorofRegression如同在簡單迴歸中，為了要做假設檢定，我們必須要估計e2。在簡單迴歸中，我們知道S2e=SSE/(n-2)為e2的不偏估計式。同理，在複迴歸中，S2e=SSE/(n-(K+1))為e2的不偏估計式。其中n為樣本數，(K+1)為所欲估計的未知數（即K個自變數加上一個常數項）。

©Ming-chiChen129社會統計EstimatedStandardErrorofReEstimatedStandardErrorofRegressionSSE的一般性公式：©Ming-chiChen130社會統計EstimatedStandardErrorofRePartitionofTotalSumofSquares觀念多元迴歸中，SST=SSR+SSE仍然成立e與x1及x2不相關©Ming-chiChen131社會統計PartitionofTotalSumofSquaPartitionofTotalSumofSquares觀念SST=SSE+SSR©Ming-chiChen132社會統計PartitionofTotalSumofSquaSumofSquareduetoRegression觀念代入以大寫字母來表示與平均值間的差異。©Ming-chiChen133社會統計SumofSquareduetoRegressioSumofSquareduetoRegression觀念©Ming-chiChen134社會統計SumofSquareduetoRegressioCoefficientofDeterminationR2判定係數用來衡量迴歸方程式的配合度或解釋力©Ming-chiChen135社會統計CoefficientofDeterminationRAdjustedRsquare如果樣本數小或自變項個數增加，會使自由度變小，因此判定係數R2會高估。亦即在複迴歸模型中若不斷加入與模型無關的解釋變數時，R2會提高一些，不能代表迴歸模型的解釋能力。需要調整複判定係數（adjustedcoefficientofmultipledetermination）主要調整的是自由度©Ming-chiChen136社會統計AdjustedRsquare如果樣本數小或自變項個數增AdjustedRsquare©Ming-chiChen137社會統計AdjustedRsquare©Ming-chiCheAdjustedRsquare©Ming-chiChen138社會統計AdjustedRsquare©Ming-chiCheAdjustedRsquare©Ming-chiChen139社會統計AdjustedRsquare©Ming-chiCheMeasuringGoodnessoffit在複迴歸中，可利用Ｆ檢定迴歸方程式中所有的自變數對於依變數Y是否有聯合的解釋能力： H0：迴歸方程式無解釋能力β0=β1=β2=…=βK=0 H1：迴歸方程式有解釋能力（β不全為零）©Ming-chiChen140社會統計MeasuringGoodnessoffit在複迴歸中MeasuringGoodnessoffitReject©Ming-chiChen141社會統計MeasuringGoodnessoffitRejec©Ming-chiChen142社會統計©Ming-chiChen47社會統計部分迴歸係數的F檢定檢定新增的IV對DV是否有影響設原複迴歸模型有k個IV，新增Q個IV，欲檢定新增的Q個IV是否對DV有影響，H0：βk+1=βk+2=…=βk+Q=0H1：H0不為真©Ming-chiChen143社會統計部分迴歸係數的F檢定檢定新增的IV對DV是否有影響©Ming個別迴歸參數的檢定由樣本估計出來的迴歸係數必須接受統計檢定，以了解母體參數的真實性質（從樣本得到這樣的係數，是否意味著母體參數不為零）。若母體迴歸變異數σ2已知，則利用Z分配進行檢定或區間估計。但如果σ2未知，用樣本變異數S2Y|XZ（也就是Se2）來代替，進行t檢定。©Ming-chiChen144社會統計個別迴歸參數的檢定由樣本估計出來的迴歸係數必須接受統計檢定，樣本誤差值變異數Se2©Ming-chiChen145社會統計樣本誤差值變異數Se2©Ming-chiChen50社會統二元迴歸係數的變異數©Ming-chiChen146社會統計二元迴歸係數的變異數©Ming-chiChen51社會統計假設檢定迴歸係數檢定所要檢定的假設©Ming-chiChen147社會統計假設檢定迴歸係數檢定所要檢定的假設©Ming-chiChe迴歸係數的t檢定©Ming-chiChen148社會統計迴歸係數的t檢定©Ming-chiChen53社會統計Stata複迴歸結果===///©Ming-chiChen149社會統計Stata複迴歸結果===///©Ming-chiChenConfidenceIntervalsandtestsofhypotheses每一個β之95%信賴區間：自變數個數©Ming-chiChen150社會統計ConfidenceIntervalsandtestsStata複迴歸結果©Ming-chiChen151社會統計Stata複迴歸結果©Ming-chiChen56社會統計複迴歸分析的統計預測：預測母體依變項的平均值信賴區間©Ming-chiChen152社會統計複迴歸分析的統計預測：預測母體依變項的平均值信賴區間©Min複迴歸分析的統計預測：預測母體依變項的信賴區間©Ming-chiChen153社會統計複迴歸分析的統計預測：預測母體依變項的信賴區間©Ming-cStata求預測值©Ming-chiChen154社會統計Stata求預測值©Ming-chiChen59社會統計Stata求預測值©Ming-chiChen155社會統計Stata求預測值©Ming-chiChen60社會統計預測母體依變項平均值的信賴區間•在Stata裡用predict新變數名稱,stdp這個指令來求對應數值。•predictstderr,stdp©Ming-chiChen156社會統計預測母體依變項平均值的信賴區間•在Stata裡用predi母體預測值平均E(Y|X)或μy的95％信賴區間先求出t值，要知道自由度在31-3＝28下，α=0.05的t值。在Stata中，用invttail(28,.05/2)generateyhatll=yhat-stderr*invttail(28,.05/2)這是信賴下界generateyhatul=yhat+stderr*invttail(28,.05/2)這是信賴上界©Ming-chiChen社會統計©Ming-chiChen157社會統計母體預測值平均E(Y|X)或μy的95％信賴區間先求出t值，Stata中求對應特定Xp預測母體值的標準差©Ming-chiChen社會統計•

在Stata裡用predict新變數名稱,stdf這個指令來求對應數值。這裡和前面略有不同。•predictstderrf,stdf©Ming-chiChen158社會統計Stata中求對應特定Xp預測母體值的標準差©Ming-ch母體預測值Y-hat的95％信賴區間先求出t值，要知道自由度在31-3＝28下，α=0.05的t值。在Stata中，用invttail(28,.05/2)generateyhatllf=yhat-stderrf*invttail(28,.05/2)這是信賴下界Generateyhatulf=yhat+stderrf*invttail(28,.05/2)這是信賴上界©Ming-chiChen社會統計©Ming-chiChen159社會統計母體預測值Y-hat的95％信賴區間先求出t值，要知道自由度複迴歸模型中解釋變數的相對重要性複迴歸模型中，各個IV的相對重要性國家在教育上的投入（0.0045）還是人口數目（0.00049）對中國各省市的平均餘命的影響比較重要？迴歸係數不能直接比較。因為單位不同。©Ming-chiChen160社會統計複迴歸模型中解釋變數的相對重要性複迴歸模型中，各個IV的相對複迴歸模型中解釋辨識的相對重要性我們可以用標準差來把迴歸係數化成同樣單位標準化的迴歸係數又稱為beta-coefficientsIV變動一個標準差，DV變動的標準差數。©Ming-chiChen161社會統計複迴歸模型中解釋辨識的相對重要性我們可以用標準差來把迴歸係數Stata求標準化迴歸係數©Ming-chiChen162社會統計Stata求標準化迴歸係數©Ming-chiChen67社Stata求標準化迴歸係數哪一個IV影響比較大？©Ming-chiChen163社會統計Stata求標準化迴歸係數哪一個IV影響比較大？©Ming-虛擬變數DummyVariables在迴歸方程式中，我們假設所有的變數皆為連續變數。如果遇到名目尺度變數，我們可以用虛擬變數來進行分析。虛擬變數(D)又稱為類別變數(categoricalvariables)，通常以(0,1)來區別類別。如男性D=1，女性D=0觀念©Ming-chiChen164社會統計虛擬變數DummyVariables在迴歸方程式中，我們假虛擬變數DummyVariables虛擬變數可以用來比較下列效果：Temporaleffect時間效果：戰時vs.平時，顛峰vs.非顛峰，假日vs.週間Spatialeffects地區效果：都市vs.鄉村Qaulitativevariables質性變數：已婚vs.未婚，男性vs.女性，白人vs.非白人Broadgroupingsofqualitativevariables化約變數。觀念©Ming-chiChen165社會統計虛擬變數DummyVariables虛擬變數可以用來比較下虛擬變數DummyVariablesBasecase比較基底（或referencegroup參考組）當虛擬變數為0時的所有觀察值。因此虛擬變數的迴歸係數衡量比較基底與非比較基底兩群樣本之間的差異。觀念©Ming-chiChen166社會統計虛擬變數DummyVariablesBasecase比較虛擬變數DummyVariables觀念©Ming-chiChen167社會統計虛擬變數DummyVariables觀念©Ming-chi虛擬變數DummyVariables觀念當D=0時，當D=1時，©Ming-chiChen168社會統計虛擬變數DummyVariables觀念當D=0時，當D=虛擬變數DummyVariablesYX教育年數家務時數©Ming-chiChen169社會統計虛擬變數DummyVariablesYX教育年數家務時數©Stata與虛擬變數打開85q1-family.dta依變項為j2，注意缺失值定義和每週家務工作168小時的轉換（＝112小時）在Stata裡產生虛擬變數以a1受訪者的性別為例taba1,gen(sex)這裡逗點之後的gen就是要求Stata從a1來產生一個名叫sex1（原本是a1=1男生）和sex2這兩個虛擬變數當然我們只需要用到s