贝氏估计与WinBUGS 在社会科学地应用

貝氏估計與WinBUGS

在社會科學的應用蔡佳泓政大選舉研究中心貝氏定理基礎根據機率的定義，聯合機率是條件機率與邊際機率之乘積Pr(θ,y)=Pr(θ)Pr(y|θ)故Pr(θ|y)=Pr(θ,y)/Pr(y)=Pr(θ)Pr(y|θ)/Pr(y)因為Pr(y)可視為常數，故 Pr(θ|y)=Pr(θ)Pr(y|θ)例子假設N個選民之中投給歐巴馬的比例為y，N-y投給麥侃，y為一種二元分布

y~(N/y)θy(1-θ)N-y

Pr(y|θ)因為Beta分布介於0與1之間，所以是對於二元分布而言是一個合適的先驗資訊Pr(θ)假設我們的調查資料顯示400個受訪者中有240人投歐巴馬，那麼資料顯示的參數為(240,160)，樣本平均值θ為0.6我們若假設有五成會投歐巴馬，那麼參數為(50,50)根據Beta分布，參數為αp+y以及βp+N-y，也就是(290,210)樣本平均值為αp+y/(αp+y+βp+N-y)=0.58draws1<-rbeta(800,290,210)>summary(draws1)Min.1stQu.MedianMean3rdQu.Max.0.51550.56410.57980.57940.59510.6519R的模擬R的模擬—4000個樣本>draws2<-rbeta(4000,290,210)>winner1<-ifelse(draws2>0.50,1,0)>winner2<-ifelse(draws2>0.55,1,0)>table(winner1)/length(winner1)winner111>table(winner2)/length(winner2)winner2010.08550.9145貝氏定理延伸給定觀察到的資料，研究者對於參數的推論來自於一個先驗的資訊乘上一個概似值π(θ|data)=π(θ)*f(data|θ)而π(θ)有可能等於常數，故π(θ|data)=f(data|θ)概似(Likelihood)定義：一個聯合機率由某未知的參數所組成例：常態分佈yi~N(μ,σ2)i=1,…,n為了估計μ,σ，使用最大概似法L(μ,σ2|y)=ПΦ(yi|μ,σ2)=П[(2πσ2)-1/2]exp(-(yi-μ)2/2σ2]<--常態分佈cdfMLE缺點經由各種MLE的估計方法求出讓該式極大化的μ,σ，例如Newton-Raphson,quasi-Newton,EMalgorithm等等。從估計出的參數，可以得到信賴區間，或是驗證虛無假設，例如係數是否為0。MLE的估計建立在漸進(asymptotic)假設，也就是需要一定數目的樣本。如果樣本小，那麼需要用Monte-Carlo模擬確定估計的正確性。貝氏分析1回到yi~N(θ,σ2)i=1,…,n假設σ2已知θ

~N(μ0,τ02)

或f(θ)=exp(-(θ-μ0)2/2τ02)而f(y|θ,σ2)=П[(2πσ2)-1/2]exp(-(yi-θ)2/2σ2]=exp[(-Σ(yi-θ)2)/2σ2]貝氏分析2f(θ

|y)=f(θ)f(y

|θ)=exp(-(θ-μ0)2/2τ02)exp[(-Σ(yi-θ)2)/2σ2]=exp[(-(θ-μ0)2/2τ02)+[(-Σ(yi-θ)2)/σ2)]θ

|y~N(μn,τn2)重點為:posteriormean為先驗資訊的mean與樣本的mean的函數，而posteriorvariance為先驗τ02與樣本σ2/n相加之倒數推論1當樣本幾近無限大或是先驗的variance無限大，我們得到的mean幾乎等於樣本的mean，而變異數亦將近於樣本的變異數換句話說，在樣本有限的情況下，若先驗的variance很大，亦即先驗的資訊f(θ)準確性很低，我們仍會得到準確的參數估計(即使看起來跟MLE得到的一致)推論2posteriormean=[(1/τ02)μ0+(1/v)y]/[(1/τ02)+(1/v)]其中v=samplevariance/n,y為samplemean除非τ02很小，不然posteriormean跟samplemean可能只差百分之1或更小posteriorvariance=[(1/τ02)+(1/v)]Conjugacy(分布家族)若先驗資訊(prior)與概似機率分布屬於同一家族，得出的posterior也會是同一家族，可簡化貝氏分析PriorLikelihoodPosteriornormalnormalnormalgammanormal(precision)gammabetabinomialbetaexponentialpossionexponentialMCMCMarkov-chainMonteCarlo利用Markov-chain可以先解決較簡單的條件機率問題，構成更複雜的機率問題。MonteCarlo則讓我們從特定分佈中不斷抽樣、儲存、進行參數估計Gibbssampler高階的聯合機率可以化為低階的條件機率p(x,y,z)=p(x|y,z)p(y|z)p(z)Gibbssampler假設有兩個參數θ1，θ2先從θt-12,data抽樣出θt1

。g(θ1|