贝氏决策理论

第二章貝氏決策理論Sec.2.1簡介1.決策問題的基本結構行動→本性狀況→結果行動：決策時可採取的策略，通常以a表之，令為行動空間(actionspace)。本性狀況：決策時可能面臨的情況，通常以參數表之。令為參數空間(parameterspace)。結果：決策在所面臨的實際情況下，所產生的後果，常以支付(收益、損失、成本)或悔惜表之。2.決策時可引用的資訊(1)行動所導致的結果指相關的支付(收益、損失、成本)與悔惜，本章將以損失函數為主。(2)本性狀況的資訊指各種本性狀況的發生率，這常會涉及某些參數。如果參數有未知的情況時，我們可能須利用樣本，以取得相關訊息。(3)樣本的訊息為增加決策的客觀性，我們會透過抽樣(或實驗)取得樣本，再利用樣本的資訊來形成決策。(4)決策者的經驗指決策者對參數的看法。引用決策者對參數的看法的決策方法，稱之為貝氏方法(Bayesapproach)。在貝氏決策模式中，通常把相關參數視為隨機變數，亦即決策者對參數的分布有一定的看法。也就是說，認為參數的分布是已知的，而參數的分布稱之為事前分布(priordistribution)。例1：藥商欲決定新藥是否要上市？有兩個量數是重要考量：(1)藥的效能，及(2)市場接受度。(1)行動空間，其中表上市；表不上市。(2)參數空間。(3)根據及之值，可算出行動及之支付(或悔惜)值。(4)由於二量數及是未知的，我們必須取得相關樣本資訊。(a)透過臨床實驗→取得樣本→猜測之值。(b)透過市場調查→取得樣本→猜測之值。(5)根據藥商多年經營的經驗，或許對及有相關的看法，而可提供決策參考。※傳統統計決策理論：引用樣本資訊及行動之結果的資訊作決策。※貝氏決策理論：除了引用樣本資訊及行動之結果的資訊外，尚引用決策者的經驗(指對參數的看法)作決策。3.損失函數(1)當實際狀況為時，而採取行動a所受的處罰，記為，即為損失函數(lossfunction)。(2)通常規定。例1：(續)藥商欲依市場接受度決定新藥是否要上市？(1)行動空間，其中表上市；表不上市。(2)參數空間。(3)損失函數(4)抽樣：實際隨機抽出n個人，設其中有X個人表示認同，則。(5)藥商根據過往的經驗，新藥推出的市場接受度不會太高，而其事前分布應為布於[0.10.2]上之均勻分布(uniformdistribution)，i.e.。Sec.2.2期望損失、決策規則及風險1.期望損失定義1.設參數之事前分布為，則行動a之貝氏期望損失(Bayesianexpectedloss)為。例1：(續)損失函數之事前分布為，(i.e.均勻分布)，則貝氏期望損失為例2：投資者有兩種投資選擇：為投資具風險債券；為投資無風險債券。其面臨兩種可能狀況：表”nodefaultoccurs”；表”adefaultoccurs”。相關損失函數為-5001,000-300-300又之prior為。試求貝氏期望損失？Sol：2.FrequentistRisk未引用貝氏方法之統計決策理論稱之為frequentistschool(或classicalschool)。定義2.設表樣本空間，表行動空間。一決策規則(decisionrule)乃由映至之函數。當樣本觀測值為x時，即為所採取之行動。對二決策規則與而言，若，則稱與為等價(equivalent)。例3：一公司當其訂貨(如零件)送達時，其須驗貨以決定是否接受該批貨物？今隨機抽驗n件貨品，設X表n件貨品中不良品的個數，則，其中為不良率。樣本空間。參數空間。行動空間，其中表接受該貨物；表退回該貨物。決策規則我們常以來估計之值，故可定義如下：定義3.決策規則之風險函數(riskfunction)為。※當樣本資料時，。定義4.(1)當，則稱isR-betterthan。(2)當，則稱與為R-equivalent。定義5.(1)對決策規則而言，若不存在任何R-better之決策規則，則稱為可取的(admissible)。(2)對決策規則而言，若存在使得，且與並非R-equivalent，則稱為不可取的(inadmissible)。例4：設，現以a估計，其損失函數為。令決策規則為，試求風險函數？Sol：Case1：c>1故isR-betterthan所以是不可取的。Case2：時，與難分高下。例5：一決策問題相關之損失矩陣如下：134-1550-1-1在無樣本資料之情況下，試比較三個行動之優劣？Sol：因無樣本資料，故。(1)因，且，故為inadmissible。(2)與均為admissible。定義6.設之prior為，則決策規則之貝氏風險(Bayesrisk)為。例4：(續)設之prior為，試求之貝氏風險？Sol：由前例，已知。Sec.2.3隨機化決策規則1.當一決策問題會遭遇聰明的對手，引用隨機化決策規則(randomizeddecisionrule)是有其必要的。2.使用隨機化決策規則旨在降低風險，提高決策之效力(power)。3.在Sec.2.2中所介紹的策規則稱之為非隨機化決策規則(nonrandomizeddecisionrule)。例6：(Matchingpennies)一遊戲是這樣的：當你和你的對手同時打開兩個銅板，若二者相同，則你贏1元；又若二者不同，則你輸1元。(1)本性狀況：表對手出正面；表對手出反面。(2)行動：表對手出正面；表對手出反面。(3)損失矩陣：-111-1(4)明顯的，與均為admissible。如果你一直採用(或)，則聰明的對手很快就會發覺，而改採(或)。(5)為了解決這種困境，你可以在出牌前，先投擲一的銅板。當銅板出現正面時，則出正面；反之，出反面。換言之，有p的機會出正面；有1-p的機會出反面(p是該銅板出現正面的機率)。定義7.隨機化決策規則是定義於行動空間A上之一機率分布，以說明各行動a被採用之發生率。※表觀測到x時，採行動a之機率。※表觀測到x時，採行動落在中之機率。※非隨機化決策規則可視為一種特別的隨機化決策規則。※非隨機化決策規則可表為如今型式之隨機化決策規則：例6：(續)隨機化決策規則可訂為。對傳統統計推論而言，所謂最佳檢定規則乃在固定的顯著水準下，其檢定效力為最大者。在這種情況下，通常最佳檢定規則其犯第一型錯誤的機率(即-risk)會與相同。但當變數為間斷型時，最佳檢定規則其犯第一型錯誤的機率通常會低於。換言之，此檢定真正的顯著水準應小於。為增加檢定的效力可引用隨機化決策規則。例7：投擲一銅板n次，設X表n次中正面出現的次數，則，其中為不良率，而樣本空間為。今欲在顯著水準準為之情況下，檢定，棄卻域的型式為。行動空間，其中表接受；表棄卻。，通常等號不會成立。定義8.設為一隨機化決策規則，則其損失函數為上述期望值是針對a做的。又之風險函數為。例6：(續Matchingpennies)因為無樣本資料。故當時，。例7：(續)(1)樣本空間為(2)統計假設(3)行動空間，其中表接受；表棄卻。(4)隨機化決策規則為而。(5)損失函數為(6)風險函數為定義9.對隨機化決策規則而言，我們仍以風險函數來衡量優劣，故先前定義之R-better及admissible一體適用。例7：(續)當統計假設，在顯著水準為0.05下，試求最佳隨機化檢定規則？(提示：即決定p及j之值)Sec.2.4決策原則1.TheconditionalBayesdecisionprinciple設一決策問題之行動空間為，參數空間為，而參數之prior為，行動a之貝氏期望損失為。若，則稱為貝氏行動(Bayesaction)。貝氏行動即在TheconditionalBayesdecisionprinciple下之最佳行動。TheconditionalBayesdecisionprinciple適用在無樣本資料之情況。例1：(續)由前例已算得貝氏期望損失為當。當。當。由(1),(2)及(3)，故貝氏行動為。例3：(續)由前例已算得貝氏期望損失為，，故貝氏行動為。2.Frequentistdecisionprinciple(1)以風險函數來衡量決策規則之優劣，固然有R-better,admissible等性質，但滿足admissilbe的決策規則可能不只一個(往往不勝枚舉)，那要如何比較它們的優劣？(這種困難源自風險函數含有未知參數)應引進新的概念！(2)在傳統統計推論中引進了以下概念：(a)maximumlikelihood(b)unbiasedness(c)minimumvariance(d)leastsquare(3)在決策理論中引進了以下概念：(a)theBayesriskprinciple(b)theminimaxprinciple(c)theinverseprinciple2.1TheBayesriskprinciple(1)重要的概念：引進專家的經驗，認為參數應為隨機變數，而有其服從的機率分布。在這樣概念下，可以求得貝氏風險。※貝氏風險之值與無關。(2)原則(a)若，則稱優於(i.e.偏好)。(b)若，則為適當的(optimal)，而稱為貝氏規則(Bayesrule)。令，稱之為相對於之貝氏風險(即最小貝氏風險)。例4：(續)，prior：，lossfunction：，decisionrule：，求得之Bayesrisk為。試求貝氏決策規則及相對prior之貝氏風險？(1)，其中。(2)貝氏決策規則。2.2Theminimaxprinciple(1)概念：最小最大原則乃在最壞的情況下，求最好的結果。(2)原則(a)若，則稱優於(i.e.偏好)。(b)若，則稱為最小最大決策規則(minimaxdecisionrule)。例4：(續)，lossfunction：，decisionrule：，求得之riskfunction為。Case1：當，。Case2：當。由Case1及2，故minimaxdecisionrule為。例3：(續riskyinvestment)損失矩陣為-5001,000-300-300試求minimaxdecisionrule？故minimaxdecisionrule為。例6：(續matchingpennies)隨機化決策規則為。同理，故minimaxdecisionrule為。2.3Theinverseprinciple(1)概念：當兩個決策問題有相同結構時，在相同之決策準則下，所求得之(最佳)決策規則應對應相等。(2)inverseprinciple主要用於決策問題的轉換上。Sec.2.5Foundations1.傳統統計推論之誤用(1)未考量：(a)prior：指經驗。(b)損失的資訊：指估計誤差的大小所造成損失的差異。(2)過於強調統計顯著性，而忽略實際的應用價值。2.Thefrequentistperspective(1)以global的眼光來看問題。(2)以長期執行情形之平均結果來衡量優劣。例10：設是取自，其中為未知，。之信賴區間為令損失函數為例11：設是取自，其中為已知，。現欲檢定之值？(1)(2)(3)Under(4)Decisionrule：在決策問題中：(1)行動：表接受；表棄卻。(2)損失函數為(3)決策規則為(4)風險函數為(i)(ii)同理，。3.Theconditionalperspective(1)會參酌局部的資料，做進一步的判斷。(2)決策時，會加上決策者的經驗(與prior不同)。例12：設為取自pdf為之二獨立隨機樣本。而。現欲估計之值？(1)因為，傳統上我們以估計。其猜對的機率為0.5。結果×ＯＯ×(2)引用，定義如下。其猜對的機率為0.75。結果×ＯＯＯ例13：設隨機變數X之分布如下，欲檢定參數之值？x1230.0050.0050.990.00510.98490.01(1)(2)(3)Decisionrule為(4)討論：(i)當。但，二者幾無差別，故上述結論有可議之處。(ii)當。但，二者差異甚大，故上述結論合理。4.Thelikelihoodprinciple定義11.設是取自pdf為之n個獨立隨機樣本，其中為參數。設樣本觀測值為。定義，則稱為相對於觀測值之概似函數(likelihoodfunction)。※看起來概似函數與聯合機率密度函數是一樣的，但實際上卻不相同。因為概似函數是參數之函數(樣本觀測值為是已知的)；而聯合機率密度函數是樣本觀測值為的函數(參數為常數)。Thelikelihoodprinciple：(1)當觀測到x之後，在推論參數之值時，其所有相關的實驗資訊(experimentalinformation)全在概似函數中。(2)若二概似函數成比例(常數倍)，則二者所涵蓋的實驗資訊是相同的。例15：欲檢定一銅板是否公正？即檢定。(設)(1)實驗一：將此銅板投擲12次，設X表正面出現的次數。當x=9。(2)實驗二：將此銅板反覆投擲，設X表第9次出現正面時，反面出現的次數。當x=9。由(1)及(2)為常數。根據Thelikelihoodprinciple與擁有相同相關於參數之實驗資訊。(1)。(2)。※既然說與有相同的實驗資訊，為何檢定的結果卻大不相同？(i)likelihoodfunction僅包含實驗資訊，而非全部的資訊。(ii)對與而言，其相關的參數必須是相同的(如同一銅板)。例16：二實驗與有相同之樣本空間及相同的參數空間。兩者之pdf及，說明如下：(1)實驗1230.900.050.050.090.0550.855(2)實驗1230.260.730.010.0260.8030.171因為，，二者相等，根據Thelikelihoodprinciple當時，與具有相同之實驗資訊。假設與之觀測值都是1，而欲據以檢定()。其檢定結果如下：(1)對而言，檢定的結果為reject。(2)對而言，檢定的結果為accept。如此矛盾的結果，再次說明實驗資訊，而非全部的資訊。Sec.2.6充分統計量【問題】設是取自pdf為之n個獨立隨機樣本，我們想利用樣本觀測值來推論參數的值？1.全依觀測值來估計，亦即以來估計。※這樣做好像太麻煩！2.是否可由粹取出之所有資訊t，亦即中所有有關之所有資訊，全部濃縮在t中。如此，便可以t來估計，亦即以來估計。※如此將大大簡化推論的工作！定義12.設之jpdf為，其中為參數，而。若給定時，之條件機率密度函數與無關，則稱T為之充分統計量。※分解定理(FactorizationTheorem).設是取自pdf為之n個獨立隨機樣本，。若，則T為之充分統計量。定義13.設為取自某母體之n個樣本，，而為一統計量，且T之值域為，其中為樣本空間。則透過T可得到樣本空間之一分割。定義14.根據充分統計量，可將樣本空間分成一個充分分割(sufficientpartition)。定理1.設為取自某母體之n個獨立隨機樣本，，為相關參數。為之充分統計量。設為一隨機化決策規則，則存在一隨機化決策規則使得。Sec.2.7Convexity定義15.設，若，則稱為凸集合(convexset)。定義16.設為中之點所成的序列(sequence)。設，，且，則稱為之凸組合(convexcombination)。定義17.設為凸集合，為定義於上之一實數值函數。(1)若，可推得，則稱為凸函數(convexfunction)。(2)若上述(1)中不等式之等號不