数据科学统计基础课件

數據及其描述：統計量1.1數據和變數1.2總體、樣本和統計量1.3從樣本認識總體的圖表方法1.4次序統計量1.5抽樣分佈1.6充分統計量1.7常用的概率分佈族1.8與本章相關的R語言操作

第1章數據及其描述：統計量

統計學是探討隨機現象統計規律性的一門學科，它以概率論為理論基礎，研究如何以有效的方式收集、整理和分析受到隨機因素影響的數據，從而對研究對象的某些特徵做出判斷。

數據和變數PART1.11.1數據和變數1.1.1數據的例子數據的記錄手段具有明顯的時代特徵。數據可以分為結構化數據和非結構化數據。數據按照收集方法可以分為觀測數據和試驗數據。凡是可以電子化記錄的其實都是數據。這裏所說的記錄不是靠自然人的大腦，而是通過必要的資訊化技術和電子化手段。1.1數據和變數1.1.2變數的類型這些特徵在不同研究個體的取值是不同的，因此稱為隨機變數(或簡稱變數，一維情況)或隨機向量(二維及以上)。變數有很多類型，主要分為兩種。往往我們要研究的並不是一個問題的所有方面，而是某些感興趣的維度(或稱為特徵)，比如某地區居民的收入水準，某疾病的發病率與飲食習慣的關係等。一種是定量變數或數量變數，比如五年級男生身高，某款汽車的速度，某種疾病的患病人數；另外一種變數類型稱為分類變數或定性變數、示性變數、屬性變數、因數型變數，比如性別、職業、地區等。分類變數有些是有序的，比如信用等級、工資收入等級等，稱為定序變數。1.1數據和變數1.1.2變數的類型連續型變數（區間變數、實數型變數）：取值範圍是某區間中的任何值離散型變數：取整數值或可數數量集合值的變數。年齡一般來說，應該是連續型的；但往往取整數，成了離散型；而在問卷調查中，往往在年齡的若干選項(比如”幼年“、”青年“、

”中年“，”老年”)中選擇一個，這就是分類變數或者定序變數了。變數類型並不是絕對的1.1數據和變數1.1.2變數的類型變數的種類實際上是由人們對變數的約束而定的比如顏色(紅、黃、藍、紫等)，最原始的變數是定性變數。定性變數包含最少的約束。定序變數是把定性變數加了大小的約束，

比如按照波長的大小排列順序，

則有紅>黃>藍>紫。如果按照頻率排列，這個順序則相反。定量變數則不僅僅排序，而且有數目，每一個顏色都由特定的頻率或波長定義，這就稱為連續變數或者區間變數。1.1數據和變數1.1.2變數的類型表1.1.1顏色的頻率和波長1.1數據和變數1.1.2變數的類型對數據的人為約束越多，

數據在模型中所起的作用越小。

或者說“自由度”越小。比如，把年齡排序成（或者用歲數這樣的整數）：老>中>青>幼，看上去似乎更合理。實際上，這意味著老年和幼年是兩個極端的現象。但在體力上和心理上，老年和幼年卻呈現了一些類似，這種資訊容易被排序(或數量化)所埋沒但也可通過模型選擇學習出這種非線性的影響。如果按照體力或智力排序，則會有不同的結果。第1章數據及其描述：統計量總體、樣本和統計量PART1.21.2總體、樣本和統計量1.2.1總體和分佈在一個統計問題中，我們把研究對象的全體稱為總體，其中每個成員稱為個體。在實際問題中，總體是客觀存在的人群或物類。這是對總體這個概念在研究問題的對象這個層面的理解。總體可以用一個概率分佈來描述，其數量指標X就是服從這個分佈的隨機變數。因此，常常用隨機變數的符號或分佈的符號表示總體。因此，常常用隨機變數的符號或分佈的符號表示總體。以後我們說“從某總體中抽樣”和“從某分佈中抽樣”是同一個意思。1.2總體、樣本和統計量1.2.1總體和分佈如果我們要研究的問題不只是一個維度，而是二維或更高維度。比如研究兒童血色素(X1)同其性別(X2)、年齡(X3)之間的關係。那麼總體仍然是一堆數，只不過每個元素不是一個數字,而是一個向量。這個總體仍然可以用一個概率分佈來描述，就是（X1，X2，X3）的聯合分佈。更進一步的，數據的維度可能會很高，幾千、上萬，甚至更高，我們可以假設這些變數之間有某種相互關係，從而假定一些條件分佈的形式，使用統計模型或演算法進行數據分析，這是後續專業課的具體內容，本書只有少量涉及。但本書所介紹的思想和原則是後續所有專業課的基礎。1.2總體、樣本和統計量例1.2.1為了解某地區居民在某網站購物情況，回答以下三個問題：網上購物居民占所有居民的比例：二項分佈過去一年內網購居民的購物次數：離散分佈過去一年內網購居民的購物金額：連續分佈1231.2總體、樣本和統計量例1.2.2彩色濃度是彩電品質好壞的一個重要指標。20世紀70年代在美國銷售的SONY牌彩電有兩個產地：美國和日本。其彩色濃度的標準值為𝑚，允許範圍是[𝑚−5,𝑚+5]，否則為不合格品。在70年代後期，美國消費者購買日產SONY彩電的熱情明顯高於購買美產SONY彩電，這是為什麼呢？等級ⅠⅡⅢⅣ美產33.333.333.30日產68.327.14.30.3表1.2.1各等級彩電的比例（%）1.2總體、樣本和統計量例1.2.3

1.2總體、樣本和統計量例1.2.4在文本數據分析中，我們要研究的個體是一篇篇文章。在轉換成數量指標之後，每篇文章可以對應成一個P1維向量。表示該文章在P1個詞語上的詞頻。我們認為這個P1維向量服從一定的概率分佈。在圖像分析中，個體是一張張圖片，對應的數量指標是P2維向量，表示圖片在P2個像素點的像素值，服從一個P2維的概率分佈。1.2總體、樣本和統計量1.2.2樣本普查，又稱全數檢查，即對總體中每個個體都進行檢查或觀察。抽樣，即從總體抽取若干個體進行檢查或觀察，用所獲得的數據對總體進行統計推斷，這一過程可用圖1.2.4示意。圖1.2.4總體及其樣本1.2總體、樣本和統計量1.2.2樣本從總體中抽出的部分(多數場合是小部分，即使現在的大數據，也只是總體的一部分)個體組成的集合稱為樣本，樣本中所含的個體稱為樣品，樣本中樣品個數稱為樣本量或樣本容量。由於抽樣前不知道哪個個體被抽中，也不知道被抽中的個體的測量或試驗結果，所以容量為n的樣本可看做n維隨機向量，用大寫字母X1,X2,…,Xn表示。用小寫字母x1,x2,…,xn表示其觀測值(實現值)，這就是我們常說的數據。如果進行多次重複抽樣，樣本的觀測值會不同。一切可能觀測值的全體稱為n維樣本空間。1.2總體、樣本和統計量例1.2.3樣本的例子某公園的一次性門票為200元，一年內可以無限次入場的年票價格為595元。為檢驗該票價制度的合理性，隨機抽取1000位年票持有者，記錄了他們某年入園遊覽的次數。見表1.2.2.這是一個容量為1000的樣本。1.2.2樣本遊覽次數012345+人數45219210213148165表1.2.21000位年票持有者某年入園遊覽的次數11.2總體、樣本和統計量例1.2.3樣本的例子某學院學生的體測數據,包含體重(斤)、腰圍(碼)、1分鐘脈搏(次)、引體向上次數、5分鐘仰臥起坐次數和1分鐘跳繩次數,隨機抽取20人,如表1.2.3所示。這是一個容量為20的多維樣本。1.2.2樣本表1.2.320名學生的體測數據21.2總體、樣本和統計量1.2.2樣本樣本來自總體，樣本包含總體資訊。 為了使所抽取的樣本能很好地反映總體，抽樣方法的確定很重要。最理想的抽樣方法是簡單隨機抽樣，它滿足如下兩個要求：隨機性：即要求總體中每個個體都有同等的機會被選到樣本中。這說明樣本中每個X𝑖的分佈相同，均與總體X同分佈。獨立性：樣本中每個個體的選取並不影響其他個體的選取。這意味著樣本中每個個體X𝑖是相互獨立的。1.2總體、樣本和統計量1.2.2樣本由簡單隨機抽樣得到的樣本稱為簡單隨機樣本，簡稱樣本。此時(𝑋1,𝑋2,...,𝑋𝑛)可以看成是相互獨立且服從同一分佈(independentandidenticaldistribution,iid)的隨機變數，簡稱獨立同分佈樣本。如無特別說明，本書所指的樣本均為簡單隨機樣本。1.2總體、樣本和統計量1.2.2樣本例1.2.6樣本的例子有一批燈泡600只,現要從中抽取6只做壽命試驗，如何從600只燈泡中抽取這6只燈泡，使所得樣本為簡單隨機樣本?1.2總體、樣本和統計量1.2.3統計量定義

1.2.1不含任何未知參數的樣本函數稱為統計量。

1.2總體、樣本和統計量1.2.3統計量

11.2總體、樣本和統計量1.2.3統計量

21.2總體、樣本和統計量1.2.3統計量

31.2總體、樣本和統計量1.2.3統計量

41.2總體、樣本和統計量1.2.3統計量

51.2總體、樣本和統計量1.2.3統計量

5改進：1.2總體、樣本和統計量1.2.3統計量

61.3從樣本認識總體的圖表方法1.3.1頻數頻率表與直方圖例1.3.11.頻數分佈表對於取值連續型的變數，當樣本量n較大時，把樣本整理為分組樣本可得頻數頻率表，它可按觀察值大小顯示出樣本中數據的分佈狀況。光通量是燈泡亮度的品質特徵。現有一批220伏25瓦白熾燈泡要測其光通量的分佈，為此從中隨機抽取120只，測得其光通量如表1.3.1所示。1.3從樣本認識總體的圖表方法1.3.1頻數頻率表與直方圖1.3從樣本認識總體的圖表方法1.3.1頻數頻率表與直方圖為從這組數據中挖掘出有用資訊，常對數據進行分組，獲得頻數頻率表，即分組樣本。具體操作如下：

1.3從樣本認識總體的圖表方法1.3.1頻數頻率表與直方圖

1.3從樣本認識總體的圖表方法1.3.1頻數頻率表與直方圖表1.3.3120個光通量的頻數頻率表1.3從樣本認識總體的圖表方法1.3.1頻數頻率表與直方圖

1.3從樣本認識總體的圖表方法1.3.1頻數頻率表與直方圖直方圖的優點是能把樣本中的數據用圖形表示出來。直方圖是直接對總體密度函數形狀的一種估計。在樣本量較大的場合，直方圖常是總體分佈的影子。如圖1.3.1上的直方圖中間高，兩邊低，左右基本對稱。這很可能是”白熾燈泡光通量常是正態分佈”的影子。又如圖1.3.2上的兩個直方圖是不對稱的，是有偏的，其相應的總體可能是偏態的。各種統計軟體都有畫直方圖的功能。1.3從樣本認識總體的圖表方法1.3.1頻數頻率表與直方圖圖1.3.2非對稱直方圖1.3從樣本認識總體的圖表方法對於分類型變數或者離散型變數（取值是整數，但較少，按分類型變數處理）所對應的總體分佈（概率分佈列，各類別的取值概率）的估計可以使用條形圖或者餅圖。條形圖使用寬度相同的條形來表示各類別頻數多少的圖形。繪製條形圖時，各類別可以放在縱軸，也可以放在橫軸，條形的長短表示各類別的頻數或頻率。餅圖是用圓形及圓內扇形的角度來表示數值大小的圖形。它主要用於表示一個樣本中各類別的頻數占全部頻數的百分比。例1.3.2對消費者喜歡的飲料類別進行數據調查，隨機訪問了200名用戶，其中喜歡“茶類飲品”、“碳酸飲料”、“果汁”、“礦泉水”、“其他”的人數分別是45、52、37、28和38。繪製的餅圖和條形圖如圖1.3.3。1.3.2餅圖與條形圖1.3從樣本認識總體的圖表方法圖1.3.3飲料調查數據的條形圖和餅圖0

10

20

30

40

50

茶類飲品碳酸飲料果汁礦泉水其他飲料類別消費者喜歡類別的條形圖頻數礦泉水14%果汁18.5%其他19%茶類飲品22.5%碳酸飲料26%消費者喜歡飲料類別的餅圖1.3.2餅圖與條形圖1.3從樣本認識總體的圖表方法1.3.3樣本的經驗分佈函數1.經驗分佈函數設總體X的概率密度函數為f(x)，累積分佈函數為F(x)。從中抽取容量為n的簡單隨機樣本，對其觀測值X1,X2,...,Xn偏愛哪一個都沒有理由，故可把這n個值看做某個離散隨機變數（暫時記為X’等可能取的值;這就得到如下離散分佈:

X’X1X2…XnP1/n1/n…1/n1.3從樣本認識總體的圖表方法1.3.3樣本的經驗分佈函數1.經驗分佈函數

1.3從樣本認識總體的圖表方法1.3.3樣本的經驗分佈函數例1.3.3為比較兩地區居民的收入差異，現隨機調查了每個地區10位居民的收入情況，數據如下:兩個地區居民收入的經驗分佈函數如圖1.3.4所示。可以看出存在明顯的差異，這表明兩個地區收入的總體分佈存在較大差異。1.3從樣本認識總體的圖表方法1.3.3樣本的經驗分佈函數圖1.3.4兩個地區居民收入的經驗分佈函數1.3從樣本認識總體的圖表方法1.3.3樣本的經驗分佈函數1.經驗分佈函數

1.3從樣本認識總體的圖表方法1.3.3樣本的經驗分佈函數2.樣本矩

1.3從樣本認識總體的圖表方法1.3.3樣本的經驗分佈函數2.樣本矩

1.3從樣本認識總體的圖表方法1.3.4高維數據的圖表展示方法在處理高維數據時，我們首先進行單變數分析，再進行兩兩間的相互分析。對於一維連續型變數，我們可以繪製直方圖（總體密度函數的離散化估計）；核密度估計曲線（使用非參數方法對密度曲線的估計，與直方圖相比，這是一條平滑的曲線）；經驗分佈圖（總體分佈函數的估計）；對於一維離散變數，我們可以繪製條形圖（分佈列的估計）；餅形圖（分佈列的估計）；1.3從樣本認識總體的圖表方法1.3.4高維數據的圖表展示方法對於兩個連續變數(𝑋,𝑌)，我們可以繪製

對於兩個離散變數，可以繪製分組條形圖（給定一個變數後，另一個變數取值的條件分佈）；交叉列聯表；對於一個離散變數和一個連續變數，可以繪製分組箱線圖。1.3從樣本認識總體的圖表方法1.3.4高維數據的圖表展示方法例1.3.4可展示的圖表包括:散點圖、密度曲線、箱線圖、直方圖、等高線圖等。下麵我們以例1.2.5（2）為例進行展示。1.3從樣本認識總體的圖表方法1.3.5數據變換例1.3.5某年級兩個班的概率論期末考試成績如下：1.3從樣本認識總體的圖表方法1.3.5數據變換圖1.3.5兩個班級概率論考試成績原始數據及標準化數據的盒形圖1.3從樣本認識總體的圖表方法1.3.5數據變換例1.3.6某款手機APP用戶每次登陸的使用時長(單位:秒)的隨機抽樣數據(n=50)如下：1.3從樣本認識總體的圖表方法1.3.5數據變換圖1.3.6某款手機APP用戶每次登陸的使用時長及其對數變換的直方圖1.4次序統計量1.4.1次序統計量的概念1.4.2樣本極差1.4.3樣本中位數與樣本p分位數1.4.4箱線圖和QQ圖1.4次序統計量1.4.1次序統計量的概念定義1.4.1

1.4次序統計量1.4.1次序統計量的概念例1.4.1設總體X的分佈為僅取0，1，2的離散均勻分佈，即現從中隨機抽取容量為3的樣本,該樣本一切可能取值有3^{3}=27種,現將它們都列在表1.4.1的左側,而相應的次序統計量的取值列在表1.4.1的右側。1.4次序統計量1.4.1次序統計量的概念表1.4.1樣本X1X2X3及其次序統計量X(1)X(2)X(3)的取值1.4次序統計量1.4.1次序統計量的概念由表1.4.1可見，次序統計量（X(1)X(2)X(3)）與樣本（X1X2X3）的分佈不相同，具體表現在以下幾個方面。（1）X(1)X(2)X(3)

的分佈不同。（2）任何兩個次序統計量的聯合分佈也是不同的。（3）任意兩個次序統計量是不獨立的，例如：

1.4次序統計量1.4.2樣本極差定義1.4.2

（1）極差含有總體標準差的資訊。（2）極差受樣本量影響較大。圖1.4.1樣本（用x表示）極差反映總體分散程度1.4次序統計量1.4.2樣本極差例1.4.2

1.4次序統計量1.4.3樣本中位數與樣本p分位數定義1.4.3

n為奇數n為偶數1.4次序統計量1.4.2樣本極差例1.4.3一批磚在交付客戶之前要抽檢其抗壓強度（單位：Mpa），現從中隨機抽取10塊磚，測得其抗壓強度為（已排序）：

1.4次序統計量1.4.3樣本中位數與樣本p分位數定義1.4.3

np是整數np不是整數

1.4次序統計量1.4.3樣本中位數與樣本p分位數例1.4.4

1.4次序統計量1.4.4箱線圖和QQ圖

圖1.4.2箱線圖示意圖1.4次序統計量1.4.4箱線圖和QQ圖箱線圖可用來對總體的分佈形狀進行大致的判斷。圖1.4.3給出了三種常見的箱線圖，分別對應左偏分佈、對稱分佈和右偏分佈。圖1.4.3三種常見的箱線圖及其對應的分佈輪廓1.4次序統計量1.4.4箱線圖和QQ圖例1.4.4圖1.4.5給出了例1.3.5中兩個班級概率論成績與正態分佈的QQ圖。可以看出數據基本成一條直線,但1班在左下方,2班在右上方偏差較大。圖1.4.51班（左）和2班（右）概率論成績與正態分佈的QQ圖1.5抽樣分佈1.5.1樣本均值的抽樣分佈1.5.2正態總體各統計量的分佈1.5.3次序統計量的分佈1.5.4用隨機模擬法尋找統計量的近似分佈1.5抽樣分佈定義1.5.11.2.3節介紹了統計量的概念，我們知道統計量是隨機變數（向量），因此抽樣分佈的定義如下。統計量的概率分佈稱為抽樣分佈。1.5抽樣分佈1.5.1樣本均值的抽樣分佈定理1.5.1

1.5抽樣分佈1.5.1樣本均值的抽樣分佈例1.5.1圖1.5.1左側有一個由20個數組成的總體X，該總體分佈為：圖1.5.1總體及其4個樣本的樣本均值1.5抽樣分佈1.5.1樣本均值的抽樣分佈

圖1.5.2500個樣本均值形成的直方圖1.5抽樣分佈1.5.1樣本均值的抽樣分佈

1.5抽樣分佈1.5.2正態總體各統計量的分佈定義1.5.21.樣本方差的抽樣分佈

1.5抽樣分佈1.5.2正態總體各統計量的分佈定理1.5.2

1.5抽樣分佈1.5.2正態總體各統計量的分佈為了定理1.5.2的證明，特給出多維隨機向量的期望與方差的矩陣表示。

於是Y的期望向量為：

...這就證明了第一個等式。1.5抽樣分佈1.5.2正態總體各統計量的分佈

至於第二個等式，亦可由線性變換導出:1.5抽樣分佈1.5.2正態總體各統計量的分佈接下來證明定理1.5.2.

…………

1.5抽樣分佈1.5.2正態總體各統計量的分佈

這就證明了結論（2）。

1.5抽樣分佈1.5.2正態總體各統計量的分佈定義1.5.32.樣本均值與樣本標準差之比的抽樣分佈

1.5抽樣分佈1.5.2正態總體各統計量的分佈定理

1.5.3

1.5抽樣分佈1.5.2正態總體各統計量的分佈

1.5抽樣分佈1.5.2正態總體各統計量的分佈定理1.5.4

1.5抽樣分佈1.5.2正態總體各統計量的分佈t分佈的密度函數圖像是一個關於縱軸對稱的分佈（見圖1.5.4），與標準正態分佈的密度函數十分類似，只是峰比標準正態分佈低一些，尾部的概率比標準正態分佈大一些。圖1.5.4

t(5)分佈與N(0,1)的密度函數1.5抽樣分佈1.5.2正態總體各統計量的分佈t

分佈有以下性質：

1.5抽樣分佈1.5.2正態總體各統計量的分佈定理1.5.53.兩個獨立正態樣本方差比的F分佈

1.5抽樣分佈1.5.2正態總體各統計量的分佈證：我們分兩步來證明這個定理。

最後的定積分為伽瑪函數，所以

1.5抽樣分佈1.5.2正態總體各統計量的分佈

證畢。

1.5抽樣分佈1.5.2正態總體各統計量的分佈F分佈的密度函數圖形：當分子的自由度為1或2時，其密度函數是單調遞減函數（見圖1.5.5a），其他情況下密度函數呈單峰的右偏分佈（見圖1.5.5b）。圖1.5.5F分佈的密度函數F分佈有以下性質：

1.5抽樣分佈1.5.3次序統計量的分佈定理

1.5.61.第k個次序統計量的抽樣分佈

1.5抽樣分佈1.5.3次序統計量的分佈定理

1.5.6

其分佈函數為:

其分佈函數為:

1.5抽樣分佈1.5.3次序統計量的分佈

1.5抽樣分佈1.5.3次序統計量的分佈例1.5.2

從而

故

1.5抽樣分佈1.5.3次序統計量的分佈2.任意兩個次序統計量的分佈以及n個次序統計量的聯合分佈

1.5抽樣分佈例1.5.3

1.5.4用隨機模擬法尋找統計量的近似分佈1.5抽樣分佈1.5.4用隨機模擬法尋找統計量的近似分佈

1.5抽樣分佈1.5.4用隨機模擬法尋找統計量的近似分佈

1.5抽樣分佈1.5.4用隨機模擬法尋找統計量的近似分佈

1.5抽樣分佈1.5.4用隨機模擬法尋找統計量的近似分佈

1.6充分統計量1.6.1充分統計量的概念1.6.2因數分解定理1.6充分統計量1.6.1充分統計量的概念例1.6.1某廠要瞭解某產品的不合格品率p，按常規，檢驗員隨機抽檢了10件產品，檢驗結果如下（0表示合格品，1表示不合格品）：

（1）第1件不合格，第2件合格，第3件合格，…，第10件合格；（2）10件中共有2件不合格；（3）頭2件中有1件不合格。1.6充分統計量1.6.1充分統計量的概念例1.6.2

這個例子實際上就是例1.6.1的一般化敘述。首先指出該樣本的聯合分佈是

1.6充分統計量1.6.1充分統計量的概念

1.6充分統計量1.6.1充分統計量的概念

1.6充分統計量1.6.1充分統計量的概念

1.6充分統計量1.6.1充分統計量的概念

1.6充分統計量1.6.1充分統計量的概念

由此可得聯合分佈

最後可得

這就證明了此引理。1.6充分統計量1.6.1充分統計量的概念例1.6.3

1.6充分統計量1.6.1充分統計量的概念例1.6.3

例1.6.41.6充分統計量1.6.1充分統計量的概念

例1.6.41.6充分統計量1.6.1充分統計量的概念

例1.6.41.6充分統計量1.6.1充分統計量的概念在給定T=a下，樣本X取值為b時，條件概率

定理1.6.21.6充分統計量1.6.2因數分解定理

1.6充分統計量1.6.2因數分解定理

1.6充分統計量1.6.2因數分解定理

1.6充分統計量1.6.2因數分解定理

1.7常用的概率分佈族1.7.1常用概率分佈族表1.7.2伽瑪分佈族1.7.3貝塔分佈族1.7.4指數型分佈族1.7常用的概率分佈族1.7.1常用概率分佈族表1.7常用的概率分佈族1.7.1常用概率分佈族表1.7常用的概率分佈族1.7.2伽瑪分佈族

1.7常用的概率分佈族1.7.2伽瑪分佈族2.伽瑪分佈若隨機變數X的密度函數為：則稱𝑋服從伽瑪分佈，記作𝑋∼𝐺𝑎(𝛼,𝜆)，其中𝛼>0為形狀參數，𝜆>0為尺度參數，伽瑪分佈族記為𝐺𝑎(𝛼,𝜆)；𝛼>0，𝜆>0。圖1.7.1給出了若干條𝜆固定、𝛼不同的伽瑪密度函數曲線，從圖中可以看出：0<𝛼<1時，𝑝(𝑥)是嚴格下降函數，且在𝑥=0處有奇異點；𝛼=1時，𝑝(𝑥)是嚴格下降函數，且在𝑥=0處𝑝(0)=𝜆；1<𝛼≤2時，𝑝(𝑥)是單峰函數，先上凸、後下凸；𝛼>2時，𝑝(𝑥)是單峰函數，先下凸、中間上凸、後下凸。且𝛼越大，𝑝(𝑥)越近似於正態密度函數。

0,X≥0X≤01.7常用的概率分佈族1.7.2伽瑪分佈族

1.7常用的概率分佈族1.7.2伽瑪分佈族

0,X≥0X≤01.7常用的概率分佈族1.7.2伽瑪分佈族4.伽瑪分佈的性質

1.7常用的概率分佈族1.7.2伽瑪分佈族例1.7.1電子產品的失效常由於外界的“衝擊”引起。若在(0,𝑡)內發生衝擊的次數𝑁(𝑡)服從參數為𝜆𝑡的泊松分佈，試證第n次衝擊來到的時間𝑆𝑛服從伽瑪分佈𝐺𝑎(𝑛,𝜆)。

證

因為事件“第n次衝擊來到的時間Sn小於等於t”等價於事件“（0，t）內發生衝擊的次數N（t）大於等於n”，即於是，Sn的分佈函數為：1.7常用的概率分佈族1.7.2伽瑪分佈族例1.7.1

用分佈積分法可以驗證下列等式：所以這就表明Sn~Ga（n，λ）。證畢。1.7常用的概率分佈族1.7.3貝塔分佈族

（1）𝐵(𝑎,𝑏)=𝐵(𝑏,𝑎)。（2）貝塔函數與伽瑪函數間有如下關係：𝐵(𝑎,𝑏)=(𝛤(𝑎)𝛤(𝑏))/(𝛤(𝑎+𝑏))1.7常用的概率分佈族1.7.3貝塔分佈族2..貝塔分佈若隨機變數X的密度函數為：則稱X服從貝塔分佈，記做𝑋∼𝐵𝑒(𝑎,𝑏)，其中𝑎>0，𝑏>0都是形狀參數，故貝塔分佈族可表示為{𝐵𝑒(𝑎,𝑏);𝑎>0,𝑏>0}。下圖給出了幾種典型的貝塔密度函數曲線。

0,0＜x＜1其他1.7常用的概率分佈族1.7.3貝塔分佈族

1.7常用的概率分佈族1.7.4指數型分佈族定義1.7.1

1.7常用的概率分佈族1.7.4指數型分佈族例1.7.2

1.7常用的概率分佈族1.7.4指數型分佈族例1.7.2

1.7常用的概率分佈族1.7.4指數型分佈族例1.7.2

1.7常用的概率分佈族1.7.4指數型分佈族例1.7.2

1.7常用的概率分佈族1.7.4指數型分佈族例1.7.2

1.7常用的概率分佈族1.7.4指數型分佈族例1.7.3

1.7常用的概率分佈族1.7.4指數型分佈族例1.7.3

1.7常用的概率分佈族1.7.4指數型分佈族

1.7常用的概率分佈族1.7.4指數型分佈族例1.7.4

參數估計

點估計與無偏性PART2.12.1點估計與無偏性定義2.1.1

2.1點估計與無偏性定義2.1.1參數通常指如下幾種，它們都可以表示為總體概率分佈的函數，記為𝜃=𝑡(𝑓)或𝜃=𝑡(𝐹)。分佈中所含的未知常數;分佈中的期望、方差、標準差、分位數等特徵數;某事件的概率等。一個參數的估計量常不止一個，如何評價其優劣性呢？常用的評價標準有多個，如無偏性、有效性、均方誤差最小與相合性。本節先講無偏性，其他幾個評價標準以後再作介紹。2.1點估計與無偏性定義2.1.2

2.1點估計與無偏性定義2.1.2圖2.1.12.1點估計與無偏性定義2.1.2

2.1點估計與無偏性例2.1.1

2.1點估計與無偏性例2.1.1

2.1點估計與無偏性

2.1點估計與無偏性表2.1.1正態標準差的修偏係數表第2章參數估計矩估計與相合性PART2.22.2矩估計與相合性2.2.1矩估計矩估計是一種具體的尋找點估計的方法,它的基本思想是“替代”，具體是:用樣本矩(即矩統計量)估計總體矩。用樣本矩的函數估計總體矩的相應函數。2.2矩估計與相合性2.2.1矩估計這裏的矩可以是各階原點矩,也可以是各階中心矩。這一思想是英國統計學家皮爾遜

(K.Pearson)在1900年提出的。該思想合理,方法簡單,使用方便,只要總體矩存在的場合都可使用。該思想後人稱為矩法,

所得估計稱為矩估計。2.2矩估計與相合性例2.2.1

2.2矩估計與相合性例2.2.1

2.2矩估計與相合性例2.2.2

2.2矩估計與相合性例2.2.3設樣本X1,X2,···,Xn來自正態總體N(µ,σ2),µ與σ未知，求p=P(X<1)的估計。2.2矩估計與相合性解

2.2矩估計與相合性

2.2矩估計與相合性2.2.2相合性2.2矩估計與相合性定義2.2.1

2.2矩估計與相合性定義2.2.1

2.2矩估計與相合性

2.2矩估計與相合性定理2.2.1（辛欽大數定律）

2.2矩估計與相合性定理2.2.2

2.2矩估計與相合性定理2.2.2證

2.2矩估計與相合性

2.2矩估計與相合性故有由τ的任意性,定理得證。

2.2矩估計與相合性例2.2.4

2.2矩估計與相合性例2.2.4

最大似然估計與漸近正態性PART2.32.3最大似然估計與漸近正態性2.3.1最大似然估計定義2.3.1

2.3最大似然估計與漸近正態性2.3.1最大似然估計例2.3.1

設X=(X1，X2，···，Xn)是來自二點分佈𝑏(1，𝜃)的一個樣本，其中諸Xi非0即1，𝜃∈[0，1]是成功概率，該樣本的聯合分佈為：2.3最大似然估計與漸近正態性2.3.1最大似然估計圖2.3.1成功概率𝜃的似然函數2.3最大似然估計與漸近正態性2.3.1最大似然估計

對其求導，並令導函數為零可得對數似然方程，在本例中

2.3最大似然估計與漸近正態性2.3.1最大似然估計

2.3最大似然估計與漸近正態性2.3.1最大似然估計例2.3.2設某機床加工的軸的直徑與圖紙規定的尺寸的偏差服從N(µ，σ2)，

其中µ，σ2未知。為估計µ與σ2，

從中隨機抽取n=100根軸，測得其偏差為X1，X2，···，X100。試求µ，σ2的最大似然估計。2.3最大似然估計與漸近正態性2.3.1最大似然估計

解

2.寫出對數似然函數：

2.3最大似然估計與漸近正態性2.3.1最大似然估計3.分別對

µ與

σ2求偏導，並令它們都為0，得到對數似然方程為：解

2.3最大似然估計與漸近正態性2.3.1最大似然估計

2.3最大似然估計與漸近正態性2.3.1最大似然估計例2.3.3設X=(X1，X2，···，Xn)是來自均勻分佈U(0，θ)的一個樣本，求

θ的MLE2.3最大似然估計與漸近正態性2.3.1最大似然估計

解其中X(n)是樣本的最大次序統計量。圖2.3.2均勻分佈U(0，θ)中θ的似然函數2.3最大似然估計與漸近正態性2.3.1最大似然估計這裏並不能使用一階條件求函數極值，因此使用MLE的定義求θ的MLE。

2.3最大似然估計與漸近正態性2.3.1最大似然估計

為了說明這一點，我們可求得最大次序統計量X(n)的密度函數：2.3最大似然估計與漸近正態性2.3.1最大似然估計

可見，同一參數的無偏估計不止一個，它們的進一步比較將在下一節討論。2.3最大似然估計與漸近正態性2.3.1最大似然估計例2.3.4設X=(X1，X2，···，Xn)是來自均勻分佈U(θ，θ+1)的一個樣本，其中θ可為任意實數，現要尋求θ

的MLE。2.3最大似然估計與漸近正態性2.3.1最大似然估計

解該似然函數在其不為零的區域上是常數，只要𝜃不超過X(1)

或𝜃+1不小於X(n)都可使𝐿(𝜃)達到極大，即

2.3最大似然估計與漸近正態性2.3.1最大似然估計例2.3.5它有兩個參數，µ可取任意實數，稱為位置參數；σ>0稱為尺度參數。

現要求µ與σ的MLE。設X=(X1，X2，···，Xn)是來自雙參數指數分佈exp(µ，σ)的一個樣本，該分佈的密度函數為：

2.3最大似然估計與漸近正態性2.3.1最大似然估計先寫出µ與σ的似然函數，在非零區域上有解

這雖是在固定σ下尋求µ的最大值，但沒有具體規定σ的值。

即σ為任意值時µ的MLE都為X(1)。

2.3最大似然估計與漸近正態性2.3.1最大似然估計

解此對數似然方程，可得σ的MLE為：這是因為對任意的µ與σ，有

2.3最大似然估計與漸近正態性2.3.1最大似然估計例2.3.6

2.3最大似然估計與漸近正態性2.3.1最大似然估計由二元正態密度函數可以寫出σ2與ρ的似然函數：解

2.3最大似然估計與漸近正態性2.3.1最大似然估計經驗證，它們確實使似然函數L(σ2，ρ)達到最大值，

故它們分別是σ2與ρ的MLE。解之可得

2.3最大似然估計與漸近正態性2.3.2最大似然估計的不變原理定理2.3.1(不變原理)

2.3最大似然估計與漸近正態性2.3.2最大似然估計的不變原理例2.3.7某產品生產現場有多臺設備，設備故障的維修時間T服從對數正態分佈LN(µ，σ2)。現在一周內共發生24次故障，其維修時間t(單位：

分)為：平均維修時間µT

與維修時間的標準差σT

的MLE。可完成95%故障的維修時間t0.95(0.95分位數)的MLE。1228125475853368851110407564115485260728710555826665求2.3最大似然估計與漸近正態性這個問題的一般提法是：設t1，t2，···，tn是來自對數正態分佈LN(µ，σ2)的一個樣本，現要對其均值µT、標準差σT

和0.95分位數t0.95分別給出MLE。解2.3.2最大似然估計的不變原理（1）對數正態分佈LN(µ，σ2)的均值和方差分別為：若能獲得µ與σ2的MLE，由不變原理立即可得µT與σT的MLE。

2.3最大似然估計與漸近正態性2.3.2最大似然估計的不變原理當T∼LN(µ，σ2)時，有X=lnT∼N(µ，σ2)。

由此可知，

lnt1，lnt2，···，lntn是來自正態分佈

N(µ，σ2)的一個樣本，由此可得µ與σ2的MLE分別為(見例2.3.2)：

2.3最大似然估計與漸近正態性2.3.2最大似然估計的不變原理從而可得對數正態分佈的均值µT與方差σT2的MLE分別為：這表明，該生產現場設備的平均維修時間約為68分鐘，維修時間的標準差約為26分鐘。

2.3最大似然估計與漸近正態性2.3.2最大似然估計的不變原理（2）為了給出t0.95的MLE，我們先對對數正態分佈LN(µ，

σ2)

的p

分位數tp

給出一般運算式，記維修時間T的

的分佈函數為F(t)，則有

2.3最大似然估計與漸近正態性2.3.2最大似然估計的不變原理

2.3最大似然估計與漸近正態性2.3.2最大似然估計的不變原理例2.3.8設某電子設備的壽命（從開始工作到首次發生故障的連續工作時間，單位：小時）服從指數分佈exp(λ)。現任取15臺進行壽命試驗，按規定到第7臺發生故障時試驗停止，所得7個壽命數據為：500 1350 2130 2500 3120 3500 3800這是一個不完全樣本，常稱為定數截尾樣本，現要對其尋求平均壽命θ=1/λ的MLE。2.3最大似然估計與漸近正態性

解2.3.2最大似然估計的不變原理

2.3最大似然估計與漸近正態性2.3.2最大似然估計的不變原理其中，p

與F

分別為指數分佈的密度函數與分佈函數代入後，略去與參數無關的量，即得λ的似然函數

2.3最大似然估計與漸近正態性2.3.2最大似然估計的不變原理

用微分法可得對數似然方程

2.3最大似然估計與漸近正態性2.3.2最大似然估計的不變原理在本例中，n=15，r=7，t(r)=3800，首先算得總試驗時間由此可得平均壽命(單位：小時)的MLE

為:

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性定義2.3.2

或依分佈收斂符號L

記為:

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性例2.3.9

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性或

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性例2.3.10

前面已經指出：

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性則由中心極限定理知

或

考慮到n/(n−1)→1，又有有

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性這表明

S2

是σ2的漸近正態估計，其漸近方差為2σ4/n。綜上所述，有

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性定理2.3.2設p(x;θ)是某密度函，其參數空間Θ={θ}是直線上的非退化區間，假如：（1）對一切θ∈Θ，p=p(x;θ)對θ的如下偏導數都存在（2）對一切θ∈Θ，有成立，其中F1(x)與F2(x)在實數軸上可積，而H(x)滿足這裏M與θ無關。

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性定理2.3.2（3）對一切θ∈Θ，有

其中，I(θ)稱為費希爾資訊量，有時還簡稱資訊量。

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性定義2.3.3

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性例2.3.11求二點分佈b(1,θ)參數

θ的費希爾資訊量，其分佈列為:

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性解可以驗證，二點分佈屬於Cramer-Rao正則族。為求其費希爾資訊量，要進行如下運算:

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性例2.3.12設X1,X2,···,Xn是來自正態總體N(µ,σ2)的一個樣本，可以驗證，正態分佈屬於Cramer-Rao正則族。

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性

從而

2.3最大似然估計與漸近正態性2.3.3最大似然估計的漸近正態性在已知µ的條件下,σ的MLE是

而𝜎的費希爾資訊量的計算如下:

從而

2.3最大似然估計與漸近正態性2.3.4EM演算法MLE是一種非常有效的參數估計方法，但當分佈中有多餘參數或數據為截尾或缺失時，其MLE的求取是比較困難的。於是Dempster等於1977年提出了EM演算法，其出發點是把求MLE的過程分兩步走。第一步求期望，以便把多餘的部分去掉；第二步求最大值。2.3最大似然估計與漸近正態性2.3.4EM演算法例2.3.13設一次試驗可能有4個結果，發生的概率分別為1/2−θ/4，(1−θ)/4，(1+θ)/4，θ/4，θ∈(0,1)。現進行了197次試驗，四種結果的發生次數分別為75,18,70,34,試求θ的MLE。2.3最大似然估計與漸近正態性以y1，y2，y3，y4

表示四種結果發生的次數，此時總體分佈為多項分佈，

其似然函數為我們可以通過最大化對數似然函數的方式求解θ的MLE。

2.3.4EM演算法2.3最大似然估計與漸近正態性EM演算法通過引入兩個潛在變數

z1,z2後，通過迭代計算方式求解。假設第一種結果可以分成兩個部分，發生的概率分別為(1−θ)/4和¼，令z1和y1−z1分別表示落入這兩部分的次數；再假設第三種結果也分成兩部分，發生的概率分別為θ/4和1/4，令z2和y3−z2分別表示落入這兩部分的次數，z1,z2是不可觀測的。也稱(y,z)是完全數據，而只有觀測數據y時稱為不完全數據。此時完全數據的似然函數用Lc表示：2.3.4EM演算法2.3最大似然估計與漸近正態性2.3.4EM演算法

其對數似然為

然而此時由於z1

和z2

未知，上式無法直接求解，但我們注意到，當給定y，θ已知時，

2.3最大似然估計與漸近正態性2.3.4EM演算法於是Dempster等人建議如下分兩步進行迭代求解首先，人為設一個θ的初值

θ(0)第一步(也稱E-步)，在已知觀測數據y和第i步估計值θ(i)條件下，求基於完全數據的對數似然函數(關於潛在變數z)的期望，稱為Q函數：

第二步(也稱M-步)，求Q(θ|y,θ(i))關於θ的最大值，記錄對應的θ值進行更新:

𝜃重複以上兩步，直到收斂即可得到θ的MLE。2.3最大似然估計與漸近正態性2.3.4EM演算法對於本例，可得到

所以

又知

所以

取θ(0)=0.5，則13次迭代後可求得θ

的MLE為0.6067。2.3最大似然估計與漸近正態性定理2.3.3

2.3.4EM演算法2.3最大似然估計與漸近正態性證

2.3.4EM演算法2.3最大似然估計與漸近正態性上式兩邊求z在(Y,θ=θ(i))已知條件下的期望有2.3.4EM演算法

(2.3.2)(2.3.2)式分別取θ=θ(i)和θ(i+1)，得

(2.3.3)(2.3.4)2.3最大似然估計與漸近正態性2.3.4EM演算法(2.3.4)–(2.3.3)得

2.3最大似然估計與漸近正態性2.3.4EM演算法例2.3.14給定數據X是n行p列的矩陣，每一行是一個樣本點，每一列是一個變數，我們的目標是根據列變數的取值對樣本點進行聚類，假定一共有K類。

在EM聚類方法中假定每一行觀測有一個潛在的(未觀測到的)指標向量Zi=(Zi1,Zi2,···,ZiK)，其中Zik=0或1，並且K個中只有一個等於1。如果Zik=1，那麼表明第i個樣本點屬於第k類。向量Zi

服從多項分佈，概率分佈列為(π1,π2,···,πK)。2.3最大似然估計與漸近正態性

2.3.4EM演算法2.3最大似然估計與漸近正態性2.3.4EM演算法本例所要估計的參數為(µk,Σk,πk),k=1,...,K.EM演算法步驟如下:首先，數據(X,Z)的完全似然函數可以寫成：完全對數似然函數為:(2.3.5)

2.3最大似然估計與漸近正態性2.3.4EM演算法為了得到該問題的Q函數，需要計算給定Xi時Zi的期望，也就是要得到如下概率值P(Zik=1|Xi)。根據全概率公式，有所以將(2.3.5)式Zik替換為γ(Zik)，即為Q函數。

(2.3.6)2.3最大似然估計與漸近正態性2.3.4EM演算法

EM演算法的參數估計步驟如下:最小方差無偏估計PART2.42.4最小方差無偏估計2.4.1無偏估計的有效性

圖2.4.1θ的兩個無偏估計的密度函數示意圖2.4最小方差無偏估計2.4.1無偏估計的有效性因而，我們可以用估計量的方差去衡量兩個無偏估計的好壞，從而引入無偏估計有效性的標準。2.4最小方差無偏估計2.4.1無偏估計的有效性定義2.4.1

例2.4.1

2.4最小方差無偏估計2.4.1無偏估計的有效性2.4最小方差無偏估計2.4.1無偏估計的有效性例2.4.2

2.4最小方差無偏估計2.4.2有偏估計的均方誤差準則定義2.4.2

2.4最小方差無偏估計2.4.2有偏估計的均方誤差準則

例2.4.3

2.4最小方差無偏估計2.4.2有偏估計的均方誤差準則n

2.4最小方差無偏估計2.4.2有偏估計的均方誤差準則

2.4最小方差無偏估計2.4.2有偏估計的均方誤差準則以下數據是在n=10時算得的:表2.4.1三個估計的偏差平方、方差與均方誤差

00.22220.22220.010.18000.19000.03300.14880.18182.4最小方差無偏估計

2.4.2有偏估計的均方誤差準則表2.4.1可以對三個估計的優劣作出評價2.4最小方差無偏估計2.4.3一致最小方差無偏估計例2.4.4

2.4最小方差無偏估計定義2.4.3假如參數的無偏估計存在，則稱此參數為可估參數。可估參數g（θ）

的無偏估計可能只有一個，也可能有多個。

在有多個無偏估計的場合，常用其方差作為進一步選擇的指標。2.4.3一致最小方差無偏估計2.4最小方差無偏估計定義2.4.4

2.4.3一致最小方差無偏估計2.4最小方差無偏估計定理2.4.1

2.4.3一致最小方差無偏估計證2.4.3一致最小方差無偏估計

2.4最小方差無偏估計證2.4.3一致最小方差無偏估計

2.4最小方差無偏估計2.4最小方差無偏估計2.4.3一致最小方差無偏估計例2.4.5

2.4最小方差無偏估計2.4.3一致最小方差無偏估計例2.4.5

2.4最小方差無偏估計定理2.4.2

2.4.3一致最小方差無偏估計之前的定理是驗證性的，加下來介紹構造UMVUE的方法

證2.4.3一致最小方差無偏估計

所以2.4最小方差無偏估計

證2.4.3一致最小方差無偏估計故得

2.4最小方差無偏估計2.4最小方差無偏估計例2.4.6

2.4.3一致最小方差無偏估計2.4最小方差無偏估計例2.4.62.4.3一致最小方差無偏估計

2.4最小方差無偏估計定義2.4.5

2.4.4完備性及其應用2.4最小方差無偏估計例2.4.7

2.4.4完備性及其應用2.4最小方差無偏估計

2.4.4完備性及其應用

2.4最小方差無偏估計

2.4.4完備性及其應用2.4最小方差無偏估計

2.4.4完備性及其應用2.4最小方差無偏估計一些結論簡單隨機樣本的聯合分佈族總是不完備的指數型分佈族，其充分統計量都是完備的次序統計量是完備的2.4.4完備性及其應用2.4最小方差無偏估計定理2.4.3

2.4.4完備性及其應用

證2.4.4完備性及其應用2.4最小方差無偏估計2.4最小方差無偏估計

2.4.4完備性及其應用證2.4最小方差無偏估計例2.4.8

2.4.4完備性及其應用

解2.4.4完備性及其應用2.4最小方差無偏估計

解2.4.4完備性及其應用2.4最小方差無偏估計考慮到諸X1,X2,···,Xn是相互獨立的，且X2+X3+···+Xn服從參數為(n−1)λ的泊松分佈，所以2.4.4完備性及其應用2.4最小方差無偏估計

2.4.4完備性及其應用2.4最小方差無偏估計

2.4最小方差無偏估計例2.4.9某廠生產一種產品，這種產品包裝好後按一定數量放在盒子裏。在檢驗產品時，檢驗員從每個盒子裏隨機選出一個容量為n的樣本，並逐個檢查每個樣品的品質。假如樣本中有2個或更多個不合格品，那麼這一盒被認為是不合格品，退回工廠，而工廠要求質檢員把每盒查出的廢品通報廠方。2.4.4完備性及其應用2.4最小方差無偏估計例2.4.9

2.4.4完備性及其應用2.4最小方差無偏估計例2.4.9

2.4.4完備性及其應用2.4最小方差無偏估計例2.4.9

2.4.4完備性及其應用2.4最小方差無偏估計例2.4.9

2.4.4完備性及其應用2.4最小方差無偏估計例2.4.9

2.4.4完備性及其應用2.4最小方差無偏估計例2.4.9

2.4.4完備性及其應用例2.4.102.4最小方差無偏估計尋求二點分佈b（1，p）的可估參數p（1−p）的UMVUE。2.4.4完備性及其應用使用求解方程的方法直接尋找UMVUE

解2.4.4完備性及其應用2.4最小方差無偏估計nt=0nt=0t=0n-1t=1n

比較左右兩端的係數可得p（1−p）的UMVUE為：2.4最小方差無偏估計2.4.4完備性及其應用解

例2.4.112.4最小方差無偏估計

2.4.4完備性及其應用

解2.4.4完備性及其應用2.4最小方差無偏估計

2.4.4完備性及其應用2.4最小方差無偏估計C-R不等式PART2.52.5C-R不等式定理2.5.1

(2.5.1)2.5C-R不等式定理2.5.1證因為樣本是簡單樣本，又記

由於

2.5C-R不等式定理2.5.1證所以

2.5C-R不等式定理2.5.1再利用協方差性質（即施瓦茲不等式）

將上述結果代回原式，即得C-R不等式。2.5C-R不等式定義2.5.1

2.5C-R不等式例2.5.1

2.5C-R不等式例2.5.2設X1,X2,···,Xn

是取自正態總體N(0,σ2)的一個樣本，可以驗證，正態分佈族{N(0,σ2):σ>0}是C-R正則分佈族。下麵來求參數g(σ2)=σ2的C-R下界，由於

2.5C-R不等式利用E(x2k)=σ2k(2k−1)(2k−3)···1，可算得費希爾資訊量

2.5C-R不等式

,都是σ2

的無偏估計，其方差分別為：,

2.5C-R不等式

2.5C-R不等式例2.5.3

2.5C-R不等式

置信區間PART2.62.6置信區間2.6.1置信區間概念定義2.6.1

1.區間估計及其置信度與置信係數2.6置信區間2.6.1置信區間概念定義2.6.1注1：從上述定義可知，構造一個未知參數的區間估計並不難。

一個參數的區間估計可以給出多種，但要給出一個好的區間估計需要有豐富的統計思想和熟練的統計技巧。注2：當置信度所示概率與參數θ無關時，置信度就是置信係數,以後我們將努力尋求置信度與θ無關的區間估計。注3：上述定義中區間估計用閉區間給出，也可用開區間或半開區間給出，由實際需要而定。1.區間估計及其置信度與置信係數2.6置信區間2.6.1置信區間概念例2.6.1它的置信度可用t分佈算得，具體如下：

1.區間估計及其置信度與置信係數2.6置信區間2.6.1置信區間概念

例2.6.1由於t分佈只依賴於其自由度n−1，而不依賴於未知參數µ與σ,所以用

t分佈算得的置信度就是置信係數。在n=20，對k=1,2,3可算出其置信係數如下：其中：

1.區間估計及其置信度與置信係數例2.6.12.6置信區間2.6.1置信區間概念正態均值µ的三個區間估計的置信係數一個比一個高，第三個區間的置信係數達到0.99。

1.區間估計及其置信度與置信係數

2.6置信區間2.6.1置信區間概念例2.6.1其中：現轉入考察這三個區間估計的平均長度由式(2.6.1)可知，

其平均長度為：

1.區間估計及其置信度與置信係數

2.6置信區間2.6.1置信區間概念例2.6.1由此可得平均長度為：

利用伽瑪分佈可算得

1.區間估計及其置信度與置信係數在保證置信係數的前提下，儘量縮短置信區間平均長度。2.6置信區間2.6.1置信區間概念定義2.6.2

2.置信區間2.6置信區間2.6.1置信區間概念

2.置信區間2.6置信區間2.6.1置信區間概念定義2.6.3在定義2.6.2的記號下，如對給定的α(0<α<1)恒有

3.同等置信區間2.6置信區間2.6.1置信區間概念定義2.6.4

4.置信限2.6置信區間2.6.1置信區間概念定義2.6.4

4.置信限定義2.6.52.6置信區間2.6.1置信區間概念設X=(X1,X2,···,Xn