信息科学基础课件

概率論基礎知識1基本概念1隨機事件

:

在給定條件下，可能發生，也可能不發生，其結果是無法事先預測的現象如:拋硬幣出現正/反面、擲骰子出現幾點都是隨機事件。2隨機試驗：產生隨機事件的過程如:拋硬幣、擲骰子3樣本空間：隨機試驗中可能出現的各種隨機事件全集。如:硬幣的正/反面、擲骰子的1－6點。2事件的關係運算1.包含關係A

B:A發生必導致B發生

A＝B

A

B且B

A.2.和事件A

B：或者A發生或者B發生3.積事件A

B＝AB:A發生並且B發生4.差事件A－B：A發生並且B不發生5.6.

互不相容事件AB＝

：A、B互為對立事件,即A

B＝,且AB＝

3事件與集合對應關係類比

概率論

集合論樣本空間

＝{}

事件子集事件A發生A

事件A不發生A

必然事件

不可能事件

事件A發生導致事件B發生

AB事件A與B至少有一個發生A

B事件A與B同時發生A

B(或AB)事件A發生而B不發生A－B事件A與B互不相容AB＝

1.定義

若對隨機試驗E所對應的樣本空間中的每一事件A，均賦予一實數P(A)，集合函數P(A)滿足條件：(1)非負性：對任一事件A，有P(A)≥0；(2)規範性：

P(

)＝1；(3)可列可加性：設A1，A2，…,是一列兩兩互不相容的事件，即AiAj＝

，(ij),i,j＝1,2,…,有

P(A1

A2

…

)＝P(A1)＋P(A2)+….則稱P(A)為事件A的概率。4概率

不可能事件概率零：P(

)＝0；有限可加性：設A1，A2，…An,是n個兩兩互不相容的事件，即AiAj＝

，(ij),i,j＝1,2,…,n,則有

P(A1

A2

…

An)＝P(A1)＋P(A2)+…P(An);(3)單調不減性：若事件B

A，則P(B)≥P(A),且

P(B－A)＝P(B)－P(A)；互補性：P(A)＝1－P(A)，且P(A)

1;加法公式：對任意兩事件A、B，有

P(A

B)＝P(A)＋P(B)－P(AB)公式可推廣到任意n個事件A1，A2，…，An的情形(6)可分性：對任意兩事件A、B，有

P(A)＝P(AB)＋P(AB).5.概率的性質6古典概型一、古典概型的特徵1.樣本有限性空間：

＝{1,2,…,n};2.等可能性：P(i)＝1/n,(i＝1,2,…,n).古典概型也稱為等可能概型。二、古典概型的計算公式設事件A中包含k個樣本點(基本事件)7條件概率及概率計算公式一、條件概率設A、B是

中的兩個事件，即A、BF，則

稱為事件A發生的條件下事件B發生的條件概率。

例1、一只盒子中混有100只新、紅白舊乒乓球，各有紅、白兩色，分新

4030類如右：若取得的是一只紅球，舊

2010試求該紅球是新球的概率。二、乘法公式設A、B

F，則

P(AB)＝P(A)P(B|A).就稱為事件A、B的概率乘法公式。上式還可推廣到三個事件的情形：

P(ABC)＝P(A)P(B|A)P(C|AB).一般有下列公式：

P(A1A2…An)＝P(A1)P(A2|A1)...P(An|A1…An－1).例2、袋中有十只球，其中九白一紅，十人依次從袋中各取一球(不放回)，問第一個人取得紅球的概率是多少？第二、第三、…、最後一個人取得紅球的概率各是多少？三、全概率公式與貝葉斯(Bayes)公式定理1、設A1，…,An是

的一個劃分，且P(Ai)>0，(i＝1，…，n)，則對任何事件BF，有

上式就稱為全概率公式。例3、某廠有三個車間生產同一種產品，已知三個車間的產量分別占總產量的1/4、1/4、1/2，且次品率分別為2％、1％、3％，試求該廠這種產品的次品率。定理1、設A1，…,An是

的一個劃分，且P(Ai)>0，(i＝1，…，n)，則對任何事件BF，有

上式就稱為貝葉斯公式或逆概率公式。例4、在無線電通訊中，由於隨機因素的影響，當發出短號“

”時,收到“

”、“不清”和長號“－”的概率分別是0.7、0.2和0.1，當發出長號“

”時，收到“－”、“不清”和“

”“的概率分別是0.9、0.1和0.若在整個發報過程中信號“

”及“－”出現的概率分別是0.6和0.4，當收到信號“不清”時，試推測原發信號8事件的獨立性一、兩事件獨立定義1、設A、B是兩事件，若P(B)＝P(B|A)則稱事件A與B相互獨立。它等價於：

P(AB)＝P(A)P(B)定理、以下四件事等價：(1)事件A、B相互獨立；(2)事件A、B相互獨立；(3)事件A、B相互獨立；(4)事件A、B相互獨立。二、多個事件的獨立定義2、若三個事件A、B、C滿足：(1)P(AB)=P(A)P(B),P(AC)=P(A)P(C),P(BC)=P(B)P(C),則稱事件A、B、C兩兩相互獨立；若在此基礎上還滿足：(2)P(ABC)＝P(A)P(B)P(C),則稱事件A、B、C相互獨立。(3)一般地，設A1，A2，…，An是n個事件，如果對任意k(1

k

n),任意的1

i1

i2…

in

n，具有等式P(Ai1Ai2…Ain)＝P(Ai1)P(Ai2)…P(Ain)則稱n個事件A1，A2，…，An相互獨立。9貝努裏概型1.只有兩個可能結果的試驗稱為貝努裏試驗，常記為E。E也叫做“成功－失敗試驗”,“成功”的概率常用p＝P(A)表示，其中A＝“成功”。2.把E重複獨立地進行n次，所得的試驗稱為n重貝努裏試驗，記為En。3.把E重複獨立地進行可列多次，所得的試驗稱為可列重貝努裏試驗，記為E

。10隨機變數的概念實例做試驗拋一枚勻質硬幣，其樣本空間

＝{}＝{H,T}可規定隨機變數

X＝X(

)＝隨機變數實際上是定義在樣本空間上的一個實函數

定義

設隨機試驗E的樣本空間是，X＝X(),是定義在上的一個單值實函數。若對任意實數x，樣本點的集合{|X()x}＝{Xx}是一隨機事件，則X()稱為隨機變數，簡記為X.隨機變數一般用英文大寫字母X、Y、Z等表示，也可用希臘字母、、等表示。隨機變數的分類：

隨機變數11一維離散型隨機變數的分佈律一、分佈律1.定義

若隨機變數X取值x1,x2,…,xn,…且取這些值的概率依次為p1,p2,…,pn,…,則稱X為離散型隨機變數，而稱P{X=xk}=pk,(k=1,2,…)為X的分佈律或概率分佈。可表為

X～P{X=xk}=pk,(k=1,2,…)，或

Xx1x2…xn…Pp1p2…pn…2.分佈律的性質(1)pk0,k＝1,2,…;(2)例1設袋中有5只球，其中有2只白3只黑。現從中任取3只球(不放回)，求抽得的白球數X為k的概率。解k可取值0，1，2

二、幾個常用的離散型分佈1.退化分佈(單點分佈)X～P{X＝a}＝1，其中a為常數。2.(0－1)分佈(兩點分佈)X～P{X＝k}＝pk(1－p)1－k,(0<p<1)k＝0，13.幾何分佈

X～P{X＝k}＝(1－p)k－1p,(0<p<1)k＝1,2,…4.二項分佈B(n,p)X～P{X＝k}＝pk(1－p)n－k,(0<p<1)k＝0,1,2,…,n5.泊松(Poisson)分佈P(

)X～P{X＝k}＝,k＝0,1,2,…(0)12二維離散型隨機變數一、聯合分佈律若二維隨機變數(X,Y)只能取至多可列個值(xi,yj),(i,j＝1,2,…)，則稱(X,Y)為二維離散型隨機變數。若二維離散型隨機變數(X,Y)取(xi,yj)的概率為pij,則稱P{X＝xi,Y＝yj,}＝pij，(i,j＝1,2,…)為二維離散型隨機變數(X,Y)的分佈律，或隨機變數X與Y的聯合分佈律.可記為(X,Y)～P{X＝xi,Y＝yj,}＝pij，(i,j＝1,2,…)，聯合分佈律的性質(1)pij

0,i,j＝1,2,…；

(2)XYy1y2…yj…x1p11

p12...

P1j...x2p21

p22...

P2j...Xipi1

pi2...

Pij...........................二維離散型隨機變數的分佈律也可列表表示如下：二、條件分佈律

設隨機變數X與Y的聯合分佈律為

(X,Y)～P{X＝xi,Y＝yj,}＝pij，(i,j＝1,2,…)，X和Y的邊緣分佈律分別為

P{X＝xi}＝pi.＝，i＝1,2,…和

P{Y＝yj}＝p.j＝，j＝1,2,…若對固定的j,p.j>0,則稱

pi|j＝i=1,2,…為Y＝yj的條件下，X的條件分佈律;同理，若對固定的i,pi.

>0,則稱

pj|i＝j=1,2,…為X＝xi的條件下，Y的條件分佈律;三、離散型隨機變數的相互獨立性設隨機變數X與Y的聯合分佈律為(X,Y)～P{X＝xi,Y＝yj,}＝pij，(i,j＝1,2,…)，若對任意的i、j，有pij＝pi.

p.J,即P{X＝xi,Y＝yj,}＝P{X＝xi}P{Y＝yj}則稱隨機變數X與Y相互獨立。上述概念不難推廣到n維離散型隨機變數的情形。例如，設X1，X2，…,Xn分別可取這些實值，且對任意的i1,i2,…,in有則稱隨機變數X1，X2，…,Xn相互獨立。13一維連續性隨機變數及其分佈一、密度函數1.定義對於隨機變數X，若存在非負可積函數f(x)，(-

<x<+

)，使對任意實數x，都有則稱X為連續型隨機變數，f(x)為X的概率密度函數，簡稱概率密度或密度函數.常記為

X～f(x),(-

<x<+

)密度函數的幾何意義為2.密度函數的性質

(1)f(x)0，(-<x<)；(2)性質(1)、(2)是密度函數的充要性質；(3)若x是f(x)的連續點，則f(x)＝3.對任意實數b，若X～f(x)，(-<x<)，則P{X=b}＝0事實上，

從而，二、幾個常用的連續型分佈1.均勻分佈若X～f(x)＝則稱X在(a,b)內服從均勻分佈。

對任意實數c,d(a<c<d<b)，都有這說明X落在(a,b)中任一區間的概率只與該區間的長度成正比，而與該區間的位置無關，這就是均勻分佈的概率意義。2.正態分佈若隨機變數其中>0，

為實數，則稱X服從參數為

2，

的正態分佈,記為N(,2)，可表為X～N(,2).

易知f(x)

0;令可得正態分佈有三個特性：(1)單峰對稱其圖形關於直線x=

對稱；f()＝maxf(x)＝

(2)有兩個拐點(－，f(－))；(＋

，f(＋))，

(3)

的大小直接影響概率的分佈越大，曲線越平坦，概率分佈越分散，曲線又矮又胖；越小，曲線越陡峻，概率分佈越集中，曲線又高又瘦。正態分佈也稱為高斯(Gauss)分佈。3.標準正態分佈參數

＝0，

2＝1的正態分佈稱為標準正態分佈，可表為N(0,1)。為了區別於一般的正態分佈，其密度函數表示為分佈函數表示為

注解：(1)(x)＝1－(－x)；(2)若X～N(,2)，則F(x)＝P{Xx}＝正態分佈是實踐中應用最為廣泛，在理論上研究最多的分佈之一，故它在概率統計中佔有特別重要的地位。

14二維連續型隨機變數及其分佈一、聯合分佈及邊緣分佈1、聯合分佈函數

設(X,Y)是二維隨機變數，(x,y)

R2,則稱

F(X,Y)=P{X

x,Y

y}為(X,Y)的分佈函數，或X與Y的聯合分佈函數。幾何意義：對於(x1,y1),(x2,y2)

R2,(x1<

x2，y1<y2),則

P{x1<X

x2，y1<y

y2}

＝F(x2,y2)－F(x1,y2)－F(x2,y1)＋F(x1,y1).

二、二維連續型隨機變數及其密度函數1、定義

對於二維隨機變數(X,Y)，若存在一個非負可積函數f(x,y)，使對

(x,y)R2，其分佈函數

則稱(X,Y)為二維連續型隨機變數，f(x,y)為(X,Y)的密度函數(概率密度)，或X與Y的聯合密度函數，可記為(X,Y)～f(x,y)，(x,y)R22、聯合密度f(x,y)的性質(1)非負性：f(x,y)

0,(x,y)

R2;(2)完備性：反之，具有以上兩個性質的二元函數f(x,y)，必是某個二維連續型隨機變數的密度函數。此外，f(x,y)還有下述性質(3)若f(x,y)在(x,y)

R2處連續，則有

三、邊緣密度函數

設(X,Y)～f(x,y),(x,y)

R2,則稱

為(X,Y)關於X的邊緣密度函數；同理，稱為(X,Y)關於Y的邊緣密度函數。易知N(

1,2,1,2,)的邊緣密度函數fX(x)是N(

1,1)的密度函數，而fX(x)是N(

2,2)的密度函數，故二維正態分佈的邊緣分佈也是正態分佈。資訊科學基礎-緒論1.1

資訊理論的基本概念基本問題：資訊的度量。資訊：從“不知道”到“知道”，就是接收者在通信前後“不確定性”的消除量。資訊理論：應用近代數理統計方法來研究資訊的傳輸和處理的科學。資訊科學基礎-緒論1.2通信系統的基本模型

資訊科學基礎-緒論1.3資訊理論要解決的主要問題：信源編碼通道編碼加密編碼信源是產生消息(或消息序列)的源，消息通常是符號序列或時間函數。在電報系統中，消息是由文字、符號、數字組成的報文(符號序列)，稱為離散消息；在電話系統中，消息是語聲波形(時間函數)，稱為連續消息。消息取值服從一定的統計規律，故信源的數學模型是一個在信源符號集中取值的隨機變數序列或隨機過程。信源編碼器將信源產生的消息變換為一個數字序列(通常為二進位數字序列)。資訊科學基礎-緒論在離散情形，設信源可能產生MN個消息，每個消息由N個信源符號組成，各個消息出現的概率分別為，這時信源編碼器可以做成從消息到數字序列的一一變換。設第i個消息對應的數字序列長為

(包含個數字)。信源編碼速率：每個信源符號平均要用多少個數字來表示。信源編碼理論要回答兩個問題：對給定的信源，可能達到的最小編碼速率是多少？如何構造實現這一速率的最優編碼。資訊科學基礎-緒論

在連續情形，信源可能產生的消息是一個無窮集，通常的方法是先對連續消息進行採樣和量化，變為離散消息，再將離散消息變換為數字序列。信源解碼器先將輸入的數字序列逆變換為離散消息，再用適當的內插法複製出連續消息。用這樣的方法傳送消息，即使在無噪通道的情形，收到的消息也不會與發送消息完全相同，它們之間必然存在誤差，稱為消息的失真。可以選擇一個適當的非負函數d(u,z)來度量消息u、z之間失真的大小。現在信源編碼理論要回答的問題是：(1)對給定的信源，在保證消息的平均失真不超過給定的允許限D的條件下，可能達到的最小編碼速率是多少?(2)如何構造實現這一速率的最優編碼?資訊科學基礎-緒論通道：傳輸信號的媒質或通道，如架空明線、電線、射頻波束、人造衛星等。在資訊理論的模型裏，有時為了研究方便，可以將發送端和接收端的一部分如調製器和解調器歸入通道，而且將系統各部分的雜訊和干擾都歸入通道中考慮。根據雜訊和干擾的統計特性，通道有多種模型。最簡單的是離散無記憶(恒參)通道。通道編碼器將信源編碼器輸出的數字序列，每l個一組變換為N長的碼字信號(包含N個通道入口符號)

。通道編碼基本思想：通過編碼引進冗餘度提高資訊傳送的可靠性。解碼器有可能利用這種多餘度，將受擾的錯誤信號仍譯為正確的發送數字序列。資訊科學基礎-緒論通道編碼理論要回答的問題是：(1)對給定的通道，保證通道漸近無誤地傳送資訊所能達到的最大編碼速率是多少?(2)對給定的編碼速率R，其最優編碼的解碼錯誤概率隨編碼長度N的變化規律怎樣?(3)如何構造實現最大速率傳輸的最優編碼?資訊科學基礎-緒論在密碼系統中，信源產生的消息或經信源編碼後的數字消息稱為明文；加密編碼將明文變換為密文(通常是信源符號序列和數字序列間的一一變換)。加密編碼由密鑰控制，不同的密鑰產生不同的加密編碼。密文經通道編碼後通過通道傳到收端，同時密鑰通過安全通道傳到收端。使收端可以用同一密鑰將密文譯為明文，供受信者使用。對密碼系統的要求主要有兩點：1)密鑰的數量比明文的數量小得多，使它可通過某安全通道傳送給收端而不洩露給任何非受信者；2)不擁有密鑰的任何人，在規定的時間內，無法將密文譯為明文。密碼學的研究分兩個方面：密碼的設計和密碼的分析與破譯。這兩方面是緊密聯繫的。資訊科學基礎-熵和互信息1、信源的統計特性和數學模型2、各類離散信源的資訊測度——熵及其性質。資訊科學基礎-自信息量假設一條電線上串聯的8個燈泡中有一個壞了，使得所有燈泡不亮，使用萬用表檢查需要經過3次。第一次檢查就可以消除一些不確定性，獲得一定的資訊量。未測量前，燈泡損壞的先驗概率是1/8，第一次檢查可以排除4個燈泡，只要猜測剩下的4個哪個是壞的，後驗概率變為1/4，依此類推。在通信的一般情況下，收信者所獲取的資訊量，在數量上等於通信前後不確定性的消除(減少)的量,或者說關於先驗概率和後驗概率的函數的差值。資訊科學基礎-自信息量

自信息量：如果一個隨機試驗有N個可能，如果它們出現的概率分別為其中，且，信源X發符號xi(i＝1，2，…，n)能提供的資訊量，即其自信息量資訊科學基礎-信源的分類

信源的分類：連續信源：發出在時間上和幅度上都是連續分佈的連續消息的信源；離散信源：發出在時間上和幅度上都是離散分佈的信源。離散信源又可以細分為：離散無記憶信源：所發出的各個符號之間是相互獨立的，發出的符號序列中的各個符號之間沒有統計關聯性，各個符號的出現概率是它自身的先驗概率。離散有記憶信源：發出的各個符號之間不是相互獨立的，各個符號出現的概率是有關聯的。發出單個符號的離散信源：信源每次只發出一個符號代表一個消息；發出符號序列的離散信源：信源每次發出一組含二個以上符號的符號序列代表一個消息。將以上兩種分類結合，就有四種離散信源：發出單個符號的無記憶離散信源；發出符號序列的無記憶離散信源；發出單個符號的有記憶離散信源；發出符號序列的有記憶離散信源。馬爾可夫信源：某一個符號出現的概率只與前面一個或有限個符號有關，而不依賴更前面的那些符號。當記憶長度為m+1時，稱這種有記憶信源為m階馬爾可夫信源。時齊馬爾可夫信源：條件概率與時間起點i無關。資訊科學基礎-信源的分類

資訊科學基礎-N重概率空間內的條件自信息量和聯合自信息量市場上供應的燈炮中，甲廠占70%，乙廠占30%，甲廠的合格率是95%，乙廠的是80%。若用事件A、A’分別表示甲、乙兩廠的產品，B表示產品為合格品，有關事件的概率為：P(A)=70%,P(A’)=30%,P(B|A)=95%,P(B|A’)=80%有記憶信源的條件概率分佈：P(X1X2X3)=P(X1)P(X2|X1)P(X3|X1X2)信源的N重概率空間為：離散無記憶信源N維隨機向量的聯合概率分佈滿足資訊科學基礎-N重概率空間內的條件自信息量和聯合自信息量聯合自信息量：兩個消息、同時出現的聯合自信息量用聯合概率表示，聯合自信息量為當和相互獨立時，有

於是有

條件自信息量：當、相互聯繫時，在事件出現的條件下，的自信息量稱為條件自信息量，定義為

為在事件出現的條件下，發生的條件概率。資訊科學基礎-資訊熵資訊熵H

：從整個信源的統計特性來考慮，定義自信息的數學期望為資訊熵。它是從平均意義上來表徵信源的總體特性的。資訊熵有三種物理含義：1。表示信源輸出的每個消息符號提供的平均資訊量。2。資訊熵H(x)是表示信源輸出前，信源的平均不確定性。3。用資訊熵H(x)來表徵變數x的隨機性。資訊熵是信源的平均不確定的描述。只有在無噪情況下，它才等於平均獲得的資訊量。資訊科學基礎-條件熵和聯合熵條件熵：在給定的條件下，的條件自信息量為，隨機事件X的條件熵H(X/yj)為

它表示信源Y發符號的前提下，信源x每發一個符號提供的平均資訊量。而

它表示信源Y每發一個符號的前提下，信源X再發一個符號所能提供的平均資訊量。H(X／Y)稱為X的條件熵。資訊科學基礎-條件熵和聯合熵

相應有

它表示信源X每發一個符號的前提下，信源Y再發一個符號所能提供的平均資訊量。H(Y／X)為Y的條件熵。當X和Y統計獨立時，H(X／Y)＝H(X)資訊科學基礎-條件熵和聯合熵聯合熵：是聯合符號集合XY的每個元素對的自信息量的概率加權統計平均值，定義為

它表示X和Y同時發生的不確定度。聯合熵的性質：定理2.1.1：對於任意兩個隨機變數X，Y，以及它們的聯合XY，有：H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)當X，Y相互獨立，有：H(Y|X)=H(Y)，H(X|Y)=H(X)，此時H(X,Y)=H(X)+H(Y)。資訊科學基礎-熵的基本性質熵函數有下列性質：（1）對稱性。變數的順序任意互換，熵函數值不變。（2）確定性。即如果信源雖然有不同的輸出符號，但它只有一個符號幾乎必然出現，而其他符號都是幾乎不可能出現，那麼，這個信源是一個確知信源，其熵等於零。（3）非負性。即

非負性僅僅適用於離散信源的熵，對連續信源來說這一性質並不存在。以後可以看到，在相對熵的概念下，可能出現負值。資訊科學基礎-熵的基本性質（4）可擴展性。（5）可加性。即統計獨立信源x和y的聯合信源的熵等於分別熵之和。（6）強可加性。即

它表明，在X和y相關聯的情況下，信源(XY)每發一個符號所提供的平均資訊量，等於信源X每發一個符號所提供的平均資訊量，再加上在X已知的條件下，信源Y再發一個符號所提供的平均資訊量。資訊科學基礎-熵的基本性質（7）極值性。即

即等概率分佈時，熵達到極值。對於具有q個符號的離散信源，只有在q個信源符號等可能出現的情況下，信源熵才能達到最大值。這也表明等概率分佈信源的平均不確定性為最大。這是一個很重要的結論，稱為最大離散熵定理。這說明，任何一種能使概率p1，p2，…，pn趨於均等的變動，都會使熵增加。

（8）嚴格凸性。對於任何和任何兩個概率向量P1,P2有：資訊科學基礎-條件相對熵和平均互信息資訊流通的根本問題，是定量計算信宿收到通道輸出的某一符號後，從中獲取關於信源該符號的資訊量。信

源

X

有擾離散信

道信

宿

Y干擾源

簡單的通信系統模型

資訊科學基礎-條件相對熵和平均互信息H(x)是在接收到符號y以前，關於輸入符號x的先驗不確定性的度量，所以稱為先驗熵。如果通道中無干擾(雜訊)，通道輸出符號與輸入符號一一對應，那麼，接收到傳送過來的符號後就消除了對發送符號的先驗不確定性。但一般通道中有干擾(雜訊)存在，接收到符號y後對發送的是什麼符號仍有不確定性。那麼，怎樣來度量接受到y後關於x的不確定性呢?當沒有接收到輸出符號y時，已知輸入符號X的概率分佈為P(X)；而當接收到輸出符號y＝yj後，輸入符號的概率分佈發生了變化，變成後驗概率分佈P(X/yj)。

資訊科學基礎-條件相對熵和平均互信息

那麼接收到輸出符號y＝yj後，關於x的平均不確定性為

這是接收到輸出符號為yj後關於X的後驗熵。可見，接收到輸出符號yj後先驗熵變成後驗熵。所以後驗熵是當通道接收端接收到輸出符號yj後，關於輸入符號的資訊測度。資訊科學基礎-條件相對熵和平均互信息後驗熵在輸出符號集y範圍內是個隨機量，對後驗熵在符號集y中求期望，得條件熵為這個條件熵稱為通道疑義度。它表示在輸出端收到全部輸出符號Y集後，對於輸入端的符號集X尚存在的不確定性(存在疑義)。對X集尚存在的不確定性是由於干擾(雜訊)引起的。如果是一一對應通道，那麼接收到符號集Y後，對X集的不確性完全消除，則通道疑義度H(X/Y)＝0。資訊科學基礎-條件相對熵和平均互信息條件熵小於無條件熵，即H(X/Y)＜H(X)。這正說明接收到符號集Y的所有符號後，關於輸入符號X的平均不確定性減少了，即總能消除一些關於輸入端X的不確定性，從而獲得了一些資訊。已知H(X)代表接收到輸出符號集Y以前關於輸入符號集X的平均不確定性，而H(X/Y)代表接收到輸出符號集Y後關於輸入符號集X的平均不確定性。可見，通過通道傳輸消除了一些不確定性，獲得了一定的資訊。所以定義資訊科學基礎-條件相對熵和平均互信息I(X;Y)稱為X和Y之間的平均互信息。它代表接收到符號集Y後平均每個符號獲得的關於X的資訊量。

資訊科學基礎-條件相對熵和平均互信息平均互信息I(X;Y)就是互信息I(x;y)在兩個概率空間X和Y中求平均的結果。互信息I(x;y)是代表收到消息y後獲得關於某事件x的資訊量。從平均互信息的定義中，可以進一步理解熵只是平均不確定性的描述，而不確定性的消除(熵差)才等於接收端所獲得的資訊量。因此，資訊量不應該與不確定性混為一談。資訊科學基礎-條件相對熵和平均互信息平均互信息量的物理意義：I(X;Y)是H(X)和H(X/Y)之差。因為H(X)是符號集合X的熵或不確定度，而H(X/Y)是當Y已知時X的不確定度，可見“Y已知”這件事使X的不確定度減少了I(X;Y)，這意味著“Y已知”後所獲得的關於X的資訊量是I(X;Y)。這可以看成是在有擾離散通道上傳輸的平均資訊量。信宿收到的平均資訊量等於信宿對信源符號不確定度的平均減少量。換句話說，在有擾離散通道上，各個接受符號y所提供的有關信源發出的各個符號x的平均資訊量I(X;Y)，等於唯一地確定信源符號x所需要的平均資訊量H(X)，減去收到符號y後，要確定x所需要的平均資訊量H(X/Y)。條件熵H(X/Y)可以看作是由於通道上存在干擾和雜訊而損失掉的平均資訊量，又可以看作是通道上的干擾和雜訊所造成的對信源符號x的平均不確定度，故又稱為疑義度。資訊科學基礎-條件相對熵和平均互信息而由互信息量的第二個關係式，互信息量可以看作在有擾離散通道上傳遞消息時，確定接受符號y所需要的平均資訊量H(Y)，減去當信源消息已知時確定接受符號y仍然需要的平均資訊量H(Y/X)，因此，H(Y/X)也可以認為是唯一地確定通道雜訊所需要的平均資訊量，故又稱為雜訊熵或散佈度，其關係可由圖2-2-3來形象地表示。資訊科學基礎-條件相對熵和平均互信息資訊科學基礎-條件相對熵和平均互信息平均互信息的性質（1）非負性：（2）對稱性：（3）交換性：（4）極值性：資訊科學基礎-公式總結自信息量信源熵互信息量資訊科學基礎-公式總結一些關係式資訊科學基礎-互信息量（續）兩種特殊情況：1．此時，這表明，當後驗概率p(xi/yj)＝1(即收到輸出符號yj，推測輸入符號xi的概率為1)時，收到yj即可確切無誤地收到輸入符號xi，消除對xi得全部不定度，從yj中獲取xi本身含有的全部資訊量，即xi的自信息量I(xi)。此時Y已知就完全解除了關於X的不確定度，所獲得的資訊就是X的不確定度或熵。也可以看成是無擾通道，由於沒有雜訊，疑義度H(X/Y)為零，雜訊熵也為零。於是有I(X;Y)=H(X)=H(Y)。資訊科學基礎-互信息量（續）2．這時，由於後驗概率等於先驗概率，所以後驗概率與先驗概率的比值等於1，即有

這表明，當後驗概率等於先驗概率時，收到yj後對信源發xi的不定度等於收到yj前對信源發xi的不定度，收到yj後並沒有減少對信源發xi的不定度，從yj中獲取不到關於xi的資訊量。

資訊科學基礎-互信息量（續）

這就是說，輸出符號yj與輸入符號xi之間沒有任何聯繫，完全是互不相關的兩碼事。顯然，在這種情況下，xi與yj之間的交互資訊量應該等於0。

這可以理解為X與Y相互獨立，無法從Y中提取關於X的資訊。也可以看成通道熵雜訊相當大，以至有H(X/Y)=H(X)。在這種情況下，能夠傳輸的平均資訊量為0。成為全損通道。一般情況下，X和Y既非互相獨立，也不是一一對應，那麼從Y獲得的X資訊必在0與H(X)之間，即常小於X的熵。資訊科學基礎-互信息量（續）信源熵、互信息之間的關係：圖2.3信源熵與互信息量之間的關係圖

資訊科學基礎-互信息量（續）

圖中，左邊的圓代表符號集X的熵，右邊的圓代表符號集Y的熵，兩個圓重疊部分是平均互信息I(X；Y)。每個圓減去平均互信息後剩餘的部分代表兩個疑義度。由上圖，可以有下列結論：1.2.3.資訊科學基礎-互信息量（續）例題:二進位通信系統用符號“0”和“1”，由於存在失真，傳輸時會產生誤碼，用符號表示下列事件：：一個“0”發出；：一個“1”發出；：一個“0”收到；：一個“1”收到。給定下列概率：，求：（1）已知發出一個“0”，收到符號後得到的資訊量；（2）已知發出的符號，收到符號後能得到的資訊量；（3）知道發出和收到的符號能得到的資訊量；（4）已知收到的符號，被告知發出的符號得到的資訊量。資訊科學基礎-互信息量（續）解：（1）題目的要求是在已知輸入為的條件下，收到符號能得到的資訊量，也就是說，要知道在已知輸入為的條件下，輸出符號所具有的不確定度，即條件熵可求出故：資訊科學基礎-互信息量（續）（2）題目要求在已知輸入符號的條件下，確定輸出符號後得到的資訊量，即在已知輸入符號的條件下，輸出符號所具有的不確定度，即條件熵而資訊科學基礎-互信息量（續）因此（3）題目要求的是當知道發出和收到的符號後，能得到多少資訊量，也就是要知道在未知發出和收到的符號的時候所具有的不確定度，即聯合熵解法（1）解法（2）資訊科學基礎-互信息量（續）（4）題目要求求出在已知收到的符號的前提下，得知發出的符號時得到的資訊量，即在已知收到的符號的條件下，對發出符號所具有的不確定度，即條件熵解法（1）熵和互信息-數據處理不等式

第

一

級處理器X輸入

第

二

級處理器YZ

串聯通道

如圖所示的串聯通道，X是輸入消息集合，Y是第一級通道輸出，Z是第二級數據處理後的輸出消息集合，可以證明：

數據處理中平均交互資訊量的不增性：

在一些實際的通信系統中，我們常常需要在通道輸出端對接收到的信號或數據進行適當的處理，這種處理稱為數據處理。數據處理系統一般可看成是一種通道，它與前面傳輸數據的通道是串聯關係。

熵和互信息-數據處理不等式從串接通道輸出端Z中獲取的關於輸入端X的平均交互資訊量I(X；Z)，總不會超過從第一級通道的輸出端Y中獲取關於輸入端X的平均交互資訊量I(X；Y)。如果第二級通道是數據處理系統，則對接收到的數據Y進行處理後，無論Z是Y的確定對應關係還是概率關係，決不會減少關於X的不確定性。數據處理不會增加從Z中獲取關於X的平均交互資訊量。這就是數據處理中平均交互資訊量的不增性。三維聯合集的平均互信息：

熵和互信息-連續信源的互信息和微分熵連續信源的輸出是取值連續的單個隨機變數，可用變數的概率密度來描述。連續信源的數學模型為：其中，R是全實數集，是變數X的取值範圍。該連續變數可以用離散變數來逼近，即連續變數可以認為是離散變數的極限情況。量化單位越小，則所得的離散變數和連續變數越接近。因此，連續變數的資訊度量可以用離散變數的資訊度量來逼近。熵和互信息-連續信源的互信息和微分熵把連續信源概率密度的取值區間[a,b]分割成n個社區間，各社區間設有等寬，那麼，X處於第區間的概率是：其中，是到之間的某一值。當是x的連續函數時，由積分中值定理可知，必存在一個值使上式成立。熵和互信息-連續信源的互信息和微分熵此時，連續變數X就可以用取值為的離散變數來近似。連續信源X被量化為離散信源：且熵和互信息-連續信源的互信息和微分熵這時離散信源的熵是：當時，離散隨機變數趨於連續隨機變數X，而離散信源的熵的極限值就是連續信源的資訊熵。熵和互信息-連續信源的互信息和微分熵一般情況下，上式的第一項是定值，而當時，第二項是趨於無限大的常數。所以避開第二項，定義連續信源的熵為：熵和互信息-連續信源的互信息和微分熵由上式可知，所定義的連續信源的熵並不是實際信源輸出的絕對熵，連續信源的絕對熵應該還要加上一項無限大的常數項。這一點可以這樣理解：因為連續信源的可能取值數是無限多個，若設取值是等概分佈，那麼信源的不確定性為無限大。當確知信源輸出為某值後，所獲得的資訊量也將為無限大。既然如此，那麼為什麼還要那樣來定義連續信源的熵呢？一方面，因為這樣定義可與離散信源的熵在形式上統一起來（這裏用積分代替了求和）；另一方面，因為在實際問題中，常常討論的是熵之間的差值，如平均互信息等。在討論熵差時，只要兩者離散逼近時所取的間隔一致，無限大項常數將互相抵消掉。由此可見，連續信源的熵稱為差熵，以區別於原來的絕對熵。熵和互信息-連續信源的互信息和微分熵

同理，可以定義兩個連續變數X、Y的聯合熵和條件熵，即熵和互信息-連續信源的互信息和微分熵

它們之間也有與離散信源一樣的相互關係，並且可以得到有資訊特徵的互信息：

這樣定義的熵雖然形式上和離散信源的熵相似，但在概念上不能把它作為資訊熵來理解。連續信源的差熵值具有熵的部分含義和性質，而喪失了某些重要的特性。熵和互信息-微分熵的極大化在離散信源中，當信源符號等概率分佈時信源的熵取最大值。在連續信源中，差熵也具有極大值，但其情況有所不同。除存在條件

以外，還要加上一些附加約束條件。通常我們最感興趣的是兩種情況：一種是信源的輸出的峰值功率受限；另一種是信源的輸出平均功率受限。下麵分別加以討論。熵和互信息-微分熵的極大化（1）峰值功率受限條件下信源的最大熵定理：若信源輸出的幅度被限定在[a,b]區域內，則當輸出信號的概率密度是均勻分佈時，信源具有最大熵。其值等於log(b-a)。此時，（2.2.7）熵和互信息-微分熵的極大化（2）平均功率受限條件下信源的最大熵定理：若一個連續信源輸出符號的平均功率被限定為P（這裏是指的交流功率，即方差），則其輸出信號幅度的概率密度分佈是正態分佈時，信源有最大的熵，其值為.正態分佈：（其中，m為數學期望，為方差）

熵和互信息-微分熵的極大化在限制信號平均功率的條件下，正態分佈的信源有最大差熵，其值隨平均功率的增加而增加。上述定理說明，連續信源在不同的限制條件下有不同的最大熵，在無限制條件時，最大熵不存在。根據最大熵定理可知，如果雜訊是正態分佈時，則雜訊熵最大，因此高斯白雜訊獲得最大雜訊熵。也就是說，高斯白雜訊是最有害的干擾，在一定平均功率下，造成最大數量的有害資訊。在通信系統中，往往各種設計都將高斯白雜訊作為標準，並不完全是為了簡化分析，而是根據最壞的條件進行設計獲得可靠性。熵和互信息-凸函數和互信息的凸性熵的基本性質（8）嚴格凸性。對於任何和任何兩個概率向量P1,P2有：熵和互信息-凸函數和互信息的凸性如果對於K維空間R上的任意向量a,b，有，則稱R是凸集。顯然概率向量組成的概率空間是凸的。凸函數概念:凸集R上定義的實函數f如果對所有R上的a,b都滿足那麼f稱為R上的凸函數。熵和互信息-凸函數和互信息的凸性定理1：當條件分佈p(y|x)給定時，平均互信息I(X;Y)是輸入信源的概率分佈p(x)的n型凸函數。這意味著，當固定某通道時，選擇不同信源（其概率分佈不同）與通道進行連接，在通道輸出端接收到每個符號後獲得的資訊量是不同的。而且對於每個固定通道，一定存在某種信源（某種概率分佈p(x)），使得輸出端獲得的平均資訊量為最大（因為n型凸函數存在最大值）。固定二元對稱通道的互信息熵和互信息-凸函數和互信息的凸性定理2：當輸入分佈p(x)給定時，平均互信息I(X;Y)是通道傳遞概率分佈p(y|x)的u型凸函數。這意味著，當信源固定後，選擇不同通道（其概率分佈不同）來傳輸信源符號時，在通道輸出端獲得的關於信源的資訊量是不同的。而且對於每個固定信源，一定存在某種最差的通道（某種概率分佈p(y|x)），此信道的干擾、雜訊最大，從而輸出端獲得的資訊量最小（因為u型凸函數存在最小值）。固定二元信源的互信息熵和互信息-平穩離散信源前面討論的是最基本的離散信源，即信源每次輸出單個符號。然而，往往很多實際信源輸出的消息是時間上或空間上的一系列符號，即離散隨機序列，在這個序列中，每一位出現哪個符號都是隨機的，而前後符號的出現則有統計依賴關係（有記憶離散信源序列）。此時，可用隨機向量來描述信源發出的消息，即，其中任一變數都是隨機變數，它表示t=i時刻所發出的符號。信源在t=i時刻將要發出什麼樣的符號決定於兩方面：(1)與信源在t=i時刻隨機變數的取值的概率分佈有關。一般情況下，t不同時，概率分佈也不同，即.熵和互信息-平穩離散信源(2)與t=i時刻以前信源發出的符號有關，即與條件概率有關。同樣在一般情況下，它也是時刻t的函數，所以以上所敘述的是一般隨機序列的情況，它比較複雜。下麵我們只討論離散無記憶序列信源和兩種較簡單的離散有記憶序列信源：平穩序列信源和齊次遍曆馬氏鏈信源。熵和互信息-離散無記憶信源的序列熵設信源輸出的隨機序列為，序列中的變數，即序列長為L。隨機序列的概率為熵和互信息-離散無記憶信源的序列熵對無記憶信源，這時，信源的序列熵為若又滿足平穩性，即與序號無關時，有熵和互信息-信源及信源熵則信源的序列熵可以表示為H(X)=LH(X)，平均每個符號熵為：可見，離散無記憶平穩信源平均每個符號的符號熵就等於單個符號信源的符號熵H(X)。熵和互信息-離散有記憶信源的序列熵討論兩種情況：平穩有記憶信源序列和齊次遍曆馬氏鏈信源。一、平穩有記憶信源序列（1）平穩隨機序列的定義：不講嚴格的定義。所謂平穩隨機序列，就是序列的統計特性（事件發生的概率）與時間的推移無關，即信源所發符號的概率分佈與時間起點無關。所以對於平穩信源來講，其條件概率也均與時間起點無關，只與關聯長度N有關。熵和互信息-離散有記憶信源的序列熵（2）平穩隨機序列的熵若信源輸出一個L長序列，則信源的序列熵為熵和互信息-離散有記憶信源的序列熵當信源退化為無記憶時，有這一結論與離散無記憶信源結論是完全一致的。可見，無記憶信源是上述有記憶信源的特例。熵和互信息-離散有記憶信源的序列熵例題：已知離散有記憶信源中各符號的概率空間為現信源發出二重符號序列消息，這兩個符號的關聯性用條件概率表示，並由下表給出。求信源的序列熵和平均符號熵。熵和互信息-離散有記憶信源的序列熵

9/112/1101/83/41/802/97/9解：條件熵為單符號信源熵為熵和互信息-離散有記憶信源的序列熵發二重符號序列的熵為平均符號熵為比較上述結果可知：，即二重序列的符號熵值較單符號熵變小了，也就是不確定度減小了，這是由於符號之間存在相關性造成的。熵和互信息-離散有記憶信源的序列熵對離散平穩信源，其聯合概率具有時間推移不變性，此時有如下結論：（1）是L的單調非增函數。（2）（3）是L的單調非增函數。（4）當時，

稱為極限熵，又稱為極限資訊量。熵和互信息-離散有記憶信源的序列熵於是有：式中，為等概率無記憶信源單個符號的熵，為一般無記憶信源單個符號的熵，為兩個符號組成的序列平均符號熵，依此類推。結論（4）從理論上定義了平穩離散有記憶信源的極限熵，對於一般的離散平穩信源，實際上求此極限值是相當困難的。但對於一般的離散平穩信源，由於取L不很大時就能得出非常接近的因此，可用條件熵或者平均符號熵作為平穩信源極限熵的近似值。熵和互信息-冗餘度前面我們討論了各類離散信源及其資訊熵。實際的離散信源可能是非平穩的，對於非平穩信源來說，其不一定存在，但可以假定它是平穩的，用平穩信源的來近似。然而，對於一般平穩的離散信源，求值也是極其困難的。那麼，進一步可以假設它是m階馬爾可夫信源，用m階馬爾可夫信源的平均資訊熵來近似。如再進一步簡化信源，即可假設信源是無記憶信源，而信源符號有一定的概率分佈。這時，可用信源的平均自信息量來近似。最後，可以假定是等概分佈的無記憶離散信源，用最大熵來近似。熵和互信息-冗餘度由此可見，由於信源符號間的依賴關係使信源的熵減小。它們的前後依賴關係越長，信源的熵越小。當信源符號間彼此無依賴、等概率分佈時，信源的熵才達到最大。也就是說，信源符號之間依賴關係越強，每個符號提供的資訊量就越小。每個符號提供的平均自信息量隨著符號間的依賴關係長度的增加而減少。為此，我們引進信源的冗餘度（也叫剩餘度或多餘度）來衡量信源的相關性程度。對於一般平穩信源來說，極限熵為，這就是說，如果我們要傳送這一信源的資訊，理論上來說只需要有傳送的手段即可。熵和互信息-冗餘度但實際上我們對它的概率分佈不能完全掌握，如果把它近似成m階馬爾可夫信源，則可以用能傳送的手段去傳送熵數為的信源，當然這裏面就不太經濟。我們定義資訊效率為：信源的冗餘度定義為熵和互信息-冗餘度由冗餘度的定義可見，信源的冗餘度能夠很好地反映信源輸出的符號序列中符號之間依賴關係的強弱。冗餘度越大，表示信源的實際熵越小，表明信源符號之間的依賴關係越強，即符號之間的記憶長度越長；反之，冗餘度越小，表明信源符號之間的依賴關係越弱，即符號之間的記憶長度越短。當冗餘度等於零時，信源的熵就等於極大熵，表明信源符號之間不但統計獨立無記憶，而且各符號還是等概分佈。因此，冗餘度可以用來衡量信源輸出的符號序列中各符號之間的依賴程度。熵和互信息-冗餘度例如，以符號是英文字母的信源為例，英文字母加上空格共有27個，則最大熵為但實際上，用英文字母組成單詞，再由單詞組成句子時，英文字母並不是等概率出現，比如我們知道在英語中E出現的概率大於Q出現的概率。對在英文書中各符號的概率加以統計，可以得出各個字母出現的概率，由此得出第一級近似為無記憶信源的熵：熵和互信息-冗餘度考察英語的結構我們知道，要組成有意義的單詞，英文字母的前後出現是有依賴關係的，當前面某個字母出現後，後面將出現什麼字母，並不是完全不確定的，而是有一定的概率分佈。例如字母T後面出現H、R的可能性較大，出現J、K、L、M、N的可能性極小，而根本不會出現Q、F、X。考慮到字母之間的依賴性，可以把英語信源做進一步精確的近似，看作一階或二階馬爾可夫信源，這樣可以求得：熵和互信息-冗餘度因此可知，在信源所輸出的序列中依賴關係越複雜，資訊熵就越小。實際上，英文信源的資訊熵比還要小得多，一般認為，。因此，資訊效率和冗餘度為熵和互信息-冗餘度這說明用英文字母寫成文章時，有71%是由語言結構、實際意義等確定，而剩下只有29%是寫文字的人可以自由選擇的。這也就意味著在傳遞或存儲英語資訊時，只需要傳送或存儲那些必要的資訊，而有關聯的則可以大幅度地壓縮。例如100頁的英文書，大約只要存儲29頁就可以了，其中的71頁可以壓縮掉，這壓縮掉的文字完全可以根據英文的統計特性來恢復。信源的冗餘度正是表示這種信源可壓縮的程度的。熵和互信息-馬爾可夫信源當具有齊次性時，有（2）信源某時刻所處的狀態由當前的輸出符號和前一時刻信源的狀態唯一決定，即則此信源稱為馬爾可夫信源。熵和互信息-馬爾可夫信源上述定義和描述的是一般的馬爾可夫信源。但常見的是m階馬爾可夫信源，它在任何時刻，符號發生的概率只與前面m個符號有關，我們可以把這前面m個符號序列看作信源在此時刻所處的狀態。因為信源符號集共有q個符號，則信源可以有個不同的狀態，他們對應於個長度為m的不同的符號序列。熵和互信息-馬爾可夫信源因此，m階馬爾可夫離散信源的數學模型可由一組信源符號集和一組條件概率確定：並滿足熵和互信息-馬爾可夫信源M階馬爾可夫信源在任何時刻，符號發生的概率只與前m個符號有關，所以可設狀態。由於均可取可得信源的狀態集。這樣一來，條件概率可變換成條件概率表示任何時刻信源處在狀態時，發出符號的概率。而可任取之一，所以可以簡化成表示。熵和互信息-馬爾可夫信源而在時刻，信源發出符號後，由符號組成了新的信源狀態，即信源所處的狀態也由轉移到，它們之間的轉移概率叫做一步轉移概率，簡記為，它可由條件概率來確定，表示在的情況下，經一步轉移到狀態的概率。對於齊次馬爾可夫鏈，其轉移概率具有推移不變性，因此，可簡寫為。熵和互信息-馬爾可夫信源推廣可得，它表示系統在時刻m處於狀態，經(n-m)步轉移後在時刻n處於狀態的概率。它具有以下性質：記k步轉移概率為由於有個狀態，所以狀態轉移概率是一個矩陣，記為：熵和互信息-馬爾可夫信源矩陣P中第行元素對應與從某一個狀態轉移到所有狀態的轉移概率，顯然矩陣中每一個元素都是非負的，並且每行元素之和均為1；第列元素對應與從所有狀態轉移到同一個狀態的轉移概率，列元素之和不一定為1。注意：狀態轉移矩陣與條件概率矩陣是不同的。熵和互信息-馬爾可夫信源幾個基礎概念：無記憶源：信源發出的符號之間彼此統計獨立。有記憶源：平穩源：信源輸出符號序列的概率分佈和起點無關。有限記憶源：信源在l時刻的輸出只和前面有限個隨機變數有關M階馬爾可夫源：信源在l時刻的輸出只和前面m個隨機變數有關。普通馬爾可夫源：m＝1。信源狀態：已發出的長度為m的前導符號序列。齊次馬爾可夫源：條件轉移概率和時間起點無關。穩態馬爾可夫源：n＋1時刻的狀態分佈和n時刻的狀態分佈一樣。熵和互信息-馬爾可夫信源對於齊次馬爾可夫鏈來說，一步轉移概率完全決定了k步轉移概率。無條件狀態概率的計算：就是從初始狀態經k步轉移後，停留在某一個狀態的概率。為計算該概率，需要知道初始狀態概率，即。這時，熵和互信息-馬爾可夫信源轉移概率的平穩分佈：問題：此極限如果存在，其值是多少。求法：如果存在，且等於一個與起始狀態無關的被稱為平穩分佈的，則不論起始狀態是什麼，此馬氏鏈可以達到最後的穩定，即所有狀態的概率分佈均不變。在這種情況下，就可以用（P）這一矩陣來充分描述穩定的馬氏鏈，起始狀態只使前面有限個變數的分佈改變。要求，只要它存在，則，上式中，與均為穩態分佈概率。再加上約束條件，兩式聯立求解，就可以求出穩態分佈概率。熵和互信息-馬爾可夫信源例題1:有一個二階馬氏鏈，其符號概率如表1，狀態變數，求其狀態轉移概率表，畫出其狀態轉移圖，求出各狀態的平穩分佈概率。

表1符號條件概率表表2狀態轉移概率表起始狀態

符號01001/21/2011/22/3101/43/4111/54/5起始狀態

終止狀態(00)(01)(10)(11)001/21/20001001/32/3101/43/40011001/54/5熵和互信息-馬爾可夫信源求出的狀態轉移表如表2所示。方法是：比如在狀態01時，出現符號0，則將0加到狀態01後，再將第一位符號0擠出，轉移到狀態10，概率為1/3。依此類推。狀態轉移圖如下圖所示：熵和互信息-馬爾可夫信源狀態轉移圖：01001011(1)1/2(0)1/4(1)2/3(0)1/5(0)1/3(1)3/4(0)1/2(1)4/5熵和互信息-馬爾可夫信源求狀態平穩分佈概率：由得：熵和互信息-馬爾可夫信源解之得：由例子可以看出，狀態轉移矩陣與條件概率矩陣是不同的。例題2：三態馬爾柯夫信源的狀態轉移矩陣為熵和互信息-馬爾可夫信源狀態轉移矩陣為畫出其香農線圖，求其穩態狀態概率分佈和符號概率分佈。解：香農線圖為熵和互信息-信源及信源熵穩態狀態概率分佈：解得：熵和互信息-馬爾可夫信源3.馬爾可夫信源的資訊熵在馬爾柯夫信源輸出的符號序列中，符號之間是有依賴關係的，信源所處的起始狀態不同，信源發出的符號序列也不相同。對m階馬爾柯夫信源，能夠提供的平均資訊量，即信源的極限熵，就等於，而。式中，是馬爾可夫鏈的平穩分佈概率，熵函數表示信源