信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹一课后习题答案

第一早

2.1一个马尔可夫信源有3个符号区“2,闾，转移概率

为：p®|〃i)=l/2,p("2|"i)=l/2,p(M3|wi)=0>p(〃i|"2)=1/3,

P(U2IW2)=0,P(W3I[2)=2/3,p(〃II"3)=1/3,p(〃2I"3)=2/3,jP(M3IW3)=0,

画出状态图并求出各符号稳态概率。

解：状态图如下

状态转移矩阵为:

'1/21/20

p=1/302/3

J/32/30

设状态U],112,U3稳定后的概率分别为端,附、W3

W

-Wi+-Wi+-W3=Wi1-10

233一

12W2295

WP=W彳曰-W-W3=W计算可得-

由《1+2-

明+卬2+皿3=1寸W265

223一

卬=卬3-

325

Wl+W2+W3=l

2.2由符号集｛0,1｝组成的二阶马尔可夫链，其转移

==

率为：P（O|OO）=0.8,/?（oi11）—0.2,p（i।oo）0.2,/?（i|ii）0.8,

P（OIoi）=0.5,〃（o।io）=0.5,p（i|oi）=0.5,二0.5。回出

状态图，并计算各状态的稳态概率。

解:“(0100)=p(00100)=0.8〃(0|01)=”(10101)=0.5

/?(0|11)=/?(10|11)=0.2/?(0|10)=/?(00110)=0.5

/?(1|00)=/?(01|00)=0.2p(l101)=p(ll101)=0.5

/?(1|11)=/?(11|11)=0.8p(l110)=/?(01110)=0.5

<0.80.2001

于是可以列出转移概率矩阵：P=:一，：7

、000.20.8,

状态图为：

设各状态oo,01,10,11的稳态分布概率为

Wi,W2W3W4有

0.8WJ+0.5W3=WI14

WP=W0.2WI+0.5M=W2Wi=-

7

4得.0.5W2+0.2W4=M计算得至lb

2期=11

0.52+0.844卬3=—

/=i卬卬=卬7

Wl+W2+W3+W4=ls

W4=——

14

2.3同时掷出两个正常的骰子，也就是各面呈现的概

率都为1/6,求：

(1)“3和5同时出现”这事件的自信息；

(2)“两个1同时出现”这事件的自信息；

(3)两个点数的各种组合(无序)对的熠和平均信息

量；

(4)两个点数之和(即2,3,-,12构成的子集)

的崎；

(5)两个点数中至少有一个是1的自信息量。

解：

(1)

/（x,）=—log〃（七）=—bg—=4.170bit

/（X,）=~IogpCxJ=-log—=5.170bit

两个点数的排列如下:

111213141516

212223242526

313233343536

414243444546

515253545556

616263646566

共有21种组合：

其中11,22,33,44,55,66的概率是

6636

其他15个组合的概率是2x99，

6618

H(X)=-£P(X,.)logP(X,.)=-f6X-Llog-^+15X-1-log=4.337bitIsymbol

iI36361818)

(4)

参考上面的两个点数的排列，可以得出两个点数求和

的概率分布如下：

「XI[23456789101112,

=\11115151111>

_P(X)」[3618129366369121836.

H(X)=-£p(xjlogp(xj

i

11cL51

=-2x——ltog——+2x——log——+2x—log——+2x—log—+2x——log——+—log—

I36361818121299363666

=3.274bit!symbol

⑸

1111

p(zx)x=—x—X11=---

;'6636

;(%,.)=-log〃(七)=Tog工=1.710bit

36

2-4

⑴-Log

⑵-Log0.014

-Log6.644

—Log+—LogTlOO)=0.081

100100

⑶Log(今=2

2.5居住某地区的女孩子有25%是大学生，在女大学

生中有75%是身高160厘米以上的，而女孩子中身高

160厘米以上的占总数的一半。假如我们得知“身高

160厘米以上的某女孩是大学生”的消息，问获得多

少信息量？

解：

设随机变量X代表女孩子学历

才为（是大学生）必（不是大学

生）

P（X）0.250.75

设随机变量Y代表女孩子身高

Y力（身性（身高

高>160cm）<160cm）

P（Y）0.50.5

已知：在女大学生中有75%是身高160厘米以上的

BP：〃(必/芭)=0.75bit

求：身高160厘米以上的某女孩是大学生的信息量

：/(玉/M)=一logp(x/弘)=-log，区=-log"警,'5=1.415bit

，(必)0.5

2.6掷两颗骰子，当其向上的面的小圆点之和是3时,

该消息包含的信息量是多少？当小圆点之和是7时，

该消息所包含的信息量又是多少？

解：

1)因圆点之和为3的概率p(x)=p(l,2)+p(2,l)=1

该消息自信息量/(X)=-logP(x)=logl8=4.1lObit

2)因圆点之和为7的概率

p(x)="(1,6)+p(6,1)+p(2,5)+p(5,2)+p(3,4)+p(4,3)=,

o

该消息自信息重/(x)=Togp(x)=Iog6=2.585。〃

2.7设有一离散无记忆信源，其概率空间为

'X](xi=0X2=1X3=2X4=3'

』厂13/81/41/41/8,

(1)求每个符号的自信息量

(2)信源发出一消息符号序列为｛202120130

213001203210110321010021032

011223210),求该序列的自信息量和平均每个符

号携带的信息量

解：/(X))=log2—!—=log2-=1.415^/7

〃(xi)3

同理可以求得1(X2)=2bit,I(X3)=2bit,I(X3)=3bit

因为信源无记忆，所以此消息序列的信息量就等于该

序列中各个符号的信息量之和

就有：I=14Z(xi)+137(x2)+12/(x3)+67(X4)=87.8\bit

平均每个符号携带的信息量为皿"95bit/符号

45

2.8试问四进制、八进制脉冲所含信息量是二进制脉

冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：｛0,1,2,

3)

八进制脉冲可以表示8个不同的消息，例如：｛0,1,2,

3,4,5,6,7)

二进制脉冲可以表示2个不同的消息，例如：｛0,1｝

假设每个消息的发出都是等概率的，贝！1：

四进制脉冲的平均信息量"(X1)=log〃=k)g4=2hit/symbol

八进制脉冲的平均信息量"(X2)=log〃=log8=3bit/symbol

—■进制脉冲的平均信息量”(Xo)=log〃=log2=lbit/symbol

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信

息量的2倍和3倍。

2-9“一”用三个脉冲“■”用一个脉冲

（1）I（•）=Log（4）=21（—）=Log（g）=0.415

（2）H=；Log（4）+[Log（g）=0.811

—

210⑴g员电+|Log（|）=0918

（2）P（黑/黑）二2P（白/黑）二

H（Y/黑）二»噬）+也噬）=0期

（3）P（黑/白）二1P（白/白）二n

H（Y/白）二（3痣）+卷5解）=094

（4）P（黑）二5P（白）二|

H（Y）二+|Logf|l=0.918

2.11有一个可以旋转的圆盘，盘面上被均匀的分成

38份，用1,…，38的数字标示，其中有两份涂绿色,

18份涂红色，18份涂黑色，圆盘停转后，盘面上的指

针指向某一数字和颜色。

(1)如果仅对颜色感兴趣，则计算平均不确定度

(2)如果仅对颜色和数字感兴趣，则计算平均不确定

度

(3)如果颜色已知时，则计算条件懒

解：令X表示指针指向某一数字，则

X二｛1,2,........38)

Y表示指针指向某一种颜色，则Y二｛1绿色，红

色，黑色｝

Y是X的函数，由题意可知〃(研)=p5)

(1)H(y)=2L/?(^)log—^—=^-log1^+2xl|log1|=1.24bit/符号

P(»)38

(2)H(X,y)="(X)=log238=5.25bit/符号

(3)H(X|Y)=H(X,Y)-H(Y)=H(X)-H(Y}=5.25-1.24=4.01bit/符

号

2.12两个实验X和Y,X={xix2x3},Y={yiy2y3},1

联合概率r(x,%)=坨为

r"r\2色"7/241/240

r2\r22r231/241/41/24

5丫3243,01/247/24

(1)如果有人告诉你X和Y的实验结果，你得到的

平均信息量是多少？

(2)如果有人告诉你Y的实验结果，你得到的平均

信息量是多少？

(3)在已知Y实验结果的情况下，告诉你X的实验

结果，你得到的平均信息量是多少？

解：联合概率P3,劝为

H（X,丫）=Zpgy）log2—1―-

ijP（Xi,yj）

72411

X=2x—log?—+4x—log224+—log24

X17/241/240

=2.3bit/符号

1/241/41/24

x2

1/247/24

x30

X概率分布

H（y）=3xglog23=1.58bit/符

XXix2X3

P8/248/248/24号

〃（x|丫）=H（X,丫）一"（y）=2.3-1.58

Y概率分布是

二0.72bit/符号

Yyly2y3

P8/248/248/24

2.13有两个二元随机变量才和K,它们的联合概率为

Xi=0x2=l

yi二01/83/8

y2=l3/81/8

并定义另一随机变量Z二仃(一般乘积)，试计算：

(1)H(X),H(Y),H(Z),H(XZ),〃(必和〃窃⑶；

(2)H(X/Y),H(Y/X),H(X/Z)fH(Z/X),H(Y/Z),

H(Z/Y),H(X/YZ),H(Y/XZ)^\H(Z/XY)-,

⑶I(X;Y)fI(X;Z),I(Y;Z)fI(X;Y/Z)fI(Y;Z/X)

和1(X;Z/Y)。

解：

(1)

131

p($)=p(西必)+p($y2)=-+-=-

ooZ

P(X)=p(xy)+p(xy)=-3+-1=-1

22i22ooZ

H(X)=-£p(xjlogp(xj=1bittsymbol

131

〃(必)=P(玉y)+〃(犬2y)=G+7=彳

ooZ

311

“(丁2)=，。>2)+，(*2丁2)=6+弓=彳

oo2

H(V)=—E〃(X)log，(匕.)=1bit!symbol

j

Z=YK的概率分布如下：

-ZZ]=0z2=1

=<71

你Z)」屋iJ

2(1711A

H(Z)=-工p(z)=--log-+-log-k0.544bitIsymbol

kkX8打

，(X|)=，(X|Z|)+P(X|Z2)

。(中2)=0

/?(x,zl)=p(xl)=0.5

p(z1)=/?(xlz1)+/?(x2z1)

73

“(空|)=PG)-pg)=3—0.5=3

oo

p(z2)^p(x]z2)+p(x2z2)

p(x2z2)=/?(z2)=1

o

H(XZ)=-ZZP(%z")bgp(玉z*)=1.406bit!symbol

p(yi)=p(yizl)+p(yiz2)

。(丁仔2)=0

p(yz])=爪必)=().5

P(zJ=MxZ])+〃(*])

73

P(〉2Z1)=P(Z|)—P(yZ|)=大一().5=-

oo

p(z2)=p(yiz2)+p(y2z2)

z=z=

P(y22)P(2)^

"(YZ)=-ZZP(Xz*)logp(%zj=-—log—+-log-+-log-=1.406bit!symbol

228888J

”(XIMZ2)=0

〃(否必22)=0

「(—)=0

P(X1MZ|)+p&y,z2)=p(xty,)

p(xlylzl)=p(xly1)=l/8

P®y2zt)+p(xtyZ|)=p(尤］Z|)

P5y2zt)=Z］)-p(X］弘4)

p(x2ylzl)+p(x2%Z2)=p(x2%)

3

p(xyzj=p(xy)=-

2i2lo

P(X2〉2Z|)=0

P(x2y2zi)+p(x2y2z2)=p(x2y2)

p(xyz)=p(xy)=-

22222o

“(xyz)=-ZZZMwxz")log2MxMz”)

-llogl^log^^log^llogl

=1.811bit!symbol

188888888

⑵

Ii33331iA

-log-+-log-+-log-+-log-=1.811bitIsymbol

(ooooooooJ

H(X/y)=H(Xr)-/7(y)=1.811-1=0.811bit/symbol

H(y/x)=//(xr)-w(x)=1.811-1=0.811bit!symbol

”(X/Z)=〃(XZ)-H(Z)=1.406—0.544=0.862hit/symbol

H(Z/X)=H(XZ)-H(X)=1.406-1=0.406bit/symbol

H(y/z)=/7(yz)-/7(z)=1.406-0.544=0.862bit/symbol

H(Z/Y)="(YZ)—"(Y)=1.406—1=0.406bit/symbol

H(X/yz)="(XYZ)-"(KZ)=1.811-1.406=0.405hit/symbol

H(Y/XZ)=H(XYZ)-H(XZ)=1.811-1.406=0.405bit!symbol

H(z/xy)=//(xyz)-w(xr)=1.811-1.811=0bit/symbol

Z(X；r)=//(X)-H(X/y)=1-0.811=0.189bit/symbol

/(X;Z)=H(X)—“(X/Z)=1—0.862=0.138bit!symbol

/(Y;Z)=H(Y)-H(Y/Z)=1-0.862=0.138bit!symbol

/(X；y/Z)="(X/Z)—”(X/YZ)=0.862—0.405=0.457bit/symbol

/(RZ/X)=H(YIX)-H(Y/XZ)=0.862-0.405=0.457bit/symbol

/(X;Z/y)=W(X/y)-W(X/KZ)=0.811-0.405=0.406/symbol

2-14

(i/j)二

3171Z9

曲=-+f-=-+T-

p(Cp(yl)s

O16161616

⑵方法1:

方法2:

2-15

P(j/i)七8设%=p(b?)=；

-(1-8)

p(a1/b1)=R判世"硬一_________

P(bl)1

2

p(albl)1-e'

I(a1；b1)=Log=Logf2(l-e)]

P(al)1

2;

p(al).p(b2al)=e

P(b?)

I(a1；b2)=Log(幽辿]=logf—'I=Log(2e)

IP(al))1

2.16黑白传真机的消息元只有黑色和白色两种，即

X二｛黑，白｝,一般气象图上，黑色的出现概率p（黑）

=0.3,白色出现的概率p（白）=0.7。

（1）假设黑白消息视为前后无关，求信源燧H（X）,

并画出该信源的香农线图

（2）实际上各个元素之间是有关联的，其转移概率为:

P（白I白）=0.9143,P（黑|白）=0.0857,P（白|黑）=

0.2,P（黑|黑）=0.8,求这个一阶马尔可夫信源的信

源牖，并画出该信源的香农线图。

（3）比较两种信源烯的大小，并说明原因。

解：（1）H（X）=0.31og2与+0.71og2¥=0.8813bit/符号

P（黑|白）二P（黑）

下0.7

0.3黑“白0.7

P（白I白）=p（白）

P（黑I黑）=p（黑）

P（白I黑）=p（白）

（2）根据题意，此一阶马尔可夫链是平稳的（P（白）

=0.7不随时间变化，P（黑）=0.3不随时

间变化）

〃MX)=〃(X2|Xi)=Zp(x,，v)log2—^―

ijP(Xi,yj)

=0.9143x0.7log2―1—+0.0857x0.7log2―1—+0.2x0.3log2—

0.91430.08570.2

+0.8x0.3log2—

0.8

=0.512bit/符号

2.17每帧电视图像可以认为是由3X105个像素组成

的，所有像素均是独立变化，且每像素又取128个不

同的亮度电平，并设亮度电平是等概出现，问每帧图

像含有多少信息量？若有一个广播员，在约10000个

汉字中选出1000个汉字来口述此电视图像，试问广播

员描述此图像所广播的信息量是多少(假设汉字字汇

是等概率分布，并彼此无依赖)？若要恰当的描述此

图像，广播员在口述中至少需要多少汉字？

解：

1)

H(X)=log2n=log2128=7hit/symbol

H(XD=NH(X)=3X105X7=2.1X106bit/symbol

2)

〃(X)=log2〃=log210000=13.288bit!symbol

H(X>=NH(X)=1000x13.288=13288bit/symbol

3)

N=^=WM=158037

2.20给定语音信号样值X的概率密度为

p(x)=；/le-烟，F<%<”,求He(X),并证明它小于同样方差

的正态变量的连续端。

解:

+oo+CO-J

(X)=-Jpx(x)logp.x(x)dx=-jpG)log

-OO-00

4-QO14-00

=-jpx(x)log^dx_jp.r(x)(-4|x|)logedx

—00-00

121

=-log-+logeJ小(2\^)dx

~-002

]r1窄I

=-log—X+logej—AeAX-X(-x)dx+logj—Ae~Ax(Ax)dx

2_<n202

1+8]

=-log—2+2logej—A2xe~Axdx

2()2

2v

=-logloge[(l+2x)e-J(*

11d.2e

=-log—z+loge=log—

2A>

£(X)=O,0(X)=W

—、1,21,47re,,2&・e-八八

//(X•)=-log2^-e-y=-log—^=log——>log---="(X)

2AZztAA

2.24连续随机变量片和Y的联合概率密度为：

122^

p(x,y)=获x+yY厂，求H(X),H(Y)f〃例力和

0其他

I(X;Y)O

(提示:|^log2sinx6i¥=-^log22)

解:

「Jr2T212y1r2-x2

p(x)=j(孙)dy—T-dy=--------------(-r<x<r)

7ir7ir~

HAX)=-jp(x)logp(x)dx

2Ydx

=-fP(x)log—7-

J-RTUT

=-[p(x)logdx-[p(x)log7r2-x2dx

J-rTJXJ-r

=log——jp(x)log7r2-x2dx

2i

=log--logr4-l--log2^

=log2"-glog2ebitJsymbol

其中：

Jp(x)log\r2-x2dx

2”——

logvr2-x2cbc

Lr7TT2

2-x2log7r2-x2dx

.4ro

令x=rcos。--Lrsin^logrsin例(rcos。)

kJ2

2

=一一sineiogrsinft/e

mJ2

4

=—gsirr7OlogrsinOdO

=—psin2^logrde+dfsin?Ologsin如6

4育1一cos264信1-cos26.

=—logrl2------------dO+—I2-------------logsinOdO

JL。2JL。2

h%、

—

22—「

H——ogd6-log、J02COS2'Q+ogsin'QI2「2cos22ogsin'0

一

”

—

一

HHog、---og1sin2Q+(I-og22)--12Cos2。ogsinWQ

2户

uog;1i-2cos26ogsin设6

、Jo

----

Uogr—l—+3og2e

M尹

2『

——L2cos2=logsin

310gsin^sin2。

a,

IASin2=ogsin—FS52^/ogsin0

丁•b

22s5QCOS0bcoseogp2ed6

)S,Q

5

2%

志」

H——-Og2e「2COS2

71IJo

2K1+COS20

H——Og2e-2—

*Jo2

1g一g

n--一Og2e「3d=----Og2e「2cos23d6

A—Jo二Jo

11*

翁

u—3og2e—利-Og2esin2

—3og2e

Nr2-y212y/尸y2

-(-r<y<r)

p(y)=L-zpMdx=J-BR=7ir~

p(y)=，(x)

HC(Y)=WC(X)=log2,7zr-^log2ebit/symbol

H’(XY)=-jj/?(%>>)logp(xy)dxdy

R

=-0p(肛)logdxdy

R

-log加2Jjp(xy)dxdy

R

=log27ir~bit/symhol

4(x；y)=乩(X)+HC(Y)-HC(XY)

-21og2log2e-log制'

=log27T-log2ebit/symbol

2.25某一无记忆信源的符号集为{0,1},已知P@二

1/4,P(l)=3/4o

(1)求符号的平均焙；

(2)有100个符号构成的序列，求某一特定序列(例

如有力个如”和(100-加个如”)的自信息量的

表达式；

(3)计算⑵中序列的嫡。

解：

H(X)=P(七)logp(巧)=一(；log；+[log1)=0.811

bit!symbol

(2)

/1\nt(3\10°-w2100~,w

联)=匕卜图F

QI00-/M

7(x,)=-logp(£)=—log=41.5+1.585772bit

(3)

//(X100)=100//(X)=100x0.811=81.1bit/symbol

2-26

■/11

--1)r111)

44

428888

31

--3工1111

5IoP(i)二P(ij)二

110310151510

-1

6

-111111

3

6;16j<36石3636>

H(IJ)二

4-l-Log(8)+2~Log(10)+2~Log(15)+3-Log(30+-^Log(12)=3.415

2.29有一个一阶平稳马尔可夫链XL,…,x,,…，各Xr取

值于集合,已知起始概率P(Xr)为

〃I=1/2，P2=P3=1/4,转移概率如下图所示

11/21/41/4

22/301/3

32/31/30

(1)求W,X2,X3)的联合烯和平均符号熠

(2)求这个链的极限平均符号牖

(3)求〃。，用，上和它们说对应的冗余度

解：⑴

“(Xl,X2,X3)=”(Xl)+”(X2|XD+”(X3|X2.Xl)

="(Xl)+”(X2|Xl)+”(X3|X2)

()

//Xl=_llog--llog---log-=l.5bit/符号

2&24444

X1，X2的联合概率分布为

P(Xi,X2.)123p(%2j)=£〃(%"％)

11/41/81/8

21/601/12

123的

31/61/120

14/245/245/24概

率分布为

那么

/7(X2|Xi)=^-log4+^log4+^log4+|log|-+^-log3+|log|+-^-log3

4o86212o212

=1.209bit/符号

X2X3的联合概率分布为

P（X2iX3j）123

17/247/487/48

25/3605/12

35/365/120

那么

771535535

//（X3|X2）=—Iog2+-log4+-log4+-log-+-log3+^log|+-log3

=1.26bit/符号

〃（X|,X2,X3）=1.5+1.209+1.26=3.969万"/符号

所以平均符号牖小（Xi,X2,Xg誓=1.323m/符号

（2）设a15a2,a3稳定后的概率分布分别为Wl,W2,W3,

（\1n

|||

244

2-

转移概率距阵为。=|O|

33

°,

1224

-Wl+-W2+-W3=lWi=-

2337

WP=

得到；Wl+；W3=W2计算得到.Wi=—

^Wi=l14

WI+M+W3=13

W3=—

14

又满足不可约性和非周期性

%（又）=和以（*|所）=3吗：,：）+2x/d（））=L25m/符号

（3）Ho=log3=L58b〃/符号H\=\.5hit/符号

Hi=L"L209=].355m/符号

,、1.25

/O=1—7/0=1—经=0.21/)=1—77i=1-----=0.617

1.581.5

125

/2=1—7/2=1—-^-=0.078

1.355

2-30

(21]

(1)求平稳概率P(j/i)-33

lioj

解方程组

/wr1\

wr

L27

w+吗=1

1AA

/.

3.

r\--

wr4-

得

到1

=-

wr1-

L27--

k4.

.

2)H(S/s1)=：Log(|)+1。43)=0.918

H(S/s2)=0

信源熠为：

31

H(S)=W1H(S/s1)+W2H(S/S2)=-0.918+-0=0.688

44

2-31

]_1

332

21、

JJ.

W2=W2

解方程组332得到W1二

J

0

33

Wl+W2+W3=1

4

H(X2/a)=Log(3)=1.585

H(X2/b)=Log(3)=1.585

H(X3/c)=Log(2)=1

331

HaD(X)=W1H(X2/a)+W2H(X2/b)+W3H(X3/c)=-Log(3)+-Log(3)+-Lo^2)=1.439

884

2.32一阶马尔可夫信源的状态图如图2—13所示，信

源X的符号集为(0,1,2)。

(1)求信源平稳后的概率分布P(0),P(l),P(2)

(2)求此信源的端

(3)近似认为此信源为无记忆时，符号的概率分布为

平稳分布。求近似信源的嫡H(X)并与小进行比较

图2-13

pp/2p/2

解:根据香农线图，列出转移概率距阵P=“21-pp/2

p/2p/2I-p

令状态0,1,2平稳后的概率分布分别为W1,W2,W3

(1—P)WI+3W2+£W3=WI

WP=W

3得至IJ+—P)W2+^W3=W2计算得到w]

、i=lW}+W2+Wi=l

由齐次遍历可得

Hs(又)==W/(刈W,)=3x”(1—p,与9=(1—p)log-+plog-

”(X)=log3=L58m/符号由最大燃定理可知"")存在极

大值

或者也可以通过下面的方法得出存在极大值：

/?

d”；(X)=__]og(l-p)+l^(-l)+log^+p.-.|=-log

dp|_p2p2J2(1-p)

占T+1又。KE所以仁WE当P二2/3时

--L=l

2(1-p)

0<p<2/3时幽>o

dp2(1-p)

2/3<p<l时跑通=_i°g-L<o

dp2(1-p)

所以当p=2/3时H式》)存在极大值，且“8(石皿=1.58m/符

号

所以“式右4”(X)

2-33

(1)

’1-p0p、

P®尸p1-p0

<oP1-pj

解方程组：

(1-p)Wl+pW2=W1

(1-p)W2+p-W3=W2

p-Wl+(1-p)W3=W3

W1+W2+W3=1

得p(0)=p(l)=p(2)=1

(2)

H(X/0)=H(X/1)=H(X/2)=-(1-p)Log(l-p)-pLog(p)

Hoo(X)=—*H(X/0)+—*H(X/1)+-*H(X/2)=-(1-p)Log(l-p)-p-Log(p)

(3)

当p=0或p=l时信源及商为0

练习题：有一离散无记忆信源，其输出为XG{0,1,2},相

应的概率为〃。=1/4,q=1/4,“2=1/2,设计两个独立的实验去

观察它，其结果分别为匕70,1},匕e{0』},已知条件概率:

P(yi|x)01

011

101P(丫2X)01

21/21/2010

（1）求/（X;H）和/（X』），110

并判断哪一个实验好201

些

（2）求/（X；y%）,并计算做匕和丫2两个实验比做Y1和

丫2中的一个实验可多得多少关于X的信息

（3）求/（X；H|Y2）和/（X；Y2|H）,并解释它们的含义

解：（1）由题意可知

01

X01/40

101/4

21/41/4

01/40

P(yi=0)=p(yi=l)=l/2

11/40

P(y2=l)=p(y2=l)=l/2

2x〃2

.-./(X;H)=H(H)-|X)=log2--loc1/2

4

=0.5bit/符号

/(x；y2)=〃(y2)—//(y2|x)=k)g2—；iogi—=符

号〉/(X;H)

所以第二个实验比第一个实验好

(2)因为Yi和丫2相互独立，所以p(yiy2|x)=p(yi|x)p(y2|x)

/(X;匕匕)=//(Fl,r)-//(/|K21X)=log4--log1--log1--X2log2bit/

2444

符号

=1.5bit/符号

由此可见，做两个实验比单独做匕可多得Ibit的关

于X的信息量，比单独做丫2多得0.5bit的关于X的

信息量。

(3)

/(X*Iy2)=H(X|Yi)-H(X|YI,Y2)

=H(X,Yi)-/(X;Ki,Y2)]

=[H(x)-z(x；r2)]-[w(x)-/(x；yl,y2)]

=/(x；ri,y2)-/(x；y2)

二1.5-1=0.5bit/符号

表示在已