信息论与编码-曹雪虹-课后习题答案

《信息论与编码》•曹雪虹•课后习题答案

第二章

2.11个马尔可夫信源有3个符号｛"L"2,"3｝,转移概率为：p(wilwi)=l/2,

P(W2lWl)=l/2,P(U3I«1)=O,p(wilw2)=l/3,P(W2IW2)=0,p(〃3lW2)=2/3,

p(〃lI〃3)=1/3,p(〃2l〃3)=2/3,p(〃3l〃3)=0,画出状态图并求出各符号稳态概率0

解：状态图如下

状态转移矩阵为:

‘1/21/20、

p=1/302/3

J/32/3°，

设状态U).U2,U3稳定后的概率分别为W”W2、W3

-W\+-W2+-W?.=W110

233Wi一

295

WP^W-Wi+2卬3=卬2

由＜得423计算可得,W2

W\+W1+W3=125

-Wz=W36

3W3

25

卬|+卬2+卬3=1

2.2由符号集｛0,1｝组成的二阶马尔可夫链，其转移概率为：p(0l00)=0.8,p(0l11)=02

p(l100)=0.2,0(1111)=08p(OIOl)-O.5,p(0U0)=0.5,p(ll01)=0.5,p(H10)=0.5o

画出状态图，并计算各状态的稳态概率。

解：“(0100)=”(00100)=0.8p(OIOl)=p(lOIOl)=O.5

p(0lll)=P(10IU)=0.2p(0110)="(00110)=0.5

“(1100)=”(01100)=0.2p(l101)=p(UI01)=0.5

〃⑴11)=〃(lllll)=0.8〃(1110)="(01110)=0.5

‘0.80.200、

000.50.5

于是可以列出转移概率矩阵：p=

0.50.500

、000.20.8,

状态图为：

设各状态00,01,10,11的稳态分布概率为WbW2.W3,W4有

5

lVi=—

0.8WI+0.5W3=WI14

WP=W0.2W1+0.5^3=IV2W2=~

47

得《0.5卬2+0.2卬4=卬3计算得到・1

0.5卬2+0.8卬4=卬4卬3=—

J=17

卬1+卬2+川3+卬4=1

5

卬4=——

14

同时掷出两个正常的骰子，也就是各面呈现的概率都为求:

2a.3X1/6,

/)和同时出现”这事件的自信息；

\“35

(27“两个1同时出现”这事件的自信息；

(3\

7)两个点数的各种组合（无序）对的嫡和平均信息量；

(4\

/)

(5解两个点数之和（即，构成的子集）的嫡；

\2,3,…12

⑴7两个点数中至少有一个是1的自信息量。

•

p(/x：、)--1x—1+1—x1—-1—

1666618

/(x,)=—log〃(为)=—log1=4.170抗f

1o

(2)

j-

“6636

/(x)=-logp(xj=—log—=5.170bit

(36

⑶

两个点数的排列如下:

111213141516

212223242526

313233343536

414243444546

515253545556

616263646566

共有21种组合：

其中11,22,33,44,55,66的概率是'x』='-

6636

其他15个组合的概率是2X』XL=-L

6618

W(X)=-^p(x,.)logp(x)=-|6x-Llog^+15x-^log-^

,=4.337bitIsymbol

/13。361o1o

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下:

X

p(x)

13618129366369121836J

"(X)=p(x,)log。(七)

-fix—log—+2x—log—+2x—log—+2xilog-+2x—log—+-log-

l36361818121299363666

=3.274bit/symbol

(5)

/、11,,11

p(x.)=—X—xl1=•一

,6636

/(x,.)=—logp(七)=一log工=1.710b"

36

(3)Log(今=2

2.5居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米

以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高

160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量X代表女孩子学历

XX,(是大学生)M(不是大学生)

P(X)0.250.75

设随机变量Y代表女孩子身高

Yy,(身高＞160cm)y2(身高＜160cm)

P(Y)0.50.5

已知：在女大学生中有75%是身高160厘米以上的

即：/X])=0.75b"

求：身高160厘米以上的某女孩是大学生的信息量

,,/,、,pMp(y./x.),0.25x0.75,...,.

即Hn：/rz(Xj/)x=-logp(xI/y,)=-log''_L=-log-------=1.415bit

〃(必)0.5

2.6掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆

点之和是7时，该消息所包含的信息量又是多少？

解：

1)因圆点之和为3的概率p(x)=p(l,2)+p(2,l)=-5-

l8

该消息自信息量/(x)=-logp(x)=log18=4.170^7

2)因圆点之和为7的概率

p(x)=p(l,6+/(6,1)+P(2,5)+M5,2+力(3,4+力(4,3)=,

该消息自信息量/(x)=-logp(x)=log6=2.5S5bit

(X、(xi=0X2=1%3=2X4=3)

2.7设有一离散无记忆信源，其概率空间为=.°,,°

(P)(3/81/41/41/8)

(1)求每个符号的自信息量

(2)信源发出一消息符号序列为{202120130213001203210110321

010021032011223210},求该序列的自信息量和平均每个符号携带的信息量

[8

解：/(xi)=log2-----=log2—=\A\5bit

P3)3

同理可以求得/(X2)=2/?Z7,/(X3)=2/?Z7,/(X3)=3bit

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和

就有:1=14Z(xi)+137(x2)+12/(%3)+67(x4)=87.81Z?ti

X7X1

平均每个符号携带的信息量为竺之=1.95bit/符号

45

2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?

解：

四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}

八进制脉冲可以表示8个不同的消息,例如：{0,1,2,3,4,5,6,7}

二进制脉冲可以表示2个不同的消息,例如：{0,1}

假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量H(X1)=logn=log4=2bit/symbol

八进制脉冲的平均信息量H(X2)=log〃=log8=3bit/symbol

二进制脉冲的平均信息量H(X。)=logzi=log2=lbit!symbol

所以:

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9“一”用三个脉冲“■”用一个脉冲

(1)I(・)=Log(4)=21(—)=Log［：)=0.415

(2)H=:Log(4)+1Log(g)=0.811

2-10(1)gLog(3)+|Log(|)=0.918

4in

(2)P(黑/黑)=-P(白/黑)=-

1414

1(14、10(⑷…

H(»黑)=MTL0SW+MTL0gUr

59

(3)P(黑/白)=-P(白/白)二-

1414

，、门、

H(Y/白)=-5Log^1y4J+-9Log^-4J=0.94

5

(4)P(黑)=-P(白)=-

12

H(Y)=-Log(3)+-Logl-I=0.918

2.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1,…，38的数字标示，其中

有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜

色。

(1)如果仅对颜色感兴趣，则计算平均不确定度

(2)如果仅对颜色和数字感兴趣，则计算平均不确定度

(3)如果颜色已知时，则计算条件燧

解：令X表示指针指向某一数字，则X={1,2,......,38}

Y表示指针指向某一种颜色，则Y={1绿色，红色，黑色}

Y是X的函数，由题意可知pOM=p(Xi)

3|?381838

⑴〃(y)=Zp(v)log--=—log—+2x—log—=1.24bit/符号

狗p(yj)3823818

(2)H(X,y)="(X)=log238=5.25bit/符号

(3)”(X|y)="(X,y)—“(Y)=〃(X)—〃(y)=5.25-1.24=4.01bit/符号

2.12两个实验X和Y,X={xix2X3},Y={yiy2y3},l联合概率「(方也)=%为

r”%生、'7/241/240

%r22r23—1/241/41/24

r3\r32%)、01/247/24

(1)如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？

(2)如果有人告诉你Y的实验结果，你得到的平均信息量是多少？

(3)在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？

解:联合概率pO,8)为

y!Y2Y3

”(x,y)=£p3,M)log2———-

XP(Xi，M)

Xl7/241/240

72411

=2x—log2—+4x—log224+—log24

X21/241/41/24

01/247/24

X3=2.3bit/符号

X概率分布

XX|X2X3〃(V)=3Xglog23=1.58bit/符号

P8/248/248/24

H(Xiy)=W(X,y)-H(y)=2.3-1.58

Y概率分布是=0.72bit/符号

Yyiy2y3

P8/248/248/24

2.13有两个二元随机变量才和匕它们的联合概率为

XFOX2=1

yFO1/83/8

y2-13/81/8

并定义另一随机变量Z=(一般乘积)，试计算：

(1)H(X),H(Y),H(Z),H(XZ),H(YZ)^H(XYZ)-,

(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)

和H(Z/XY)^

(3)/(X;Y),I(X;Z),I(Y;Z),/(X;Y/Z),/化W和l(X;Z/Y)。

解：

(1)

131

p(Xi)=p(XiX)+p(X|y2)=[+6=7

ooZ

311

P(》2)=P(>2X)+P(X2为)=G+三=彳

ooZ

H(X)=p(X)log/?(x.)=1bitIsymbol

i

131

P(%)=。区%)+P(%2)'1)=-+7=-

ooZ

311

。(》2)=。(西>2)+2。2〉2)=7+7=彳

oo2

H(Y)=P(匕)1ogP(力)=1bit/symbol

J

z=xy的概率分布如下：

zZ[=0Z2=1

-71

p（z）

.88.

2(771|

“(Z)=_ZPZ)=-?log?+QloS«=0.544bitIsymbol

kOOO

P（X|）=P（X|Z|）+P（X|Z2）

P（X|Z2）=0

P（XR）=P（X|）=0.5

p（z,）=p（xlz1）+p（x2zl）

73

"（Ki）=〃（Z|）-p（xZ|）=Q—0.5=z

}oo

p（z2）=/?（%!z2）+/?（x2z2）

P（X2“）=P（Z2）=；

o

（113311、

"（XZ）=-ZZP（x，z*）logp（x&）--log—+-log-+-log-=1.406bitIsymbol

ikk228888）

p（yl）=p（ylzl）+p（ylz2）

〃（邛2）=。

P（MZ|）=P（M）=0.5

P（Z|）=p（y,）+p（），2Z1）

73

P（%Zi）=P（Z|）-p（y,Z|）=石一（）.5=-

oo

P（Z2）=P（ytz2）+P（y2z2）

。（*2）=P（?2）=：

o

"（yz）=—ZZp（ya）iogp（x&）=一[；iog；+]iog|+：iog;

1.406bitIsymbol

ikkZZoooo

P（X|MZ2）=0

〃（占为％2）=0

，。2邛2）=0

P（XJ|Z|）+P（X]＞亿2）=P（X|必）

。（尤1?亿]）=。（再月）=1/8

P（X]y2zl）+P（X|%Z|）=P（X|Zj）

113

P*i%ZI）=P（七％）一，（为必Z|）=不一三=£

Zoo

pU2y1z1）+p（x2y1z2）=p（x2y1）

3

，“2邛1）=2区口）=弓

o

P（x2y2zt）=0

P（x2y2zt）+p（x2y2z2）=p（x2y2）

，。2型2）=〃（%2%）=：

o

“（xyz）=-ZZZPQ，力Q）iog2P（苞）3）

iJk

（11333311、

=——log—I—log—l—log—l—log-=1.811bit/symbol

188888888）

（2）

i]3333iiA

-log-+^-log-+^log^+-log-=1.811bitIsymbol

[ooooooooJ

H（x/y）=/7（xy）-//（y）=1.811-1=0.811bit/symbol

H（y/x）="（xy）-"（x）=1.811-1=0.811bit/symbol

”（X/Z）="（XZ）—〃（Z）=1.406-0.544=0.862bitIsymbol

”（Z/X）="（XZ）—”（X）=1.406-1=0.406bit!symbol

H（Y/Z）=H（YZ）-H（Z）=1.406-0.544=0.862bitIsymbol

H（Z/Y）=H（7Z）-//（y）=1.406-1=0.406bit/symbol

“（X/YZ）=H（XYZ）-H（KZ）=1.811-1.406=0.405bit/symbol

H（Y/XZ）=H（XKZ）-H（XZ）=1.811-1.406=0.405bit/symbol

//（z/xy）=77（xyz）-//（xy）=1.811-1.811=0bit/symbol

（3）

/（X；y）=H（X）-H（X/y）=1-0.811=0.189bit!symbol

/（X;Z）=〃（X）—〃（X/Z）=1—0.862=0.138bitIsymbol

/（y；Z）=H（y）-/7（y/Z）=1-0.862=0.138bit/symbol

r（X;Y/Z）=H（X/Z）-H（X/YZ）=0.862—0.405=0.457bitIsymbol

/（y；Z/X）="（y/X）—“（y/XZ）=0.862-0.405=0.457bit/symbol

1（X-Z/Y）=H（X/Y）-H（X/YZ）=0.811-0.405=0.406bit!symbol

2-14

32

--

Vn=49

PO7

-

9

317129

勤

=-+T-曲=1+T-

8p(8

16161616

⑵方法1：

方法2:0.311

2-15

1-8

P（j/i）=P（bl）=P（b2）=-

81

-（1-e）

p⑻何尸幽&2「=一

p（albl）1-8

I（a1；b1）=Log=Logf2（l-

P（al）

P（al）"al）

P（b2）

I（a1；b2）=Log（幽型（eAf、

=log—=Log12可

IP（al）

2.16黑白传真机的消息元只有黑色和白色两种，即*=｛黑，白｝,一般气象图上，黑色的出

现概率p（黑）=0.3,白色出现的概率p（白）=0.7。

（1）假设黑白消息视为前后无关，求信源嫡H（X）,并画出该信源的香农线图

（2）实际上各个元素之间是有关联的，其转移概率为：P（白旧）=0.9143,P（黑I白）=0.0857,

P（白I黑）=0.2,P（黑I黑）=0.8,求这个一阶马尔可夫信源的信源嫡，并画出该信源的香农线

图。

（3）比较两种信源嫡的大小，并说明原因。

解（1）”（X）=0.31og2g+0.710g22=0.8813吊1/符号

P（黑I白）=P（黑）

"白).7

P(白I白)=P(白)一一/0.3

P(黑I黑)=P(黑)

P(白I黑)=P(白)

(2)根据题意，此一阶马尔可夫链是平稳的(P(白)=0.7不随时间变化，P(黑)=0.3不随时

间变化)

1

"式X)="(X2lXi)=ZPl，,v)log2-----

ijP(xi,yj)

=0.9143x0.7log2—i—+0.0857x0.7log2——+0.2x0.31og2—

0.91430.08570.2

+0.8x0.3log2-^-

0.8

=0.512bit/符号

2.17每帧电视图像可以认为是由3X10,个像素组成的，所有像素均是独立变化，且每像素

又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有

一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此

图像所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)？若要恰当的描

述此图像，广播员在口述中至少需要多少汉字？

解：

1)

H(X')=log2n=log2128=7bit/symbol

W(X,V)=^H(X)=3X105X7=2.1X106bit/symbol

2)

H(X)=log,n-log,10000=13.288bit/symbol

"(X*')=NH(X)=1000x13.288=13288bit/symbol

3)

H(XN)_2.1X106

=158037

H(X)-13288

2.20给定语音信号样值X的概率密度为p(x)=g/le-羽,—00<x<+oo,求HC(X),并证明它

小于同样方差的正态变量的连续燃。

解:

+a0

Hc(X)=-jp.v(X)10g}.r(X)Ja-'dx

-00—oo

+00]+co

二一Jp.v(x)log-^Adx-j/7A(X)(-A|X|)logedx

—QO-o0

-log—+loge?j—/le-zlv(2|x|)rfx

-00

।o1.+?1,

-log—A+logej—・>l(-x)dx+logj—ZA(/lx)Jx

2…2()2

-log^2+21ogxe~Axdx

二一log；4_loge[(1+九1)/"]；

[1cii

=-log—%+loge=log—

24

E(X)=0,Z)(X)W

”、1,21,4〃e,2^Tie,2je・e一八,、

W(X)=-log2^-e—=-log—=log--->log---=H(X)

2A2AAA

1

x2+y2<r2

2.24连续随机变量彳和V的联合概率密度为：p(x,y)=7tr2

0其他

求〃㈤，H(Y),⑵和//以

_pn-4

2

(提示：1log2sinxdx=--log22)

解:

正士(-r<x<r)

P(x)P(xy)dy=

5—k兀r

"<(x)=-[p(x)10gp(x)dx

=-£p(x)log2^r~Xdx

Ir71T

=-rp(x)log--dx-fp(x)logVr2-x2dx

JrTITXr

"2______

=1°§———jp(x)logvr2-x2dx

,7TT2i,1,

=log--logr+l--log2^

=log2加"一glog2ebit!symbol

其中：

/p(x)logvr2-x2dx

=f2“一；x]ogj,一x2dx

—7tr

--^yj，2_/2logJ/_.2

令x=rcos^-^-trsin^logrsinft/(rcos0)

r2sin26logrsin田夕

4r7

—rsin-0\ogrsin3cl0

71J)

士fsin2OXogrdOfsin26logsin即6

4(f1-cos2<94-cos26.

一logrI2--------d6+—I2--------logsin田。

兀*27i2

21

-logrpc/6>--logr1cos2013+-flogsin即8-2fcos2。logsinOdO

I£Q..?E

22

=logr----logr[dsin2。+—(——log22)-----[cos20logsinOdO

4J)7t271J)

2兀

=logr-1----Reos261ogsin田。

।।1।

=logr-l+-log2^

其中：

—，cos20logsinGdO

二一Flogsin3dsin23

i(三£、

=—sin20logsin零一fsin20dlogsin0

1九•nzjCos^logje

I22sin/9cos---------d。

71Rsin。

--loge^

2cos2Odd

71山

2.后1+cos20_.

——log,el2------------ad

71山2

17C_।K

----log2ed0-----log,ecosIQdO

11£

--log2e--log2esin2^|2

1,

--^g2e

P⑴=⑶)心=市=(-r<y<r)

p(y)=pM

HC(Y)=Hc(X)=log,加•-glog?ebit/symbol

H『(Xy)=-JJp(孙)logp(xy)dxdy

R

=_g〃(xy)log5dxdy

=log+^p{xy)dxdy

R

2

=log2TITbit/symbol

4(X;D=乩(X)+HC(Y)-Hc(XY)

1

=2Iog2rcr-log2e-logrcr

-log27i-log2ebit/symbol

2.25某一无记忆信源的符号集为{0,1},已知户@=1/4,P(1)=3/4o

n\

1

7求符号的平均燃；

X

)

(2/有100个符号构成的序列，求某一特定序列(例如有勿个“0”和(1OO-/77)

个

“1”)的自信息量的表达式；

(3

解计算⑵中序列的熠。

•

⑴•

fl.1313

"(X)=-Zp(x,)logp(x,)=-T10g-+-10g-=0.811bit/symbol

14444

⑵

31oo-wt

4⑼

3100-,"

/(%,.)=-logp(x,.)=-log甲j-=41.5+1.585/??bit

⑶

//(Xl00)=100/7(%)=100x0.811=81.1bit/symbol

2-26

X

11IX1

1!!--一

420

4440888

31

p^1

311-(z-

\3p(ij)=

105511011O171510

-1

J1!6J_J_

-36

.6—

<636771123636；

H(IJ)=41-Log(8)

+2----LogflO)+2-----Log(15)+3—Log(36)+—Log(12)=3.415

o

2.29有一个一阶平稳马尔可夫链Xl.X2,…,Xr,…，各Xr取值于集合A={a1.a2.a3},已知起

始概率P（X「）为？=1/2,02=03=1/4,转移概率如下图所示

123

11/21/41/4

22/301/3

32/31/30

(1)求(Xl,X2,X3)的联合嫡和平均符号嫡

(2)求这个链的极限平均符号嫡

(3)求”2和它们说对应的冗余度

解：⑴

”(Xl,X2,X3)="(Xl)+"(X2lXl)+“(X3lX2.Xl)

=〃(Xl)+”(X2lXl)+〃(X3lX2)

H(X1)——log------log--------log-=1.5bit/符号

224444

XPX2的联合概率分布为

123

P(Xl/2,)P(X2j)=Zp(X*2j)

i

11/41/81/8

X2的概率分布为

21/601/12

123

31/61/12014/245/245/24

那么

//(X2lXi)=jlog4+^log4+|log4+^-log|+-^-log3+ylog|+-^-log3

48802120212

=I.209bit/符号

X2X3的联合概率分布为

123

P(X2iX3j)

17/247/487/48

25/3605/12

35/365/120

那么

771535535

”(X3lXi)=—log2+—log4+-log4+—log—4--log3+—log—+—log3

244883627236272

=1.26bit/符号

H(Xi,X2,X3)=1.5+1.209+1.26=3.969M/符号

3969

所以平均符号嫡〃3(XI,X2,X3)=-^―=1.323/7"/符号

J]_J

244

22

(2)设ai,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为P=0

33

22

0

537

122

-W\+-W2+-Wi=l

2337

WP^W

由，「得到-Wi+-Wi=W2计算得到，^2=—

工卬,=14314

卬1+皿2+卬3=1

W3=~

[14

又满足不可约性和非周期性

一3Aill321

"式X)=、W,"(X1%)=]"(5，11)+2乂『?(5，§,0)=1.25帅/符号

⑶“0=log3=1.58m/符号小=1.5m/符号“2=L5+；209=I355次〃符号

125125125

o=l-no=l---=0.21%=1—0=1—--=0.61772=1-〃2=1—-:—=0.078

Z1.581.51.355

/2

ai

2-30

(I)求平稳概率

解方程组

r2

1(WA西、

3

cW-w

J0In2/12n/

<3

W1+W2=1

4

得到

<W2>1

(2)H(S/s1)=|Log(|)+|tog(3)=0.918

H(S/s2)=0

信源嫡为:

31

H(S)=W1H(S/s1)+W2H(S/S2)=-0.918+-0=0.688

2-31

11\_

n1J332

「Wl、

333J

W2W2

£J33231

P(j/i)=解方程组得到Wl=W2=，W3=[

3331J<W3>8

0

11

033

122

W1+W2+W3=1

H(X2/a)=Log(3)=1.585

H(X2/b)=Log(3)=1.585

H(X3/c)=Log(2)=1

331

Hco(X)=WdH(X2/a)+W2H(X2/b)+W3H(X3/c)=-Log(3)+-Log(3)+-Log(2)=1.439

884

2.32一阶马尔可夫信源的状态图如图2—13所示，信源X的符号集为(0,1,2)。

(1)求信源平稳后的概率分布P(0),P(l),P(2)

(2)求此信源的尴

(3)近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的嫡H(X)并与

〃,进行比较

令状态0,1,2平稳后的概率分布分别为W1,W2,W3

(1-P)WI+“W2+KW3=WI

W二

WP=W223

3KWi+(l-p)W2+“W3=W2_1

得到­计算得到,W二

22-3

」=

1川|+卬2+卬3=1