《信息论与编码》课后习题答案

《信息论与编码》课后习题答案《信息论与编码》课后习题答案

其次章

2.1一个马尔可夫信源有3个符号{}1,23,uuu，转移概率为：()11|1/2puu=，

()21|1/2puu=，()31|0puu=，()12|1/3puu=，()22|0puu=，()32|2/3puu=，

()13|1/3puu=，()23|2/3puu=，()33|0puu=，画出状态图并求出各符号稳态概率。解：状态图如下

状态转移矩阵为：

1/21/2

01/302/31/32/30p???=????

设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

由1231WPWWWW=??++=?得1231132231231

112331223231

WWWWWWWWWWWW?++=???+=???=???++=?计算可得1231025925625WWW?=???

=??

?=??

2.2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p=0.8，(0|11)p=0.2，

(1|00)p=0.2，(1|11)p=0.8，(0|01)p=0.5，(0|10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。

画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8pp==(0|01)(10|01)0.5pp==

(0|11)(10|11)0.2pp==(0|10)(00|10)0.5pp==(1|00)(01|00)0.2pp==(1|01)(11|01)0.5pp==(1|11)(11|11)0.8pp==(1|10)(01|10)0.5pp==

于是可以列出转移概率矩阵：0.80.20

0000.50.50.50.5000

00.20.8p???

?=??

??状态图为：

设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有

41

1iiWPWW==???=??∑得131

132

24324412340.80.50.20.50.50.20.50.81WWWWWWWWWWWWWWWW+=??+=??+=??+=?+++=??计算得到123451417175

14WWWW?=??

?=???=???=

?

2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1)“3和5同时消失”这大事的自信息；(2)“两个1同时消失”这大事的自信息；

(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2,3,…,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。解：

(1)

bitxpxIxpiii170.418

1

log

)(log)(181

61616161)(=-=-==

?+?=

(2)

bit

xpxIxpiii170.536

1

log)(log)(36

1

6161)(=-=-==

?=

(3)

两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566

共有21种组合：

其中11，22，33，44，55，66的概率是36

16161=?其他15个组合的概率是18

161612=??

symbolbitxp

xpXHi

ii/337.4181log18115361log3616)(log)()(=?????

?+?-=-=∑

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

symbol

bitxpxpXHXPXi

ii/274.361log61365log365291log912121log1212181log1812361log36

12)

(log)()(36112181111211091936586173656915121418133612)(=?

????

+?+?+?+?+?-=-=?????????

?=??????∑(5)

bit

xpxIxpiii710.136

11

log)(log)(36

11116161)(=-=-==

??=

2-4

2.5居住某地区的女孩子有25%是高校生，在女高校生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是高校生”的消息，问获得多少信息量？

解：

设随机变量X代表女孩子学历

Xx1（是高校生）x2（不是高校生）P(X)0.250.75

设随机变量Y代表女孩子身高

Yy1（身高>160cm）y2（身高=

2.24连续随机变量X和Y的联合概率密度为：???

??≤+=其他

01

),(2222

ryxryxpπ，

求H(X),H(Y),H(XYZ)和I(X;Y)。

（提示：?-

=20

222log2

sinlogπ

π

xdx）

解：

???

??

?????

??????

?

-+-=+

==-==--=--=--=-+-=--=---=--=-=≤≤--===----------

---202420

220

2

20

20

22220

2

20

2222

22

2222222222222

22222

222

22sinlog2

2cos1422cos1log4

sinlogsin4

logsin4sinlogsin4

sinlogsin4)

cos(sinlogsin4coslog4log2log)(/log2

1

loglog2

1

1log2loglog)(2loglog)(2

log)(2log)()(log)()()(21)()(2

2222

22

2π

π

π

π

π

ππθ

θθ

πθθπθ

θθπθθπθθθπ

θθθπθθθπθπππππππππddrdrddrdrrrrdrrrrxdxxrxrrdxxrrxrdx

xrxpsymbol

bitere

rrdx

xrxprdx

xrxpdxr

xpdxr

xrxpdx

xpxpXHrxrr

xrdyrdyxypxprr

rr

r

rrrrrrr

rr

rcxrxrxrxr令其中：

e

eededededede

ddde

rdrddrrdddrdr220

2220

220

22

0220

2220

220

20

20

20

220

20

220

20

20

20

20

log2

1

2sinlog21log212coslog1log122cos1log2

coslog2

sinlogcoscossin21

sinlog2sinsinlog2sin12sinsinlog1

sinlog2cos2

log2

1

1logsinlog2cos2

1logsinlog2cos2

)2log2

(2

2sinlog1

logsinlog2cos2

sinlog2

2coslog2

log2

-=--=--=+-

=-=-=???

?

??-==

+-=-

-=-

-

+

-

=-

+

-

=

?????

??

??

?

??

?

??π

π

ππ

π

π

π

π

π

π

π

π

π

π

π

π

π

θπθ

θπ

θπθ

θ

πθ

θπθ

θ

θθ

θπθθθθπθ

θπθ

θθπθ

θθπθ

θθπππ

θπ

θ

θθπθθπθθπ

θπ

其中：

bit/symbolererXYHYHXHYXIbit/symbolrdxdyxyprdxdyrxypdxdy

xypxypXYHbit/symbol

erXHYHxpypryrryrdxrdxxypypccccR

R

R

cCCyryryryrloglog

logloglog2

)()()();(log

)(log

1

log)(

)(log)()(log2

1

log)()()

()()(21

)()(222222222

222

2222

2222

22

2-=--=-+===-=-=-===≤≤--=

==???????

?

---

---πππππππππ

2.25某一无记忆信源的符号集为{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符号的平均熵；

(2)有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式；(3)计算(2)中序列的熵。

解：(1)

symbolbitxpxpXHi

ii/811.043log4341log41

)(log)()(=?????+-=-=∑

(2)

bitmxpxIxpm

iimm

m

i585.15.414

3

log

)(log)(4

34341)(100

100100

100100+=-=-==?

?

?

????????=---

(3)

symbolbitXHXH/1.81811.0100)(100)(100=?==

2-26

P(i)=P(ij)=

H(IJ)=

2.29有一个一阶平稳马尔可夫链1,2,,,rXXXLL,各Xr取值于集合{}1,2,3Aaaa=,已知起始概率P(Xr)为1231/2,1/4ppp===，转移概率如下图所示

ji

123123

1/22/32/3

1/401/3

1/41/30

(1)求123(,,)XXX的联合熵和平均符号熵(2)求这个链的极限平均符号熵

(3)求012,,HHH和它们说对应的冗余度解：（1）

12312132,112132(,,)()(|)(|)

()(|)(|)

HXXXHXHXXHXXXHXHXXHXX=++=++

1111111

()logloglog1.5/224444

HXbit=---=符号

212()()jiji

pxpxx=∑

X2的概率分布为

那么

21111131131

(|)log4log4log4loglog3loglog348862126212

HXX=++++++

=1.209bit/符号

12()ijpxx

12311/41/81/8

21/601/12

31/6

1/12

12314/24

5/24

5/24

X2X3

那么

32771535535

(|)log2log4log4loglog3loglog3244883627236272

HXX=

++++++=1.26bit/符号

123(,,)1.51.2091.263.969HXXXbit=++=/符号

所以平均符号熵31233.969

(,,)1.3233

HXXXbit=

=／符号（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为11

12442

103321033

P????

?=??????

由1iWPWW=???=??∑得到123132123122123311431WWWWWWWWW?++=???+=??++=???计算得到12347314314WWW?=??

?=??

?=??

又满意不行约性和非周期性

31

4111321

()(|)(,,)2(,,0)1.2572441433iiiHXWHXWHHbit∞===+?=∑uuv/符号

(3)0log31.58Hbit==/符号11.5Hbit=/符号21.51.209

1.3552

Hbit+=

=/符号001.25110.211.58γη=-=-=111.25110.6171.5γη=-=-=221.25

110.0781.355

γη=-=-=

a1

a

3a

2

1/2

2/3

1/4

1/3

2/3

1/4

2-30

(1)求平稳概率P(j/i)=

解方程组

得到

(2)

信源熵为:

2-31

P(j/i)=解方程组得到W1=,W2=,W3=

2.32一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。（1）求信源平稳后的概率分布P(0),P(1),P(2)（2）求此信源的熵

（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H∞进行比较

1

2

1-p

p/2

1-p

p/2p/2

p/2

p/2

p/2

1-p

图2-13

解:依据香农线图,列出转移概率距阵1/2/2/21/2/2/21pppPpppppp-????=-????-??

令状态0,1,2平稳后的概率分布分别为W1,W2,W3

31

1iiWPWW==???

=??∑得到1231

1232123(1)2

2

(1)221pppWWWWp

pWpWWWWWW?

-++=???+-+=??++=???

计算得到131313WWW?=??

?

=??

?=??

由齐次遍历可得

112

()(|)3(1,,)(1)loglog3221iiippHXWHXWHppppp∞==?-=-+-∑uuvuuv

,

()log31.58/HXbit==符号由最大熵定理可知()HX∞uuv

存在极大值

或者也可以通过下面的方法得出存在极大值:

()121log(1)(1)loglog

1222(1

)HX

ppp

pppppp∞???-=---

+-++??=-?

??--?

?uuv

112(1)22(1)ppp=-+--又01p≤≤所以

0,2(1)pp∈+∞-当p=2/3时12(1)p

p=-0()log02(1)HXp

pp∞?=->?-uuv

2/3()log02(1)

HXp

pp∞?=-1(;)IXY

所以其次个试验比第一个试验好

（2）由于Y1和Y2相互独立，所以1212(|)(|)(|)pyyxpyxpyx=

121212111

(;)(,)(|)log4log1log12log2444

IXYYHYYHYYX∴=-=---?bit/符号

=1.5bit/符号

由此可见，做两个试验比单独做Y1可多得1bit的关于X的信息量，比单独做Y2多得0.5bit的关于X的信息量。（3）

12112212212122(;|)(|)(|,)(,)()

(;,)(;)

IXYYHXYHXYYHXYHXHXIXYYHXIXYHXIXYYIXYYIXY=-=---=---=-

=1.5-1=0.5bit/符号

表示在已做Y2的状况下，再做Y1而多得到的关于X的信息量同理可得

21121(;|)(;,)(;)IXYYIXYYIXY=-=1.5-0.5=1bit/符号

表示在已做Y1的状况下，再做Y2而多得到的关于X的信息量

欢迎下载！

第三章

3.1设二元对称信道的传递矩阵为

??????????32313132(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求该信道的信道容量及其达到信道容量时的输入概率分布；

解：1)

symbol

bitYXHXHYXIsymbolbitXYHYHXHYXHXYHYHYXHXHYXIsymbolbitypYHxypxpxypxpyxpyxpypxypxpxypxpyxpyxpypsymbol

bitxypxypxpXYHsymbol

bitxpXHj

ji

j

ijijiii/062.0749.0811.0)/()();(/749.0918.0980.0811.0)/()()()/()

/()()/()();(/980.0)4167.0log4167.05833.0log5833.0()()(4167

.03

2

413143)/()()/()()()()(5833.031

413243)/()()/()()()()(/918.010

log)3

2

lg324131lg314131lg314332lg3243()

/(log)/()()/(/811.0)41

log4143log43()()(222221212221221211112111222=-==-==+-=+-=-=-==?+?-=-==?+?=+=+==?+?=

+=+==??+?+?+?-=-==?+?-=-=∑∑∑∑

2)

2221122

max(;)loglog2(lglg)log100.082/3333

miCIXYmHbitsymbol

==-=++?=其最佳输入分布为1

()2

ipx=

3-2某信源发送端有2个符号，ix，i＝1，2；()ipxa=，每秒发出一个符号。接受端有3

种符号iy，j＝1，2，3，转移概率矩阵为1/21/201/21/41/4P??

=????

。

（1）计算接受端的平均不确定度；

（2）计算由于噪声产生的不确定度(|)HYX；（3）计算信道容量。

解：1/21/201/21/41/4P??

=??

??

联合概率(,)ijpxy

（1）()log2loglog

24141HYaa

=+++-211161log2loglog24141aaaa

-=++-+

211111log2log16loglog

244141aa

aa-=+++-+2

3111log2loglog24141aa

aa

-=++-+取2为底

222

3111()(loglog)24141aaHYbitaa

-=++-+（2）11111111(|)logloglogloglog2

222224444a

aaaaHYX---??=-++

++????3(1)

log2log22

aa-=-+

3log22

a-=

取2为底

3(|)2

a

HYXbit-=

2()()()111max(;)max()(|)maxlog2loglog2

4141iiipxpxpxa

aacIXYHYHYXaa-??∴==-=++?-+??取e为底2

111(ln2lnln)2

4141aaaaaa

-?++-+?21121111ln2ln()24141411aaaaaaa-=+++---+-+221112ln2ln22(1)4141aaaaaa-=++--+-111ln2ln

241a

a

-=++=0

1114

aa-=+35a∴=

9

251311131log2loglog2541454c∴=?++?-312531log2loglog10416204=++3153

log2loglog2102410=+-15log24

=

3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。

解：

由题意可知该二元信道的转移概率矩阵为：

0.990.010.010.99P??

=??

??

为一个BSC信道

所以由BSC信道的信道容量计算公式得到：

2

1

1

log()log2log

0.92/1

1000920/sec

iii

tCsHPpbitsignpCCCbitt

==-=-====∑

3.4求图中信道的信道容量及其最佳的输入概率分布.并求当e=0和1/2时的信道

容量C的大小。

解:信道矩阵P=??

??

??????-e1e0ee10001－,此信道为非奇异矩阵,又r=s,可利用方程组求解

3

1

(|)jijjPbab=?

=3

1

(|)log(|)jijijPbaPba=?(i=1,2,3)

123230(1)(1)log(1)log(1)log(1)log(1)

bebebeeeeebebeeeeì=???

-+=--+í??+-=+--???解得10b=

23(1)log(1)logbbeeee==--+

所以C=log

2jj

b

?

=log

=log=log

X0

Y0

111

2

2

1－e

1－e

ee

2311(1)1()2(1)3211()2212(1)12(1)()212(1)()2()CCHCCPbPbPbPbeeeeebeebbeeeeee-------ì??====??+-+???-??==í?+-???==??????而3

1

()()(|)jijiiPbPaPba==?(j=1,2,3)

得11223323()()()()(1)()()()()(1)

PbPaPbPaPaPbPaPaeeeeì=???=-+í??=+-???所以P(a1)=P(b1)=(1)1

12(1)ee

ee-+-

2323(1)(1)()()()()12(1)PaPaPbPbee

ee

eeee--====+-

当e=0时,此信道为一一对应信道,得

C=log3,1231

()()()3PaPaPa===

当e=1/2时,得C=log2,11()2Pa=,231

()()4

PaPa==

3.5求下列二个信道的信道容量，并加以比较

（1）

???

???----εεεεεε22pppp（2）??????----εεεεεε2024pppp

其中p+p=1

解：

（1）此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集由于集列所组

成的矩阵??????----εε

εε

pppp,???

?

??εε22而这两个子矩阵满意对称性，因此可直接利用准对称信道的信道容量公式进行计算。C1=logr-H(p1’p2’p3’)-

MkkNklog2

1

∑=

其中r=2,N1=M1=1-2εN2=ε2M2=4ε所以C1=log2-H(ε-p,p-ε,2ε)-(1-2ε)log(1-2ε)-2εlog4ε

=log2+(ε-p)log(ε-p)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε=log2-2εlog2-(1-2ε)log(1-2ε)+(ε-p)log(ε-p)+(p-ε)log(p-ε)=(1-2ε)log2/(1-2ε)+(ε-p)log(ε-p)+(p-ε)log(p-ε)

输入等概率分布时达到信道容量。

（2）此信道也是准对称信道，也可采纳上述两种方法之一来进行计算。先采纳准对称信

道的信道容量公式进行计算，此信道矩阵中Y可划分成两个互不相交的子集，由子

集列所组成的矩阵为?????

?----εε

εε

pppp，???

?

??εε2024这两矩阵为对称矩阵其中r=2,N1=M1=1-2εN2=M2=2ε，所以

C=logr-H(p-ε,p-ε,2ε,0)-∑=2

1

logkMkNk

=log2+(p-ε)log(p-ε)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε=log2-(1-2ε)log(1-2ε)+(p-ε)log(p-ε)+(p-ε)log(p-ε)=(1-2ε)log2/(1-2ε)+2εlog2+(p-ε)log(p-ε)+(p-ε)log(p-ε)=C1+2εlog2

输入等概率分布（P（a1）=P（a2）=1/2）时达到此信道容量。比较此两信道容量，可得C2=C1+2εlog2

3-6设有扰离散信道的传输状况分别如图3－17所示。求出该信道的信道容量。

X

Y

1/2

图3-17

解：112

2

11221122112200000000?

???

????????

对称信道

log(|)iCmHYa=-

1

log42log22

=-?

取2为底1C=bit/符号

3-7

(1)

条件概率，联合概率，后验概率

py0()

1

3

:=，py1

()

1

2

:=，py2

()

1

6

:=

（2）

H(Y/X)=

（3）

当接收为y2，发为x1时正确，假如发的是x1和x3为错误，各自的概率为：

P(x1/y2)=1

5

，P(x2/y2)=

1

5

，P(x3/y2)=

3

5

其中错误概率为：

Pe=P(x1/y2)+P(x3/y2)=1

5

3

5

+0.8

=

（4）平均错误概率为

（5）仍为0.733

（6）此信道不好

缘由是信源等概率分布，从转移信道来看

正确发送的概率x1-y1的概率0.5有一半失真

x2-y2的概率0.3有失真严峻

x3-y3的概率0完全失真（7）

H(X/Y)=

16Log2()

1

10

Log5()

+

1

15

Log

5

2

?

?

?

?

?

+

2

15

Log

5

2

?

?

?

?

?

+

1

10

Log5()

+

1

10

Log

5

3

?

?

?

?

?

+

1

30

Log10

()

+

3

10

Log

5

3

?

?

?

?

?

+1.301

=

3.8设加性高斯白噪声信道中，信道带宽3kHz，又设{(信号功率+噪声功率)/噪声功率}=10dB。试计算该信道的最大信息传输速率C

t

。

解：

3.9在图片传输中，每帧约有2.25106个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电公平概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）。

解：

s

bittICbitNHIsymbolbitnHt/101.560

10910

10941025.2/416loglog56

6622?=?===?=??=====

z

15049)10001(log105.11log1log25

HPPCWPPWCNXt

NXt=+?=?

?????+=?

???

?

?+=

3-10一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；

（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？

（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？解：（1）2log(1)CWSNR=+

6

2110log(110)=?+

3.159Mbps=

（2）222log(15)3.459CWMbps=+=

223.1591.338log6

M

WMHZ∴=

=

（3）'

332log(1)3.459CWSNRMbps=+=

'23.459

log(1)0.5

SNR+=

120SNR∴=

欢迎下载！

第四章

4.2某二元信源??????=??????2/12/110)(XPX其失真矩阵为

???

???=aaD00求这信源的Dmax和Dmin和R(D)函数。

解：

021

021),(min)(202421),()(minminminmax=?+?===

?+?===∑∑ijijii

jiijjyxdxpDa

ayxdxpDD

由于二元等概信源率失真函数：

?

??

??-=aDHnDRln)(

其中n=2,所以率失真函数为：

?

??

????????-?????-+-=aDaDaDaDDR1ln1ln2ln)(

4.3一个四元对称信源??????=?????

?4/14/1324/14/110

)(XPX，接收符号Y={0,1,2,3}，其失真矩阵为???????????

?0111101111011110，求Dmax和Dmin及信源的R(D)函数，并画出其曲线（取4至5个点）。

解：

041

041041041),(min)(43041141141141),()(minminminmax=?+?+?+?===

?+?+?+?===∑∑ijijii

jiijjyxdxpDyxdxpDD

由于n元等概信源率失真函数：

?

??

??-?????-+-+=aDaDnaDaDnDR1ln11lnln)(

其中a=1,n=4,所以率失真函数为：

()()DDD

DDR--++=1ln13ln

4ln)(

函数曲线：

D

其中：

symbol

natDRDsymbol

natDRDsymbol

natDRDsymbol

natRD/0)(,43

/12ln21

4ln)(,21/316ln214ln)(,41/4ln)0(,0==-==-====

4-3

d01

11101111011110?

?

??

??

?

?

信源熵为Hx()Log4()=2=

Dmax=min{34,34,34,3

4

}R(Dmax)=0

Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2

py1()py2(),py3(),py4(),只要满意p(y1)+p(y2)+p(y3)+p(y4)=1在区间可以任意取值。

欢迎下载！

第五章

(2)哪些码是非延长码？

(3)对全部唯一可译码求出其平均码长和编译效率。解：首先，依据克劳夫特不等式，找出非唯一可译码

31123456231244135236:621

63

:222222164

63:

164

:22421:2521:2521

CCCCCC--------------?+?<

5C∴不是唯一可译码，而4C：

又依据码树构造码字的方法

1C，3C，6C的码字均处于终端节点∴他们是即时码

5-2

(1)由于A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms,所以每个字母用10ms当信源等概率分布时,信源熵为H(X)=log(4)=2平均信息传递速率为bit/ms=200bit/s

(2)信源熵为H(X)=

=0.198bit/ms=198bit/s

5-5

(1)1

2

1

4

1

8

1

16

1

32

1

64

1

128

1

128

H(U)=

1

2

Log2()

1

4

Log4()

+

1

8

Log8()

+

1

16

Log16

()

+

1

32

Log32

()

+

1

64

Log64

()

+

1

128

Log128

()

+

1

128

Log128

()

+1.984

=

(2)每个信源使用3个二进制符号,消失0的次数为

消失1的次数为

P(0)=

P(1)=

(3)

信源符号

xi

符号概率