信息论与编码陈运主编答案完整版

本文格式为Word版，下载可任意编辑——信息论与编码陈运主编答案完整版信息论与编码课后习题答案详解

2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}

八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量HX(1)=logn=log4=2bitsymbol/八进制脉冲的平均信息量

HX(2)=logn=log8=3bitsymbol/

二进制脉冲的平均信息量HX(0)=logn=log2=1bitsymbol/所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假使我们得知“身高160厘米以上的某女孩是大学生〞的消息，问获得多少信息量？

解：

设随机变量X代表女孩子学历XP(X)

x1（是大学生）x2（不是大学生）

0.250.75

设随机变量Y代表女孩子身高

Y

y1（身高>160cm）

0.5

y2（身高log6不满足信源熵的极值性。

解：

HX

i

pxpx

=?(0.2log0.2+0.19log0.19+0.18log0.18+0.17log0.17+0.16log0.16+0.17log0.17)=2.657bitsymbol/

HX()>log62=2.585

不满足极值性的原因是

i

。

2.7证明：H(X3/X1X2)≤H(X3/X1)，并说明当X1,X2,X3是马氏链时等式成立。证明：

HX(3/XX12)?HX(3/X1)

=?∑∑∑pxxx(i1i2i3)logpx(i3/xxi1i2)+∑∑pxx(i1i3)logpx(i3/xi1)

i1i2

i3

i1

i3

=?∑∑∑pxxx(i1i2i3)logpx(i3/xxi1i2)+∑∑∑pxxx(i1i2i3)logpx(i3/xi1)

i1

i2i3

i1

i2

i3

px(i3/xi1)

=∑∑∑i1

i2i3

pxxx(i1i2

i3

)logpx(i3/xxi1i2)

·3·

?px(i3/xi1)1???log2e

≤∑∑∑i1

i2i3

pxxx(i1i2

i3

)???px(i3/xxi1i2)??

=??

∑∑∑pxx(

?i1?

i2

i3

i1i2

)(pxi3/xi1)?∑∑∑pxxx(i1i2i3)??log2e

i1i2

i3

?

???

=??∑∑pxx(i1i2)?∑px(i3/xi1)??1??log2e

?i1=0

i2

?i3??

∴HX(3/XX12)≤HX(3/X1)

px(i3/xi1)10时等式等等当?=px(i3/xxi12i)

?px(i3/xi1)=px(i3/xxi12i)

?pxx(i12i)(pxi3/xi1)=px(i3/xxi12i)(pxxi12i)?px(i1)(pxi2/xi1)(pxi3/xi1)=pxxx(i123i?px(i2/xi1)(pxi3/xi1)=pxx(i23i/xi1)∴等式等等的等等是X1,X2,X3是马氏链_

i

)

2.8证明：H(X1X2。。。Xn)≤H(X1)+H(X2)+…+H(Xn)。证明：

HXX(1

/XX1IX(

2

...Xn)=HX(1)+HX(2/X1)+HX(32)+...+HX(n/XX12...Xn?1)

2

;X1)≥0?HX(

2

2

)≥HX(

2

/X1)IX(3;XX13/XX1

2

)≥0?HX(3)≥HX(

)

...

IX(N;XX12...Xn?1)≥0?HX(N)≥HX(N/XX12...Xn?1)

∴HXX(12...Xn)≤HX(1)+HX(2)+HX(3)++...HX(n)

2.9设有一个信源，它产生0，1序列的信息。它在任意时间而且不管以前发生过什么符号，均按P(0)=0.4，P(1)=0.6的概率发出符号。(1)试问这个信源是否是平稳的？(2)试计算H(X2),H(X3/X1X2)及H∞；

(3)试计算H(X4)并写出X4信源中可能有的所有符号。

解：·4·

(1)

这个信源是平稳无记忆信源。由于有这些词语：“它在任意时间．．．．而且不管以前发生过什么符号．．．．．．．．．．．……〞(2)

HX(2)=2HX()=?2×(0.4log0.4+0.6log0.6)=1.942bitsymbol/HX(

3

/XX1

2

)=HX(

3

)=?∑px(i)logpx(i)=?(0.4log0.4+

0.6log0.6)=0.971bitsymbol/i

H∞=limHX(

N

/XX1

2

...XN?1)=HX(

N

)=0.971bitsymbol/

N?>∞

(3)

HX(4)=4HX()=?4×(0.4log0.4+0.6log0.6)=3.884bitsymbol/X4的所有符号：

00000001001000110100010101100111100010011010101111001101

11101111

2.10一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0,1,2}。求平稳后信源的概率分布；(2)求信源的熵H∞。

解：

(1)

?pe(1)=pepe(1)(1/e1)+pe(2)(pe1/e2)?

?pe(