信息论与编码课后作业答案

2.4设离散无记忆信源X=口=°芍=1工=2发出的信息为

_P(X)_|13/81/41/41/8J

(202120130213001203210110321010021032011223210),求

(1)此消息的自信息量是多少？

(2)此消息中平均每符号携带的信息量是多少？

解：

(1)此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是：

此消息的信息量是：/=—log“=87.811bit

(2)此消息中平均每符号携带的信息量是：//〃=87.811/45=1.951b”

2.10对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷

暖两个状态，调查结果得联合出现的相对频度如下：

若把这些频度看作概率测度，求：

(1)忙闲的无条件熠；

(2)天气状态和气温状态已知时忙闲的条件熠；

(3)从天气状态和气温状态获得的关于忙闲的信息。

解：

(1)

根据忙闲的频率，得到忙闲的概率分布如下：

玉忙

X/闲

«6340>

P(X)

,103763.

Qzxi/、(63,634040].»i-：1,

H(X)=]p(xjlogp(x,)=-I—log—+—log—I=0.964bit!symbol

(2)

设忙闲为随机变量X,天气状态为随机变量匕气温状态为随机变量Z

“(xyz)=-ZZZp(w炉人)logP(%yjz，

iJk

-g旦+马。g二+曳bg曳

103103103103103103103

8,815,155.512.

H-----log------1-----log------1-----log------1-----log

103103103103103103103

=2.836bit/symbol

H(YZ)=-££p(yjZR)logp(yjzk)

jk

(202023।23323228,28、

=-----l1og------1-----los------1-----tlog------1-----log-----

(1036103103610310361031036103J

=1.977bit!symbol

”(X/YZ)=H(XYZ)-H(YZ)=2.836-1.977=0.859bit!symbol

⑶

7(x；rz)=H(X)—H(X/YZ)=0.964-0.859=0.159bitIsymbol

2.11有两个二元随机变量才和匕它们的联合概率为

XF

Ox2=1

y1=01/83/8

y2=13/81/8

并定义另一随机变量Z=XZ(一般乘积)，试计算：

(1)H(X),H(Y),H(Z),H(XZ),H(YZ)^\H(XYZ)；

(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)

和H(Z/XY),,

⑶/(X;Y),/(X;Z),/(Y;Z),I(X;Y/Z),/化加和/(X;Z/Y)。

解：

(1)

131

P(x)=p(xy)+(xy)=-+-=-

lllPi2ooZ

311

PG)=P(%2M)+P(%2y2)=三+3=彳

oo2

H(X)=P(x,)logP(X)=1bit!symbol

131

P(M)=p(xy)+“a2y।)=«+«=不

ooZ

311

〃(必)=〃(内%)+〃(/%)=6+三=彳

ooZ

H(V)=-Zp(y7)logp(y/)=1bit/symbol

j

z=xy的概率分布如下：

_Z1Z]=0z2=1

[尸⑵」=<建781J

”(Z)=-之p(z*)=T7711、

—log—+-log-=0.544bitIsymbol

8888)

，(X|)=，(X|ZJ+P(X|Z2)

〃(平2)=0

p(x,)=〃(X|)=0.5

“(Z1)=MXZ|)+P(X2Z|)

73

p(9Z|)=P(Z])-p(的Z|)=w-0.5=7

oo

，(Z2)=，(X/2)+p(X2Z2)

p(x2z2)=p(z2)=1

o

(113311、

H(XZ)=p(x,zA.)logp{xizk)=--log-+-log-+-log-=1.406bit!symbol

ik\22ooo

P(M)=P(XZ|)+p(MZ2)

p(ylz2)=0

P(%Zi)=p(yi)=0・5

P(Z])=p(yiZ|)+p(%Z|)

73

P(%ZI)=P(Z|)-p(yZ|)=[—().5=-

oo

，。2)=，()/2)+，(*2)

P(〉2Z2)=MZ2)=:

o

(1]a31।

"(YZ)=—ZZp(Xz*)logp(=--10g-+110gj+-log-=1.406bit!symbol

ikZOOOO

〃(斗*2)=0

〃(七呼2)=0

〃(工2%22)=0

P(X|MZ|)+p(X|"2)=p(x,y,)

〃(X[MZ])=〃(王%)=1/8

p(X|y2z,)+p(x,ylzI)=p(x,zt)

113

P(X|%Z|)=P(X|Z|)-p(x,ylZ,)=-

Zoo

p(%2必Z])+p(%2型2)=P(%2M)

3

〃(工2%2|)=，(工2%)=三

o

p(x2y2z,)=0

p(x2y2Zj)+p(x2y2z2)=p(x2y2)

p(x2y2z2)=p(x2y2)=j

o

“(xyz)=-£ZXMx,xz*)log2pQyjz«)

iJk

(11333311、

=--log—+—log—+—log-+—log—=1.811bit/symbol

(88888888j

(2)

(iia3331iA

“(xr)=—ZZ，(x，匕)I°g2〃(x，X)==—QloSo+^logo+ologo+ologorL811bit/symbol

ij\OoooooooJ

H(X/y)=H(XY)-H(Y)=1.811-1=0.811bit/symbol

H(i7X)="(Xr)-H(X)=1.811-1=0.811bit!symbol

”(X/Z)="(XZ)—”(Z)=1.406—0.544=0.862bitIsymbol

H(Z/X)=H(XZ)—H(X)=1.406—1=0.406bit/symbol

〃(Y/Z)="(YZ)—"(Z)=1.406-0.544=0.862bit/symbol

”(Z/Y)=H(YZ)-H(Y)=1.406-1=0.406bitIsymbol

H(X/yZ)=H(XyZ)-H(yZ)=1.811-1.406=0.405bit!symbol

H(Y/XZ)=H(XYZ)-W(XZ)=1.811-1.406=0.405bit!symbol

“(z/xr)="(xyz)-”(xr)=1.811-1.811=0bit!symbol

(3)

/(X；r)=/7(X)-H(X/y)=1-0.811=0.189bit/symbol

/(X;Z)=H(X)—HQUZ)=1-0.862=0.138hit/symbol

I(Y-Z)=W(y)-W(y/Z)=1-0.862=0.138bit/symbol

/(X；y/Z)=H(X/Z)-H(X/YZ)=0.862-0.405=0.457bit/symbol

/(y；Z/X)=H(Y/X)-"(Y/XZ)=0.862-0.405=0.457bit/symbol

/(X;Z/y)=/7(X/y)-W(X/rZ)=0.811-0.405=0.406bit/symbol

2.13设有一个信源，它产生0,1序列的信息。它在任意时间而且不论以前发生

过什么符号，均按P(0)=0.4,P(1)=0.6的概率发出符号。

(1)试问这个信源是否是平稳的？

⑵试计算H(X3,H(X3/XX)及H-；

(3)试计算〃的并写出Y信源中可能有的所有符号。

解：(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生

过什么符号……”

(2)

H(X2)=2W(X)=-2x(0.4log0.4+0.6log0.6)=1.942hit/symbol

H(X3/X2)="(X3)=-工p(x,)log〃(内)=-(0.41og0.4+0.61og0.6)=0.971bit/symbol

i

=limH(X/X.X...X_.)=H(X)=0.971hit/symbol

Af->ooN2NN

(3)

“(X4)=4H(X)=—4x(0.41og0.4+0.61og0.6)=3.884bit/symbol

X’的所有符号：

0000000100100011

0100010101100111

1000100110101011

iiooiioimomi

2.16一阶马尔可夫信源的状态图如下图所示。信源才的符号集为［0,1,2｝。

(1)求平稳后信源的概率分布；

(2)求信源的炳/U

解:

(1)

p(q)=p®)p®/,)+p(e2)p(q/02)

ee

«P“2)=P(i)P(2/e2)+p(e3)p(e2/e3)

p(e3)=p(e3)p(e3/)+p{ex)p(e3/e,)

P(eJ=p,pG)

p(e2)=p-p(e2)+p-p(e3)

P(eJ=p-p(e3)+p-

P(eJ=p(e2)=p(e3)

p(et)+p(e2)+p(e3)^l

p(e,)=l/3

p(e2)=l/3

“@)=1/3

p

p(xx)=p(e})p(x{/«1)+p(e2)p(xl/e2)=p-p(e})+p-p(e2)=(p+p)/3=1/3

<PG)=p(e2)p(x2/e2)+p(e3)p(x2/e3)=p-p(e2)+p-p(e3)=(p+p)/3=1/3

，(％3)=，(C3)P(无333)+，(6|)〃*3/弓)=〃・〃(03)+〃•〃(《)=(〃+“)/3=1/3

X012'

_P(X)_|一［l/31/31/3/

(2)

33

H”=?：p(ei)p(ejejlogp(ejej

=-;P(G/q)logp(e,/G)+；p(e2/e,)logp(e2/G)+；P&/et)logp(e3/q)

+1P(eJe2)logMq/62)+g/62)logp(e2/e2)+1p(^/e2)logp(e3/e2)

+1p(e}/e3)logMq/63)+gme2/63)logP(02/e?)+；.(e?/e?)logp(e3/e3)

1——111——11——

---P-log/2+--PlogP+--P-log/?+--P.log/?+--P•logP+--/?-logP

-(/?•logp+p-log/?)bit/symbol

3.1设信源[1=!X'毛]通过一干扰信道，接收符号为丫={y1,y2},信i

[0.60.4]

阵为？§，求:

(1)信源X中事件X/和事件X2分别包含的自信息量；

(2)收到消息力0=7,2)后，获得的关于x,0=7,2)的信息量；

(3)信源犬和信宿卜的信息煽；

(4)信道疑义度和噪声炳HYR；

(5)接收到信息丫后获得的平均互信息量,

解：

1)

/(不)=-log2/7(-ri)=-bg20.6=0.737bit

/(x2)=-log2p(x2)=-log20.4=1.322bit

2)

区匕)=/占/4)+p(x2)/<%/当)=0.6x：+0.4xJ=0.6

64

2)=)/<丹//)+双x2}p(y2/x,)=0.6X1+0.4X1=0.4

64

〃、।从yjX1.5/6八“r”7.

/(/；/)=log?/'、'=log,—=0.474bit

M/)0.6

."(心/4).1/6.

/(/；/,)=log，/=log,—=-1.263bit

p(y2)'0.4

/(巧；Ji)=log2了=log：=-1-263bit

)0.6

，/、.(以/x,).3/4____/.

/(羽;乃)=log,八；、-'=log,——=0.907bit

"人匕)'0.4

3)

H(X}=-“(」,,)log/(r,)=-(0.6log0.6+0.4log0.4)log210=0.971hitIsymbol

i

/!(¥]-p(y)logp(y;)=-(0.6log0.6+0.4log0.4)log210=0.971bit!symbol

j

4)

〃(卜/*)=-ZZMu)MyJ七)log认yJ巧)

ij

=-(0.6x—log—+0.6x—log—+0.4x—log—+0.4x—log-)xlog.10

66664444

=0.715bitIsymbol

•・•〃(1)+H(YIT)=〃(/)+〃(1/Y}

H(XtX)=+H{YI

=0.971+0.715-0.971=0.715hit!symbol

5)

/(X\Y)=-〃(*//)=0.971-0.715=0.256bit!symbol

3.3设有一批电阻，按阻值分70%是2KQ,30%是5KQ；按瓦分64%是0.125W,其余是0.25W：

现已知2KQ阻值的电阻中80%是0.125W,问通过测量阻值可以得到的关于瓦数的平均信息

量是多少？

解：

对本题建立数学模型如下：

'X]_h=2KC*2=5KQ[\Y=l/8y-1=1/4t

[0.70.3JJ-[0.640.36J

P(y\/Xj)=0.8,p(y2/)=0.2

：/(%；/)

)="(x)〃*/才i)=0.7x0.8=0.56

同王月)=/X.r,)Xjz2/X)=0.7x0.2=0.14

以耳)=〃再小I)+Hw/l)

r

/.M.r2P।)=p{yx)-X-i>i)=0.64-0.56=0.08

氏力)=〃玉为)+〃天为)

风工"?)=/Ay2)一M几匕)=0.36-0.14=0.22

H(X)--2风。)=-(0.7xlog?0.7+0.3xlog20.3)=0.881bitIsymbol

i

〃(7)=zX乃)=-(0.64xlog20.64+0.36xlog20.36)=0.943bit!symbol

j

〃(才/)=-XE以8%)log奴工乃)

tJ

=-(0.56xlog20.56+0.14xlog20.14+0.08xlog,0.08+0.22xlog,0.22)

=1.638bi”symbol

I[X\7)=H{X}+〃(/)—//(AT)=0.881+0.943-1.638=0.186bit!symbol

3.14试求以下各信道矩阵代表的信道的容量:

-100'

-0010"100

1000010

⑴[P]=(2)[P]=

0001010

0100001

001

0.10.20.30.4000000

(3)[P]00000.30.70000

0000000.40.20.103

解：

1)

这个信道是-一一对应的无干扰信道

C=log,〃=log:4=2bit!symbol

2)

这个信道是归并的无干扰信道

C=log,m=log,3=1.585bit!symbol

3)

这个信道是扩展的无干扰信道

C=log2〃=log,3=1.585bit!symbol

3.20设电话信号的信息率5.6X104比特/秒，在一个噪声功率谱为N°=5X10-6mW/Hz、限频

F、限输入功率P的高斯信道中传送，若F=4kHz,问无差错传输所需的最小功率P是多少瓦？

若F―8,则P是多少瓦？

解：

fP

C=//log1+一^

IWN。、

(G、’5.6x10’、

Px=WN,2"'-1=4000X5X10-9X=0.328JV

FToo

c,=—lobg,e

N。-

_CM_5.6x10"X5x10-9

1Y—==1.94x107IV

log2elog22.71828

X0123

4.1一个四元对称信源小八二I//I/—/,1/A，接收符号丫二(0,1,2,3),其失

r\7\)1/41/41/41/4

0111

真矩阵为:011

],求ZU和zu及信源的函数，并画出其曲线（取4至5个点）。

10

1110

解:

=minD.=minW(xxl*—xl^—xOx—

%7

Ji44444

%=WPG)min"(x,,匕)=；*0xOx0xO=0

因为〃元等概信源率失真函数:

D

R(D)=\nn+—{na+I——In1——

an—\aa

其中。=1,〃=4,所以率失真函数为：

R(D)=\n4+D\n^+(\-D)\n(\-D)

其中：

D=0,7?(0)=ln4nat/symbol

D=—,7?(£>)=In4——Innat/symbol

Z)=—,7?(75)=In4-*-In12nat/symbol

22

D=—,R(D)=0nat/symbol

4.2若某无i己忆信源（/「））弋；A；卜接收符^十昌，其失真矩阵

n2i

为〃=卜“求信源的最大失真度和Md、平均失真度，并求选择何种信道可

[21J

达到和2.的失真度。

[E々/@）=1

解：2,.=I,对应的试验信道不是唯•的，但满足〃（么/4）=1

[队bja、\=\

队仄/《）=[人八

4

=一，对应的试睑信道不是唯一的，但满足AA）+H么）=1

3

〃（4/《）=〃（么）

5」设信源晟卜慕盛之。：7X516Xy,

0.150.10.01/

⑴求信源端〃㈤；

（2）编二进制香农码；

（3）计算平均码长和编码效率。

解:

(1)

H(X)=-Zp(x：)k)g2p(xj

i=l

=一(0.2xlog20.2+0.19xlog20.194-0.18xlog20.18+0.17xlog20.17

+0.15xlog20.15+0.1xlog20.1+0.01xlog20.01)

=2.609hitIsymbol

(2)

XiP(Xi)A(xJki码字

X10.203000

Xz0.190.23001

x30.180.393on

X40.170.573100

X50.150.743101

X(i0.10.8941110

X?0.010.9971111110

(3)

^=^A;.p(x.)=3x0.2+3x0.19+3x0.18+3x0.17+3x0.15+4x0.1+7x0.01

=3.14

〃=皿="公=殳纥83.1%

RK3.14

5.2对信源J*]=(玉％WZ£%X]

编二进制费诺码，计

_P(X)J[0.20.190.180.170.150.10.01

算编码效率。

解：

XiP(Xi)编码码字k：

Xt0.20002

X?0.19000103

1

X30.181on3

Xi0.170102

Xs0.1501103

1

X60.11011104

1

X70.01111114

K=^2^,.p(x,.)=2x0.2+3x0.19+3x0.18+2x0.17+3x0.15+4x0.1+4x0.01

=2.74

”(X)H(X)2.609

77=---------=—=—=---------=95.2%

RK2.74

%I\xxx2x3x4x5x6x7

5.3对信源P(X)『jo.20.190.180.170.150.10.01编二进制和三进制哈

夫曼码，计算各自的平均码长和编码效率。

解：

二进制哈夫曼码:

XiP(Xi)编码码字k.

Sb1

S50.610

s«0.391

Sy0.350

S20.261

Xi0.20102

X20.191112

X30.1800003

Xi0.1710013

X50.1500103

Si0.111

XG0.1001104

X70.01101114

^=^^,.p(x)=2x0.24-2x0.19+3x0.18+3x0.17+3x0.15+4x0.1+4x0.01

=2.72

皿卫卫二95.9%

RK2.72

三进制哈夫曼码:

Xip(x.)编码码字总

S31

s?0.540

Si0.261

Xi0.2221

Xs0.190002

Xj0.181012

X40.172022

x$0.150102

Xe0.11112

X70.012122

灭=Z%P(xJ=1x0.2+2x(0.19+0.18+0.17+0.15+0.1+0.01)

=1.8

H(X)H(X)2.609

Z7=-----=—-------=----------=y1.4%

RK，1.8xlog3

710g2加2

「XI%芍*3ZX5x6Xix8

5.4设信源11111111•

L'"[248163264128128j

(1)求信源燃，㈤；

(2)编二进制香农码和二进制费诺码；

(3)计算二进制香农码和二进制费诺码的平均码长和编码效率:

(4)编三进制费诺码；

(5)计算三进制费诺码的平均码长和编码效率；

解：

(1)

H(X)=-ZP(%)唾2P(X,)

=^xlog22+^xlog24+^xlog28+^-xlog216+-^xlog232+-^xlog264+-^-xlog2128+

248163264128

=1.984bit!symbol

⑵

二进制香农码:

XiP(Xi)p,(Xi)ki码字

Xi0.5010

Xz0.250.5210

X30.1250.753110

X40.06250.87541110

XS0.031250.9375511110

x60.0156250.968756111110

X70.00781250.98437571111110

X80.00781250.992187571111111

二进制费诺码:

xiP(Xi)编码码字ki

Xi0.5001

X20.250102

1

X30.125101103

X40.0625011104

x50.031250111105

X60.015625101111106

1

X?0.00781251011111107

1

X80.0078125111111117

(3)

香农编码效率:

「1/1-1「

K=Vz：fp(x.)=—xl+—x2+-x3+—x4+—x5H---x6H----x7+---x7

V248163264128128

=1.984

H(X)H(X)1.984

77=-----=一=100%

RK1.984

费诺编码效率:

K=>=—xl+—x2+-x3+—x4+—x5+—x6+—x7+—!—x7

T248163264128128

=1.984

H(X)H(X)1.984

77=--——=—=---------=100%

RK1.984

(4)

XiP(Xi)编码码字ki

Xt0.5001

X20.25111

X30.1250202

X40.06251212

Xs0.0312502203

2

Xe0.01562512213

2

X70.0078125022204

2

x80.0078125122214

(5)

-X-1,,.1.1-1_1-1_1,_1.1.

K—/k-p(x)——x1H—x1+—x2H—x2+—x34~—x3+-----x4+-----x4

T;248163264128128

=1.328

H(X)H(X)1.984

77=---------==-------------=---------------------=94.3%

RKlog2^1.328xlog23

5.8长."=63

(1)对001000000000000000000000000000000100000000000000000000000000000编Z-。码：

(2)对100001000010110000000001001000010100100000000111000001000000001编1一〃码，再译

码：

(3)对000000000000000000000000000000000000000000000000000000000000000编L-。码：

(4)对loiooonoioiiioooiioooiooioouooooiinoiiooioioooiioioiouoiooio编/一〃码:

(5)鼎肺讨论。

解：(1)0值：2；0的长度：Sg,(63+1)=6,0的编码：000010,

Z7)=3,〃1=34

3-134-163yl

530；7的长度:log,2I=11

12

7的编码：01000010010

码：00001001000010010

⑵(a)蒯：

0值：15；00^^：log,(63+l)=6,001111

/123456789101112131415

*1611131424273234374647485463

7=C+C+M+品+*+G,+cz；6+q+M+C：+C；+C+C+C：+C；

=0+10+120+495+1287+100947+657800+7888725+38567100+254186856

+10150595910+38910617655+140676848445+2403979904200+93052749919920

=95,646,769,289,470

7的长度：log,=「log,122131734269895]=47

010,1011,0111,1110,1011,1111,1110,0000,0000,0000,0000,0000

LD码：

0,0111J010a011,0111J110J011,1111,1110,0000,0000,0000,0000,0000

(b)译码：Q码001111,Q=15

C；=93,052,749,919,920,=122,131,734,269,895

显然，故〃”=63

T\=T-C；A=95,646,769,289,470-93,052,749,919,920

=2,594,019,369,550

C：=2,403,979,904,200,《=3,245,372,870,670

《：<(<£：,所以4,=54

QK兀-0

9305274991992095,646,769,289,470122,131,734,269,895

156263

24039799042002,594,019,369,5503,245,372,870,670

145354

1347140676848445190,039,465,350192,928,249,26948

12463891061765549,362,616,90552,251,400,85147

11451015059591010,451,999,25013,340,783,19646

1036254186856301,403,340348,330,13637

9333856710047,216,48452,451,25634

83178887258,649,38410,518,30032

726657800760,659888,03027

623100947102,859134,59624

51312871,9122,00214

41249562571513

31012013016511

251010156

100011

译码：

100001000010110000000001001000010100100000000111000001000000001

(3)000000；无。LD码：000000

⑷略

(5)LD编码适合于冗余酶多或较少的懵况。N一定。的长度确定。T

的长度取决于当Q41/2N］时，G'最大，T的膜最长。

5.13将正弦信号3=sin(16oo^)输入采样频率为8g采样保持器后通过A律13

折缓I阳匀量化编码器，设赢码器蹒I入范围是［-1,小■在一个周期

内信号值I,=sin(0.2/k),/=0,1,-,9的三目匆匀量化编码0"=0,1,-,9o

解：采样频率是正弦信阚率的10倍，每个正弦周期内有10个采样点，采

样值及期时匀量化编码如下表所示:

/r=(sinO.2/7r)绝对值的量非均匀量化

z极性码段落码段内码

化单位编码

00041000000010000000

10.5878204841111001011110010

20.9511389641111111011111110

30.9511389641111111011111110