信息论与编码期末考试试题

2.7同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6,求:

⑴“3和5同时出现”这事件的自信息；

⑵“两个1同时出现”这事件的自信息；

⑶两个点数的各种组合(无序)对的熠和平均信息量；

(4)两个点数之和(即2,3,…，12构成的子集)的熔；

⑸两个点数中至少有一个是1的自信息量。

解:

(1)

p{/x、)=—1x—1+—1x—1=1—

,j666618

/(%,.)=-logp(x,)=-log-^=4.170bit

1o

(2)

p(x.)=lxl=—

'6636

/(x)=-logp(xj--log—=5.170bit

(36

(3)

两个点数的排列如下：

111213141516

212223242526

313233343536

414243444546

515253545556

616263646566

共有21种组合：

其中11,22,33,44,55,66的概率是Lx』=」-

6636

其他15个组合的概率是2X1XL=^-

6618

H(X)=一Zp(x,)logp(x,.)-|6x—log—+15x—log—1=4.337bit/symbol

I36361818J

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下:

一2567890U

1151511121

，1

，<

，-----

一

96一92

、3636361836

)

"(X)=Np(Xilogp(xJ、

2cxl—,log—1+c2x—1,log1—+c2x—1,log1—+c2x1—,log1—+c2x—5,log5—+1—,lo1g-

36361818121299363666

=3.274bitIsymbol

⑸

/、11,,11

p(x；)-Xxll=

“6636

/(x,)=-logp(x,)=-log=1.710bit

36

2.16一阶马尔可夫信源的状态图如下图所示。信源才的符号集为｛0,1,2｝。

(D求平稳后信源的概率分布；

(2)求信源的熔

解.

(1)

P(eJ="(eJpW/01)+，(02)〃®/0)

<p(e2)=p[e2)p(e1/e2)+p(e3)p(e2/e3)

/匕)=p(e3)p(e3/e3)+p(4)p(e3/4)

(p(e2)=p-pie,^p-p(e3)

〃3)=P，P(e3)+p-p(e|)

1p(ei)=p(e2)=p(e3)

[p(ei)+p(e2)+p(e3)=\

P(eJ=l/3

“⑸)=1/3

.p。)=1/3

P(X|)=P®)p(x1/e1)+p(e2)p(x1/e2)=p-p®)+p-p(e2)=(p+p)/3=1/3

'P(、2)=P(e2)p(x2/e2)+p(e3)p(x2/e3)=p-p(e2)+p-p(e3)=(p+p)/3=1/3

P(E)=p(e3)p(x3/e3)+M*)P(*3⑷=P,Pg)+P,P(e)=(P+P)/3=1/3

X012

P(X)1/31/31/3

⑵

3

H«,=一EZP(4)P(q/《HogP(ejej

一;p(6|/)logp(6|/4)+；p(e2/e,)logp(e2/et)+jp(e3/e,)logp(e3/e,)

+；p(q/62)logp(et/e2)+^p(e2/e2)logp(e2/e2)p(e3/e2)logp(e3/e2)

+gp(G/己3)log/己3)+；p(ej气)logp(e2/e3')+-p(e3/e3)\ogp(e3/e?)

1--111--11

---p-log/?+--plog/?+--p-log/?+--p-logp+--p-logp+--p-logp

=-(p-logp+p-logp)bitIsymbol

2.11有两个二元随机变量彳和匕它们的联合概率为

Xi=0x2=1

y1=01/83/8

y2=13/81/8

并定义另一随机变量Z=＞丫(一般乘积)，试计算：

(1)H(X),H(Y),H(Z),H(XZ),〃(⑵和〃夕⑵；

(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)

和

(3)/(X;Y),/(X;Z),/(Y;Z),/(X;Y/Z),/化刃和/(X;Z/Y)。

解：

(1)

131

P（X|）=p（七%）+p（X|为）=777

ooZ

311

+=

〃区）=〃（九2%）+〃（尤2力）=8-8-2-

”（X）=-ZP（x,）logP（X,）:1bit/symbol

131

p（y1）==-+-=-

ooz

311

-+---

p{y2）=PW2）+PW2）=882

"（y）=-Zp（x）iogp（x）=1bit!symbol

j

z=xy的概率分布如下：

»o

-哥-z-

z-2-

71

-<

p--

(z)88

-i

2f771]、

”（Z）=-ZP（Z*）=--log-+-log-=0.544bit/symbol

kOOoj

p（X|）=p（X]Zi）+p（X]Z2）

p（xlz2）=o

P（X,）=P（X]）=0.5

P（Z|）=P（X]Z|）+P（X2Z|）

73

。区号）=P（Zi）一。区2（）=--0.5=-

oo

，仁2）=，（早2）+/心272）

p（x2z2）=p（z2）=-

o

（i]33ii

“（XZ）=—XZP（X，）logP（x,z*）=—彳log彳+：logj+石log£=1.406hitIsymbol

；L\ZZoooo

，（%）=。（必％|）+，（丫化2）

P（ylz2）=0

P（HZ|）=P（M）=0.5

。亿）=。（月4）+。（乃4）

73

p（y2^=P^）-p（ylzl）=--0.5=-

oo

P（Z2）=P（MZ2）+P（N2Z2）

P（y2Z2）=P（Z2）=j

o

（[13311

H（YZ）=—ZZP（%4）logP（y/«）=-I-log-+jlogj+-log-=1.406hit/symbol

"(匹邛2)=。

。(匹32)=。

。(乙型2)=。

〃。|丁亿|)+〃(/>亿2)=，(占%)

，区〉，)=，区必)=1/8

，*，27|)+〃(西〉亿|)=〃(X|Z|)

113

。(匹力曷)=P(XRi)一。(王弘石)=o-o=o

Zoo

P(X2)1Z|)+P(X2，Z2)=，*2%)

3

。(乙》内)=0。2月)=°

o

，。2乃弓)=0

，“2为哥)+，*2乃［2)=〃(了28)

P(x2y2z2)=p(x2y2)=l

o

H(XYZ)=ZZ以七为4)lo§2P(x，M&)

，jk

(11333311、

=-log+log+log+log=1.811bit/symbol

(88888888J

(2)

(\ia3331iA

H(XK)=-^^p(x,.y;)log2p(x,.y.)==--log-+-log-+-log-+-log-=1.811Z?/7/symbol

ijV<ooooooooy

W(X/y)=H(yy)-//(y)=1.811-1=0.811bit/symbol

H(Y/X)=H(%y)-H(X)=1.811-1=0.811bit/symbol

H(X/Z)=H(XZ)-Z/(Z)=1.406-0.544=0.862bit/symbol

H(Z/X)=H(XZ)-H(X)=1.406-1=0.406bit!symbol

H(Y/Z)=H(KZ)-H(Z)=1.406-0.544=0.862bitIsymbol

H(Z/y)=H(yZ)-W(y)=1.406-1=0.406bit!symbol

H(X/YZ)=H(XYZ)-H(KZ)=1.811-1.406=0.405bit/symbol

“(F/XZ)="(XYZ)—〃(XZ)=1.811—1.406=0.405bitIsymbol

H(Z/Xy)=//(XyZ)-H(Xy)=1.811-1.811=0bit/symbol

(3)

/(X；y)=H(X)-H(X/y)=1-0.811=0.189bit/symbol

/(X;Z)=〃(X)—“(X/Z)=1—0.862=0.138hitIsymbol

/(y；Z)=H(y)-H(y/Z)=1-0.862=0.138bit/symbol

I(X;Y/Z)=H(X/Z)-H(X/YZ)=0.862-0.405=0.457bit/symbol

I(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.862-0.405=0.457bitIsymbol

I(X;Z/Y)=H(X/Y)-H(X/YZ)=0.811-0.405=0.406bit/symbol

2.10对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态,

调查结果得联合出现的相对频度如下:

若把这些频度看作概率测度，求：

(1)忙闲的无条件嫡；

(2)天气状态和气温状态已知时忙闲的条件嫡；

(3)从天气状态和气温状态获得的关于忙闲的信息。

解：

(1)

根据忙闲的频率，得到忙闲的概率分布如下：

XX1忙X2

<63_40>

P(X)

,103而,

2卢log且+当。g幽］

H(X)=P®)logP®)==0.964bit!symbol

<103103103103J

(2)

设忙闲为随机变量X,天气状态为随机变量匕气温状态为随机变量Z

H(XYZ)=—ZZZP(X，W)logpg3)

乌。g上+8嚏区+马。g旦+A°g也

103103103103103103103103

+A10gA+ll10gll+A10gA+ll10g

103103103103103103103

=2.836bit/symbol

"(yz)=-zzp(3)logp(x0)

Jk

3l°g至+马。g2+当。g四+3°g28)

W3J

(103103103103103103103

=1.977bitIsymbol

H(XIYZ)=H(XYZ)-H(YZ)=2.836-1.977=0.859bit/symbol

⑶

I(X;YZ)=H(X)-H(X/YZ)=0.964-0.859=0.159bit/symbol

2.17黑白气象传真图的消息只有黑色和白色两种，即信源后｛黑，白｝。设黑色出现的概率

为户匍=0.3,白色出现的概率为P(白):0.7。

(1)假设图上黑白消息出现前后没有关联，求婚，㈤；

(2)假设消息前后有关联，其依赖关系为P(白/白)=0.9,P(黑/白)=0.1,P(白/黑)=0.2,

P(黑/黑)=0.8,求此一阶马尔可夫信源的燧从㈤；

(3)分别求上述两种信源的剩余度，比较，⑴和从㈤的大小，并说明其物理含义。

解.

(1)

H(X)=-2。(玉)logp(x()=-(0.3log0.3+0.7log0.7)=0.881bit/symbol

Q)

p6)=p(e|)p(C|/)+p(e2)p(eje2)

p(e2)=p(e2)p(e2/e2)+p(et)p(e2/)

p(e1)=0.8p(e1)+0.1p(e2)

〃2)=0.9。(62)+0.2次)

p(e2)=2p(el)

p(e.)+p(e2)=l

p6)=l/3

p(e2)=2/3

p(白/白)=0.9

"s=-ZZP(，)P(S/，)logp(e,/e,.)

1122

—x0.81og0.8+-x0.21og0.2+—x0.llog0.14--x0.91og0.9

=0.553bit/symhol

⑶

H-//_log2-O.881_

7,0X119%

H。log2

—=5”

H(X)>H2(X)

表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构

化信息较多，能够进行较大程度的压缩。

2.18每帧电视图像可以认为是由3X105个像素组成的，所有像素均是独立变化，且每像素

又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有

一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此

图像所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)？若要恰当的描

述此图像，广播员在口述中至少需要多少汉字？

解：

1)

”(X)=log〃=log128=7bitIsymbol

H(XW)=^H(X)=3X105X7=2.1X106bitIsymbol

2)

H(X)=log几=log10000=13.288bitIsymbol

“(XN)=N〃(X)=1000x13.288=13288bit/symbol

2.15

（1）

这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符

解：2比特/信道符号，1.585比特/信道符号，1.585比特/信道符号

3D

解：4m=°，4ax=不次（夕=历4+。E三+（1-。）皿1一夕奈特/符号，

43

1]|3

在火（。）中令。=0,—,；,一,工可作图。

4324

解：⑴2值：2：0的长度：log,(63+D=6,2的编码：000010,

%=3,/72=34

530：7■的长度

7•的编码：01000010010

Z-O码：00001001000010010

⑵⑶编码：

。值：15:0的长度：logd63+l)=6,0的编码：001111

/123456789101112131415

*1611131424273234374647485463

7=c+《+4+c+3+a+6+a+4+c+4+c:+c;+4+或

=0+10+120+495+1287+100947+657800+7888725+38567100+254186856

+10150595910+38910617655+140676848445+2403979904200+93052749919920

=95,646,769,289,470

7的长度：logj；；)=Flog,1221317342698951=47

7的编码：

010,1011,0111,1110,1011,1111,1110,0000,0000,0000,0000,0000

L-D码：

0,0111,1010,1011,0111,1110,1011,1111,1110.0000,0000,0000,0000,0000

(b)译码：Q码001111,Q=15

《=93,052,749,919,920,个=122,131,734,269,895

显然，故生=63

T=7=95,646,769,289,470-93,052,749,919,920

=2,594,019,369,550

C；=2,403,979,904,200,=3,245,372,870,670

公"＜叱，所以〃1“=54

QK2名

9305274991992095,646,769,289,470122,131,734,269,895

156263

24039799042002,594,019,369,5503,245,372,870,670

145354

1347140676848445190,039,465,350192,928,249,26948

12463891061765549,362,616,90552,251.400,85147

11451015059591010,451,999,25013,340,783,19646

1036254186856301,403,340348330.13637

9333856710047,216,48452,451,25634

83178887258.649,38410,518,30032

726657800760,659888,03027

623100947102,859134,59624

51312871,9122,00214

41249562571513

31012013016511

251010156

100011

译码：

I00001000010110000000001001000010100100000000111000001000000001

(3)。的编码：000000：7的编码：无。L-D码：000000

(4)略

(5)L-D编码适合于冗余位较多或较少的情况。N一定.Q的长度确定。T

的长度取决于以，当Q=W2N］时，中最大，T的位数最长。

[2.5]设离散无记忆信源A="[7"J：?，其发出的消息为

1(X)381I41/41'8

(2O212O13O213OO12O321O11O321O1OO21O32O1122321O),求

(1)此消息的自信息是多少？

(2)在此消息中平均每个符号携带的信息虽是多少？

解：

信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息

即为各消息的自信息之和根据已知条件，发出各消息所包含的信息员分别为：

/(%=0)=1083=1.415比特

“q=l)=log4=2比特

/(«,=2)=log4=2比特

/(“,=3)=log8=3比特

在发出的消息中，共有14个“0”符号，13个“1”符号，12个“2”符号，6个“3”

符号，则得到消息的自信息为：

/=14x1.415+13x2+12x2+6x3=87.81比特

45个符号共携带87.81比特的信息量，平均每个符号携带的信息量为

ft1

/=*=1.95比特符号

45

注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的

信息员，后者是信息瑜，可计算得

H(X)=-ZP(x)logP(x)=1.91比特符号

[217]设有一个信源，它产生0、1序列的消息：它在任意时间而且不论以前发生过什么

符号，均按尸(均=04,尸⑴=0.6的概率发出符号。

(1)试问这个信源是否是平稳的？

(2)试计算4(工2)、4(为下2)及向1匹(©。

(3)试计升并写出工"信源中可能有的所有符号。

解:

该信源任一时刻发出0和1的概率与时间无关，因此是平稳的，即该信源是离散平稳

信源：其信息埔为

H(X)=-^P(x)logP(.r)=0.971比特符号

信源是平稳无记忆信源，输出的序列之间无依赖，所以

Hg=2H(X)=1.942比特符号

//(T5|A-,A-,)=”(工)=0.971比特/符号

lun//y(.V)=A\)=H(X)=0.971比特/符号

H(l')=4/f(.V)=3.884比特符号

工,信源中可能的符号是所有4位二进制数的排序，即从00007H1共16种符号.

[2.20]黑白气象传真图的消息只有黑色和白色两种，即信源工=｛工白｝,设黑色出现的

概率为P(黑)=0.3,白色出现的概率为P(ri)=0.7.

(1)假设图上黑白消息出现前后没有关联，求嫡”(工)；

⑵假设消息前后有关联,其依赖关系为p(川门)=0.9,m'ltl)=0.1,Pdl|黑)=0.2,

尸(黑I黑)=0.8,求此一阶马尔克夫信源的嫡色。

(3)分别求上述两种信源的冗余度，并比较目(工)和4的大小，并说明其物理意义。

解：

如果出现黑白消息前后没有关联，信息熠为：

H(X)=-Zp/ogp,=0.881比特符号

当消息前后有关联时，首先画出其状态转移图，如下所示。

设？门两个状态的极限概率为0（黑）和0（口）,根据切普，也一柯彳;臾密各人方程可劭

‘。（黝=0.80（黝+0.10（门）

.向=0.20（黑）+0.90向

.0（黑）+0（白）=1

解得：

17

。（黑）=9P00=j

此信源的信息熠为:

氏=Z0（EJH（X㈤=0.553比特/符号

两信源的冗余度分别为:

皿得。”9

U

y,=l---=0.447

1log2

结果表明：当翩的消息之间有依赖时，信源输出消息的不确定性减弱。就本题而言,

当有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后

面基本可倩测是黑色消息：这时信源的平均不确定性减弱，所以信源消息之间有依赖时信

嬲小于信源消息之间无依赖时的信源情，这表明信翱正是反映信源的平均不确定的大

小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖

关系就越大C

2.7同时掷两个正常的骰子，也就是各面呈现的概率都为1/6,求：

(1)“3和5同时出现”这事件的自信息量；

(2)“两个1同时出现”这事件的自信息量；

(3)两个点数的各种组合(无序对)的嫡或平均信息量；

(4)两个点数之和(即2,3…12构成的子集)的嫡;

(5)两个点数中至少有一个是1的自信息量。

解：⑴4.17(比特/符号)，提示：3和5同时出现的概率为L1X2=1/18

66

(2)5.17(比特/符号)，提示：两个1同时出现的概率1/36

(3)“两个点数相同”的概率:1/36,共有6种情况；

“两个点数不同”的概率：1/18,共有15中情况.故平均信息量为：

专她36+仙gzl8=4.337比特/符号

(4)3.274(比特/符号)。提示：信源模型

23456789101112,

%%%%为%%%Y\i%

(5)1.711(比特/符号)。提示：至少有一个1出现的概率为

2.11有两个二元随机变量才和，，它们的联合概率为

并定义另一随机变量2=打(一般乘积)。试计算:

(1)〃⑺,H⑦,目(JZ),H(YZ)^H{XYZ);

(2)，(禹①,4(RZ),巩ZfX),HgZ),限ZIQ,网力图,

小肛Z)和，(窃⑺；

(3)/(Z;7),/(『；Z),I{Y,Z\/(匕4㈤和/(无〃7)。

解：提示：必7的联合概率分布

XYZ000001010011100101110111

I\XYZ)1/803/803/8001/8

XZ的联合概率分布以00011011

8庖1/203/81/8

YZ的联合概率分布急00011011

1/203/81/8

01

z的概率分布Z71

,88

⑴1比特/符号，1比特/符号，0.543比特/符号，1.406比特/符号，1.406

比特/符号，L811比特/符号

(2)0.811比特/符号，0.811比特/符号，0.863比特/符号，0.406比特/符号,

0.863比特/符号，0.406比特/符号，0.405比特/符号

(3)0.189比特/符号，0.137比特/符号,0.137比特/符号,0.458比特/符号,

0.406比特/符号，0.406比特/符号

［213］每帧电视图像可以认为是由3x10$个像素组成，所以像素均是独立变化，且每一

像素又取128个不同的亮度电平，并设亮度电平等概率出现:问每帧图像含有多少信息房？

若现有一广播员在约1000。个汉字的字汇中选1000个来口述此电视图像，试问广播员描

述此图像所广播的信息量是多少(假设汉字是等概率分布，并且彼此无依赖)？若要恰当

地描述此图像，广播员在口述中至少需用多少汉字？

解：

每个像素的电平亮度形成了一个概率空间，如下：

%外■"%”

=J___1_J_

了」［128128128.

平均每个像素携带的信息量为：

//(1)=log128=7比特像素

每顿图像由RIO、个像素组成，且像素间是独立的，因此每帧图像含有的信息量为：

H(心)=即(用=2.1x106比特帧

如果用汉字来描述此图像,平均每个汉字携带的信息量为H(Y)=log10000=13.29比特

，汉字，选择1000字来描述，携带的信息量为

H(H)=AH(f)=1.329x10,比特

如果要恰当的描述此图像，即信息不丢失，在上述假设不变的前提下，需要的汉字个

数为: