信息理论基础周荫清著课后习题答案

信息理论基础(周荫清著)课后习题答案

2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}

八进制脉冲可以表示8个不同的消息，例如：［0,1,2,3,4,5、6,7)

二进制脉冲可以表示2个不同的消息，例如：{0,1}

假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量H(Xi)=log2n=Iog24=2bit/symbol

八进制脉冲的平均信息量H(X：)=log2n=log28=3bit/symbol

二进制脉冲的平:均信息量H(X>)=log2n=log22=1bit/symbol

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女

孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大

学生”的消息，问获得多少信息量？

解：

设随机变量X代表女孩子学历

X内(是大学生)A-2(不是大学生)

P(X)0.250.75

设随机变量Y代表女孩子身高

Yy,(身高>160cm)y2(身高＜160cm)

P(Y)0.50.5

己知：在女大学生中有75%是身高160厘米以上的

即：p(yi/xi)=0.75

求：身高160厘米以上的某女孩是大学生的信息量

p*l)p(y/西)0.25x0.75)

即:/(玉/y)二一log〃区/X)=Tog2=1.415bit

My)-63)

2.3一副充分洗乱了的牌(含52张牌)，试问

(1)任一特定排列所给出的信息量是多少？

(2)若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？

解：

(1)52张牌共有52!种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是:

/(为)=-logp(x.)=log252!=225.581hit

(2)52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下:

413

C52

413

/(xz)=-log2p(xi)=-log2-75-=13.208bit

C52

2.4设离散无记忆信源［X［=h=°々=1%=2々=3］其发出的信息为

_P(X)J3/81/41/41/8

(202120130213001203210110321010021032011223210),求

(1)此消息的自信息量是多少？

(2)此消息中平均每符号携带的信息量是多少？

解：

(1)此消息总共有14个()、13个1、12个2、6个3,因此此消息发出的概率是：

、14、6

31

p=xX

4J

此消息的信息量是：/=-log2p=87.811bit

(2)此消息中平均每符号携带的信息量是：//〃=87.811/45=1.951

2.5从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一

位男士：“你是否是色盲,”他的回答可能是“是”，可能是“否”，问这两个回答中各含

多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信

息量是多少？

解：

男士：

〃(8)=7%

I(xY)=-log2p(xY)=-log20.07=3.837bit

p(x,v)=93%

/(xA.)=-log2p(xN)=-log20.93=0.105bit

2

H(X)=-^2p(-v,)log2=-(0.07log,0.07+0.93log20.93)=0.366bit/symbol

i

女士：

2

//(X)=_^/?(A-.)log2/?(%,)=-(0.005log20.005+0.995log20.995)=0.045bit(symbol

XXxxxx

2.6设信源2456求这个信源的炳，并解释为什么

p(x)0.20.190.180.170.160.17

H(X)>Iog6不满足信源燧的极值性。

解：

6

"(X)=-Z〃(Xi)bg2P(巧)

=-(0.21og20.2+0.191og20.19+0.181og20.18+O.171og20.17+0.161og20.16+0.171og20.17)

=2.657bit/symbol

//(X)>log26=2.585

6

不满足极值性的原因是，>(否)=1.07>1。

2.7证明：H(XJX,X?)WH(X3/XJ,并说明当心X?,尤是马氏链时等式成立。

证明：

7/(X3/X,X,)-/7(X3/X1)

二-ZZZP(XM2%3)lOg〃(占3/%d2)+Z£pCVi3)bgP*,3//)

/Ii2|3i\r3

=〃(*西2七3)bg〃(七3/XilXi2)+ZZZ〃(七丙2七3)噢〃(七3//)

i\i2i3

=ZZZp("2%)bg

i\i2i3P\Xi3/XnXj2)

-XZZP("2和)f严")-[log2e

/IZ2»3(〃(///冷)J

=ZZZP(32)P%//)-ZZZP533)略6

\11i2i3i\i2i3J

=EEP("2)ZP®3/%)Tbg2e

\"i2Li3JJ

=0

/.H(X3/X,X2)<H(X3/X,)

当P(///)—1=面等式成立

〃(//苍内2)

=>p(xi3/xn)=p(xi3/x：[xi2)

=>P("2)P("i3//)=〃(//七居2)〃(/玉2)

=>P(/)PC%//)〃(///)=PQ“芭2%)

=>P(xi2/xi])p(xi3/xil)=p(xi2xi3/xi})

---等式成立的条件整1,X"X,是马一氏链

2.8证明：H(X,X?.…Xn)WH(X)+H(X?)+…+H(XJ°

证明：

H(X1X2...X,V)=//(%,)+H(X2/X1)+H(X3/X1X2)+...+H(XAr/X1X2...XjV_l)

I(X：XJNUnH(X1)NH(XJX)

/(X3;X,X2)>0=>/7(X3)>//(X3/XIX2)

I(XN；X\X?…XN_\)N0OH(XN)NH(xN/X'X/.XNT)

:.H(XXX1...XN)<H{X})+H(X2)+H(X3)+...+H(XN)

2.9设有一个信源，它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号,

均按P(0)=0.4,P(1)=0.6的概率发出符号。

(1)试问这个信源是否是平稳的？

(2)试计算，的，HIX/XX)及心

(3)试计算并写出/信源中可能有的所有符号。

解：

(1)

〃（G）=p（G）p（G/，）+p（g）p（eje2）

,P&）=P（『）p（s/S）+P（S）/6）

P（q）=P（e3）p（ei/ei）+〃（,）〃（内/q）

p（ej=p,p（ej+p,p（e?）

■〃包）=〃〃（。2）+〃〃（6〕

Pg=P•P（e3）+P•P（eJ

〃（q）=〃（《2）=〃（《3）

〃（勺）+〃（《2）+〃（03）=1

〃（q）=l/3

«〃（/）=l/3

p（q）=l/3

〃（为）=p（6）p*|/6）+M/）〃（X|/4）=〃•〃（6）+P〃（/）=（〃+〃）/3=l/3

e

P（x2）=p（e2）p（%2/g）+P（6）P（%2/1）=P，P（2）+P，P（4）=（〃+p）/3=1/3

p（x3）=p（e3）p（x3/0）+p（q）p（x3/ej=p•p（e3）+p•p（q）=（p+p）/3=1/3

X012

P（X）1/31/31/3

⑵

33

He="XZP（ei）P（e,/e,）bgP（eJ4）

=-IP（，/q）log2〃（，/《）+；P（G/巧）log2p（4/e”；p（1/，）log2“（6/ex）

+1〃匕/e2）log2Me"/）+；Mg/6）log2〃（//e?）+；P（%/%）log2p（e3/e2）

+1p（eje3）log2"（《/%）+；p（e2/e、）log2p（e2/e3）+1p（6/ey）log2p（6/e3）

-1——111——11——

=--plogp+-plogp+-plogp+--plogp+--p-logp+--p-IogP

J2J2j）2J2J2J2

=-\p-log,p+plog2p）hit/symbol

2.11黑白气象传真图的消息只有黑色和白色两种，即信源后｛黑，白｝。设黑色出现的概率为

P（黑）=0.3,白色出现的概率为/Y白）=0.7o

（1）假设图上黑白消息出现前后没有关联，求焰，⑴；

（2）假设消息前后有关联，其依赖关系为白/即=0.9,P（黑/白）=0.',P（白/黑）=0.2,

P（黑/黑）=0.8,求此一阶马尔可夫信源的熠儿⑴；

（3）分别求上述两种信源的剩余度，比较和儿仞的大小，并说明其物理含义。

解：

（1）

”（X）=〃（七）log〃（玉）=-（0.3log0.3+0.7log0.7）k）g210=0.881bit/symbol

⑵

*P(eJ=/q)+心)

p(e2)=p(e2)p(e2/g)十p(q)p(g/e,)

p(el)=O.8p(el)+O.lp(e2)

p(e2)=0.9p(e2)+0.2〃(q)

p(e2)=2p(ei)

p(e1)+p(e2)=\

p(q)=l/3

p(«2)=2/3

"g=NZ"(4)P(€J6)log〃(巧/e,)

=-(ix().8log().8+1x0.2log0.2+|x().1log().l+|x0.9log0.9)log21()

=().553bit/symbol

⑶

%-儿二*2-0.881

“obg22

H0-H.二电2-0.553_

"obg22

H(X)>H2(X)

表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结沟化信息较多,

能够进行较大程度的压缩。

2.12同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6,求:

⑴“3和5同时出现”这事件的自信息；

⑵“两个1同时出现”这事件的自信息；

⑶两个点数的各种组合(无序)对的煽和平均信息量；

(4)两个点数之和(即2,3,…，12构成的子集)的熠;

⑸两个点数中至少有一个是1的自信息量。

解:

(1)

11111

z=—x—+—x—=—

'666618

/(x,)=-log2p(x,)=-log2-^=4.170bit

1o

(2)

/、_11

P(xj=-1x—=_---

'6636

/(%)=一嘀p(x,)=-log2-i-=5.170bit

36

(3)

两个点数的排列如下：

111213141516

212223242526

313233343536

414243444546

515253545556

616263646566

共有21种组合：

其中11,22,33,44,55,66的概率是2x2=」-

6636

其他15个组合的概率是2X4X1=L

6618

H(X)=-V〃(七)log〃(玉)=-(6x—log—+15x—log—)log^10=4.337bit/symbol

,36361818

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

「X1f234567891()11121

=111115151111>

_P(X)」［36789366369-121836l

H(X)=-工P($)logP(七)

i

1.1cli1cli1cli1c5151|1、1s

=-(2x——log—+2x——log——+2x——log—+2x—log—+2x——log—+—log—)log010

36361818121299363666-

=3.274bit/symbol

⑸

,.11,,H

p(x.)=—x—x11=——

'6636

/(不)=一咋2p(x,)=-log2^=1.710bit

36

2.13某一无记忆信源的符号集为{0.1},已知"@=1/4,P(1)=3/4o

(1)求符号的平均燃；

(2)有100个符号构成的序列，求某一特定序列(例如有勿个“0”和(100-㈤个“1”)

的自信息量的表达式；

(3)计算⑵中序列的熠。

解：

(1)

11Q3

x

H(X)=一Z〃(七)bgP(i)=-(—log—+—log—)log210=0.811bit!symbol

⑵

o100-w

/(七)=-iog2p(xj=-log?=41.5+1.585〃？bit

⑶

H(Xlw)=100H(X)=100x0.811=81.1bitIsymbol

2.14对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态,

调查结果得联合出现的相对频度如下：

冷12冷8

晴晴

暖8暖15

忙闲

冷27冷5

雨雨

暖16暖12

若把这些频度看作概率测度，求：

(D忙闲的无条件煽；

(2)天气状态和气温状态已知时忙闲的条件熠；

(3)从天气状态和气温状态获得的关于忙闲的信息。

解：

(1)

根据忙闲的频率,得到忙闲的概率分布如下:

%忙心闲

X

6340>

P(x)二

、而同

口/V、/\(63.6340.4())八八c/iI

"(x)=-ZP(N)=T诉bg2而+而log277K=0964bit!symbol

j11UJ1UJ1UJ1UJ,

(2)

设忙闲为随机变量X,天气状态为随机变量匕气温状态为随机变量Z

”(XYZ)=-ZZZP(芭XZk)10g2p(xy}zk)

12,128,827,2716.16

log2----1log2----1log,1----log2---

103---~103103----103103----103103---~103

8bg，+叵陶旦+二喀二+马。g,乌

+而103103103103103103103J

=2.836bit/symbol

zlo

H(YZ)=P^yjk)e2P(yjZk)

(2(),2023.2332.3228.28)

1103-103103-103103~103103~103；

=1.977bit!symbol

H(X/YZ)=H(XYZ)-H(YZ)=2.836-1.977=0.859bitIsymbol

(3)

Z(X;YZ)=〃(X)-〃(X/YZ)=0.964-0.859二().159bit/symbol

2.15有两个二元随机变量彳和r,它们的联合概率为

x,=0x2=1

Yi=01/83/8

y?二13/81/8

并定义另一随机变量z=AT(一般乘积)，试计算：

(1)H(X),H(Y),H(Z),H(XZ),⑵和〃夕⑵；

(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y)fH(X/YZ),和，必斤；

(3)I(X：Y),/(X;Z)fKY;Z),I(X;Y/Z),I(Y;Z/X)^W/(X;Z/Y)。

解：

(1)

131

p(再)=p(再y)+p(My2)=-+-=-

311

pM=p(xy))+pay)=-+-=-

222oo2

H(X)=_£〃(3)log2P(M)=1bit!symbol

i

131

P(居)=〃(％%)+=-+-=-

ooZ

311

p(%)=〃区>J)+/Xxy)=-+-=-

222ooZ

H(Y)=一Z〃(匕)bg2〃(M)=1bit!symbol

J

z=xy的概率分布如下：

z,=0z=1

Z2

=«71

p（z）、又A.

2/77ii\

H(Z)=p(z)=--^2-+-10§2Q=0544bit!symbol

kk18o88/

PUI)=PU|21)+P(XIZ2)

p(xiz2)=0

p(g)=p(x)=0.5

p(zj=p(XR)+M/zJ

73

)=p(2,)-〃(24)=£-0.5=3

oo

p(z2)=p(XtZ2)+p(x2z2)

P(XZ)=p(z)=-

222o

ilo]3Io31lo]1406

"(XZ)=—ZZ〃(中人)log2P^k)=-(-§2-+-g2-+-§2-)=bit/symbol

P(X)=P(，Z|)+p()，|Z2)

〃(+2)二°

P()R)=〃(凹)=。.5

j

p(z1)=p(>,z1)+p(y2zl)

r3

p(MZ|)=P(Z|)-〃([/])=--0.5=-

oo

p(z2)=p(y]z2)+p(y2z2)

p(yz)=p(z)=-

222o

I]331j

)log.)=-(-log,-+-log-+-log-)=1.406

H(YZ)=p(yjzk22bit/symbol

jkZoooo

，区)，仔2)=0

〃(太必2)=。

p(x2ylz2)=0

P(再PZ|)+pQ?|Z2)=P(FK)

p(x1y1z1)=p(x,y1)=l/8

〃(王)，24)+P($yZ[)=Mw)

/、/、、113

P(K%ZI)=PC。4)-p(z玉yz)=---=-

}iZoo

p(x2y,z1)+/Xx2j1z2)=p(x2y,)

3

p(x2y,z,)=p(x2y1)=-

o

P(x2y2zl)=0

p(x2MzI)+"a2y2)

P(x2y2z2)=

p(xyz)=p(xy)=-

22222o

H(XYZ)=-2ZZPGy：zk)log2〃(巧匕Z。

iJ卜

fl，01+3,033311)

=-ig2ong2^+^^g2-4--log2-=1.811bit!symbol

\ooooooooy

(2)

/1iQ3331i\

H(XY)=~YYP(F>,PI°O2P(xy)==--log-+^-log-+-log-+-iog-=1.811bit/symbol

jj\^OijOOO2OO2O22

H(X/Y)=H(XY)H(y)=1.8111=0.811bit/symbol

H(Y/X)=H(XY)-H(X)=1.811-l=0.811bitIsymbol

H(X/Z)=H(XZ)-/7(Z)=1.406-0.544=0.862bitIsymbol

H(Z/X)=/7(XZ)-/7(X)=1.406-1=0.406bit!symbol

H(Y/Z)=H(YZ)-H(Z)=1.406-0.544=0.862bitIsymbol

H(Z/Y)=H(YZ)-H(Y)=1.406-1=0.406bit/symbol

H(X/YZ)=H(XYZ)-H(rZ)=1.811-1.406=0.405bitIsymbol

H(Y/XZ)=H(XYZ)-H(XZ)=1.811-1.406=0.405bit/symbol

H(Z/XY)=H(XYZ)-H(XY)=1.811-1.811=0bit/symbol

(3)

Z(X；y)=H(X)-7/(X/y)=1-0.811=0.189hit/symbol

I(X;Z)=H(X)-H(X/Z)=1-0.862=0.138bitIsymbol

I(Y;Z)=H(Y)-H(Y/Z)=1-0.862=0.138bitIsymbol

I(XyY/Z)=H(X/Z)-H(X/YZ)=0.862-0.405=0.457bit/symbol

/(y；Z/X)="(y/X)—“(y/XZ)=0.862—0.405=0.457bit/symbol

Z(X;Z/y)=H(X/r)-Z/(X/yZ)=0.811-0.405=0.406bit/symbol

2.16有两个随机变量彳和匕其和为Z=X+Y(一般加法)，若X和V相互独立，求证:

H(X)WH⑵,H(Y)WH(Z)。

证明：

\'Z=X+Y

P(3)

•••P(zJXi)=p(z「xj=4

0(zk-x^^Y

”(Z/X)=ZMx%,)log2p(zk/xi)=-Z〃(巧)ZP®/x,.)log2p(z«/%)

ik»Lk

=Zp(%)2p(x)iog2P(x)="(y)

•LJ_

v/7(Z)>//(Z/X)

:.H(Z}>H(Y)

同理可得"(Z)2”(X)。

2.17给定声音样值X的概率密度为拉普拉斯分布〃(工)二方,-co<x<+oo,求He(X),并证

明它小于同样方差的正态变量的连续爆。

解：

"<(x)=-匚〃。)加的p(x)dx=p(x)log2Ae

；M

=-log2-p{x}dx-p(x)log2e~dx

乙

=log，£一「'：曲-冰10g,e~^dx

'xj2

2c+s

=log27~£ZvIog2L

/v

其中：

="『og2""I：-『『”(log2)=["[；)log2e=log2e

22e

:.H(\X)=log2—+log2e=log2—bit/symbol

in=E(X)=Jp(x)-xdx=J—Ae~^xdx=10—xdx+£gAe^'xdx

v£|ke^xdx=£^AeA(-y)(_)，)d(—y)=£gZe-Ayydy=12e-Ayydy

:.in=-[—xdx+[—Ae~Zxxdx=0

Jo2J。2

o2=E[(X-tn)2=E(x2)=jp(x)'x2dx=|+；Ae^x^dx=£Xe^x2dx

=一广—=—―[；一『"的=「」加=2「小

1GG

"<.(X正态)=-log17ieo-=log—而>"c(X)=log2一

2AA

厂+)Y\求〃⑺，H(Y),

2.18连续随机变量*和v的联合概率密度为：〃*,)，)=加「

0其他

，例0和I(X;Y)。

_£兀

f2

(提示：Jolog2sinAYZx=——log22)

解:

I.2A/r2-x

/)、=--------1一(-r<x<r)

]-\r'-TH'TO-

H<(X)=-£P(x)logp(x)dx

「2ylr-x2

=-〃(x)bg--------o-----dx

J-rm-

=-[pWlog—Jx-Jp(x)logVr2-x1dx

J-rm-

-Jp(x)log7r2-x2dx

TH-

=log-logr+1--loge

22

=log2——log2ebit!symbol

其中：

Jp(x)logVr2-x2dx

3Jr2-x2logy/r2-x1dx

令x=rcosO--，/-sinolog/-sin6t/(?-cos^)

=kt

4roe1

--Lr〜sin-6logrsinBel0

7ir~

4产.，

=J02sin"^log/,sinOdO

44JL

=­|2sin-0logrdO+—\2sin26logsin例6

万J。0储。

1-cos2^...4痔l-cos26

-------------dO+—2-------------logsinOdO

22

个了)开)N、界

=—logd；dO-----logcos2用0+—£2logsinOdO-—£2cos2^logsinOdO

2

=logr-----logr，dsin2。+—(-^-log22)-----£cos2^1ogsinGciG

=logr-1——「cos2,logsin勿夕

,,1,

=logr-I+-log2e

其中：

0£

—pcosZeiogsinOclO

i£

=—j^logsin^/sin20

1(££

=—sin2^logsin喟-£2sin23dlogsin。

=-耳2sin%os。空如配曲

7tJosin。

2

=--log2(?j^cosOdG

21r?l+cos2<9tn

11

=——log,e|2dO-----log,e\2cos20d0

乃~JonJo

I|£

=-3log2e一尸。g2esin哪

乙乙，I

1,

=--log2e

P(加展p(xy)小咯土小号王Or)

p(y)=p(尤)

HC(Y)=HC(X)=log,^r--log2ebit/symbol

Hc(XY)=-jjp(肛)bgp(xy)dxdy

R

=-jjp(xy)\o^-^dxdy

R勿.

=log^r2jjp(xy)dxdy

R

=log2m,bit/symbol

IC(X\Y)=HC(X)+HC(Y)-HC(XY)

=21og2^r-log2e-logm-~

=iog2Iog2ebit/symbol

2.19每帧电视图像可以认为是由3X105个像素组成的，所有像素均是独立变化，且每像素又

取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一

个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像

所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)？若要哈当的描述此

图像，广播员在口述中至少需要多少汉字？

解：

I)

H(X)=log,n=log2128=7bit/symbol

H(XN)=NH(X)=3X105X7=2.1X106bitIsymbol

2)

H(X)=log2n=log210000=13.288bit/symbol

H(XN)=NH(X)=1000X13.288=13288bit/symbol

3)

H(XN)2.lxl06

N==158037

H(X)13.288

2.20设X=X1X2...XN是平稳离散有记忆信源，试证明：

/7(X1X2...XAr)=77(X1)+H(X2/X1)+//(X3/XIX2)+...+/7(XiV/X1X2...XiV_I)o

证明：

HIX]X2...XN)

二一£Z…Z7…％)log“(％%…%)

*1»2%

=V)logp(七)p(z/%)..(况,

•i>2i”

=NE..2p(演z..阳)log〃(％)-ZZ-Zpg%••5)叫p(z/%)

•lLh%J»l*2L'N_

…•%)bgpCV%』T)

A<2>N

=-X〃(Z)bg〃(七)一ZE〃(七%)bg〃(4/%)

八八*2

…一〃(七)(玉,」必)

Zi2*2••,%Z4•♦4bgp&/

="(X1)+"(X?/XJ+H(X3/X]X2)+…+H(XN/X&.XNT)

2.21设X=Xd2...X”是力维高斯分布的连续信源，且的X?,…，尤的方差分别是

珑㈤…城，它们之间的相关系数aXiXj)=oa,/=i,2...,N,w)。试证明：力维高斯分布的

连续信源炳

1N

H(X)=H(XX...X)=-X^2^(y：

ili2N2i2

证明：

相关系数夕(x//)=0(i,j=1,2,…,N,i*j),说明XJ2…X,y是相互独立的。

H,(X)=HC(X,X2...XN)=H,(XJ+HIX?)+...+H,(XN)

•••乩(XJ=glog22点0；

•.H1.(X)=Hc(Xi)+H((X2)+..^Hc(XN)

=—log2盛(7；+-log17ieo\+...+—Iog

222222

]N

=TZ1O222^2

,i=\

0<x<a

2.22设有一连续随机变量，其概率密度函数p(x)=.

其他

(1)试求信源才的炳"少；

(2)试求Y=X+，〉0)的烯〃。9;

(3)试求V=2#的炳40%

解：

1)

2

H,.(X)=-JR/(x)log2f(x)dx=-£f(x)log2bxdx

2

=-log2/?-£f(x)dx-£/(x)log2xdx

1

=-log2/7-2“xlog2xdx

,,2ba3a?

=Tog2b---tlog—

92e

尸x⑴=，，Fx(。)二号=1

，He(X)=-log2b-----log2—bit!symbol

2)

'.'0<x<a^>0<y-A<a

A<y<a+A

FY(y)=P(Y<y)=P(X+A<y)=P(X<y-A)

=^Abx2dx=-(y-A)3

/(y)=Fr(y)=Z?(y-A)2

2

H,(y)=-)R/(y)log2/'(y)力=-£/(刈og2h(y-A)dy

2

=-log2/?•£f(y)dy-£/(y)log2(y-A)dy

=-log/?-2/?f(y-.A)2log(>*-A)d(y-A)

2JR2

^-loe,—bitIsymbol

=-log/?

29-e

••.4()')=g(y_A)3,4(a+A)=?=l

2〃3

H(Y)=-log,/?-----log,—bit!symbol

c■3~e

3)

*/0<x<«=>0<^<6/

2

0<y<2a

4(),)=P(Y<y)=P(2X<y)=P(X<+

=gbx2dx=4>3

2

/(y)=r(y)=1y

o

⑺=一工/⑴嗅2f(y)dy=—Jj(y)I%：产小

2

=Tog2tl/(y)<V-£/(y)log2ydy

=Tog2,_q(y2bg2)d)，

o4”

,b2酎8/

=-log,------------log.-----

52898，e

..2ha3.ay9-2后

=->og/?-log—+

292e3

.•・46')=Fy(2。)=4=1

4fJ

Hc(Y)=-log2Z7--1•log2—+1bit/symbol

X

3.1设信源通过一干扰信道，接收符号为Y={y1,y2},信道转移矩

P(X)0.60.4

51

--

为

阵66

13

--,求:

44

一

⑴信源彳中事件M和事件x?分别包含的自信息量；

⑵收到消息匕。42)后，获得的关于x,("7,2)的信息量;

(3)信源/和信宿丫的信息崎；

(4)信道疑义度仞和噪声炳人万勿；

(5)接收到信息r后获得的平均互信息量。

解：

1)

/(M)=-log2〃(X)=一bg20.6=0.737bit

/(x2)=-log2p(x2)=-log20.4=1.322bit

2)

p(y)=〃(xi)p(y/%)+〃(x，)p(y/弓)=。6、?+0.4><!=0.6

o4

13

〃()'2)=〃区)〃()'2/尤1)+〃(工2)〃(%/々)=°6三+0.4、:=0.4

64

/(x/X)=k)g2一J=log,——=0.474bit

P(M)0.6

〃(乃/七)=log2—=-1.263bit

/(x,;^2)=log2

”(%)().4

P(X/%2)=log,—=-1.263bit

/(x;y,)=log

22P(H)-0.6

/(招;必)=log,P(J，：2)=iOg,照=().907bit

~P(乃)-0.4

3)

”(X)=_£p(Xj)log〃(Xj)=-(0.6log0.6+0.4log0.4)log210=0.971bitIsymbol

i

_

H(Y)=一Z〃(匕)l°g〃G")=(0.6log0.6+0.4log0.4)log21()=0.971bit!symbol

4)

H(Y/X)=ZP(七)P(X/七)bg〃(3/苍)

55111133

=-(0.6x—log—+0.6x—log—+0.4x—log—+0.4x—log—)xlog,10

66664444

=0.715bit/symbol

・・・H(X)+H(Y/X)=H(Y)+H(X/Y)

H(X/Y)=H(X)+H(Y/X)-H(Y)

=0.971+().715-0.971=0.715billsymbol

5)

/(X；y)=//(X)-//(X/r)=0.971-0.715=0.256bit/symbol

21

3.2设二元对称信道的传递矩阵为；I

53.

(1)若P(0)=3/4,P(1)=1/4,求，⑴，HCX/Y),“化勿和l(X：Y)^

(2)求该信道的信道容量及其达到信道容量时的输入概率分布；

解：

1)

331I

H(X)=-ZP(M)=-(—xlog2—+—xlog2—)=0.811bit!symbol

“(y/x)=-gZ)p(匕/巧)嗟P()J%)

•J

32,231,111,112.2,s

=-(—x—]g—+—x—]g—+—x—1g—+—x—Ig—)Xxlog,10

433433433433

=0.918bit!symbol

3211

"(y)=)+〃(工2乃)=P(F)P(Y/2)+〃(X2)P()'1/%2)=.x5+1x5=0.5833

3112

P(y)=P&l匕)+P(W>2)=M%)P(%/内)+P(x2)P()'2/W)=:X；+7X；=0.4167

24343

H(Y)=—Zp{yj)=-(0.5833xlog20.5833+0.4167xlog20.4167)=0.980bit/symbol

j

I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)

H(X/Y)=H(X)-H(Y)+H(r/X)=0.8U-0.980+0.918=0.749bitIsymbol

/(X；y)=H(X)-H(X/Y)==0.811-0.749=0.062bit/symbol

2)

1122

C=max/(X;K)=log2m-Hmi=log22+(-1g—4--1g—)xlog210=0.082bit/symbol

/、1

〃(七)=3

J

3.3设有一批电阻，按阻值分70%是2KQ,30%是5KQ；按瓦分64%是0.125W,其余是0.25W。

现已