信息理论基础-周荫清-答案

2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}

八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}

二进制脉冲可以表示2个不同的消息，{0,1}

假设每个消息的发出都是等概率的，贝加

四进制脉冲的平均信息量H(Xi)=log2n=log24=2bit/symbol

八进制脉冲的平均信息量H(X2)=log2n=log28=3bit/symbol

二进制脉冲的平均信息量H(X0)=log2n=log22=1bit/symbol

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米

以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高

160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量X代表女孩子学历

X犯(是大学生)X2(不是大学生)

P(X)0.250.75

设随机变量Y代表女孩子身高

Yyj(身高＞160cm)y2（身高＜160cm）

P(Y)0.50.5

已知：在女大学生中有75%是身高160厘米以上的

即：P(yJX。=0.75

求：身高160厘米以上的某女孩是大学生的信息量

即：

1//、1「P(否)夕(弘/匹)][(0.25x0.75^,..r,

L

I(xl/yl)=-logp{xi/yl)=-log2-—--=-log2———=1.415bit

_P(必)JI0.5)

2.3一副充分洗乱了的牌(含52张牌)，试问

(1)任一特定排列所给出的信息量是多少？

(2)若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？

解：

(1)52张牌共有52!种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是:

/(xj=-logp(x)=log252!=225.581bit

(2)52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下:

13.208bit

XX]=0x=1x=2x=3

2.4设离散无记忆信源234,其发出的信息

尸(X)3/81/41/41/8

为(202120130213001203210110321010021032011223210),求

(1)此消息的自信息量是多少？

(2)此消息中平均每符号携带的信息量是多少？

解：

(1)此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:

此消息的信息量是：I=-log2p=87.811bit

(2)此消息中平均每符号携带的信息量是：Z/n=87.811/45^1.951bit

2.5从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%,

如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，

问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位

女士，则答案中含有的平均自信息量是多少？

解：

男士：

p(xY)=7%

/(xy)=-log27(与)=-log20.07=3.837bit

夕(马)=93%

I(xN)=-log2p(》N)=-log20.93=0.105bit

H(X)=-^2/?(x;.)log2=-(0.07log20.07+0.93log20.93)=0.366bit/symbol

女士:

H(X)=->,/>(xJlog2p(x)=-(0.005log20.005+0.995log20.995)=0.045bit/symbol

解释为什么，㈤>Iog6不满足信源炳的极值性。

解：

6

H(X)=-ZMxJlog?P(xJ

z

=-(0.21og20.2+0.191og20.19+0.181og20.18+0.171og20.17+0.161og20.16+0.171og20.17)

=2.657bit/symbol

H(X)>log26=2.585

6

不满足极值性的原因是Z夕（xJ=L07>l。

i

2.7证明：H（X/XiXz）H（X3/X,）,并说明当儿乂M是马氏链时等式成立。

证明：

5(工/毛占)_笈(冗/乂)

=一2ZZ2所巧2七3)logP(Xi3/孙孙)+22夕(如匕)log夕(巧3/孙)

zlz2z3zlz3

=一£ZZP(》俨2冷)logP(X,3/孙k2)+ZZEP(下四2匕3)log2(加/X;1)

zlz2i3zlz2z3

ZZEP(X，lX,2X,3)10g夕（如/孙）

zlz2Z3P（占3/"2）

-ESSMX，I33)[_i]log2e

,1/2，3l2(冷/孙为2)J

/、

=P(x〃x,2)P(x,3/)一p(而毛2专)log2e

IEzlEz2Sz3ZzlZz2Zz37

/r-|\

=ZEMX,R2)-1log2e

I"12L>,3」J

=0

H(X31XXX^<H(X3/XJ

当pQC一1=0时等式成立

77(xi3/xtixi2)

p(xi3/=p(xi3/xaxi2)

》XXXX

npGiixGpIx/xa)=p(xi3/,.1;2)7?(;1,.2)

NP(X,JMX,2/xjJM4/%)=^(x;1x;2x;3)

nPg/xjpg//)=p(xi2xi3/xti)

r.等式成立的条件是乜,工,工是马—氏链

2.8证明：H(X1X2^Xn)WH(X)+H(X2)+…+H(Xn)o

证明：

H(XlX2…XN)=H(X1)+H(X2/X^+H(Xi/XlX2)+...+H(XN/XxX2...XN_^

/(X2；XR0nH(X2)>HMIXJ

I(X3;X/)20nH(X3)>H(X3/XXX2)

/(居的占…Xu)20nH(XN)>H(XN/X—1)

/.H{XiX2...XN)<H(X1)+H(X2)+8(工)+…+H(XN)

2.9设有一个信源，它产生0,1序列的信息。它在任意时间而且不论以前发生

过什么符号，均按P(0)=0.4,P(1)=0.6的概率发出符号。

(1)试问这个信源是否是平稳的？

⑵试计算“(WX；及从；

(3)试计算，％；并写出/信源中可能有的所有符号。

解：

(1)

这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符

#......”

(2)

2

H(X)=2H(X)=-2x(0.41og20.4+0.6log,0.6)=1.942bit/symbol

HgX\XJ=H(X3)=—Zp(xjlog2MxJ=-(0.41og20.4+0.6log,0.6)=0.971bit/symbol

i

人=H(X)=0.971bit/symbol

(3)

H(X，)=4H(X)=-4x(0.41og20.4+0.6log20.6)=3.884bit/symbol

X’的所有符号：

0000000100100011

0100010101100111

1000100110101100

1101111011111011

2.10一阶马尔可夫信源的状态图如下图所示。信源*的符号集为{0,1,2}0

(1)求平稳后信源的概率分布；

(2)求信源的燃优。

解：

(1)

L®)=)夕®/与)+p(e2)P®/e2)

«p(e2)=p(e2)p(e2/e2)+p(e3)p(e2/e3)

p(e3)=p(e3)p(e3/e3)+p(ejp(e3/q)

夕(，)=夕•夕(ej+夕夕伯2)

«p(e2)=p-p(e2)+p-p(e3)

夕伯3)=夕夕(63)+夕夕(,)

夕(，)=夕伯2)=夕伯3)

<

夕(6)+夕伯2)+夕佰3)=1

P(由)=1/3

</?(e2)=l/3

pg)=1/3

)=p3)p(X]/弓)+p(e2)p(x1/e2)=p-p(eY)+p-p(e2)=(p+p)/3=l/3

<pg)=P(e2)P(X2/e2)+P(e3)P(X2/e3)=P-P(e2)+P'P©)=(/?+/?)/3=1/3

ex/e

夕(》3)=P(3)P(33)+P(4)PG/ej=P•p(e3)+p-夕(ej=(2+夕)/3=1/3

XIf012'

_P(X)J-[1/31/31/3：

⑵

33

%=-2ZP(e)p(ejejlogp(ejej

=一;M，/q)log??®/q)+；p(ejq)log,夕&/q)+；p®/ejlog,p(e3/q)

+g/02)log?p®/62)+gp(e2/e2)log2p(e2/+/e2~)log2p(e3/e2)

+；P(4/63)log??(G/63)+；p(eje3)log27?(e2/e3)+1p(e3/e3)log2p(e3/e3)

1--111--11-

-p-log2p+-plog2p+--plog2p+--plog2p+--plog2p+--plog2p

一(p-log2p+p-log2p)bit/symbol

275黑白气象传真图的消息只有黑色和白色两种，即信源片｛黑，白｝。设黑色

出现的概率为。黑=0.3,白色出现的概率为/Y即=0.7。

(1)假设图上黑白消息出现前后没有关联，求炳，㈤；

(2)假设消息前后有关联，其依赖关系为P(白/白)=0.9,P(黑/白)=0.1,

P(白/黑)=0.2,P(黑/黑)=0.8,求此一阶马尔可夫信源的炳从㈤；

(3)分别求上述两种信源的剩余度，比较，㈤和从㈤的大小，并说明其物理含

义。

解：

(1)

H(X)=一工夕(xjlogp(x)=-(0.3log0.3+0.7log0.7)log,10=0.881bit!symbol

(2)

P(eJ=夕(，)夕(，/ej+y?(e2)/?(£[/e2)

<p(黑/黑)=0.8

P(,e2)=p(e2)p(e2/e2)+p(ex)j»(e2/ej

夕(，)=0.8夕(eJ+0.1夕e2)

2Q)=0.9p(e)+0.22®)D

2二a

-

。、

(透

2&)=22®)二)

</9

二2

二

p(ej+">2)=l一

<P(，)=l/3

p®)=2/3

p(0/R)=O.9

P(et)p(eJejlogp(ejej

1122

-(-X0.81og0.8+-x0.21og0.2+yx0.11og0.1+yx0.91og0.9)log210

0.553bit/symbol

⑶

H「H,工3=11.9%

7=

H。log22

H「H,log??-055344.7%

7i==

H。log22

H(X)>H2(X)

表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构

化信息较多，能够进行较大程度的压缩。

2.7同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6,求:

。\

]

/“3和5同时出现”这事件的自信息；

\

]

(2/“两个1同时出现”这事件的自信息；

X

]

(a3/两个点数的各种组合(无序)对的炳和平均信息量；

X

)

/两个点数之和(即2,3,…，点构成的子集)的炳；

\

(5]

解z两个点数中至少有一个是1的自信息量。

⑴•

,、11111

p(x,)=-x-+-x-=—

,666618

/(xj=-log,夕(七)=-log2-^=4.170bit

lo

⑵

/、111

^)=6X6=36

/(为)=-log2p(x)=-log2一=5.170bit

J36

⑶

两个点数的排列如下:

111213141516

212223242526

313233343536

414243444546

515253545556

616263646566

共有21种组合:

44,55,66的概率是，xL=」-

其中11,22,33,

6636

其他15个组合的概率是2x^x1

6618

H(X)=p(xjlogy?(xz)=-(6x—log—+15x—log—)log210=4.337bit/symbol

i36361818

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下:

6789On2

「猿］［23451l1

“X=\1111515_1

_p(x)」［瓦国不§

P(X)366369121836J

H(X)=一£P(x)log/?(%,)

小「1,1,1-1,1-1,1-5,51,1、，，八

-(2xT71°g—+2x77-log77+2x77log77+2xKOgn+2xOgo7+7Og7^Og210

36361818121299363666

3.274bit/symbol

(5)

—

P(xj

6636

/(xj=-log,7?(x,)=-log2-JI=1.710bit

36

2.13某一无记忆信源的符号集为{0,1},已知9@=1/4,P(1)=3/4o

。x

)

z求符号的平均燃；

X

]

/

(2个有100个符号构成的序列，求某一特定序列(例如有R个“0”和(1OO-/77)

“1”)的自信息量的表达式；

X

]

(3解

/计算⑵中序列的炳。

⑴•

H(X)=一Zp(xjlog--(—log—+—log—)log10=0.811bit/symbol

t44442

(2)

^100-w

/(x;)=-log2/?(%,)=-log2=41.5+1.585mbit

(3)

H(X100)=100H(X)=100x0.811=81.1bit!symbol

2.14对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷

暖两个状态，调查结果得联合出现的相对频度如下：

」暖16暖12

若把这些频度看作概率测度，求：

(1)忙闲的无条件煽；

(2)天气状态和气温状态已知时忙闲的条件炳；

(3)从天气状态和气温状态获得的关于忙闲的信息。

解：

(1)

根据忙闲的频率，得到忙闲的概率分布如下：

X再忙闲

<63_40>

尸⑶

,103W3.

2(63,6340,40、

H(X)=-£p(Xi)=〔而噫而土而唾2而j0.964bit/symbol

(2)

设忙闲为随机变量X,天气状态为随机变量匕气温状态为随机变量Z

H(XYZ)=一£ZZ夕(巧匕4)log?P(Xjy产k)

ijk

(12,128।827।2716।16

(10321031032103103103103103

8,815,155,512,12

103103103-1031031031032103)

-2.836bit/symbol

HQZ)=一££ML2无)iog2p(yjZj

Jk

(20,2023,2332,3228,281

—T----log------1-----log------1-----log------1-----log-----

(1032103103210310321031032103)

=1.977bit/symbol

H(X/YZ)=H(XYZ)-H(YZ)=2.836-1.977=0.859bitIsymbol

(3)

/(X;YZ)=H(X)—H(X/YZ)=0.964-0.859=0.159bit/symbol

2.18有两个二元随机变量N和Y,它们的联合概率为

x,=0X2~1

y1=01/83/8

y2=13/81/8

并定义另一随机变量Z=*r(一般乘积)，试计算：

(1)H(x),H(Y),H(Z),H(XZ),H(YZ)^\H(XYZ)-,

(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)

和H(Z/XY)；

⑶/(X;Y),/(X;Z),I(Y;Z),/(X；Y/Z),/和/(X;Z/Y)。

解：

(1)

131

P(为)=p(xlyl)+p(Xly2)=-+-=-

oo2

311

P(％)=)+p(x2y2)=-+-=-

oo2

H(X)=;?(xz)log22(xj=1bit/symbol

131

夕(必)=夕(再必)+2(％2%)=76=彳

oo2

311

M%)=P(苞％)+p(x2y2)=-+-=-

oo2

H(Y)=一^2(七)log?夕(为)=1bitlsymbol

j

Z=XT的概率分布如下：

z4=0z?=1

71

P(Z)

、88

2

H(Z)=P(Zk)=T(l°g2：+'lo§21j=0.544bit!symbol

k

夕(匹)=夕(X[Z])+2(》逐2)

夕(》蹿2)=0

夕(七马)=P(再)=0.5

夕(zj=2(X/J+2(》2马)

73

?(》2%)=夕(zj一P(X/1)=--0.5=-

OO

p(z2)=p(xlz2)+p(x2z2)

/?(x2z2)=/?(z2)=1

o

[1331]

H(XZ)=O(x，zk)log2p(XjZQ=-(—log2—+—log2—+—log2-)=1.406bit/symbol

ikZoooo

。（%）=2（必马）+2（了逐2）

。0逐2）=0

。（必句）=。（乂）=0.5

。（4）=。（弘句）+0（%4）

73

。（必句）=p（zj-pg）=--0.5=-

oo

P（Z2）=M%Z2）+p（%Z2）

P（%Z2）=MZ2）=:

o

iiaaii

H（KZ）=—ZZMV/Z*）log?p（yjzk）=-（-log2-+-log2-+-log2-=1.406bit/symbol

X^iV1z2）=0

双司—尸。

P（x2ylz2）=Q

夕（X］%Z］）+夕（占了逐2）=P（X］%）

夕（Xi%zj=2（七必）=1/8

夕（X1%Z］）+P（X1%Z］）=?（X［Z］）

113

Mx/Zi）=Mx©）—）=---=-

Zoo

夕（》2%为）+夕（X2%Z2）=2（马%）

3

夕（X2%Z］）=夕（马%）=弓

O

?（》2%%）=0

p（x2y2zj+p（x2y2z2）=/?（x2j2）

夕（X2%Z2）=P（》2%）=:

O

XZ

H（XYZ）=一ZZZM,%Jlog2p（XjyjZk）

ijk

（1133331O

=-dl0g26+dl°g26+Gl°g2G+Gl0g26=1•8116”/symbol

\ooooooooJ

（2）

(ii333311A

lo+lolo

H{XY)=-£ZP(x，X/)l°g2P^yj)=-Qg2QQ§2-+7g2-+-log2-=1.811bit/symbo

ijyOOOOOOOOy

H(X/y)=H(XY)-H(Y)=1.811-1=0.811bit/symbol

H(Y/X)=H(XY)-H(X)=1.811-1=0.811bit/symbol

H(X/Z)=H(AZ)-H(Z)=1.406-0.544=0.862bit/symbol

H(Z/X)=H(^Z)-H(X)=1.406-1=0.406bit/symbol

H(Y/Z)=H(YZ)-H(Z)=1.406一0.544=0.862bit/symbol

H(Z/7)=H(YZ)-H(y)=1.406-1=0.406bit/symbol

H(X/YZ)=H(XYZ)-H(YZ)=1.811-1.406=0.405bit/symbol

H(Y/AZ)=H(XYZ)-H(JsZ)=1.811-1.406=0.405bit/symbol

H(Z/Xy)=H(XKZ)-H(ZF)=1.811-1.811=0bit!symbol

(3)

I(X;y)=H(X)—H(X/r)=l-0.811=0.189bit/symbol

/(X;Z)=H(X)-H(XIZ)=1-0.862=0.138bit/symbol

/(r；Z)=H(r)-H(y/Z)=1-0.862=0.138bit/symbol

/(X；y/Z)=H(XIZ)—H(XIYZ)=0.862-0.405=0.457bit/symbol

/(y；Z/X)=H(Y/X)-H(Y/XZ)=0.862-0.405=0.457bit/symbol

/(X;Z/r)=H(X/r)-H(X/YZ)=0.811-0.405=0.406bit/symbol

2.16有两个随机变量¥和匕其和为Z=¥+F(一般加法)，若彳和F相互独

立，求证：H(X)WH(Z),H(Y)WH⑵。

证明：

\-Z=X+Y

//、/、Jp(兀)(Z"f)ey

[0{zk-x^Y

H(Z/X)=p(Xizk)log2p⑵/xj=-£夕(西)Zp(z3xjlog2P(zjxj

iki_k_

=p(xjZ夕(匕)log?M匕)=H(Y)

iLj_

•••H{Z)>H(Z/X)

H(Z)>H(Y)

同理可得〃(Z)2〃(X)。

2.17给定声音样值X的概率密度为拉普拉斯分布p(x)=g助-胭，-8<》<+8,求

H<X),并证明它小于同样方差的正态变量的连续爆。

解：

件8

-£p(x)log2；Ae~^dx

%(X)=I/7(x)log2p(x)dx

=l°g21-[J加一"凶l°g2e^Adx

-log2—-rAe~^log2e~^dx

一2小一

其中：

h

「加。log2e-dx

=flog2e-M^)

=e"log2e」；—fV〃d(log2e刃=一|>〃『)log

2e=log2e

22e

H(X)=log——l-loge=log——bit/symbol

c(A2242

m=E(X)=£p(x)-xdx-£^Ae~^xdx=fxdx+£^Ae~^xdx

••,Lg心"x/=y)d(—y)=Q一办，办=_『1•加一例y办

=—Ae^xdx+f—Ae^xdx=0

J)22

er?=E[(X-俄)“=E(x2)=[/>(x)-x2fi&c=£^Ae~AMx2dx-£Ae~^x2dx

=-fVd-，=_(「，『"『"芯)=「"小2=2『e-公

=-|fx^=-|x『-feqdx)=*

•••乩(X正态)=(log27Ko2=log(病〉/(X)=log2)

zZZ

.12

2.18连续随机变量¥和r的联合概率密度为："(xj)=祥'+'

0其他

求，㈤，H(Y),，“⑵和/"，力。

冗兀

(提小：Plog2smxdx=log22)

解:

2X2-x2

P(x)p{xy~)dy------------(-r<x<r)

7ir7TT

Hc(X)=—p(x)logp(x)dx

2ylr2-x2

£J?(x)logdx

-r夕（》）log——dx-[j7(x)logVr2-x2dx

J-r7irJ-r

"2____________

=l°g^——[j9(x)log7r2-x2dx

1"21111

=log--logr+1--log2e

e

=log2"-g1°§2bitIsymbol

其中：

jp(x)log-\lr2-x2dx

r2sin2logrsinOdO

4r.

—rsin27^logrsinft/^

71

—sin2OiogrdO+—p^sin2logsinOdd

4-1-cos26"4出，

]k1)g4「一切+5jl—c:26>log

=—logrdd----logrReos2的6H——flogsinOdd-----Pcos26logsinOdd

兀金兀xJ)「

=logr--logr^dsm26+—(-ylog22)-—cos20logsinOdO

2冗

-logr-1----cos20logsinOdO

।11।

=logr-l+—log2e

其中：

0冗

—fcos2。logsinOdO

二一Flogsin0dsin26

/冗兀\

sin2^logsin6^-jsin2的logsin6

7V\7

TV沁虫”

O71

2

----log2efcos6d0

7t小

——log2e

7V

17t-171

----log2eRd。log2ecos20d0

--log2e--log2esin2霏

11

-万1叫。

(7^71/r-y

My)=p(xy)dx=.仆{-r<y<r)

p{y}=p。)

Hc(X)=Hc(X)=log2^r-^-log2ebit/symbol

HC{XY)=-jjp(xy)logp(xy)dxdy

R

=_JJp(盯)log」y公力

R"

=log%/^p{xy'jdxdy

R

=log,m~~bit/symbol

4(x；y)=4(X)+Hc(Y)-&(XF)

32

=2log27ir-log2e-log^r

=log271-log,ebit/symbol

2.19每帧电视图像可以认为是由3X105个像素组成的，所有像素均是独立变化,

且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含

有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述

此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等

概率分布，并彼此无依赖)？若要恰当的描述此图像，广播员在口述中至少需要

多少汉字？

解：

1)

H(X)=log2n=log2128=7bit/symbol

H(XN)=NH(X)=3X105X7=2.1X106bit/symbol

2)

H(X)=log2n=log210000=13.288bit/symbol

H(XN)=NH(X)=1000x13.288=13288bit/symbol

3)

2.1X106

=158037

13.288

2.20设X=XxX2...XN是平稳离散有记忆信源，试证明：

HIX—)=H(X1)+H(X2/X1)+H{XJXXX2)+...+H{XN/XxX2...XN_^o

证明：

H(XK…XN)

=O-ZP(Z)logp(%”…％)

Z1z2，N

=-££•1>(%X3“XiN)l°gP(A)P(XiJ…X%)

Z1z2lN

=-EE-EM43…％)logp(Z)—ZZ-EM%%…％)logM%/%)

ALi2，NJA『2L，N_

--EE-EMx/，,…/)i°gp(x，M/4•••/_,)

%,2，N

=—£以五)i°gM%)-£Z?)i°gM"/%)

Z1Z1z2

•xQlogM//%•••%”)

彳h

xx

=H(X])+8(X2/X])+笈区/i2)+-+H(XN/XxX2…xq

2.21设X=X]X2…XN是〃维高斯分布的连续信源，且儿乂…，尤的方差分

别是历2,&,...,蟾,它们之间的相关系数0(XjX/=O(i,)=l,2...,N"力。试证明:

〃维高斯分布的连续信源炳

1N

Hc(X)=Hc{XxX2...XN)=3Z唾22在

2i

证明：

相关系数0(X]X，=O(/,/=1,2,...,2V,i力j),说明天工2…是相互独立的。

%(X)=%(乂羽…羽)=乩(3)+4(占)+…+4(居)

.•・4(XJ=glog227KB

&(X)=&(M)+&(4)+…+4(Mv)

欢欣欣

——log22cr；+—log22o；+...+—log220%

]N

=nElog22陪

2i=i

2.22设有一连续随机变量，其概率密度函数p(x)=二；一

[0其他

(1)试求信源*的炳校㈤；

(2)试求Y=X+A64>。的炳"(以；

(3)试求Y=2"的炳”仞。

解：

1)

2

%(X)=-[/(x)log?fl^dx=-/(x)log2bxdx

=-log2b-^f(x)dx-[/(%)1°§2x?dx

2

=-log2b-2b^xlog2xdx

1.2ba31a3

=-^gb———log—

292e

'''Fx(x)=^Y，Fx(a)=^=l

2q3

H(X)=-logb---log—bit/symbol

c232e

2)

9：Q<x<a^Q<y-A<a

A<y<a+A

FY(y)=P(Y<y)=P(X+A<y)=P(X<y-A)

=£Abx2dx=-A)3

/(y)"'(y)=b(y-4)2

4(y)=—[/O)log2fWy=-1/(y)log,b{y-A)^dy

=-log2>[/(历办-[/(y)log2(y-育办

=-logb----log,—bit/symbol

?9e

=~(j;_^)35^y(6z+^)==1

r\3

H(Y)=-logb---log—bit/symbol

c232e

3)

•.-0<x<a=>0<^-<a

2

.\0<y<2a

4(y)=P(Y<y)=PQX<v)=P(X<§

f(y)=^(y)=^y2

o

2

He⑺=一[/(y)log2f(y)dy=—[/(j)log21ydy

=-log21•[f(y)dy-1/(j)log2F办

ibbt2、j

=-1og2plog2y办

,b2boi8/

=—log26―-—1og一

892e

12ba31(739-2ba3

=Tog2b7---log—+---

92e3

H(7)=-logb---log—+1bit/symbol

c232e

X1

3.1设信源X、=j/I通过一干扰信道，接收符号为Y={1,y2},

尸(X)」［0.60.4

91

信道转移矩阵为f£，求：

.44.

zX

l1I

\/信源*中事件方和事件X,分别包含的自信息量；

Z\

I2|

K7收到消息必。=7,勿后，获得的关于x,打=7,0的信息量;

z\

(3|

\7信源*和信宿V的信息爆；

/X

(41

\/信道疑义度以和噪声病H(Y/X)；

/X

(5)

\/接收到信息V后获得的平均互信息量。

4?

^•

1)

/(xj=-log22(匹)=-log20.6=0.737bit

/(x2)=-log2p(x2)=-log20.4=1.322bit

2)

夕(必)=夕(再)夕(必/项)+p(x2)p(yl/x2)=0.6x1+0.4xJ=0.6

o4

13

P(%)=P(Xi)P(y2/xi)+P(X2)M%/x2)=0-6xT+0.4x：=0.4

o4

/(X］；%)=log2=log,r=0,474bit

XJI)0.6

rz、ip(y,/x)1l/6er7.

/(七;％)=log,P二=log2-=-1.263bit

M%)0.4

/(》2；%)=l°g2=l°g2粤=T263bit

M%)0.6

/(x2;j2)=log2=log2堂=0.907bit

PM04

3)

H(X)=一Zp(xjlog夕(xJ=-(0.6log0.6+0.4log0.4)log,10=0.971bit/symbol

i

H(Y)=M匕)=-(0.6log0.6+0.4log0.4)log210=0.971bit/symbol

j

4)

H(丫/X)=Zp(xjp(yjXJlogP(yjx,)

55111133

-(0.6x—log—+0.6x—log—+0.4x—log—+0.4x—log—)xlog210

=0.715bit/symbol

•：H(X)+H(y/x)=H(y)+H(X/y)

H(X/y)=H(X)+H(Y/X)-H(y)

=0.971+0.715-0.971=0.715bit/symbol

5)

/(X；y)="(X)—〃(X/y)=0.971-0.715=0.256bit/symbol

~2

3.2设二元对称信道的传递矩阵为||

.33.

(1)若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)^\!(X;Y)-,

(2)求该信道的信道容量及其达到信道容量时的输入概率分布;

解：

1)

3311

H(X)=_£〃(X)=-(—xlog2—+—xlog2—)=0.811bit/symbol

〃(丫/X)=£P(Xi)p(yJx,)logp(yj阳)

iJ

322311111122

=-(—x—1g—+—x—1g—+—x—1g—+—x—1g—)xlog10

433433433433?

=0.918bit/symbol

3211

x+x=5833

My)二P(项以)+)=P(项)P(M/匹)+p(%2M^i/^2)=4y43°-

3112

M%)=M'l%)+%)=M'l)p(%/%)+夕。2)夕(歹2/%2)=aX§+aX§=04167

H(Y)=(匕)=-(0.5833xlog20.5833+0.4167xlog20.4167)=0.980bit/symbol