信息论所有课件-第4讲互信息

熵的性质–非负性、对称性、确定性、扩展性、可加性、极值性、上凸性、唯一性、递增性离散无

信源离散有

信源ReviewHL

(X)

H

(

X

)HL

(X)

H

(

X

)L多符号离散信源的信息测度–极限熵H

lim

HL

(X)离散有

信源特点H1(X)≥H2(X)≥…≥H∞(X)1条件熵H

(XL|X1X2···XL-1)随L的增加非递增L给定时,

H

L(X)≥

H

(XL|X1X2···XL-1)平均符号熵HL(X)随L的增加非递增4X

L

1

)H(X)

limHL(X)

limH(XL

|

X1X2L

LReview冗余度log2

n

H0

(X)

H1(X)

H2

(X)

H

(X)表明信源的

长度越长，熵就越小；即信源符号的相关性越强，所提供的平均信息量就越小。为了定量地描述信源的有效性，定义:

H

(

X

)H0(X)H

0

(

X

)

1

1

H(X)相对率冗余度Review第四讲互信息设有两个随机事件X和Y,X取值于信源发出的离散消息集合,Y取值于信宿收到的离散符号集合信道干扰源信源X信宿Y2

1n

p(x

)x1

P

X

互信息定义2

1n

p(

y

)

p(

y

)y1PY

x2xnp(xp(x

))y2ynp(

y

)互信息—表示接收到消息yj后获得关于事件xi的信息量。ip(xi

)

p(

y

j

)

p(

y

j

)p(x

)p(xi

|

y

j

)p(xi

y

j

)

log

p(

y

j

|

xi

)

logI

(xi

;

y

j

)

log互信息定义I

(xi

;

y

j)

I

(xi

)

I

(xi

|

y

j)

I

(

y

j)

I

(

y

j

|

xi

)

I

(xi

)

I

(

y

j)

I

(xi

y

j)1

1iip(x

)i

jp(x

)

p(x y

)

log

p(xi

|

yj

)logI

(xi

;

yj

)

log互信息性质p(xi

yj

)

log

p(

yj

|

xi

)p(xi

)

p(

yj

)

p(

yj

)

logip(x

)p(xi

|

y

j

)I

(xi

;

y

j

)

log

I

(xi

)

I

(xi

|

y

j)

I

(

y

j)

I

(

y

j

|

xi

)

I

(xi

)

I

(

y

j

)

I

(xi

y

j

)对称性I(xi;

yj

)

I(yj

;xi

)当X和Y相互独立时，互信息为0互信息量可为正值或负值I(xi;yj)≤I(xi)

,

I(xi;yj)≤I(yj)某地二月份天气构成的信源为18,18,

12,

14

x1

(晴),x2

(阴),x3

(雨),x4

(雪)

P(

X

)

X现有人告诉你:“今天不是晴天”，把这句话作为收到的消息y1。当收到消息y1

后，各种天气发生的概率变成后验概率，其中2

4

43

1

4

11

1

2

1p(

x

/

y

)

0;

p(

x

/

y

)

1

;

p(

x

/

y

)

1

;

p(

x

/

y

)

1计算y1与各种天气之间的互信息量。互信息实例1

121p(x

)

2

1/

2I

(x

:

y

)

logp(x1

/

y1)

log

0

(bit)2

1

22p(x

)

2

1/

4I

(x

:

y

)

log

p(x2

/

y1)

log

1/

2

1(bit)3

1

4

11/

8I

(x

;

y

)

I

(x

;

y

)

log

1/

4

1(bit)从y1分别得到了x2,x3,x4各1比特的信息量，即收到消息y1使得x2,x3,x4的不确定性减少了1比特。收到消息y1使得x2,x3,x4的不确定性减少了（或者说出现的可能性增加了）因而为正；而收到消息y1使得x1出现的可能性减少了，因而为负。互信息实例p(

xi

/

zk

)p(

xi

/

y

j

zk

)I

(

xi

;

y

j

/

zk

)

logiip(x

)p(x y

j

zk

)I

(xi

;

y

j

zk

)

log条件互信息与联合互信息

I

(xi

;

y

j

/

zk

)

I

(xi

;

zk

)i

j

k

i

kp(xi

zk

)

p(xi

)

logp(xi

zk

)

p(xi

)y

j

zk

)

log

p(xi

zk

)

log

p(xi?i

p(j

xky

z

)

pi

(xk

z

)条件互信息联合互信息

I

(x

;

y/

z

)

I

(x

;

z

)互信息量I

(xi

;

y

j)

是定量地描述输入随

量发出某个具体消息

xi

,输出变量出现某一具体消息yj时，流经信道的信息量；I

(xi

;

y

j

)

是随

xi

和yj

变化的随

量。作为信道中信息流通的测度应该是整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。平均互信息定义22i

jjii

jp(

xi

)

p(

y

j

)i

jp(

x

y

)p(

y

)p(

y

j

/

xi

)p(

x

y

)

logp(

x

)p(

xi

/

y

j

)p(

x

y

)

logn

m

i

j

2n

m

i

1

j

1i

1

j

1i

j

j

ii

j

i

jn

mI

(

X

;Y

)

p(

x

y

)I

(

x

;

y

)

i

1

j

1n

mI

(

X

;Y

)

p(

x

y

)I

(

y

;

x

)

i

1

j

1n

mI

(

X

;Y

)

p(

x

y

)

logi

1

j

1平均互信息定义定义互信息量I(xi;yj

)在联合概率空间P(XY

)中的统计平均值为Y对X的平均互信息量，简称平均互信息。极值性：I

(X

;Y

)

I

(Y;

X

)I

(

X

;

Y

)

0I

(

X

;Y

)

H

(

X

)I

(Y

;

X

)

H

(Y

)平均互信息性质与熵的关系：I(X;Y)

H(X)H(X

|Y)H(Y)H(Y

|

X)H(X)H(Y)H(XY)对称性：非负性：名称符号图

示H

(

X

)X

Y无条件熵X

YH

(Y

)X

Y条件H

(X

/

Y

)熵X

YH(Y

/

X

)联合H(XY)

H(YX)X

Y熵平均互I

(

X

;Y

)

I

(Y;

X

)X

Y信息平均互信息与熵之间的关系i

ki

j

ki

j

ki

j

kp(x

/

z

)p(xi

/

yjzk

)p(x

y

z

)logI(X;Y

/

Z)

p(xi

yjzk

)I(xi;

yj

/

zk

)i

ji

ji

j

kp(

x

y

)p(

x

y zk

)p(

x

y

z

)

log

i

j

kI

(

XY

;

Z

)

p(

xi

y

j

zk

)I

(

xi

y

j

;

zk

)i

j

k平均条件互信息和平均联合互信息基本关系式I

(

X

;YZ)

I

(

X

,Y

)

I

(

X

;

Z

|

Y

)I

(

X

;YZ)

I

(

X

;

ZY

)

I

(

X

;

Z

)

I

(

X

;Y

|

Z

)I

(YZ;

X

)

I

(

X

;YZ)I

(

X

;Y

)

I

(

X

;

Z

)

I

(

X

;Y

|

Z

)

I

(

X

;

Z

|

Y

)I

(

X

;YZ

)

I

(

X

;Y

)I

(

X

;YZ

)

I

(

X

;

Z

)图H(X|Y)H(Y|X)I(X;Y)H(X)H(XY)H(Y)I(X;Y)

H(X)H(X

|Y)

H(Y)H(Y

|

X)

H(X)H(Y)H(XY)H(XY)

H(X)

H(Y

|

X)

H(Y)

H(X

|Y)H(XY)

H(X)

H(Y)H(X)

H(X

|Y)H(Y)

H(Y

|

X)用I

(

X

;YZ)

I

(

X

,Y

)

I

(

X

;

Z

|

Y

)I

(

X

;YZ)

I

(

X

;

ZY

)

I

(

X

;

Z

)

I

(

X

;Y

|

Z

)I

(YZ;

X

)

I

(

X

;YZ)I

(

X

;Y

)

I

(

X

;

Z

)

I

(

X

;Y

|

Z

)

I

(

X

;

Z

|

Y

)I

(

X

;YZ

)

I

(

X

;Y

)I

(

X

;YZ

)

I

(

X

;

Z

)H(X)H(Y)H(Z)ABCDEFGC图理解A+B+C

A+B系统1系统2XYZ两级串联信道的情况H

(

X

Y

)

H

(

X

Z

)当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。说明数据处理过程中只会失掉信息，绝不会创造出新的信息，正所谓信息不增性。信息处理定理I

(

X

;Y

)

I

(

X

;

Z

)I

(

X

;Y

)

I

(

X

;

Z

)

I

(

X

;Y

|

Z

)

I

(

X

;

Z

|

Y

)基本关系式I

(

X

;YZ

)

I

(

X

;Y

)I

(

X

;YZ

)

I

(

X

;

Z

)I

(

X

;YZ)

I

(

X

,Y

)

I

(

X

;

Z

|

Y

)I

(

X

;YZ)

I

(

X

;

ZY

)

I

(

X