信息论课件-chap离散平稳无记忆次扩展信源的熵

华侨大学通信工程 ： : 上次 H(X)=H(XN)=N·H(X)平稳随机序列:序列的统计性质与时间的推移无关即信源发出符号序列的概率分布与时间起点无关二维平 H(X1X2)p(aiaj)logp(aiaj j H(X2|X1)p(aiaj)logp(aj|ai) 2离散二维平稳信源的信息联合熵与条件熵HXXHX

HlimHN(X)limH(XN|X1X2...XNN N 3熵之间的相互关系小结H(XY)=H(X)+H(XY)=H(Y)+H(X|Y)H(X)>=H(X|Y)H(Y)>=H(Y|X)H(XY)<=H(X)+H(Y)4对通信系统而H(X)：表示信源中每个符号的平均信息量（信源熵）H(Y)：表示信宿中每个符号的平均信息量（信宿熵）：)。 通信通信系2.5息连续变量可用离散变量来近，因而连续信源6 波形信源的每个自由度就 续信源连续信源的不确定性为无7或一个自由8一、单符号连续信源的熵二、形信源三、续信源最大熵定9一、单符号连续信基本连续信源的信息基本连续信源的输出是取值连续的单个 ----又称单符号连续信可用变量的概率密度、变量间的条件概率密度概率密度来描基本连续信源的数学X p(x)

Rp(x)dx

p(xi)

pX(x)dxpX(xiXXP(x)

Rp(x)dx离散x取值区间[ab等分为n个宽的子区x处于(a+(i-1)a+i)的概率pi=p{a+(i-1)<x<a+i}=p(x)dx离散化后的数学模Xn

andp(x)np p(x p(x p(x n i

熵：HXnpilogpip(xi)logp(xi p(xi)logp(xi)p(xi)logi ibb当：n0（dx）XnXH(XnH(X有bbH(X)

limH(

)

p(x)logp(x)dx

p(x)dxlimlogn

H(X)

limH(

)

p(x)logp(x)dx

p(x)dxlimlog定义连续信源定义连续信源的熵为bb

说明

h(X)Rp(x)log当当取对数以2为底时，单位为：比特／自h(X)Rp(x)log连续信源的熵h(X)的含1与离散信源的熵在形式上实际问题中常常讨论的是如平均近时一致，这两项将互相抵消掉3在任何包含有熵差的问题中，上式定义的连续的熵具有信息的特h(X)称为差熵或相对熵，以区别于绝对熵同理，我们可以定义两个连续变量X、Y即h(XY)p(xy)logRh(Y|X)p(xy)logp(y|Rh(X|Y)p(xy)logp(x|R说明差熵仍然具有可加性和极值性，但却不具备非连续信源（1）（强）可加h(X|Y)h(X或h(Y|X)当且仅当X与Y统计独当且仅当X与Y统计独立时，上述两式等号成差熵h(X)是输入概率密度函数p(差熵h(X)是输入概率密度函数p(x)的∩型凸函数。因此对于某一概率密度函数，可以得到差熵的最大当且仅当X与Y统计独立时（3）[例2.5.1]一维均匀分布连续信源的概率密度函数为

axp(x)b xb,xbhX) log1 dxlogba(比特/自由度)bab b若(b-a)＜1，则得差熵h(X)＜0，即它N维区域体积内均匀分布的连续平稳信h(X)h(X1X2X

XN)h(XiNNN维区域体积的对[例2.5.2]求基 信源的差熵 (xm)2

m是X的均值2是X的方差p(x) exp

h(X)p(x)log

(xm)2p(x)log

exp

p(x)

dx

(xm)2 dxlog

21

(xm)2p(x)dx log2e2

(比特/自由度若均值m＝0，X的方差2就等于信源输出的平均功率则 h(X)1log2e21log2eP 已知平稳随机过程{已知平稳随机过程{x(t)}和→X1,X2,…,XN和Y1,Y2对平稳随机矢量X＝(X1X2…XN)和其差熵和条件差熵分别为h(X)=h(X1X2…XN)=－Rp(x)logh(Y)=h(Y1Y2…YN)=－Rp(y)logh(Y|X)=h(Y1Y2…YN|X1X2…XN)=－Rp(xy)logh(X|Y)=h(X1X2…XN|Y1Y2…YN)=－Rp(xy)log则平稳随机过程{x(t)}和其差则平稳随机过程{x(t)}和其差熵可由平稳随机矢量X和Y的差熵和条件差熵中各Nh(y(t))limh(YNh(y(t)|x(t))limh(Y|XNh(x(t)|y(t))limh(X|YN对于频率限制在F以内、时间限制在T范围内的平机过程，可以近似地用有限维(N＝2FT)的平稳随机矢量表这样，一个频带和时间都为有限的连续时间过程就。三、最大熵定 1、两种特殊连续信源的、均匀分布连续信 量X在[a,b]区间内均匀分布时，h(X)=log(b-当取对数以2为底时，单位为：比特／自h(X)=－Rp(x)logp(x)

,x[a,b]ba 信源的熵 p(x)

exp(xm)2

该连续信源的熵

(xm)2h(X)p(x)logp(x)dxp(x)log

exp

2

dx 1log2e2

当均值m＝0时，X的方差2等于信源输出的平均功率Ph(X)1log2e21log ２、具有最大熵的已知h是px极值？约束条件不同，信源的最大差熵值不同计算下面分别讨论我们最 的是两种特殊情况信源的输出幅信源的输出平均功率受１）峰值功率受限条件下信源的最]ablog(ba。当N维随机矢量取值受限时，只有各随机分量独立并且均匀２）平均功率受限条件下信源的最[定理2]若 h(X)=0.5log(2定理说明：当连续信源输