1信息论与编码课件

第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度1第二章信源及信源熵第一节信源的描述和分类第二节离散信源本章重点

离散/连续信源熵和互信息第二章信源及信源熵本章难点

离散序列有记忆信源的熵2本章重点离散/连续信源熵和互信息第二章信源及信信源产生消息(符号)、消息序列和连续消息的来源产生随机变量、随机序列和随机过程的源。在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度—概率空间来描述信源信源的基本特性：具有随机不确定性。2.1信源的描述和分类3信源2.1信源的描述和分类32.1信源的描述和分类一、香农信息论的基本点

用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。

二、信源的分类

按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类

{信源离散信源连续信源42.1信源的描述和分类一、香农信息论的基本点用随机变2.1信源的描述和分类连续信源连续信源是指发出在时间或幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。

离散信源离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。

离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源52.1信源的描述和分类连续信源离散信源离散信源{离散无记忆三、先验概率及概率空间的形式一个离散信源发出的各个符号消息的集合为：它们的概率分别为p(xi)为符号xi的先验概率单符号离散信源的数学模型—概率空间a,b,c,…z

显然有，

6三、先验概率及概率空间的形式一个离散信源发出的各个符号消息的2.1.1无记忆信源离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。用一个离散型随机变量X来描述这个信源输出的消息。72.1.1无记忆信源离散无记忆信源例如扔骰子，每次试验结发出单个符号的信源指信源每次只发出一个符号代表一个消息；发出符号序列的信源指信源每次发出一组含二个以上符号的符号序列代表一个消息离散无记忆信源8发出单个符号的信源离散无记忆信源8连续无记忆信源：输出在时间和幅度上都是连续分布的消息单符号连续无记忆信源的概率空间

随机取一节干电池测其电压值作为输出符号,符号取值为[0,1.5]之间的所有实数。

该信源就是发出单符号的连续无记忆信源9连续无记忆信源：随机取一节干电池测其电压值作为输出符号发出符号序列的信源设信源输出的随机序列为

X=(X1X2…Xl…XL)序列中的变量Xl∈{x1,x2,…

xn}这种由信源X输出的L长随机序列X所描述的信源称为离散无记忆信源X的L次扩展信源

10发出符号序列的信源设信源输出的随机序列为10随机序列的概率当信源无记忆时11随机序列的概率当信源无记忆时11一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量Xl之间是有依赖的。如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。表述有记忆信源要比表述无记忆信源困难得多离散有记忆信源所发出的各个符号的概率是有关联的。发出符号序列的有记忆信源发出符号序列的马尔可夫信源2.1.2有记忆信源用信源发出的一个符号序列的整体概率(即联合概率)反映有记忆信源的特征一个符号出现的概率只与前面一个或有限个符号有关,而不依赖更前面的那些符号12一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是此时需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征表述的复杂度将随着序列长度的增加而增加。

实际上信源发出的符号往往只与前若干个符号有较强的依赖关系，随着长度的增加依赖关系越来越弱，因此可以根据信源的特性和处理时的需要限制记忆的长度，使分析和处理简化。

13此时需要引入条件概率来反映信源发出符号序列内各个符号之间的记离散信源的统计特性①离散消息是从有限个符号组成的符号集中选择排列组成的随机序列（组成离散消息的信息源的符号个数是有限的）②在形成消息时，从符号集中选择各个符号的概率不同。③组成消息的基本符号之间有一定的统计相关特性。14离散信源的统计特性①离散消息是从有限个符号组成的符号集中选择2.1.3马尔可夫信源马尔可夫信源一类相对简单的离散平稳信源该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。用概率意义表达为152.1.3马尔可夫信源马尔可夫信源152.2离散信源熵和互信息问题：什么叫不确定度？什么叫自信息量？什么叫平均不确定度？什么叫信源熵？什么叫平均自信息量？什么叫条件熵？什么叫联合熵？联合熵、条件熵和熵的关系是什么？162.2离散信源熵和互信息问题：16什么叫后验概率？什么叫互信息量？什么叫平均互信息量？什么叫疑义度？什么叫噪声熵（或散布度）？数据处理定理是如何描述的？熵的性质有哪些？2.2离散信源熵和互信息17什么叫后验概率？2.2离散信源熵和互信息17定义：一个随机事件的自信息量定义为其出现概率对数的负值。即:2.2.1自信息量自信息量说明：因为概率越小，的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于是随机出现的，它是X的一个样值，所以是一个随机量。而是的函数，它必须也是一个随机量。

18定义：一个随机事件的自信息量定义为其出现概率对数的自信息量的单位的确定在信息论中常用的对数底是2，信息量的单位为比特（bit）；若取自然对数，则信息量的单位为奈特（nat）；若以10为对数底，则信息量的单位为笛特（det）。

这三个信息量单位之间的转换关系如下：1nat＝log2el.433bit，ldet＝log2103.322bit2.2.1自信息量19自信息量的单位的确定2.2.1自信息量19二进制码元0,1,当符号概率为p(0)=1/4,p(1)=3/4,则这两个符号的自信息量为：I(0)=－log2(1/4)=log24=2bitI(1)=－log2(3/4)=0.4151bit一个以等概率出现的二进制码元(0，1)所包含的自信息量为：

I(0)=I(1)=－log2(1/2)=log22=1bit一个m位的二进制数,有2m个等概率的可能组合I=－log2(1/2m)=mbit2.2.1自信息量几个例子20二进制码元0,1,当符号概率为p(0)=1/4,p(1)=

定义：随机事件的不确定度在数量上等于它的自信息量．说明:两者的单位相同，但含义却不相同。具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。

不确定度2.2.1自信息量21定义：随机事件的不确定度在数量上等于它的自信息量．不确定

一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大；若是确定性事件，出现概率为1，则它包含的不确定度为0。2.2.1自信息量222.2.1自信息量22I(xi)的特性：⑴I(xi)是非负值⑵当p(xi)=1时，I(xi)=0⑶当p(xi)=0时，I(xi)=∞⑷I(xi)是先验概率p(xi)的单调递减函数，即当p(x1)＞p(x2)时，I(x1)＜I(x2)⑸两个独立事件的联合信息量等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。23I(xi)的特性：23两个消息xi，yj同时出现的联合自信息量

注意:当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有I(xiyj)=I(xi)+I(yj)。xiyj所包含的不确定度在数值上也等于它们的自信息量。

2.2.1自信息量联合自信息量24两个消息xi，yj同时出现的联合自信息量注意:2.2.1定义：在事件yj出现的条件下，随机事件xi发生的条件概率为，则它的条件自信息量定义为条件概率对数的负值：

注意:

在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。

2.2.1自信息量4.条件自信息量25定义：在事件yj出现的条件下，随机事件xi发生的条件概率为例2－2－1

英文字母中“e”出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。解：“e”的自信息量I（e）=-log20.105=3.25bit“c”的自信息量I（c）=-log20.023=5.44bit“o”的自信息量I（o）=-log20.001＝9.97bit2.2.1自信息量26例2－2－1英文字母中“e”出现的概率为0.10一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。解:依据题意这一随机事件的概率空间为

2.2.2离散信源熵例2-2-227一个布袋内放100个球，其中80个球是红色的，20个球是白色其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事件.如果摸出的是红球，则获得的信息量是I（x1）=-log2p（x1）=-log20.8bit如果摸出的是白球，则获得的信息量是I（x2）=-log2p（x2）=-log20.2bit如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次数为np（x1）次，白球出现的次数为np（x2）次。随机摸取n次后总共所获得的信息量为np（x1）I（x1）+np（x2）I（x2）28其中：x1表示摸出的球为红球事件，x2表示摸出的如果每次则平均随机摸取一次所获得的信息量为

H（X）=1/n[np（x1）I（x1）+np（x2）I（x2）]=-[p（x1）log2p（x1）+p（x2）log2p（x2）]=0.72比特/次说明：自信息量I（x1）和I（x2）只是表征信源中各个符号的不确定度，一个信源总是包含着多个符号消息，各个符号消息又按概率空间的先验概率分布，因而各个符号的自信息量就不同。所以自信息量不能作为信源总体的信息量。29则平均随机摸取一次所获得的信息量为=0.72比特/次说明：因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也是非负值，且0p（xi）1，故信源的平均不确定度H（X）也是非负量。平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把H（X）称为信源X的熵。熵是在平均意义上来表征信源的总体特性的，可以表征信源的平均不确定度。

30因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也定义：离散信源熵H(X)(平均不确定度/平均信息量/平均自信息量)定义信源的平均不确定度H(X)为信源中各个符号不确定度的数学期望，即：单位为比特/符号或比特/符号序列

信源熵具有以下三种物理含意：信源熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。信源熵H(X)表示信源输出前,信源的平均不确定度。信源熵H(X)反映了变量X的随机性

31定义：离散信源熵H(X)(平均不确定度/平均信单位为比特/符某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是一个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给予接收者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。当某一符号的概率为零时，在熵公式中无意义，为此规定这时的也为零。当信源X中只含一个符号时，必定有，此时信源熵H（X）为零。

32某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，例：甲地天气预报甲地提供的平均信息量大于乙地

乙地天气预报求：两地天气预报各自提供的平均信息量33例：甲地天气预报甲地提供的平均信息量大于乙地乙地天气预报求甲、乙地天气预报为两极端情况：信源是一确定信源，所以不存在不确定性，信息熵等于零。34甲、乙地天气预报为两极端情况：信源是一确定信源，所以不存在不甲、乙地天气预报为两极端情况：这种情况下,信源的不确定性最大,信源熵最大。甲地比乙地提供更多的信息量。因为甲地可能出现的消息数多于乙地可能出现的消息数。

35甲、乙地天气预报为两极端情况：这种情况下,信源的不确定性最大例2－6电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则共能组成

个不同的画面。按等概率计算，平均每个画面可提供的信息量为

＝3×105×

3.32比特/画面

36例2－6＝3×105×3.32比特/画面有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000篇仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为H（X）＝log2N＝4×103

×3．321．3×104比特／千字文

比较：“一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。

37有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文例2－2－4

设信源符号集X={x1,x2,x3}，每个符号发生的概率分别为p（x1）=1/2，p（x2）＝l／4，p（x3）＝1／4。

则信源熵为H（X）=1/2log22+1/4log24+1/4log24=1.5比特/符号

38例2－2－4设信源符号集X={x1,x2,x3}，每个符号例2－2－5

该信源X输出符号只有两个，设为0和1。输出符号发生的概率分别为p和q，p＋q=l。即信源的概率空间为

则二元信源熵为H（X）=-plogp-qlogq=-plogp-(1-p)log(1-p)=H(p)39例2－2－5该信源X输出符号只有两个，设为0和1。输出符号00.20.40.60.8110.80.60.40.2pH(p)信源信息熵H(X)是概率p的函数,通常用H(p)表示p取值于[0，1]区间。H(p)函数曲线如图所示。

如果二元信源的输出符号是确定的,即p=1或q=1,则该信源不提供任何信息。当二元信源符号0和1以等概率发生时,信源熵达到极大值,等于1比特信息量。4000.20.40.60.8几个概念定义：在给定yj条件下，xi的条件自信息量为I(xi/yj)，X集合的条件熵H（X/yj）为

H（X/yj）=

在给定Y（即各个yj）条件下，X集合的条件熵H(X/Y)定义为

H（X/Y）==条件熵41几个概念定义：在给定yj条件下，xi的条件自信息量为I(xi相应地，在给定X（即各个xi）的条件下，Y集合的条件熵H(Y/X)定义为

H(Y/X)=联合熵定义：联合熵是联合符号集合XY上的每个元素对xiyj的自信息量的概率加权统计平均值。定义为：

H（XY）=

说明:联合熵H（XY）表示X和Y同时发生的不确定度。42相应地，在给定X（即各个xi）的条件下，Y集合的条件联合熵定联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在下列关系

H（XY）＝H（X）＋H（Y／X）H（XY）＝H（Y）＋H（X／Y）

证明:由43联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在下列所以□44所以□44证明:

由所以45证明:所以45例2-9二进制通信系统用符号“0”和“1”,由于存在失真,传输时会产生误码,用符号表示下列事件：u0：一个“0”发出：u1：一个“1”发出v0：一个“0”收到；v1：一个“1”收到。给定下列概率：

p(u0)＝1/2,p(v0|u0)＝3/4，p(v0|u1)=1/2求：⑴已知发出一个“0”,求收到符号后得到的信息量；⑵已知发出的符号,求收到符号后得到的信息量⑶知道发出的和收到的符号,求能得到的信息量；⑷已知收到的符号，求被告知发出的符号得到的信息量。46例2-9二进制通信系统用符号“0”和“1”,由于存在失真,传解：⑴p(v1|u0)=1－p(v0|u0)=1/4⑵联合概率：p(u0v0)=p(v0|u0)p(u0)=3/4×1/2=3/8p(u0v1)=p(v1|u0)p(u0)=1/4×1/2=1/8p(u1v0)=p(v0|u1)p(u1)=1/2×1/2=1/4p(u1v1)=p(v1|u1)p(u1)=[1－p(v0|u1)]=1/2×1/2=1/447解：⑴p(v1|u0)=1－p(v0|u0)=1⑶解法1：解法2H(UV)=H(U)+H(V|U)=1+0.91=1.91比特/符号48⑶解法1：48⑷解法1解法2：利用贝叶斯公式:同理:p(u1|v0)=2/5，p(u0|v1)=1/3,p(u1|v1)=2/349⑷49例2-8:一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2”已知X的先验概率:p(x0)=2/3,p(x1)=1/3,符号转移概率：p(y0|x0)=3/4,p(y2|x0)=1/4

p(y1|x1)=1/2,p(y2|x1)=1/2，XY010123/41/21/21/4信源熵50例2-8:一个二进信源X发出符号集{0,1},经过离散无记忆得联合概率：p(x0y0)=p(x0)p(y0|x0)=2/3×3/4=1/2p(x0y1)=p(x0)p(y1|x0)=0p(x0y2)=p(x0)p(y2|x0)=2/3×1/4=1/6p(x1y0)=p(x1)p(y0|x1)=0p(x1y1)=p(x1)p(y1|x1)=1/3×1/2=1/6p(x1y2)=p(x1)p(y2|x1)=1/3×1/2=1/6条件熵由51得联合概率：由51联合熵H(X,Y)＝H(X)＋H(Y|X)=1.8bit/符号得p(y0)=∑p(xiy0)=p(x0y0)+p(x1y0)=1/2+0=1/2p(y1)=∑p(xiy1)=p(x0y1)+p(x1y1)=0+1/6=1/6

p(y2)=∑p(xiy2)=p(x0y2)+p(x1y2)=1/6+1/6=1/3由52联合熵得p(y0)=∑p(xiy0)=p(x0y0由得同理p(x0|y1)=0；p(x1|y1)=1p(x0|y2)=1/2；p(x1|y2)=1/253由得同理p(x0|y1)=0；p(x1|y1)信源X有扰离散信道信宿Y干扰源图2-2-2简单的通信系统模型2.2.3互信息54信源X有扰离散信道信宿Y干扰源图2-2-2简单的通什么叫信源X的先验概率p(xi)?由于信宿事先不知道信源在某一时刻发出的是哪一个符号,所以每个符号消息是一个随机事件。信源发出符号通过有干扰的信道传递给信宿。通常信宿可以预先知道信息X发出的各个符号消息的集合,以及它们的概率分布，即预知信源X的先验概率p(xi)。几个概念什么叫后验概率?当信宿收到一个符号消息yj后，信宿可以计算信源各消息的条件概率p(xi/yj),i=1,2,…N,这种条件概率称为后验概率。

55什么叫信源X的先验概率p(xi)?几个概念什么叫后验概率?5互信息量为后验概率与先验概率比值的对数:I（xi;yj）=log

什么叫平均互信息量?

什么叫互信息量?

互信息量I(xi;yj)在X集合上的统计平均值为：I（X；yj）=平均互信息量I（X；Y）为上述I（X;yj）在Y集合上的概率加权统计平均值:I（X；Y）56互信息量为后验概率与先验概率比值的对数:I（xi;yj）=说明:在通信系统中，若发端的符号是X，而收端的符号是Y，I（X；Y）就是在接收端收到Y后所能获得的关于X的信息。若干扰很大，Y基本上与X无关，或说X与Y相互独立，那时就收不到任何关于X的信息.若没有干扰，Y是X的确知一一对应函数，那就能完全收到X的信息H（X）。性质：

I（X；Y）=H（X）一H（X／Y）I（Y；X）=H（Y）一H（Y／X）=I（X；Y）57说明:在通信系统中，若发端的符号是X，而收端的符号是Y，I（I（X；Y）＝H（X）一H（X／Y）证明:58I（X；Y）＝H（X）一H（X／Y）证明:58什么叫疑义度?

信道上的干扰和噪声所造成的对信源符号X的平均不确定度H（X／Y），故称为疑义度。说明:

H（X）是符号集合X的熵或不确定度.H（X／Y）是当Y已知时X的不确定度.“Y已知”这件事使X的不确定度减少了

I（X；Y）.信宿收到的平均信息量等于信宿对信源符号不确定度的平均减少量。I（X；Y）是有扰离散信道上能传输的平均信息量，而H（X／Y）是在Y条件下要唯一地确定信源发出符号所需要的平均信息量。59什么叫疑义度?信道上的干扰和噪声所造成的对信收、发两端的熵关系

I(X;Y)

H(X)

H(Y)

H(X/Y)疑义度

H(Y/X)噪声熵60收、发两端的熵关系I(X;Y)H(X)H(什么叫噪声熵或散布度?条件熵H（Y／X）唯一地确定信道噪声所需要的平均信息量，故又称噪声熵或散布度。说明:平均互信息量可看作在有扰离散信道上传递消息时，唯一地确定接收符号y所需要的平均信息量H（Y），减去当信源发出符号为已知时需要确定接收符号y所需要的平均信息量H（Y／X）。61什么叫噪声熵或散布度?条件熵H（Y／X）唯一地确定信什么叫全损离散信道?

信源发出的信息量在信道上全部损失掉了，故称为全损离散信道。分析:对于I（X；Y）＝H（X）-H（X／Y）而言,如果X与Y是相互独立的，那么Y已知时X的条件概率等于X的无条件概率，由于熵就是这概率的对数的数学期望，X的条件熵就等于X的无条件熵，此时I（X；Y）=0。62什么叫全损离散信道?信源发出的信息量在信道上全部损失掉了，这可理解为既然X与Y相互独立，无法从Y中去提取关于X的信息。这可看成信道上噪声相当大，以致有H（X／Y）=H（X）。在这种情况下，能传输的平均信息量为零。这说明信宿收到符号y后不能提供有关信源发出符号X的任何信息量。63这可理解为既然X与Y相互独立，无法从Y中去提取关于X的信息。什么叫无扰离散信道?

由于没有噪声，所以信道不损失信息量，疑义度H（X／Y）为零，噪声熵也为零。这时的信道叫无扰离散信道。说明:如果Y是X的确定的一一对应函数，那么Y已知时X的条件概率非“1”即“0”，因为当X与Y有一一对应关系时，当X和Y满足该确定函数时，条件概率必为1，而不满足确定函数时条件概率必为零。也就是说，I（X；Y）=H（X）。

64什么叫无扰离散信道?由于没有噪声，所以信道不损失信

符号xi与符号对yjzk之间的互信息量定义为：I(xi;yjzk)=log定义

定义

条件互信息量是在给定zk条件下，xi与yj之间的互信息量，定义为：I（xi;yj/zk）=log

65符号xi与符号对yjzk之间的互信息量定义为：定义I（xi;yjzk）＝I（xi;zk）＋I（xi;yj/zk）

证明:

66I（xi;yjzk）＝I（xi;zk）＋I（xi;yj/说明:一个联合事件yjzk出现后所提供的有关xi的信息量I(xi;yjzk)等于zk事件出现后提供的有关xi的信息量I（xi;zk）,加上在给定zk条件下再出现yj事件后所提供的有关xi的信息量I（xi;yj/zk）。67说明:67I（xi;yjzk）＝I（xi;yj）＋I（xi;zk/yj）证明:68I（xi;yjzk）＝I（xi;yj）＋I（xi;zk/I（xi;yjzk）=I（xi;zkyj）证明:因为所以I（xi;yjzk）=I（xi;zkyj）69I（xi;yjzk）=I（xi;zkyj）证明:69三维联合集XYZ上的平均互信息量

I（X;YZ）＝I（X;Y）＋I（X;Z／Y）证明:70三维联合集XYZ上的平均互信息量I（X;YZ）＝I（X;＝I（X;Y）＋I（X;Z/Y）71＝I（X;Y）＋I（X;I(X;YZ)＝I(X;Z)＋I(X;Y/Z)

证明:72I(X;YZ)＝I(X;Z)＋I(X;Y/Z)证明:72＝I（X;Z）＋I（X;Y/Z）73＝I（X;Z）＋I（X;YI(YZ;X)＝I(Y;X)＋I(Z;X/Y)

证明(思考题)74I(YZ;X)＝I(Y;X)＋I(Z;X/Y)证明(思考第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度75第二章信源及信源熵第一节信源的描述和分类第二节离散信源本章重点

离散/连续信源熵和互信息第二章信源及信源熵本章难点

离散序列有记忆信源的熵76本章重点离散/连续信源熵和互信息第二章信源及信信源产生消息(符号)、消息序列和连续消息的来源产生随机变量、随机序列和随机过程的源。在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度—概率空间来描述信源信源的基本特性：具有随机不确定性。2.1信源的描述和分类77信源2.1信源的描述和分类32.1信源的描述和分类一、香农信息论的基本点

用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。

二、信源的分类

按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类

{信源离散信源连续信源782.1信源的描述和分类一、香农信息论的基本点用随机变2.1信源的描述和分类连续信源连续信源是指发出在时间或幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。

离散信源离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。

离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源792.1信源的描述和分类连续信源离散信源离散信源{离散无记忆三、先验概率及概率空间的形式一个离散信源发出的各个符号消息的集合为：它们的概率分别为p(xi)为符号xi的先验概率单符号离散信源的数学模型—概率空间a,b,c,…z

显然有，

80三、先验概率及概率空间的形式一个离散信源发出的各个符号消息的2.1.1无记忆信源离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。用一个离散型随机变量X来描述这个信源输出的消息。812.1.1无记忆信源离散无记忆信源例如扔骰子，每次试验结发出单个符号的信源指信源每次只发出一个符号代表一个消息；发出符号序列的信源指信源每次发出一组含二个以上符号的符号序列代表一个消息离散无记忆信源82发出单个符号的信源离散无记忆信源8连续无记忆信源：输出在时间和幅度上都是连续分布的消息单符号连续无记忆信源的概率空间

随机取一节干电池测其电压值作为输出符号,符号取值为[0,1.5]之间的所有实数。

该信源就是发出单符号的连续无记忆信源83连续无记忆信源：随机取一节干电池测其电压值作为输出符号发出符号序列的信源设信源输出的随机序列为

X=(X1X2…Xl…XL)序列中的变量Xl∈{x1,x2,…

xn}这种由信源X输出的L长随机序列X所描述的信源称为离散无记忆信源X的L次扩展信源

84发出符号序列的信源设信源输出的随机序列为10随机序列的概率当信源无记忆时85随机序列的概率当信源无记忆时11一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量Xl之间是有依赖的。如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。表述有记忆信源要比表述无记忆信源困难得多离散有记忆信源所发出的各个符号的概率是有关联的。发出符号序列的有记忆信源发出符号序列的马尔可夫信源2.1.2有记忆信源用信源发出的一个符号序列的整体概率(即联合概率)反映有记忆信源的特征一个符号出现的概率只与前面一个或有限个符号有关,而不依赖更前面的那些符号86一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是此时需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征表述的复杂度将随着序列长度的增加而增加。

实际上信源发出的符号往往只与前若干个符号有较强的依赖关系，随着长度的增加依赖关系越来越弱，因此可以根据信源的特性和处理时的需要限制记忆的长度，使分析和处理简化。

87此时需要引入条件概率来反映信源发出符号序列内各个符号之间的记离散信源的统计特性①离散消息是从有限个符号组成的符号集中选择排列组成的随机序列（组成离散消息的信息源的符号个数是有限的）②在形成消息时，从符号集中选择各个符号的概率不同。③组成消息的基本符号之间有一定的统计相关特性。88离散信源的统计特性①离散消息是从有限个符号组成的符号集中选择2.1.3马尔可夫信源马尔可夫信源一类相对简单的离散平稳信源该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。用概率意义表达为892.1.3马尔可夫信源马尔可夫信源152.2离散信源熵和互信息问题：什么叫不确定度？什么叫自信息量？什么叫平均不确定度？什么叫信源熵？什么叫平均自信息量？什么叫条件熵？什么叫联合熵？联合熵、条件熵和熵的关系是什么？902.2离散信源熵和互信息问题：16什么叫后验概率？什么叫互信息量？什么叫平均互信息量？什么叫疑义度？什么叫噪声熵（或散布度）？数据处理定理是如何描述的？熵的性质有哪些？2.2离散信源熵和互信息91什么叫后验概率？2.2离散信源熵和互信息17定义：一个随机事件的自信息量定义为其出现概率对数的负值。即:2.2.1自信息量自信息量说明：因为概率越小，的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于是随机出现的，它是X的一个样值，所以是一个随机量。而是的函数，它必须也是一个随机量。

92定义：一个随机事件的自信息量定义为其出现概率对数的自信息量的单位的确定在信息论中常用的对数底是2，信息量的单位为比特（bit）；若取自然对数，则信息量的单位为奈特（nat）；若以10为对数底，则信息量的单位为笛特（det）。

这三个信息量单位之间的转换关系如下：1nat＝log2el.433bit，ldet＝log2103.322bit2.2.1自信息量93自信息量的单位的确定2.2.1自信息量19二进制码元0,1,当符号概率为p(0)=1/4,p(1)=3/4,则这两个符号的自信息量为：I(0)=－log2(1/4)=log24=2bitI(1)=－log2(3/4)=0.4151bit一个以等概率出现的二进制码元(0，1)所包含的自信息量为：

I(0)=I(1)=－log2(1/2)=log22=1bit一个m位的二进制数,有2m个等概率的可能组合I=－log2(1/2m)=mbit2.2.1自信息量几个例子94二进制码元0,1,当符号概率为p(0)=1/4,p(1)=

定义：随机事件的不确定度在数量上等于它的自信息量．说明:两者的单位相同，但含义却不相同。具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。

不确定度2.2.1自信息量95定义：随机事件的不确定度在数量上等于它的自信息量．不确定

一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大；若是确定性事件，出现概率为1，则它包含的不确定度为0。2.2.1自信息量962.2.1自信息量22I(xi)的特性：⑴I(xi)是非负值⑵当p(xi)=1时，I(xi)=0⑶当p(xi)=0时，I(xi)=∞⑷I(xi)是先验概率p(xi)的单调递减函数，即当p(x1)＞p(x2)时，I(x1)＜I(x2)⑸两个独立事件的联合信息量等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。97I(xi)的特性：23两个消息xi，yj同时出现的联合自信息量

注意:当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有I(xiyj)=I(xi)+I(yj)。xiyj所包含的不确定度在数值上也等于它们的自信息量。

2.2.1自信息量联合自信息量98两个消息xi，yj同时出现的联合自信息量注意:2.2.1定义：在事件yj出现的条件下，随机事件xi发生的条件概率为，则它的条件自信息量定义为条件概率对数的负值：

注意:

在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。

2.2.1自信息量4.条件自信息量99定义：在事件yj出现的条件下，随机事件xi发生的条件概率为例2－2－1

英文字母中“e”出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。解：“e”的自信息量I（e）=-log20.105=3.25bit“c”的自信息量I（c）=-log20.023=5.44bit“o”的自信息量I（o）=-log20.001＝9.97bit2.2.1自信息量100例2－2－1英文字母中“e”出现的概率为0.10一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。解:依据题意这一随机事件的概率空间为

2.2.2离散信源熵例2-2-2101一个布袋内放100个球，其中80个球是红色的，20个球是白色其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事件.如果摸出的是红球，则获得的信息量是I（x1）=-log2p（x1）=-log20.8bit如果摸出的是白球，则获得的信息量是I（x2）=-log2p（x2）=-log20.2bit如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次数为np（x1）次，白球出现的次数为np（x2）次。随机摸取n次后总共所获得的信息量为np（x1）I（x1）+np（x2）I（x2）102其中：x1表示摸出的球为红球事件，x2表示摸出的如果每次则平均随机摸取一次所获得的信息量为

H（X）=1/n[np（x1）I（x1）+np（x2）I（x2）]=-[p（x1）log2p（x1）+p（x2）log2p（x2）]=0.72比特/次说明：自信息量I（x1）和I（x2）只是表征信源中各个符号的不确定度，一个信源总是包含着多个符号消息，各个符号消息又按概率空间的先验概率分布，因而各个符号的自信息量就不同。所以自信息量不能作为信源总体的信息量。103则平均随机摸取一次所获得的信息量为=0.72比特/次说明：因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也是非负值，且0p（xi）1，故信源的平均不确定度H（X）也是非负量。平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把H（X）称为信源X的熵。熵是在平均意义上来表征信源的总体特性的，可以表征信源的平均不确定度。

104因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也定义：离散信源熵H(X)(平均不确定度/平均信息量/平均自信息量)定义信源的平均不确定度H(X)为信源中各个符号不确定度的数学期望，即：单位为比特/符号或比特/符号序列

信源熵具有以下三种物理含意：信源熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。信源熵H(X)表示信源输出前,信源的平均不确定度。信源熵H(X)反映了变量X的随机性

105定义：离散信源熵H(X)(平均不确定度/平均信单位为比特/符某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是一个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给予接收者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。当某一符号的概率为零时，在熵公式中无意义，为此规定这时的也为零。当信源X中只含一个符号时，必定有，此时信源熵H（X）为零。

106某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，例：甲地天气预报甲地提供的平均信息量大于乙地

乙地天气预报求：两地天气预报各自提供的平均信息量107例：甲地天气预报甲地提供的平均信息量大于乙地乙地天气预报求甲、乙地天气预报为两极端情况：信源是一确定信源，所以不存在不确定性，信息熵等于零。108甲、乙地天气预报为两极端情况：信源是一确定信源，所以不存在不甲、乙地天气预报为两极端情况：这种情况下,信源的不确定性最大,信源熵最大。甲地比乙地提供更多的信息量。因为甲地可能出现的消息数多于乙地可能出现的消息数。

109甲、乙地天气预报为两极端情况：这种情况下,信源的不确定性最大例2－6电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则共能组成

个不同的画面。按等概率计算，平均每个画面可提供的信息量为

＝3×105×

3.32比特/画面

110例2－6＝3×105×3.32比特/画面有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000篇仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为H（X）＝log2N＝4×103

×3．321．3×104比特／千字文

比较：“一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。

111有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文例2－2－4

设信源符号集X={x1,x2,x3}，每个符号发生的概率分别为p（x1）=1/2，p（x2）＝l／4，p（x3）＝1／4。

则信源熵为H（X）=1/2log22+1/4log24+1/4log24=1.5比特/符号

112例2－2－4设信源符号集X={x1,x2,x3}，每个符号例2－2－5

该信源X输出符号只有两个，设为0和1。输出符号发生的概率分别为p和q，p＋q=l。即信源的概率空间为

则二元信源熵为H（X）=-plogp-qlogq=-plogp-(1-p)log(1-p)=H(p)113例2－2－5该信源X输出符号只有两个，设为0和1。输出符号00.20.40.60.8110.80.60.40.2pH(p)信源信息熵H(X)是概率p的函数,通常用H(p)表示p取值于[0，1]区间。H(p)函数曲线如图所示。

如果二元信源的输出符号是确定的,即p=1或q=1,则该信源不提供任何信息。当二元信源符号0和1以等概率发生时,信源熵达到极大值,等于1比特信息量。11400.20.40.60.8几个概念定义：在给定yj条件下，xi的条件自信息量为I(xi/yj)，X集合的条件熵H（X/yj）为

H（X/yj）=

在给定Y（即各个yj）条件下，X集合的条件熵H(X/Y)定义为

H（X/Y）==条件熵115几个概念定义：在给定yj条件下，xi的条件自信息量为I(xi相应地，在给定X（即各个xi）的条件下，Y集合的条件熵H(Y/X)定义为

H(Y/X)=联合熵定义：联合熵是联合符号集合XY上的每个元素对xiyj的自信息量的概率加权统计平均值。定义为：

H（XY）=

说明:联合熵H（XY）表示X和Y同时发生的不确定度。116相应地，在给定X（即各个xi）的条件下，Y集合的条件联合熵定联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在下列关系

H（XY）＝H（X）＋H（Y／X）H（XY）＝H（Y）＋H（X／Y）

证明:由117联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在下列所以□118所以□44证明:

由所以119证明:所以45例2-9二进制通信系统用符号“0”和“1”,由于存在失真,传输时会产生误码,用符号表示下列事件：u0：一个“0”发出：u1：一个“1”发出v0：一个“0”收到；v1：一个“1”收到。给定下列概率：

p(u0)＝1/2,p(v0|u0)＝3/4，p(v0|u1)=1/2求：⑴已知发出一个“0”,求收到符号后得到的信息量；⑵已知发出的符号,求收到符号后得到的信息量⑶知道发出的和收到的符号,求能得到的信息量；⑷已知收到的符号，求被告知发出的符号得到的信息量。120例2-9二进制通信系统用符号“0”和“1”,由于存在失真,传解：⑴p(v1|u0)=1－p(v0|u0)=1/4⑵联合概率：p(u0v0)=p(v0|u0)p(u0)=3/4×1/2=3/8p(u0v1)=p(v1|u0)p(u0)=1/4×1/2=1/8p(u1v0)=p(v0|u1)p(u1)=1/2×1/2=1/4p(u1v1)=p(v1|u1)p(u1)=[1－p(v0|u1)]=1/2×1/2=1/4121解：⑴p(v1|u0)=1－p(v0|u0)=1⑶解法1：解法2H(UV)=H(U)+H(V|U)=1+0.91=1.91比特/符号122⑶解法1：48⑷解法1解法2：利用贝叶斯公式:同理:p(u1|v0)=2/5，p(u0|v1)=1/3,p(u1|v1)=2/3123⑷49例2-8:一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2”已知X的先验概率:p(x0)=2/3,p(x1)=1/3,符号转移概率：p(y0|x0)=3/4,p(y2|x0)=1/4

p(y1|x1)=1/2,p(y2|x1)=1/2，XY010123/41/21/21/4信源熵124例2-8:一个二进信源X发出符号集{0,1},经过离散无记忆得联合概率：p(x0y0)=p(x0)p(y0|x0)=2/3×3/4=1/2p(x0y1)=p(x0)p(y1|x0)=0p(x0y2)=p(x0)p(y2|x0)=2/3×1/4=1/6p(x1y0)=p(x1)p(y0|x1)=0p(x1y1)=p(x1)p(y1|x1)=1/3×1/2=1/6p(x1y2)=p(x1)p(y2|x1)=1/3×1/2=1/6条件熵由125得联合概率：由51联合熵H(X,Y)＝H(X)＋H(Y|X)=1.8bit/符号得p(y0)=∑p(xiy0)=p(x0y0)+p(x1y0)=1/2+0=1/2p(y1)=∑p(xiy1)=p(x0y1)+p(x1y1)=0+1/6=1/6

p(y2)=∑p(xiy2)=p(x0y2)+p(x1y2)=1/6+1/6=1/3由126联合熵得p(y0)=∑p(xiy0)=p(x0y0由得同理p(x0|y1)=0；p(x1|y1)=1p(x0|y2)=1/2；p(x1|y2)=1/2127由得同理p(x0|y1)=0；p(x1|y1)信源X有扰离散信道信宿Y干扰源图2-2-2简单的通信系统模型2.2.3互信息128信源X有扰离散信道信宿Y干扰源图2-2-2简单的通什么叫信源X的先验概率p(xi)?由于信宿事先不知道信源在某一时刻发出的是哪一个符号,所以每个符号消息是一个随机事件。信源发出符号通过有干扰的信道传递给信宿。通常信宿可以预先知道信息X发出的各个符号消息的集合,以及它们的概率分布，即预知信源X的先验概率p(xi)。几个概念什么叫后验概率?当信宿收到一个符号消息yj后，信宿可以计算信源各消息的条件概率p(xi/yj),i=1,2,…N,这种条件概率称为后验概率。

129什么叫信源X的先验概率p(xi)?几个概念什么叫后验概率?5互信息量为后验概率与先验概率比值的对数:I（xi;yj）=log

什么叫平均互信息量?

什么叫互信