信息论与编码2012

1、,信息论与编码基础,学而不思则罔， 思而不学则殆。 孔子,信息论与编码基础,离散信源,一、信源的数学模型及分类,二、离散信源的信息熵及其性质,三、离散无记忆的扩展信源,四、离散平稳信源,五、信源的剩余度,信息论与编码基础,离散信源,一、信源的数学模型及分类,二、离散信源的信息熵及其性质,三、离散无记忆的扩展信源,四、离散平稳信源,五、信源的剩余度,信息论与编码基础,离散信源,信源的分类,离散信源：电报、文字、代码,07314575707,连续信源：模拟语音、模拟视频,概念,样本空间,概率空间,事物所有可能选择的消息的集合。,一个样本空间和它的概率测度。,信息论与编码基础,离散信源,信息论与编码

2、基础,离散信源,1) 信源输出的消息由随机变量描述,信息论与编码基础,离散信源,定义2.1 若信源输出的消息数是有限的或可数的，而且每次只输出符号集中的一个消息，这样的信源称为简单的离散信源。,信源空间,信息论与编码基础,离散信源,样本,概率,红(100) 黄(50) 蓝(25) 白(25),信息论与编码基础,离散信源,定义2.2 若信源输出的是单个符号的消息，但是其可能出现的消息数是不可数的无限值，即输出消息的取值是连续的，这样的信源称为简单的连续信源。,或,或,例如：语音信号；遥控系统中测得的电压、温度、压力等连续数据。,信息论与编码基础,离散信源,复杂信源,例1：中文自然语言文字信源,牛

3、,气,冲 天,例2：离散化的平面灰度图像信源,信息论与编码基础,离散信源,2) 信源输出的消息由随机矢量描述,定义2.3 若离散信源输出的消息是由一系列符号所组成的（不妨假设由N个符号组成，其中N为有限正整数或可数的无限值），这样的信源称为多维的离散信源。,信息论与编码基础,离散信源,其中,1)离散无记忆信源,2)离散有记忆信源,马尔可夫信源,扩展信源,信息论与编码基础,离散信源,定义2.4 若连续信源输出的消息是由一系列符号所组成的，这样的信源称为多维的连续信源。,2) 信源输出的消息由随机矢量描述,连续平稳信源： 随机矢量的各维概率密度都与时间起点无关,信息论与编码基础,离散信源,3) 信

4、源输出的消息由随机过程描述,随机波形信源,只要是时间上或频率上为有限的过程，就可以把随机过程用一系列 时间离散的取样值来表示，而每个取样值都是连续型随机变量。,随机过程,随机序列,离散信源,信息论与编码基础,离散信源,一、信源的数学模型及分类,二、离散信源的信息熵及其性质,三、离散无记忆的扩展信源,四、离散平稳信源,五、信源的剩余度,信息论与编码基础,离散信源,1、自信息,2、信源的信息熵,3、熵的基本性质,信息论与编码基础,离散信源,简单的离散信源模型,信息论与编码基础,离散信源,期末考试中，我挤进了班级十强。,期末考试中，我挤进了年级十强。,603教学楼已经开始使用。,小明体育经常不及格，

5、昨天测试成绩排名第一。,现在正在进行信息论与编码基础课程学习。,北京天安门前有游客在照相。,1、自信息,度量信息的基本思路,若信源中事件xi的出现所带来的信息量用I(xi)来表示并称之为事件xi的自信息量， 则概率为p(xi)的信源输出xi所包含的信息量I(xi)必须满足以下几个条件：,信息论与编码基础,离散信源,度量信息的基本思路,1. 信源输出xi所包含的信息量仅依赖于它的概率，而与它的取值无关。 2. I (xi)是p(xi)的连续函数。 3. I (xi )是p(xi)的减函数，即： 如果p(xi) p(xj)，则I(xi) I(xj)。 极限情况，若p(xi) = 0, 则 I(xi

6、) ； 若 p(xi) = 1, 则I(xi) = 0。 4.若两个单符号离散信源（符号集合X, Y ）统计独立, 则X中出现xi 、Y中出现yj的联合信息量 I (xi , yj) = I (xi) + I (yj) 问题：什么函数能够同时满足以上条件呢？,信息论与编码基础,离散信源,自信息含义,信息论与编码基础,自信息,r = 2 bit,r = e nat,r = 10 hart,含义,离散信源,验证(独立相加性),信息论与编码基础,离散信源,自信息量计算举例,举例 一个0, 1等概的二进制随机序列，求任一码元的自信息量。 解：任一码元不是为0就是为1 因为 p(0) = p(1) =

7、1/2 所以 I (0) = I (1) = log (1/2) = 1(bit),信息论与编码基础,离散信源,自信息量计算举例,举例,对于2n进制的数字序列, 假设每一符号的出现完全随机且概率相等，求任一符号的自信息量。 解：设2n进制数字序列任一码元xi的出现概率为p (xi)，根据题意， p(xi) = 1/2n I (xi ) = log(1/2n) = n (bit) 事件的自信息量只与其概率有关，而与它的取值无关。,信息论与编码基础,离散信源,信息量与不确定性的关系,信源中某一消息发生的不确定性越大，一旦它发生，并为收信者收到后，消除的不确定性就越大，获得的信息也就越大。 由于种种

8、原因（例如噪声太大），收信者接收到受干扰的消息后，对某信息发生的不确定性依然存在或者一点也未消除时，则收信者获得较少的信息或者说一点也没有获得信息。,信息论与编码基础,离散信源,信息量的直观定义： 收到某消息获得的信息量不确定性减少的量 (收到此消息前关于某事件发生的不确定性) (收到此消息后关于某事件发生的不确定性) 在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此得 收到某消息获得的信息量 收到此消息前关于某事件发生的不确定性 信源输出的某消息中所含有的信息量,信息量与不确定性的关系,信息论与编码基础,离散信源,信息量

9、与不确定性的关系,信宿端收到某一消息后所得到的信息量，可以等效为接收者在通信前后“不确定”因素的减少或消除。 事件的不确定性可用不确定度描述，它同样是事件概率的函数，在数值和量纲上和自信息量相等，因此都可以用右式来计算： 某一随机事件的出现所给出的信息量（自信息量），在数值上与该随机事件的不确定度不但相关而且相等，即事件的出现等效成事件不确定集合的元素的减少，或简称为事件不确定度的减少。,信息论与编码基础,离散信源,信息量与不确定性,自信息量和该事件的不确定度的含义有本质的区别。 不确定度只与事件的概率有关，是一个统计量，在静态状态下也存在； 自信息量只有该随机事件出现时才给出，不出现时不给出

10、，因此它是一个动态的概念。,信息论与编码基础,离散信源,自信息含义,当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获得这么大小的信息量。 自信息的测度单位及其换算关系 信息论中“比特”与计算机术语中“比特”区别,信息论与编码基础,离散信源,自信息的测度单位及其换算关系,如果取以2为底，则信息量单位称为比特(binary unit) I(xi)=log2(1/p(xi) 比特 如果取以

11、e为底，则信息量单位称为奈特(nature unit) I(xi)=ln(1/p(xi) 奈特 如果取以10为底，则信息量单位称为哈特(Hart unit,以纪念哈特莱首先提出用对数来度量消息) I(xi)=lg(1/p(xi) 哈特 1奈特1.44比特 1哈特3.32比特 在通信及目前的绝大多数信息传输系统中，都是以二进制为基础的，因此信息量单位以比特最为常用。因此一般都采用以“2”为底的对数，为了书写简洁，有时把底数2略去不写。,信息论与编码基础,离散信源,信息论中“比特”与 计算机术语中“比特”区别,如果p(xi)=1/2，则I(xi)=1比特。所以1比特信息量就是两个互不相容的等可能事

12、件之一发生时所提供的信息量。 信息论中“比特”是指抽象的信息量单位； 计算机术语中“比特”是代表二元数字； 这两种定义之间的关系是：每个二元数字所能提供的最大平均信息量为1比特。,信息论与编码基础,离散信源,信息论与编码基础,离散信源,例 假设一次掷两个各自均匀、互相不可区分又互不相关的骰子。如事件（A）（B）（C）分别表示：(A)仅有一个骰子是3；（B）至少有一个骰子是4；（C）骰子点数的总和是偶数。试计算事件（A）（B）（C）发生后所提供的信息量。,信息论与编码基础,离散信源,信息论与编码基础,离散信源,信息论与编码基础,离散信源,联合自信息,简记为,信息论与编码基础,离散信源,条件自信息

13、,简记为,在事件y=b给定条件下，在x=a发生前的不确定性；,在事件y=b给定条件下，在事件x=a发生后所得到的信息量,信息论与编码基础,离散信源,例2.1,I(xy) = log64 = 6 bit,I(x|y) = log8 = 3 bit,信息论与编码基础,离散信源,2、信源的信息熵,信息单位/信源符号,信源熵,自信息是一个随机变量：自信息是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。 信源熵：自信息的数学期望。也称为信源的信息熵/信源熵/香农熵/无条件熵/熵函数/熵。 信息熵的单位：取决于对数选取的底。一般选用以2为底，其单位为比特/符号。 信息

14、熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。,信息论与编码基础,离散信源,例1,有一布袋内放100个球，其中80个球是黄色的，20个球是白色的。随便摸出一个球，猜测是什么颜色，其概率空间为 x1：表示摸出的是黄球 x2：表示摸出的是白球,信息论与编码基础,离散信源,信息论与编码基础,离散信源,例2,三个信源,1 bit事件,信息论与编码基础,离散信源,信源熵的三种物理含义,信源熵是从平均意义上来表征信源的总体特性的一个量。因此信源熵有以下三种物理含义。 信源熵H(X)是

15、表示信源输出后每个消息/符号所提供的平均信息量； 信源熵H(X)是表示信源输出前，信源的平均不确定性； 用信源熵H(X)来表征变量X的随机性。 如下例，变量Y取y1和y2是等概率的，所以其随机性大。而变量X取x1的概率比取x2的概率大很多，这时变量X的随机性就小。因此H(X)反映了变量的随机性。,信息论与编码基础,离散信源,信源熵与平均自信息量,信源熵和平均自信息量两者在数值上是相等的，但含意并不相同。 信源熵H(X)表征信源的平均不确定度，平均自信息量是消除不确定度所需要的信息的量度； 信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值；在离散信源的情况下，

16、信源熵的值是有限的； 信息量只有当信源输出离散消息并被接收后，才有意义。这就是给予接收者的信息度量。当信源输出连续消息时，信息量的值可以是无穷大。,信息论与编码基础,离散信源,信源熵与平均获得的信息量,信源熵是信源的平均不确定性的描述。在一般情况下它并不等于平均获得的信息量。只有在无噪情况下，接收者才能正确无误地接收到信源所发出的消息，消除了H(X)大小的平均不确定性，所以获得的平均信息量就等于H(X)。在一般情况下获得的信息量是两熵之差，并不是信源熵本身。,信息论与编码基础,离散信源,举 例,有两个信源，其概率空间分别为 信息熵分别为 H(X)=-0.99log0.99-0.01log0.0

17、1=0.08 比特/符号 H(Y)=-0.5log0.5-0.5log0.5=1 比特/符号 可见 H(Y)H(X) 本例结论 信源Y的二个输出消息是等可能性的，所以在信源没有输出消息以前，事先猜测哪一个消息出现的不确定性要大； 信源Y比信源X的平均不确定性大； 信源X的二个输出消息不是等概率的，事先猜测x1和x2哪一个出现，虽然具有不确定性，但大致可以猜出x1会出现，因为x1出现的概率大。所以信源X的不确定性要小； 信息熵反映的就是信源输出前平均不确定程度的大小。,信息论与编码基础,离散信源,信息论与编码基础,离散信源,一、信源的数学模型及分类,二、离散信源的信息熵及其性质,三、离散无记忆的

18、扩展信源,四、离散平稳信源,五、信源的剩余度,信息论与编码基础,离散信源,1、自信息,2、信源的信息熵,3、熵的基本性质,信息论与编码基础,离散信源,3、熵的基本性质,概率矢量,熵函数,H(0.3, 0.4, 0.3),H(0.3),信息论与编码基础,离散信源,1)非负性,3、熵的基本性质,信息论与编码基础,离散信源,2)确定性,3、熵的基本性质,信息论与编码基础,离散信源,例设X,Y,Z三个信源,3、熵的基本性质,节日上空彩球,学术会议参与者肤色,天气情况,信息论与编码基础,离散信源,4)扩展性,3、熵的基本性质,信息论与编码基础,离散信源,5)可加性,信源X,Y统计独立,极值性,信息论与编

19、码基础,离散信源,6)极值性,最大离散熵定理,最大离散熵定理,最大离散熵定理,最大离散熵定理,最大离散熵定理,信息论与编码基础,离散信源,例，二元信源（1，0）的信息熵,H(0,1),确定性,H(0.5,0.5),极值性,计算与思考,计算与思考,计算与思考,信源空间必定是一个完备集,信源空间的描述,7) 香农辅助定理,对任意两个消息数相同的信源 有 上式含义：任一概率分布p(xi)，它对其它概率分布p(yi)的自信息 取数学期望时，必不小于p(xi)本身的熵。,信息论与编码基础,离散信源,由熵的极值性可以证明条件熵不大于信源熵/无条件熵： H(X/Y)H(X) H(Y/X)H(Y) 证明：H(X/Y)H(X) 已知Y时X的不确定度应小于一无所知时X的不确定度。因为已知Y后，从Y得到了一些关于X的信息，从而使X的不确定度下降。,信息论与编码基础,离散信源,8) 上凸性,HP +(1-)Q H(P )+(1-)H(Q ) 上凸性证明： 设有一