信息论与编码第二版第2章课件

2.2离散信源熵和互信息2.2.1自信息量2.2.2离散信源熵要求：1.掌握自信息量、联合自信息量和条件自信息量的含义和计算方法；2.掌握单符号熵、条件熵与联合熵的含义和计算方法。2.2离散信源熵和互信息2.2.1自信息量要求：1.1

信源发出某一符号后，它提供多少信息量？这就是要解决信息的度量问题。在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。

2.2.1自信息量信源发出某一符号21.定义：任意随机事件的自信息量定义为该事件发生概率的对数的负值。如：定义为具有概率为p(xi)的符号xi的自信息量为

I(xi)=-logp(xi)说明：自信息量的单位与所用的对数的底数有关。对数底数为2，信息量单位为比特（bit）； 对数底数为e，信息量单位为奈特（nat）； 对数底数为10，信息量单位为笛特（det）；3个信息量单位之间的转化关系为：1nat=log2e=1.433bit1det=log210=3.322bit1.定义：任意随机事件的自信息量定义为该事件发生概率的对数32.随机事件的不确定性

出现概率大的随机事件，包含的不确定性小，即自信息量小； 出现概率小的随机事件，包含的不确定性大，即自信息量大； 出现概率为1的随机事件，包含的不确定性为0，即自信息量为0；2.随机事件的不确定性4

3.不确定度与自信息量：

信源符号自信息量：指某一符号出现后，提供给收信者的信息量；信源符号不确定度：它是信源符号固有的，不管符号是否发出，都存在不确定度。信源符号自信息量与信源符号不确定度在数量上相等，两者单位也相同。

3.不确定度与自信息量：54.自信息量的特性：１，２，３非负性；４单调递减性；５可加性：4.自信息量的特性：65.联合自信息量与条件自信息量

当和相互独立时，有于是有若有两个符号、同时出现，用联合概率来表示，联合自信息量为5.联合自信息量与条件自信息量

当和相7条件自信息量：

当和相互联系时，在事件出现的条件下，的自信息量称为条件自信息量，定义为 为在事件出现的条件下，发生的条件概率。条件自信息量： 为在事件出现的条件下，发生8例2-3：英文字母中“e”的出现概率为0.105，“o”的出现概率为0.001。分别计算它们的自信息量。解：“e”的自信息量I(e)=-log20.105=3.25bit;“o”的自信息量I(o)=-log20.001=9.97bit;例2-3：英文字母中“e”的出现概率为0.105，“o”的出9例:居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？

解：设x1为女孩是大学生； x2为身高1.6m以上的女孩； 则p(x1)=1/4;p(x2)=1/2;“女大学生中有75％身高为1.6m以上”即 p(x2|x1)=3/4;事件“身高1.6m以上的某女孩是大学生”出现的概率为则信息量

例:居住某地区的女孩中有25％是大学生，在女大学生中有75102.2.2离散信源熵1.平均自信息量

对于一个给定信源，各个符号的自信息量是与各自的概率分布有关的一个随机变量，不能作为信源总体的信息量度，我们采用求平均的方法。定义自信息量的数学期望为信源的平均自信息量，即单位2.2.2离散信源熵1.平均自信息量112.信源熵（信源的平均不确定度） 信源熵H(X)，表示平均意义上信源的总体特性，是在总体平均意义上的信源不确定性。 信源熵在数量上等于平均自信息量， 但两者的含义不同：2.信源熵（信源的平均不确定度）12平均自信息量：消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说，获得这样大的信息量后，信源不确定度就被消除了。信源平均不确定度（信源熵）：在总体平均意义上的信源不确定度。不管是否输出符号，只要这些符号具有某种概率分布，就决定了信源的平均不确定度（信源熵）。平均自信息量：消除信源不确定度时所需要的信息的量度，即收到13信息论与编码第二版第2章课件14例2-5设信源符号集X＝{x1,x2,x3},每个符号发生的概率分别为p(x1)=1/2，p(x2)=1/4，p(x3)=1/4，求信源熵H(X)。解：即该信源中平均每个符号所包含的信息量为1.5bit。

例2-5设信源符号集X＝{x1,x2,x3},每个符号发生15例:已知某信源的概率空间为求由该信源发出60个符号构成的消息所含的信息量。解：先求平均每个符号的信息量，即信息熵则消息所含的信息量为60×H(X)=114.3bit

例:已知某信源的概率空间为163.联合熵和条件熵（1）联合熵（共熵） 联合熵是联合符号集合（X,Y）的每个元素对的自信息量的概率加权统计平均值，它表示X和Y同时发生的不确定度。定义为3.联合熵和条件熵17信息论与编码第二版第2章课件18（2）条件熵 条件熵是在联合符号集合（X，Y）上的条件自信息量的联合概率加权统计平均值。

H(X|Y)表示已知Y后，X的不确定度。（2）条件熵19

它表示信源Y发符号yj的前提下，信源X每发一个符号提供的平均信息量。当X和Y相互独立时，存在既有H(X|Y)当Y取特定值yj时，X集合的条件熵H(X|yj)为它表示信源Y发符号yj的前提下，信源X每发一20信息论与编码第二版第2章课件21例2-8一个二进制信源X发出符号集{0,1}，经过离散无记忆信道传输，信道输出用Y表示。由于信道中存在噪声，接收端除收到0和1的符号外，还有不确定的符号，用“？”表示。已知X的先验概率为P(x=0)=2/3,P(x=1)=1/3,符号的转移概率为 P(y=0|x=0)=3/4, P(y=?|x=0)=1/4, P(y=1|x=1)=1/2, P(y=?|x=1)=1/2,其余为零。 求H(X),H(Y|X),H(X,Y),H(Y),H(X|Y)。例2-8一个二进制信源X发出符号集{0,1}，经过离散无22解：解：23信息论与编码第二版第2章课件24信息论与编码第二版第2章课件25例2-9.二进制通信系统使用符号0和1，事件u0表示发出符号“0”，事件u1表示发出符号“1”，事件v0表示收到符号“0”，事件v1表示收到符号“1”。已知概率p(u0)=1/2，p(v0|u0)=3/4，p(v0|u1)=1/2。求:已知发出u0，收到符号后获得的信息量；已知发出符号，收到符号后获得的信息量；已知发出和收到的符号，获得的信息量；已知收到的符号，被告之发出符号，获得的信息量。例2-9.二进制通信系统使用符号0和1，事件u0表示发出符26（1）已知发出一个0，求收到符号后得到的信息量；（1）已知发出一个0，求收到符号后得到的信息量；27（2）已知发出的符号，求收到符号后得到的信息量；（2）已知发出的符号，求收到符号后得到的信息量；28（3）已知发出和收到的符号，求能得到的信息量；解法1：解法2：（3）已知发出和收到的符号，求能得到的信息量；解法2：29（4）已知收到的符号，求被告知发出的符号得到的信息量。解法2：Bayes定理解法1：（4）已知收到的符号，求被告知发出的符号得到的信息量。解法230课堂练习1、掷两粒骰子，当点数之和为5时，该消息包含的信息量是______bit。

课堂练习1、掷两粒骰子，当点数之和为5时，该消息包含的信息量31课堂练习3、从大量统计资料知道，女性色盲发病率为0.5%，如果你问一位女士：“你是否是色盲？”她的回答可能是“是”，可能是“否”，问（1）这两个回答中各含多少信息量？（2）平均每个回答中含有多少信息量？解：课堂练习3、从大量统计资料知道，女性色盲发病率为0.5%，如32作业教材39页

2-22-52-7作业教材39页332.2离散信源熵和互信息2.2.1自信息量2.2.2离散信源熵要求：1.掌握自信息量、联合自信息量和条件自信息量的含义和计算方法；2.掌握单符号熵、条件熵与联合熵的含义和计算方法。2.2离散信源熵和互信息2.2.1自信息量要求：1.34

信源发出某一符号后，它提供多少信息量？这就是要解决信息的度量问题。在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。

2.2.1自信息量信源发出某一符号351.定义：任意随机事件的自信息量定义为该事件发生概率的对数的负值。如：定义为具有概率为p(xi)的符号xi的自信息量为

I(xi)=-logp(xi)说明：自信息量的单位与所用的对数的底数有关。对数底数为2，信息量单位为比特（bit）； 对数底数为e，信息量单位为奈特（nat）； 对数底数为10，信息量单位为笛特（det）；3个信息量单位之间的转化关系为：1nat=log2e=1.433bit1det=log210=3.322bit1.定义：任意随机事件的自信息量定义为该事件发生概率的对数362.随机事件的不确定性

出现概率大的随机事件，包含的不确定性小，即自信息量小； 出现概率小的随机事件，包含的不确定性大，即自信息量大； 出现概率为1的随机事件，包含的不确定性为0，即自信息量为0；2.随机事件的不确定性37

3.不确定度与自信息量：

信源符号自信息量：指某一符号出现后，提供给收信者的信息量；信源符号不确定度：它是信源符号固有的，不管符号是否发出，都存在不确定度。信源符号自信息量与信源符号不确定度在数量上相等，两者单位也相同。

3.不确定度与自信息量：384.自信息量的特性：１，２，３非负性；４单调递减性；５可加性：4.自信息量的特性：395.联合自信息量与条件自信息量

当和相互独立时，有于是有若有两个符号、同时出现，用联合概率来表示，联合自信息量为5.联合自信息量与条件自信息量

当和相40条件自信息量：

当和相互联系时，在事件出现的条件下，的自信息量称为条件自信息量，定义为 为在事件出现的条件下，发生的条件概率。条件自信息量： 为在事件出现的条件下，发生41例2-3：英文字母中“e”的出现概率为0.105，“o”的出现概率为0.001。分别计算它们的自信息量。解：“e”的自信息量I(e)=-log20.105=3.25bit;“o”的自信息量I(o)=-log20.001=9.97bit;例2-3：英文字母中“e”的出现概率为0.105，“o”的出42例:居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？

解：设x1为女孩是大学生； x2为身高1.6m以上的女孩； 则p(x1)=1/4;p(x2)=1/2;“女大学生中有75％身高为1.6m以上”即 p(x2|x1)=3/4;事件“身高1.6m以上的某女孩是大学生”出现的概率为则信息量

例:居住某地区的女孩中有25％是大学生，在女大学生中有75432.2.2离散信源熵1.平均自信息量

对于一个给定信源，各个符号的自信息量是与各自的概率分布有关的一个随机变量，不能作为信源总体的信息量度，我们采用求平均的方法。定义自信息量的数学期望为信源的平均自信息量，即单位2.2.2离散信源熵1.平均自信息量442.信源熵（信源的平均不确定度） 信源熵H(X)，表示平均意义上信源的总体特性，是在总体平均意义上的信源不确定性。 信源熵在数量上等于平均自信息量， 但两者的含义不同：2.信源熵（信源的平均不确定度）45平均自信息量：消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说，获得这样大的信息量后，信源不确定度就被消除了。信源平均不确定度（信源熵）：在总体平均意义上的信源不确定度。不管是否输出符号，只要这些符号具有某种概率分布，就决定了信源的平均不确定度（信源熵）。平均自信息量：消除信源不确定度时所需要的信息的量度，即收到46信息论与编码第二版第2章课件47例2-5设信源符号集X＝{x1,x2,x3},每个符号发生的概率分别为p(x1)=1/2，p(x2)=1/4，p(x3)=1/4，求信源熵H(X)。解：即该信源中平均每个符号所包含的信息量为1.5bit。

例2-5设信源符号集X＝{x1,x2,x3},每个符号发生48例:已知某信源的概率空间为求由该信源发出60个符号构成的消息所含的信息量。解：先求平均每个符号的信息量，即信息熵则消息所含的信息量为60×H(X)=114.3bit

例:已知某信源的概率空间为493.联合熵和条件熵（1）联合熵（共熵） 联合熵是联合符号集合（X,Y）的每个元素对的自信息量的概率加权统计平均值，它表示X和Y同时发生的不确定度。定义为3.联合熵和条件熵50信息论与编码第二版第2章课件51（2）条件熵 条件熵是在联合符号集合（X，Y）上的条件自信息量的联合概率加权统计平均值。

H(X|Y)表示已知Y后，X的不确定度。（2）条件熵52

它表示信源Y发符号yj的前提下，信源X每发一个符号提供的平均信息量。当X和Y相互独立时，存在既有H(X|Y)当Y取特定值yj时，X集合的条件熵H(X|yj)为它表示信源Y发符号yj的前提下，信源X每发一53信息论与编码第二版第2章课件54例2-8一个二进制信源X发出符号集{0,1}，经过离散无记忆信道传输，信道输出用Y表示。由于信道中存在噪声，接收端除收到0和1的符号外，还有不确定的符号，用“？”表示。已知X的先验概率为P(x=0)=2/3,P(x=1)=1/3,符号的转移概率为 P(y=0|x=0)=3/4, P(y=?|x=0)=1/4, P(y=1|x=1)=1/2, P(y=?|x=1)=1/2,其余为零。 求H(X),H(Y|X),H(X,Y),H(Y),H(X|Y)。例2-8一个二进制信源X发出符号集{0,1}，经过离散无55解：解：56信息论与编码第二版第2章课件57信息论与编