信源和信息熵

信源和信息熵第1页，课件共40页，创作于2023年2月2.1信源的数学模型及分类通信系统模型及信息传输模型：

第2页，课件共40页，创作于2023年2月

一、信源输出是单个符号的消息例：扔一颗质地均匀的正方体骰子，研究其下落后，朝上一面的点数。每次试验结果必然是1点、2点、3点、4点、5点、6点中的某一个面朝上。每次试验只随机出现其中一种消息，不可能出现这个集合以外的消息，考察此事件信源的数学模型。解：数学模型为：且满足：第3页，课件共40页，创作于2023年2月离散信源：信源输出是单一符号的消息，其符号集的取值是有限的或可数的。一维离散信源数学模型就是离散型的概率空间：且满足：第4页，课件共40页，创作于2023年2月连续信源：信源输出数据取值是连续的，但又是随机的，即可能出现的消息数是不可数的无限值。数学模型是连续型的概率空间：且满足：X的概率密度函数实数集（－∞，＋∞）第5页，课件共40页，创作于2023年2月随机矢量：信源输出的消息是按一定概率选取的符号序列。用N维随机矢量X描述：

X＝（x1，x2，‥‥xN）其中：N维随机矢量X也称为随机序列（过程）。平稳随机序列：序列的统计性质与时间的推移无关。二、信源分类（1）根据随机序列X中每个随机变量xi的取值不同：离散平稳信源：如语言文字、离散化平面图像连续平稳信源：如语音信号、热噪声信号等第6页，课件共40页，创作于2023年2月（2）信源发出的符号间彼此是否独立：

无记忆信源：随机矢量的各分量相互独立有记忆信源：随机矢量的各分量不相互独立表述有记忆信源比无记忆信源困难的多，实际中，信源发出的符号往往只与前若干符号的依赖关系强，与更前面的符号依赖关系弱，这类信源可用马尔可夫信源表示。不同统计特性的信源可用随机变量、随机矢量以及随机过程描述其输出的消息。第7页，课件共40页，创作于2023年2月2.2离散信源的信息熵一、信息量和熵信息的度量应符合实际情况：出现概率小的随机事件，不确定性大，信息量大；出现概率大的随机事件，不确定性小，信息量小；概率为1的确定事件，信息量为0。香农定义的自信息量I(x)：任意随机事件出现概率的对数的负值表示自信息量。

第8页，课件共40页，创作于2023年2月设随机事件xi的出现概率为pi，则：

I(xi)＝－logpi＝log(1/pi)

收到某消息获得的信息量＝收到此消息前关于某事件发生的不确定性－收到此消息后关于某事件发生的不确定性即：收信者所获得的信息量应等于信息传输前后不确定性的减少的量。例2－1：设一条电线上串联8个灯泡，且损坏的可能性为等概，若仅有一个坏灯泡，须获知多少信息量才可确认？第9页，课件共40页，创作于2023年2月例2－1解：测量前，P1(x)＝1/8，存在不确定性：

I(P1(x))＝log8＝3bit第一次测量获得信息量：第二次测量获得信息量：第三次测量获得信息量：每次测量获得1bit信息量，需三次测量可确定坏灯泡第10页，课件共40页，创作于2023年2月自信息I是一个随机变量，不能作为信源总体的信息量。定义：自信息量的数学期望为信源的平均信息量，即信源的信息熵，数学表示为：信息熵的单位取决于对数选取的底，r进制信息熵：r进制信息熵与二进制信息熵的关系：第11页，课件共40页，创作于2023年2月熵的物理含义：信息熵H(x)是表示信源输出后，每个消息(或符号)所提供的平均信息量；信息熵H(x)是表示信源输出前，信源的平均不确定性；用信息熵H(x)来表征变量X的随机性。注意：信息熵是信源的平均不确定的描述。一般情况下，它并不等于平均获得的信息量，获得的信息量是两熵之差，并不是信息熵本身。

第12页，课件共40页，创作于2023年2月二、信息熵的基本性质1、对称性：此性质说明：熵的总体性。它只与随机变量的总体结构有关，而不在于个别值的概率，甚至也不因随机变量取值的不同而异。2、非负性：第13页，课件共40页，创作于2023年2月3、扩展性：说明：概率很小的值的出现，给予接收者以较大的信息，但在熵的计算中占的比重很小，这是熵的总体平均性的一种体现。4、确定性：H（1,0）＝H（0,1）＝H（1,0,0,‥）＝‥＝0说明：从熵的不确定概念来说，确知信源的不确定度应该为0。第14页，课件共40页，创作于2023年2月5、可加性：二个随机变量X和Y不独立时：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)二个随机变量X和Y独立时：H(XY)=H(X)+H(Y)6、极值性：H(p1,p2,‥,pq)≤－∑pilogqi，当pi＝1/q时，可见：所有概率分布pi所构成的熵，以等概时为最大，称为最大离散熵定理。第15页，课件共40页，创作于2023年2月7、上凸性：熵函数具有严格的上凸性，它的极值必为最大值。8、递增性：其中：此性质说明：熵增加了一项由于划分而产生的不确定性量。第16页，课件共40页，创作于2023年2月例2－2：运用熵函数的递增性，计算熵函数H（1/3,1/3,1/6,1/6）的数值。可见：熵函数的递增性也可称为递推性，表示n个元素的信源熵可以递推成（n－1）个二元信源的熵函数的加权和。可使多元信源的熵函数计算简化成计算若干个二元信源的熵函数。第17页，课件共40页，创作于2023年2月2.3离散平稳信源的熵离散平稳信源：各维联合概率分布均与时间起点无关的完全平稳信源称为离散平稳信源。一、两个符号的熵和互信息设两个随机变量X1和X2，单个符号数学模型为：联合概率空间：第18页，课件共40页，创作于2023年2月条件概率空间：二个符号的数学模型：联合熵：第19页，课件共40页，创作于2023年2月联合熵（共熵）：是联合空间X1X2上的每个元素对X1X2的自信息量的概率加权平均值。共熵表示信源输出长度为2的序列的平均不确定性，或所含的信息量。条件熵：联合空间X1X2上的条件自信息量的概率加权平均值：联合熵、信息熵及条件熵的关系为：

＝H（X2）＋H（X1/X2）第20页，课件共40页，创作于2023年2月根据熵的极值性可得：表明某一变量的条件熵必小于或等于它的无条件熵。还可得：且X1、X2独立时，上式等号成立。定义无条件熵和条件熵之差为互信息：

I(X1;X2)＝H(X1)－H(X1/X2)≥0

＝H(X1)＋H(X2)－H(X1X2)

且：I(X1;X2)＝I(X2;X1)第21页，课件共40页，创作于2023年2月注意：任何无源处理总是丢失信息的，至多保持原来的信息，这是信息不可增性的一种表现。二、离散平稳信源的极限熵设信源输出一系列符号序列X1,X2,‥XN概率分布：联合熵：定义序列的平均符号熵＝总和/序列长度，即：第22页，课件共40页，创作于2023年2月平均符号熵就是信源符号序列中平均每个信源符号所携带的信息量。条件熵≤无条件熵；条件较多的熵≤条件较少的熵，所以：第23页，课件共40页，创作于2023年2月离散平稳信源性质（H1(X)<∞时）：条件熵随N的增加是递减的；平均符号熵≥条件熵；平均符号熵HN(X)随N增加是递减的；极限熵第24页，课件共40页，创作于2023年2月结论：当平稳信源的记忆长度为m，则离散平稳信源的极限熵等于有限记忆长度m的条件熵：第25页，课件共40页，创作于2023年2月三、信源剩余度与熵的相对率对于一般的离散信源都可以近似地用不同记忆长度的马尔可夫信源来逼近。一阶时（m＝1）：信息熵为H2＝H（X1/X2）无记忆时（m＝0）：信息熵为H1＝H（X）无记忆等概（q种取值）：H0＝logq显然：logq＝H0≥H1≥H2≥‥≥Hm‥≥H∞，即：只要有传送H∞的手段即可传送信源信息。第26页，课件共40页，创作于2023年2月所以，非等概分布的信源所输出的符号中，每一位信源符号所载荷的平均信息量并没有达到其应具有的最大输出信息能力，这表明信源输出符号中含有一定程度的不含有信息的多余部分。信息冗余度（或称剩余度、多余度）可衡量信源输出符号序列中不含有信息的多余部分的大小。一个信源实际的信息熵与具有同样符号集的最大熵的比值称为熵的相对率。第27页，课件共40页，创作于2023年2月熵的相对率：则信源的信息冗余度为：显然，信源符号间依赖关系强，相关距离长，则H∞较小，冗余度就大；相关性弱则冗余度小；若信源符号相互独立且等概，则输出的平均信息量达到最大值H0，信源输出符号中部包含任何多余成分，冗余度为0

例2-3：设英文信源输出符号为26个字母和空格，考察英文信源输出地符号序列，计算其信息冗余度。第28页，课件共40页，创作于2023年2月例解：1）无记忆且等概时：H0=log27=4.76比特/符号；2）根据统计各字母和空格出现的概率，非等概无记忆时：H1=H（p1,p2,…p27）=4.03比特/符号；3）若取m=1，则H2=3.32比特/符号；4）若取m=2，则H3=3.1比特/符号；一般H∞=1.4比特/符号；则相对熵为0.29，信息冗余度为0.71信息的剩余度可以表示信源可以压缩的程度，但剩余度大的消息具有强的抗干扰能力。第29页，课件共40页，创作于2023年2月2.4连续信源的熵一、连续信源熵的定义所谓连续信源是指其输出量是连续的，在任何时刻，在某个范围内可以取无穷多个数值。数学模型：如图为连续信源概率密度分布示意图：

第30页，课件共40页，创作于2023年2月把取值区间[a,b]分割成n个小区间且等宽：△=（b-a）/n，则X处于第i区间的概率Pi是：Pi=P{a+(i-1)△≤x≤a+i△}=p(xi)△，且∑Pi=1此时离散熵：H(Xn)=-∑PilogPi=-

∑p(xi)△log

p(xi)△=-∑p(xi)△log

p(xi)-∑p(xi)△log△当n→∞，△→0时，H(Xn)的极限值就是连续熵：第31页，课件共40页，创作于2023年2月离散信源定义的熵是一个绝对量，而连续信源定义的熵是一个比无穷大（∞）大多少的相对量，不是绝对量：注意：连续变量的熵具有相对性，在取两熵之间的差时，才具有信息的所有特征，也称h(X)为差熵，具有离散熵的主要特征，但不一定具备非负性。第32页，课件共40页，创作于2023年2月

例2－4：一个连续信源，输出概率密度服从均匀分布，若把此信源的输出信号放大2倍，求放大前、后的信息熵并比较。注意：连续熵的相对性，说明信息不是与熵相等，如：Y=aX+b中，H(Y)可大于H(X)，但并不意味着经过放大器可提高信息量。第33页，课件共40页，创作于2023年2月二、二元联合信源的共熵第34页，课件共40页，创作于2023年2月连续信源的互信息也具有信息特征（非负性）：

I（X；Y）=I（Y；X）＝h（X）－h（X/Y）＝h（Y）－h（Y/X）＝h（X）＋h（Y）－h（XY）≥0因此：当X被测量得到Y时，两者可能都