信息论基础：第二章 信息量

1、第二章 信息量信源的数学模型与分类 离散信源和信息测度信息熵及其性质离散无记忆信源的信息熵马尔可夫信源信源数学模型与分类信源研究的方法：结论：对信源的研究，就是对信源发出消息的研究内在性质外在形式信源的性质发出的消息人的性格品质言行举止信息是抽象的，而消息是具体的。消息是信息的携带者。信源数学模型与分类信源的分类： 主要根据输出消息的随机性质进行分类。 离散连续信源(根据输出消息的取值范围)单符号多符号信源（根据输出消息的数目）信源数学模型与分类信源的分类： 如果输出是一个符号，随机变量离散单符号信源：消息取值的数目有限. 例：掷一个骰子连续单符号信源：消息取值的数目无限. 例：某一时刻的温度

2、信源数学模型与分类信源的分类：如果输出是一串符号，随机序列 例：连续两次掷骰子的点数对 某天的早中晚温度变化情况信源的分类： 输出的消息在时间上和取值上都是连续的，如语音信号、电视图像信号，称为波形信源。这种信源只能用随机过程来表示。信源数学模型与分类信源的数学模型：信源发出消息具有随机性 在信源发出消息之前，消息是不确定的 用随机量表示信源发出的消息，随机量可以是随机变量、随机序列、随机过程。信源数学模型与分类 为了表示一个随机量，用随机量的的样本空间及其概率空间来描述 可能输出的所有消息各种消息的可能性结论：信源的数学模型，就是消息的概率空间 消息的概率空间信源的数学模型：信源数学模型与分

3、类例 掷一个六面均匀的骰子，每次出现朝上一面的点数是随机的，以朝上一面的点数作为随机实验的结果，并把实验结果看作一个信源的输出，试建立数学模型。A：1，2，3，4，5，6状态空间离散随机变量XP：p(X=1)=1/6，p(X=2)=1/6， p(X=6)= 1/6 概率空间信源的数学模型：X P=X： 1 2 3 4 5 6P(X)： 1/6 1/6 1/6 1/6 1/6 1/6信源空间信源数学模型与分类信源数学模型与分类说明：不同的信源，对应与不同的数学模型。即不同的信源概率空间。用概率空间来表示信源的数学模型，有一个必要的前提，这就是信源可能发出的各种不同符号的概率必须是先验可知的，或是

4、事先可测定的。这是香农信息论的一个基本假说。判断数学模型是否完备条件：概率空间是完备，即概率之和为1。信息量自信息量 定义：某一信源发出某一消息，所携带的信息大小。简称自信息或信息量信息量单位： 比特（2为底）；比特/符号 奈特（e为底）；奈特/符号 哈特（10为底）； 哈特/符号注：一般使用比特为单位，底数2可以省略不写信息量自信息量例：一条电线上串联了8只灯泡，这个8只灯泡损坏的概率是相同的，现有且只有一只灯泡损坏，造成串联的灯泡都不亮，需要用电压表测量来判断哪一只灯泡损坏，需要测量多少次？第一次第二次第三次信息量自信息量在测量以前: 8个灯泡都有可能，不确定性相对非常大；第一次测量后:

5、定位到前4个灯泡中有一个出了问题，不确定性降低了一些；第二次测量后: 定位到前两个灯泡其中一个灯泡出了问题，不确定性进一步降低；第三次测量后: 完全清楚了哪一只灯泡有问题，不确定性完全消除。信息量自信息量结论：获得信息量的过程，实际上就是减少或消除不确定性的过程收到消息获得的信息量不确定性减少的量收到消息前不确定性收到消息后不确定性 信息量自信息量 现在定量研究信息量的大小。因为信息量大小与概率有关，所以可以设 从定性的角度分析了信息量的大小是由事件发生的概率所决定的，概率大的事件信息量小；概率小的事件信息量大。信息量自信息量递减性：如果极值性：可加性：独立事件的联合信息量是两两信息量之和，即

6、如果 和 相互独立，则 ，则信息量自信息量最后得出信息量的函数为：信息量自信息量小技巧：计算器使用方法，如A事件发生的概率是1/3，信息量为：信息量自信息量计算上例中每次测量所获取的信息量信息量自信息量不确定性减少的量 第一次测量前，8个里面选一个，不确定性是，第一次测量后，4个里面选一个，不确定性为获得的信息量为1bit 计算上例中每次测量所获取的信息量信息量自信息量同理第二次测量前不确定性是2bit，测量后不确定性是1bit，获得的信息量是1bit；第三次测量前不确定性为1bit，测量后不确定性完全消失，为0，获得的信息量为1bit。 信息量自信息量例：美国大选，小布什支持率60，戈尔支持

7、率40。（1）询问1个美国人，其支持小布什，问从中获得的信息量。（2）询问30个美国人，10人支持小布什，20人支持戈尔，问从中获得的信息量。构造信源的概率空间问一个人，如果回答支持小布什，获得的信息量是 ；如果回答支持戈尔， 获得的信息量是 30个人中，每个人的回答都不受其他人回答的影响，因此都是相互独立。利用信息量的可加性 信息量自信息量条件自信息量和联合自信息量 自信息量是针对一维空间的，即发生一个随机事件的信息量。还有很多是多个随机事件一起发生，并且之间存在相关性，因此存在多维自信息量 条件自信息量和联合自信息量 条件自信息量：在已知事件 的条件下，事件 发生的概率为条件概率 ，那么条

8、件自信息量定义为联合自信息量：事件 ， 同时发生的概率是 ，那么联合自信息量为 条件自信息量和联合自信息量 例：某住宅区共建有若干栋商品房，每栋有5个单元，每单元有12户，甲要到该住宅区找他的朋友乙，若：甲只知道乙住在第五栋，他一次找到乙的概率有多大？他能得到多少信息量？甲除了知道乙住在第五栋外，还知道乙住在3单元，他一次找到乙的概率有多大？他能得到多少信息量？条件自信息量和联合自信息量 解：住在某一单元的概率是： 知道单元，住在某一户的条件概率为既不知道单元，也不知道哪一户，一次能够找到朋友家的概率为知道是哪个单元，不知道是哪一户，一次能找到朋友家的概率为信息熵及其性质 信息量是指某一个信源

9、发出某一消息（事件）的消息大小，信源可以发出的消息有很多，发出的消息不同，所携带的信息量也不同，如： 发出的消息有4个：晴、多云、阴、雨。发出晴时，信息量是1bit，发多云时信息量是2bit，发阴或雨时信息量是3bit，发出的消息不一样，所携带的信息量也不一样。 信息熵的定义 研究整个信源的信息测度，即把信源作为一个整体，研究信源每发出一个消息，平均能够携带多少信息量，即求信息量的统计平均。 求统计平均就是求“数学期望”，公式是：信息熵的定义 现在知道每个消息发出后携带的信息量，也知道每个消息发出的概率，因此很容易求出信源的平均信息量： 这个平均信息量就是信源的熵。熵的单位是bit/符号，表示

10、平均每一个信源符号携带了多少bit的信息量 。信息熵的定义 由于 规定 分子分母都为无穷大时，用到了无穷大量的比较，对分母分子同时求导数信息熵 例：计算英文信源的信息熵（不考虑标点）英文信源X的信源空间：状态空间： X=A，B，C，Z ,空格等概率出现信息熵字母空格ETOANIRS概率0.19560.1050.0720.06540.0630.0590.0550.0540.052字母HDLCFUMPY概率0.0470.0350.0290.0230.02250.02250.0210.01750.012字母WGBVKXJQZ概率0.0120.0110.01050.0080.0030.0020.001

11、0.0010.001信息熵 【课堂练习】 掷一均匀硬币直到出现“正面”为止。令X表示表示所需掷的次数，求随机变量X的信息熵H(X) 信息熵 【课堂作业】 关键构造信源的信源空间。状态空间： X ：1,2,3,概率空间： 掷一次硬币出现“正面”的概率 PX=1=2-1 信息熵掷两次硬币出现“正面”的概率 PX=2=第一次出现“反面” 第二次出现“正面” =2-1 .2-1= 2-2掷n次硬币出现“正面”的概率PX=2=第一次出现“反面” 第n-1次出现“正面”.第n次出现“正面” =2-(n-1) .2-1= 2-n信息熵由此可以得到信源X的信源空间：信息熵的意义 例：布袋中80个红球，20个白

12、球。摸一个，放回去再摸，摸了n次( ),求每次摸到球的平均信息量。1、信源输出的每个符号所携带的平均信息量 信息熵的意义 信源概率空间是 摸一个，放回去再摸，摸了n次， ，共摸了0.8n次红球，0.2n次白球总的信息量是：平均到每一次的信息量为 信息熵的意义 2、表示信源的随机性，熵越大，说明信源的随机性越大。 熵表示的是不确定性的大小，也是随机性的大小。熵越大，随机性也就越大。信息熵的意义 下面三个信源信息熵的意义 前者两个输出的两个消息，发生的概率是一样的，所以在信源发出消息之前，较难判断出发出的什么消息，不确定性大，随机性就大； 而第三个信源中，一个消息有99可能性发生，另一个消息只有1

13、可能发生，因此在信源发出消息前，很容易判断出发的是第一个消息，不确定性较小，随机性也较小。 信息熵的意义 三个信源的信息熵分别为：这样也就验证了随机性越大，熵越大的性质熵的性质矢量形式 参数是q个消息发生的概率，即消息的概率分布。因此我们可以表示成矢量形式 本质上都是一样的， 表示的熵对信源的表述更直观，描述了信源的概率分布，如 熵的性质非负性对称性确定性扩展性可加性递增性凸状性极值性熵的性质非负性 H(X)= H(p1，p2，pr) 0熵的性质非负性 物理意义： 从总体上看，一般情况下，信源在没有发出符号之前，总存在一定的不确定性；在发出符号以后，总可以提供一定的信息量。熵的性质对称性 证明

14、过程很简单：熵的性质对称性 熵的性质对称性 物理意义： 信源的信息熵只与概率空间的总体结构，即与信源的总体统计特性有关，与各概率分量和各信源符号的对应关系，乃至各信源符号本身无关。它是信源的总体的信息测度。熵的性质确定性 物理含义： 确知信源，在发送符号前，不存在不确定性；在发符号后，不提供任何信息量。 熵的性质扩展性 证明：求和式的前几项都是一样的，只看最后两项展开 熵的性质扩展性 这个结果表明，信源空间中增加某些概率很小（接近于零）的符号，虽然当信源发出这些符号时，提供很大的信息量，但终因其概率接近于零，在信源熵中占有很小的比重，以至可使总的信源熵值维持不变。这一性质充分体现了熵是信源总体

15、平均信息量的特性。熵的性质强可加性 例：每一天的天气情况和当天的温度之间有一定的关系。设当天的天气情况为信源X当天的气温为信源Y，显然Y与X之间存在较强的相关性，我们设这种相关性为：问题1: 已知天气情况，当天平均温度情况如何？问题2: 该地方平均天气，温度情况？ 联合熵 联合随机变量XY的熵称为联合熵。条件熵 条件熵 其中： H(X|Y=yj)表示收到符号yj后有关X的平均不确定性。 H(X|Y)表示收到信道所有输出后，有关X的后验平均不确定性。熵的性质强可加性 两个相互关联的信源X、Y，相互关联：在信源X发某一符号ai的前提下，信源Y按一定的概率发某一符号bj 联合熵H(XY)和条件熵H(

16、X|Y)之间的关系？XY信源有nm个消息熵的性质强可加性 即联合信源（XY）的概率空间是完备集。对信源（XY）来说，其熵值熵的性质强可加性 熵的性质强可加性 H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y)熵的性质强可加性 XY的联合熵等于X的先验熵加上已知X条件下Y的条件熵；也等于Y的先验熵加上已知Y条件下X的条件熵熵的性质可加性 当信源X和Y之间统计独立，即条件熵小于无条件熵 从概念上说，已知Y时X的不确定度应小于对Y一无所知时X的不确定度。这是因为已知Y后，从Y得到了一些关于X的信息，从而使X的不确定度下降。 推论 条件多的熵小于条件少的熵 平均互信息量 定义：平均

17、互信息量 互信息I(X;Y)是X的熵与已知Y的条件下X的条件熵之差。可以认为，X是系统的输入，Y为系统的输出，那么由输出端已知Y的情况下，使X的不肯定性减小了。也就是通过Y获得了信息量，即通过Y获得了关于X的信息量，当然没有输入也就没有输出。 各种熵和平均互信息量的关系熵的性质递增性 H的下标表示的是信源可能发出消息的数目熵的性质递增性 原信源中的有一个消息被分成了多个消息，这多个消息的概率之和等于原消息的概率，则这个新信源的熵增加了。 理解：原来有2种选择，现在是3种选择，不确定性（随机性）肯定增大。熵的性质递增性 举例：世界杯冠军归属，在决赛前 在第二场半决赛前 直观上理解：争夺冠军的球队

18、增加了，不确定性就增大了，熵也就大了 熵的性质递增性 例. 运用熵的递增性，计算 解：熵的性质凸状性 是上凸函数。 熵的性质凸状性 二元信源熵的性质凸状性 三元信源熵的性质极值性 又称最大离散熵定理。 信源发出消息的概率分布越平均，信源的熵就越大。当消息是等概率分布时，信源的不确定最大，信源的熵达到最大值。熵的性质极值性 信息论不等式 熵的性质极值性 香农不等式 离散无记忆扩展信源 之前研究的是单符号信源，用随机变量表示。现在研究输出是多符号序列的信源，用随机序列表示。其中每一个分量 都是一个随机变量 例：掷N次骰子的结果离散无记忆扩展信源 我们研究输出是符号序列的信源中的一个特列离散无记忆扩

19、展信源【定义】在离散序列 中(1)每个分量相互独立，即 (2)各分量满足相同的概率空间 则称这个序列描述的信源是离散无记忆扩展信源 离散无记忆扩展信源 例子：掷N次骰子的结果，构成序列 其中 代表每一次掷骰子的结果。 根据经验，每一次掷骰子的结果都是相互独立的，与其它次掷骰子的结果没有关联；另外，每一次掷骰子的结果满足相同的概率分布，都是16等概率分布，这样就满足了离散无记忆信源的两个条件离散无记忆扩展信源数学表示 每一个分量可以表示成随机变量 ，满足概率空间N次扩展信源可以表示成随机序列 ，概率空间为：离散无记忆扩展信源数学表示 样本空间有 项，因为每个分量有q个样本，一共有N个分量，组合起

20、来就有 项其中任何一个样本 ，分别是 的取值，取值范围是 离散无记忆扩展信源熵 根据分量 的数学模型，可以求出分量的熵 ，要求N次扩展信源的熵 直观上分析，信源输出的随机序列，每个分量相互独立，又满足相同的概率空间。这样，这N个随机变量构成的序列可以分解成为N个相同且相互独立的分量，序列中所携带的信息量，实际上应该是平均分布在这N个分量上的，因此应该有 离散无记忆扩展信源熵 证明：很简单，用到了熵的可加性。已知 ， 间相互独立，且 ，根据熵的可加性有：离散无记忆扩展信源熵 例：离散无记忆扩展信源中，每一个分量的概率空间为 验证二次扩展信源的概率空间中离散无记忆扩展信源熵 直接用熵的定义 离散平

21、稳信源离散无记忆扩展信源，是一种特殊的、最简单的离散平稳信源，序列中各分量之间相互独立。 一般的离散平稳信源，各分量之间是存在着相关性。信源输出0 1 1 0 1 1 1 0 1 0信源输出0 1 1 0 1 1 1 0 1 0离散平稳信源简单来说，随机序列的概率分布与时间推移无关，则是离散平稳信源。具体来说，对于随机序列 ，任取两个分量 、 ，如果一维概率分布相同， ，一维平稳信源除此之外，如果二维联合概率分布也相同， ，二维平稳信源 离散平稳信源的数学定义 除此之外，如果三维联合概率分布也相同， ，三维平稳信源依次类推，可以得到四维、五维，直到N维平稳信源。如果各维的联合概率分布都相等，则

22、称信源为完全平稳信源，简称平稳信源。 性质 当 ，平均符号熵 HN (X ) 和条件熵都趋近于离散平稳的极限熵其中 称为离散平稳信源的极限熵，或熵率。极限熵考虑了所有维的依赖关系，是最准确的。意义：当依赖关系无限长时，平均符号熵和条件熵都趋近于平稳信源的极限熵 离散平稳信源的性质 马尔可夫信源研究意义 但在实际应用中, 要测定无穷阶联合概率和条件概率分布是很困难的, 所以想要计算无限记忆长度的极限熵也是非常困难的，但对一些特殊的信源, 如马尔可夫(Markov) 信源, 当N 的取值不大时, 其平均符号熵HN (X ) 或条件熵H (XN|X1X2XN - 1) 就非常接近于H, 因此, 可用

23、条件熵或平均符号熵作为极限熵的近似值。马尔可夫性 马尔可夫性（或称为无后致性或无后效性）：过程或系统在时刻t0所处的状态为已知的条件下，过程在时刻t t0所处状态的条件分布与过程在时刻t0之前所处的状态无关。 也可以这样来叙述：过程的“现在”已经知道的条件下，其“将来”不依赖于“过去”。 具有马尔可夫性的随机过程称为马尔可夫过程。事件和状态都是离散的马尔可夫过程称为马尔可夫链，简称为马氏链。马尔可夫链 设随机序列Xn , nT为一马尔可夫过程。T=0，1，2，.为离散时间参数集合，S为Xn可能取值的全体组成的状态空间集S=S1 ，S2.Sj满足： 则称随机过程Xn 为一个马尔可夫链。马尔可夫链

24、的应用 马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码，如算法编码。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。马尔可夫链的性质 马氏链在时刻m的k步转移概率定义为：在某时刻m，随机变量序列X(m)取值i（处于i状态）的条件下，经过k个单位时间（或经过k步），在（m+k）时刻，X(m+k)取值j（处于j 状态）的条件概率.称为时刻m的k步转移概率 . 转移概率不依赖与m无关时，称为齐次马尔可夫链。马尔可夫链的性质(续) 设P表示一步转移概率Pij所组成的矩阵，且状态空间为I=1，2，称为系统状态的一步转移概率矩阵。马尔可夫链的性质

25、(续)C-K方程 C-K方程 由C-K方程，当马尔可夫链为齐次时，其n维分布和一维分布为： 任一马尔可夫链的有限维分布均可由其初始分布及一步转移概率给出。C-K方程 由C-K方程，当马尔可夫链为齐次时，其n步转移概率矩阵满足例：天气预报问题 设任意相继的两天中，雨天转晴天的概率为1/3，晴天转雨天的概率为1/2，任一天晴或雨是互为逆事件。又已知5月1日为晴天，问5月3日为晴天，5月5日为雨天的概率各等于多少？ 马尔可夫链的性质(续) 解： 关键问题如何确定和划分系统存在的状态数马尔可夫链的性质(续) 以0表示晴天状态，以1表示雨天状态，于是天气预报模型可以看作是一个两状态的马尔可夫链。 按照每

26、天的天气状况划分系统状态。则其一步转移概率为：马尔可夫链的性质(续)马尔可夫链的性质(续)则其一步转移概率矩阵为：则其两步转移概率矩阵为：故5月1日为晴天，5月3日为晴天的概率为： 马尔可夫链的性质(续)则其四步转移概率矩阵为：故5月1日为晴天，5月5日为晴天的概率为： 马尔可夫链的性质(续)马尔可夫信源基本概念 【定义】如果信源的输出序列Xk和信源所处的状态Sk满足以下两个条件，该信源为马尔可夫信源。2、信源时刻所处的状态由前一时刻所处的状态，和前一时刻输出的符号唯一确定。1、某时刻信源输出的符号只与信源所处的状态相关，与以前的状态及以前的输出无关。马尔可夫信源基本概念 第一个条件表明：信源

27、的输出只与信源当前所处的状态有关，而与其他因素无关。第二个条件表明：在特定的状态下，发出特定的符号后，信源状态发生跳变，且必定100跳变到一个特定的状态。 马尔可夫信源随着时间的变化，由一个状态转移到另一个状态，通常用状态图来描述。所谓状态图，就是将每个状态用一个圆圈和所对应的状态表示。从一个状态转移到另一个状态用带箭头的圆弧线表示 香农线图 马尔可夫信源状态转移图 描述马尔可夫信源，我们可以用马尔可夫链的状态转移图(香农线图) 1、把每个可能出现的状态用一个圆圈表示；2、圆圈之间用有向线段连接，表示状态的迁 移；3、在有向线段旁边，注明发出的符号 及在 状态 下发出 的条件概率 .马尔可夫信

28、源状态转移图 例：设信源描述的是一个信源符号表为0，1的简单马尔可夫信源，其条件概率为：马尔可夫信源状态转移图 m阶马尔可夫信源 m阶马尔可夫信源，在任何时刻i，输出分量的概率分布只与前面m个分量的输出有关，我们可以把前面m个分量组成的序列做为i时刻信源所处的状态 如果信源的符号集是则信源的状态共有个 信源输出消息后，其系统所处的状态与符号序列有关。m阶马尔可夫信源举例：二元二阶马尔可夫信源。二元指信源可能的输出有2种取值，如0，1；二阶是说信源输出与前两个分量有关这样的马尔可夫信源共有个 状态，是前两个分量可能取值的排列组合。m阶马尔可夫信源 对于m阶马尔可夫信源，状态的定义已经给出，状态转

29、移图也可以很容易的画出。 例：二元二阶马尔可夫信源，样本空间为(0, 1)，条件概率为：要求画出状态转移图。m阶马尔可夫信源马尔可夫信源状态转移图 马尔可夫信源的性质 马尔可夫信源的性质取决于状态转移的情况。信源输出0 1 1 0 1 1 1 0 0 1例：二元二阶马尔可夫信源状态：E1=00 E2=01 E3=11 E4=10状态转移E2E3E4E2E3E3E4E1E2各态历经的马尔可夫信源所谓各态历经(遍历)的马尔可夫信源，就是由任意状态出发能够转移到其它任意状态的马尔可夫信源 ，即系统状态可以互通。各态历经的马尔可夫信源【定理】：对于有限平稳的马尔可夫信源，如存在一个正整数 ， 对一切

30、都有 则对每个 都存在不依赖于i的极限。 即称这马尔可夫信源是各态历经的。式(1)中的极限概率是方程组满足条件 的唯一解。各态历经的马尔可夫信源各态历经性的判别： 一般而言，对于有限齐次马氏链来说，可以由给定的一步转移概率矩阵P(1)得到n步转移概率矩阵P(n)，如中没有“0”元素，则可判断它具有各态历经性。状态极限概率的求解： 采用矩阵的形式表示状态极限概率pj所应满足的方程： 各态历经的马尔可夫信源其中，矩阵（1）和（3）是状态极限概率组成的概率矢量行矩阵的转置矩阵PT；矩阵（2）是马尔可夫链的一步转移矩阵的转置矩阵P(1)T各态历经的马尔可夫信源例：质点在两个“反射壁”之间的随机游动。各

31、态历经的马尔可夫信源 可以把这种随机游动看作是一个有限平稳的马尔可夫信源 .各态历经的马尔可夫信源 由于这是齐次马氏链，所以二步转移矩阵 由于二步转移概率矩阵中无零元素，所以系统具有各态历经性。 各态历经的马尔可夫信源 根据各态历经定理，现把写成矩阵形式 各态历经的马尔可夫信源 结果为： 各态历经的马尔可夫信源例：质点在两个”吸收壁”之间的随机游动。各态历经的马尔可夫信源 可以把这种随机游动看作是一个有限平稳的马尔可夫信源 .各态历经的马尔可夫信源其n步转移概率矩阵是这说明，不存在正整数 ，能使 ，所以不具有各态历经性，即不存在状态极限概率 。马尔可夫信源的熵 各态历经的马尔可夫信源的特征是在充分长的时间进行观测信源的状态转移情况，其状态的频度分布是一个平稳分布。因此，对于各态历经的马尔可夫信源。长时间观测，是一个特定的输出序列，它有固定的统计特性。马尔可夫信源的熵 信息熵：信源输出的每个符号所携带的平均信息量 . 信源的输出序列马尔可夫信源的熵 m阶马尔可夫信源熵： 其中，qj表示为系统的平稳状态，r为状态的个数。H(S|qj)为系统处于qj状态下的信息熵。 对于一个实际的信源，如果长时间观测，其统计特性比较平稳，就可以看作是各态历经的马尔可夫信源。马尔可夫信源熵非常重要。四个步骤：画出状态转移图；判断是否具有各态历经性，并求状态极限概率(平稳分布)。求在每个状态下，信源的信息