第2章信源及其信息的统计度量

1、信息论基础讲议适用教材：信息论基础及应用赵晓群编著机械工业出版社，2015年邮箱： 主讲教师： 赵晓群 教授 博士导师 同济大学 电子与信息工程学院第2章 信源及其信息的统计度量信息论基础及应用同济大学，电子与信息工程学院赵晓群 教授2.4 离散信源的平均互信息本节主要内容 2.4.3 各类熵之间的关系 2.4.2 平均互信息的性质 2.4.1 平均互信息2.4.1 平均互信息 1平均互信息的定义与含义定义2.11离散联合随机变量集 XY 上，由 Y 中的事件 y = bj 提供的关于 X 的平均互信息为互信息 I(x,y) 在集合 X 中以后验概率加权的平均值，为2.4.1 平均互信息定义2

2、.12离散联合随机变量集 XY 上，由 Y 提供的 关于 X 的平均互信息（或平均互信息量、交互熵） 为互信息 I(x,y) 在 XY 上的数学期望，为 可以导出：2.4.1 平均互信息平均互信息 I(X,Y)的含义是：(1) 知道了 Y 后，平均 Y 中一个事件消除的关于 X 的不确定度。(2) 由 Y 中一个事件能够平均提供的关于 X 的信息量。(3) 表示了 X 和 Y 之间关系的密切程度。 平均互信息越大，X 和 Y 的关系越密切。一些关系式：2.4.1 平均互信息 平均互信息的物理含意及其负熵的概念 (1) 式 的物理含意 I(X;Y) 是信源的原有平均不确定度 H(X) 与仍然保留

3、的平均 不确定度 H(X | Y) 的差值（是一种不确定度的消除量）。I(X;Y) 是通过观测 Y 后 所消除的关于 X 的平均不确定度。 特别当 X 是信道输入，Y 是信道输出时， I(X;Y) 是该信道传输的平均信息量。 差值 为信道中损失掉的信息量， 称 H(X | Y) 为信道疑义度（或损失熵）。2.4.1 平均互信息 平均互信息的物理含意及其负熵的概念 (2) 式 的物理含意 I(X;Y)即信道传输的信息量，等于在 H(Y) 中 扣除掉 H(Y | X)后的量值。H(Y | X) 表示信源发出 X 后，对 Y 依然存在的平均不确定度， H(Y | X) 仅与信道噪声有关，通常称为噪声

4、熵。2.4.1 平均互信息 平均互信息的物理含意及其负熵的概念 (3) 式 的物理含意H(X)+H(Y) 看成是通信前相互独立的X 和 Y 先验不确定度， 即通信前整个系统的先验不确定度 ； H(XY)是通信后，由信道传输统计特性联系起来的 X 和 Y的 后验不确定度。即整个系统的后验不确定度。表明，I(X;Y) 等于通信前、后整个系统的不确定度的减少量。三种物理解释都说明：从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度就获得了信息。信息就是负熵。2.4.1 平均互信息 2平均联合互信息和平均条件互信息的定义定义2.13离散联合随机变量集 XYZ 上，由 YZ 提供的

5、关于 X 的平均互信息为 I(x;yz) 在 XYZ 上的数学期望， 称为 X 和 YZ 的平均联合互信息（或平均联合互信息量）， 定义式为2.4.1 平均互信息定义2.14离散联合随机变量集 XYZ 上，在给定 Z 条件下， 由 Y 提供的关于 X 的平均互信息为 I(x;y | z) 在 XYZ 上的 数学期望，称为在给定 Z 条件下由 Y 提供的关于 X 的 平均条件互信息（或平均条件互信息量）， 定义式为2.4.2 平均互信息的性质性质2.31（非负性） I(X;y=bj ) 和 I(X;Y) 是非负的，即 （ 且当 X 和 Y 统计独立时，等式成立。结论：从一个事件提取关于另一个事件

6、的平均信息，在最坏 情况下是信息量为零，不会由于知道了一个事件，反而使 另一个事件的不确定度增加。启示：从学习的角度来看互信息，则说明当经过一段时间的 学习后，人的知识量和文化修养总会有所提高。2.4.2 平均互信息的性质性质2.32（极值性） 性质2.33（互易性、对称性） 性质2.34（上凸性） I(X;Y) 是输入信源概率分布 P(x) 的 形凸函数（又称上凸函数）。说明存在极大值。性质2.35（下凸性） I(X;Y) 是信道转移概率分布 P(y | x) 的 形凸函数（又称下凸函数）。说明存在极小值。性质2.36 有关系式2.4.2 平均互信息的性质 二元离散随机变量 X 和 Y 的值

7、域相同（皆为 A: 0,1 ）。 设 X 的概率分布为： 设 X 和 Y 之间的条件概率为： 可以计算：1 00.510.5 I(X;Y) 与 的函数关系 I(X;Y) 1-H(p) 1 p00.50.51 I(X;Y) 与 p 的函数关系 I(X;Y) H() 例2.4.3 各类熵之间的关系名称符号关系式图示信息熵条件熵联合熵平均互信息（交互熵）2.5 离散序列信源的熵本节主要内容*2.5.3 马尔可夫信源的熵2.5.2 离散有记忆序列信源的熵 2.5.1 离散无记忆序列信源的熵提示：请同学们自学 2.5.3 节的马尔可夫信源基础知识。2.5 离散序列信源的熵信源的实际熵：信源输出每一符号所

8、提供的平均信息量。 （注意，不论是什么信源）离散单符号信源，其实际熵由熵的定义式计算。 离散序列信源的信源熵有多种计算和近似估算方法： （1）计算 N 维离散序列信源中 N 个信源符号的联合熵 （2）计算离散序列信源的条件熵 （3）计算马尔可夫信源熵（1）计算 N 维离散序列信源中 N 个信源符号的联合熵 N 维离散序列信源的熵为 P(x) N 维离散序列信源 X 的概率分布。 N 维序列信源熵 的单位：（ bit, Nat, Hart）/N 个符号2.5 离散序列信源的熵定义2.15 信源 X 输出的 N 长符号序列的平均符号熵为HN(X) 就是信源 X 实际熵的近似值。（2）计算离散序列信

9、源的条件熵 条件熵 就是信源 X 实际熵的近似值。（3）计算马尔可夫信源熵有限记忆的离散信源，马尔可夫性信源熵是实际熵的近似值。需要解决的问题： 它们之间的关系、性质等； 如何计算。2.5 离散序列信源的熵2.5.1 离散无记忆序列信源的熵随机序列 X = XN = (X1, X2, XN) 中的各分量之间相互独立， 即 X 是 N 维离散无记忆序列信源，则其概率满足序列信源的熵为：2.5.1 离散无记忆序列信源的熵再假定信源是平稳的，离散无记忆序列信源，则其概率满足各分量信源的熵相同，即 可得平稳的离散无记忆序列信源的熵为2.5.1 离散无记忆序列信源的熵将上述分析结果总结为离散无记忆序列信

10、源的熵定理：定理2.1 （1）离散无记忆信源 X 的 N 维序列信源 X = XN = (X1, X2, XN) 的熵 H(X) = H(XN) 是信源 X 的各维信源熵 H(Xi)的和。 （2）当该信源还具有平稳特性时，N 维序列信源 X = XN = (X1, X2, XN) 的熵是信源 X 的信息熵 H(X) 的 N 倍。2.5.1 离散无记忆序列信源的熵 求下列离散无记忆信源 X 的二次扩展信源及其信源熵。 给定信源 X 的二次扩展信源 X 2 的概率空间如表所示。 信源 X 的熵为： 二次扩展信源 X 2 的熵为：X 2信源的符号123456789对应的符号序列a1a1a1a2a1a

11、3a2a1a2a2a2a3a3a1a3a2a3a3概率P(i)1/41/81/81/81/161/161/81/161/16例解 2.5.2 离散有记忆序列信源的熵 1离散平稳信源定义2.16（平稳信源的定义） （1）若离散信源 X 的一维概率分布与时间推移无关，即则称信源 X 是离散一维平稳信源（或一维平稳信源）。 （2）若离散信源 X 的二维联合概率分布与时间推移无关，即则称信源 X 是离散二维平稳信源（或二维平稳信源）。2.5.2 离散有记忆序列信源的熵定义2.16（续） （3）若离散信源 X 的 k 维联合概率分布与时间推移无关，即则称信源 X 是离散 k 维平稳信源（或 k 维平稳信

12、源）。（4）若离散信源 X 的各维联合概率分布与时间推移无关，即 则称信源 X 是离散完全平稳信源（或完全平稳信源）。2.5.2 离散有记忆序列信源的熵可证明，若信源 X 是 k 维平稳的，则一定是 k-1维平稳的。有下列联合概率与条件概率的关系 根据 k 维平稳信源的定义，可以证明2.5.2 离散有记忆序列信源的熵 2二维平稳信源的熵离散二维平稳信源 X 的概率空间为 连续两个信源符号的联合概率满足已知 ai 符号出现后，跟着 aj 符号出现的条件概率每两个符号一组，组成新信源：2.5.2 离散有记忆序列信源的熵比较三种信源熵 H(X1X2) ,H(X1X2),H(X2|X1) 之间的关系：

13、因为 H2 (X) = 0.5 H(X1X2)，由上式可以证明： 结论：离散无记忆信源的平均不确定度 大于离散有记忆信源的平均不确定度 。关系式：2.5.2 离散有记忆序列信源的熵 离散二维平稳信源 X 的联合概率 分布 如表 1 所示。 计算信源一维 概率分布如表 2 ， 条件概率分布如表 3 。计算： 信源熵： 条件熵：表1 信源的联合概率P(aiaj)aia1a2a3aja11/41/180a21/181/31/18a301/187/36表2 信源的一维概率a1a2a3P(ai)11/364/91/4表3 信源的条件概率P(aj|ai)aia1a2a3aja19/111/80a22/11

14、3/42/9a301/87/9例2.5.2 离散有记忆序列信源的熵计算： 联合熵：平均符号熵：可验证，各种熵之间满足 表1 信源的联合概率P(aiaj)aia1a2a3aja11/41/180a21/181/31/18a301/187/36表2 信源的一维概率a1a2a3P(ai)11/364/91/4表3 信源的条件概率P(aj|ai)aia1a2a3aja19/111/80a22/113/42/9a301/87/92.5.2 离散有记忆序列信源的熵 3平稳信源的极限熵平稳信源的近似熵为平均符号熵和条件熵：两种熵间的关系有下列性质表述：性质2.37 条件熵 H(XN | X1X2XN-1)

15、随 N 的增加是非递增的。 性质2.38 N 给定时，性质2.39 平均符号熵 HN (X ) 随 N 的增加是非递增的。性质2.40 存在，并且2.5.2 离散有记忆序列信源的熵定义2.17 定义 H为离散平稳信源的极限熵 （或极限信息量，或熵率）。性质2.38 2.40表明， 当记忆关系为无限长时，离散平稳信源的平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵（极限熵）。可以用条件熵或者平均符号熵来近似描述信源。实践中常使用条件熵 H(XN | X1X2XN-1) 来估算 ， 因为计算条件熵更容易一些。*2.5.3 马尔可夫信源 1. 马尔可夫链和马尔可夫信源的定义相关术语： 信源 X

16、 的状态集为：E:e1,e2,.,en 每一状态下信源 X 可能输出的符号集为 ：A:a1,a2,.,ar 系统的运动：每一时刻当信源发出一个符号后，信源所处的 状态将发生变化，并转入一个新状态。 信源输出的随机符号序列为 ：x1,x2,.,xt, (xt A; t=1,2,) 信源在初始状态 条件下，相对应的随机状态序列为：s1,s2,.,st, (st E; t=1,2,)*2.5.3 马尔可夫信源定义2.18 若状态序列 s0, s1,s2,.,st, (st E; t=0,1,2,) （ s0 为初始状态）满足条件 （1）有限性：有限个可能的状态，即状态数 n 1， 对一切 i,j1,

17、2,rm ，都有 Pk(ej|ei) 0， 则称该马尔可夫链是各态遍历的。 Pk(ej|ei)由状态 ei 经 k 步转移到 状态 ej 的 k 步状态转移概率。遍历性是马尔可夫链的重要性质之一。时齐、遍历的马尔可夫链的状态具有平稳分布的特点， 可用于求解一类马尔可夫信源的熵。*2.5.3 马尔可夫信源定义2.20 若信源 X 输出的符号序列 和状态序列 满足 （1）信源输出的下一个符号只与当前的信源状态有关， 而与以前的状态及以前输出的符号无关，即 （2）当前信源的状态和输出的下一个符号唯一地确定 信源的下一个状态，即 则称信源为马尔可夫信源。若概率与时刻 t（时间推移） 无关时，则此信源称

18、为时齐（或齐次）马尔可夫信源。*2.5.3 马尔可夫信源 信源 X 的值域为： A:a1,a2, a3 信源的状态集为： E:e1,e2, e3,e4 状态转移图如图示。可得到各状态下输出符号的概率： 验证满足关系式 ：a2/0.25a3/0.5a3/0.25a1/0.75a1/0.75a1/0.5a3/0.25a2/0. 25a1/0.25e1e2e3e4a2/0.25例*2.5.3 马尔可夫信源还可以得到一步转移概率为：该马尔可夫信源不是遍历的。a2/0.25a3/0.5a3/0.25a1/0.75a1/0.75a1/0.5a3/0.25a2/0. 25a1/0.25e1e2e3e4a2/

19、0.25*2.5.3 马尔可夫信源 2. m 阶马尔可夫信源的定义定义2.21 m 阶离散有记忆信源的数学模型 可以由一组信源符号集 A:a1,a2,.,ar 和一组条件概率确定 并满足 则称此信源 X 为 m 阶马尔可夫信源。*2.5.3 马尔可夫信源 m 阶马尔可夫信源的描述特点：（1）任一时刻 t，符号发生的概率只与前 m 个符号有关； 可以设信源 X 状态为 ： 信源 X 的状态集为 ： （2） m 阶马尔可夫信源的条件概率重写为： （3）P(ej|ei) 由条件概率 唯一确定。 m 阶马尔可夫信源是常见的、简单的一种马尔可夫信源。 一阶马尔可夫信源是最简单的马尔可夫信源。*2.5.3

20、 马尔可夫信源 二元二阶马尔可夫信源 X 的值域为 A:0,1， 条件概率： 求该信源的状态转移概率和状态转移图。 信源的 4 种状态：e1=00，e2=01，e3=10，e4=11 条件概率容易求得一步状态转移概率为：解例Ae10/0.5e4e3e21/0.50/0.751/0.251/0.50/0.251/0.750/0.510011100状态转移图*2.5.3 马尔可夫信源 设二元序列 01100101100100 是右图所示的信源发出序列的一部分。 将该二元序列变换成对应的状态序列。 序列的第 1,2 个符号 01 对应的状态 e2； 序列的第 2,3 个符号 11 对应的状态 e4；

21、 序列的第 3,4 个符号 10 对应的状态 e3； 进行到序列结束 可得到该二元序列对应的状态序列为 这串状态序列是时齐的马尔可夫链。解续例Ae10/0.5e4e3e21/0.50/0.751/0.251/0.50/0.251/0.750/0.510011100状态转移图*2.5.3 马尔可夫信源 在二阶马尔可夫信源（上图）中， 起始时的状态转移图如下图所示。 在 t = 1 时刻，输出 X1的初始概率为： 在 t = 2 时刻，输出 X2 的条件概率为： 在以后时刻，信源以上图的二阶条件概率 输出信源符号。 计算经过 1, 2, 3 次状态转移后的信源 符号的概率分布和信源的状态转移过程。

22、续例Ae10/0.5e4e3e21/0.50/0.751/0.251/0.50/0.251/0.750/0.510011100状态转移图0/0.45s2 = e1s2 = e21/0.550/0.31/0.70/0.41/0.61000011011s2 = e3s2 = e4s1 = e1s1 = e2s0 = e0状态转移图*2.5.3 马尔可夫信源 马氏信源起始时，以初始状态开始，有一个过渡过程。(1) t = 1 时刻，符号 0 和1的出现的概率为 信源系统处于各状态的概率 (2) t = 2 时刻，系统可进入全部 4 种可能状态。 信源符号 0 和 1 的出现的概率分别为0/0.45s

23、2 = e1s2 = e21/0.550/0.31/0.70/0.41/0.61000011011s2 = e3s2 = e4s1 = e1s1 = e2s0 = e0状态转移图解*2.5.3 马尔可夫信源 信源系统处于各状态的概率 (3) t = 3 时刻开始信源以图示状态转移图进行转移。 在 t = 3 时刻信源符号 0 和 1 的出现的概率分别为e10/0.5e4e3e21/0.50/0.751/0.251/0.50/0.251/0.750/0.510011100状态转移图*2.5.3 马尔可夫信源 信源系统处于各状态的概率为：e10/0.5e4e3e21/0.50/0.751/0.25

24、1/0.50/0.251/0.750/0.510011100可以看到，时齐马氏信源的条件概率与时间推移无关， 是平稳的，但输出的符号序列和状态序列仍然是不平稳的。*2.5.3 马尔可夫信源定理2.2（各态遍历定理） 遍历、时齐马尔可夫链存在下列（状态）极限概率Q(ej) 且极限概率是下列方程组的唯一解。利用该定理，可求解一类马氏信源的熵。 3. m 阶马尔可夫信源的熵长时间后，遍历、时齐 m 阶马氏信源可视为平稳信源。 m 阶马氏信源的熵为可以证明： Q(ej) 马氏链的平稳分布H(X | ej) 信源处于某一状态 ej 时， 发出一个消息符号的平均不确定度*2.5.3 马尔可夫信源*2.5.

25、3 马尔可夫信源 计算右图二阶马氏信源的熵。 根据各态遍历定理，可得下列方程组解方程组，求得： 由马氏信源的熵公式，得信源熵为e10/0.5e4e3e21/0.50/0.751/0.251/0.50/0.251/0.750/0.510011100续例A解2.6 连续信源熵和互信息本节主要内容2.6.3 多维连续信源和波形信源的熵2.6.2 基本连续信源的熵 2.6.1 连续信源的表述2.6.4 连续信源熵的性质和最大熵定理2.6.1 连续信源的表述在实际中，波形信号总是限时和限频的。满足限时 T、限频 F 的模拟信号 可以有 3 种表示方法： （1）时间连续、取值连续的波形信号 ； （2）根据

26、奈奎斯特取样定理，将 离散化成 2FT 个时间离散、 取值连续的取样序列 ； （3）对取样序列中的某一维的取样值 进行分析。将这 3 种处理模拟信号的方法用于连续信源， 相应地会得到 3 种连续信源的表述方法。2.6.1 连续信源的表述 1波形信源直接以模拟信号的波形来描述的信源称为波形信源， 其输出信号在时间上、幅值上是连续的，波形信源用随机过程 x(t) 描述。 x(t)的每一样本函数 x(t) 是该信源输出的一个连续消息。例：音频信号的频带为 20 Hz 20 kHz， 电话语音通信信号的频带为 300 Hz 3400 Hz 等。限时 T、限频 F 的波形信源离散化成 N（=2FT）个

27、时间离散、取值连续的平稳随机序列 X = (X1, X2, XN) ， 产生多维连续信源。2.6.1 连续信源的表述 2多维连续信源 N 维连续信源是从波形信源经过取样得到的 信源输出的消息为 N 维连续型随机序列 X = (X1, X2, XN) 其 N 维概率密度函数为 p(x) = p(x1x2xN) 满足: 若 N 维连续信源的概率密度函数满足 则称此信源为连续无记忆信源。但很多连续信源都是有记忆的。2.6.1 连续信源的表述 3基本连续信源基本连续信源就是单个连续型随机变量的信源， 也称为连续单符号信源。是波形信源经取样后的某一维所构成。基本连续信源的消息为连续型随机变量 X， 值域

28、为 (a,b)， 或实数域 R；用概率密度函数 p(x)描述， 并满足连续随机过程大致可以分为 平稳随机过程和非平稳随机过程两大类。一般认为，通信系统中信号都是平稳的随机过程。2.6.1 连续信源的表述定义随机过程 x(t) 中，样本函数 x(t)的时间平均值为定义集平均是随机过程 x(t) 某时刻 ti 所取的 随机变量 Xti的统计平均值，即定义2.22 若随机过程 x(t)的统计特性不随时间变化，且其集平均还以概率 1 等于时间平均，即 ， 则称 x(t)为遍历的随机过程。2.6.2 基本连续信源的熵基本连续信源的数学模型为 或概率密度函数 如图所示。ai 是区间 a+(i-1), a+

29、i) 中的某个值。连续随机变量 X 可以用取值为 ai 的离散随机变量 Xn 来近似， 且每个符号 ai 的概率为 p(ai)。连续信源就被量化成离散信源。a+(i-1)0 xbaa+ip(x)2.6.2 基本连续信源的熵连续信源的熵是取极限，得上式中的第一项是定值，具有离散信源熵的形式。 第二项是趋于无限大的常数（依赖于）。2.6.2 基本连续信源的熵定义2.23 设连续随机变量 X 的概率密度函数为 p(x) ，称 为该连续信源的熵，也称为差熵（或相对熵，微分熵）。连续信源的不确定度（实际熵）应为无穷大。理解：因为连续信源有不可数的、无限多个幅度值， 需要用无限多个二进制位数（bit）来表

30、示， 因此它的实际熵为无穷大。2.6.2 基本连续信源的熵 一连续信源的概率密度如图所示。 由 A 图得: 由 B 图得:B 图是 A 图放大 2 倍的结果，计算表明信息量增加了， 这个结论是荒谬的。实际熵是相同的，但相对熵不相等。 0 1 2 3 4 5 6 xp(x)1/2A图0 1 2 3 4 5 6 xp(x)1/4B图例2.6.2 基本连续信源的熵定义2.24 在连续联合随机变量集 XY 上，其联合熵为定义2.25 在连续联合随机变量集 XY 上，其条件熵为定义2.26 在连续联合随机变量集 XY 上，两个连续随机变量的平均互信息为 p(xy) 二维联合概率密度函数。 p(x|y),

31、 p(y|x) 条件概率密度函数。2.6.3 多维连续信源和波形信源的熵N 维连续信源 X = XN 的差熵为 p(x) = p(x1x2xN) N 维概率密度函数若该信源还是无记忆的，满足 容易证明 N 维连续无记忆信源的差熵为2.6.3 多维连续信源和波形信源的熵连续信源的 N 维条件差熵为 p(xN | x1x2xN-1) 条件概率密度函数当 N = 2 时，得两个连续型随机变量之间的差熵为与离散信源一样，有关系式（仅当统计独立时，等号成立）2.6.3 多维连续信源和波形信源的熵波形信源的信息测度用多维连续信源的差熵逼近。波形信源 x(t)的差熵为限时 T、限频 F 的平稳随机过程 x(

32、t)，近似地用有限维（维数为 N = 2FT ）的平稳随机序列来表示。限时 T、限频 F 波形信源转化成多维连续平稳信源。2.6.3 多维连续信源和波形信源的熵 均匀分布连续信源的差熵 一维连续随机变量 X 在 a,b 区间内均匀分布时， 基本连续信源的熵为 N 维连续随机序列 X = (X1, X2, XN) ，其分量分别 在 a1,b1, a2,b2, aN,bN 区域内均匀分布， N 维连续平稳信源的差熵为例2.6.3 多维连续信源和波形信源的熵 高斯信源的差熵 基本高斯信源 X 的概率密度分布显正态分布的信源，即 基本高斯信源的熵为 可见，其差熵与数学期望 m 无关，只与方差 2 有关

33、。 均值 m = 0时，X 的信源方差等于平均功率 P，所以有例2.6.3 多维连续信源和波形信源的熵 高斯信源的差熵 N 维连续随机序列 X = (X1, X2, XN) 是正态分布， 则称此信源为 N 维高斯信源。其相对熵为 当各变量之间统计独立，则 C 为对角矩阵，并有N 维无记忆高斯信源的熵， 即 N 维统计独立的正态分布随机变量的相对熵为例2.6.3 多维连续信源和波形信源的熵 指数分布连续信源的差熵 一维连续随机变量 X 在 a, ) 区间内的概率密度分布为 则称 X 为指数分布的连续信源。 其中，m 是 X 的数学期望。 X 的熵为例2.6.4 连续信源熵的性质和最大熵定理 1连

34、续信源熵的性质连续信源的差熵在概念上不能把它作为信息熵来理解， 它只具有部分信息熵的含义和性质， 丧失了某些重要的特性和含义。学习连续信源的差熵时，应注意与离散信源相比较。性质2.41（可加性）连续信源 X 和 Y，有 当且仅当 X 和 Y 统计独立时，不等式的等号成立。2.6.4 连续信源熵的性质和最大熵定理性质2.42 （熵的不增原理） 在连续联合随机变量集 XY 上，条件熵总是小于或等于无条件熵，即 当且仅当 X 和 Y 统计独立时，不等式的等号成立。性质2.43 （上凸性） 连续信源的差熵 h(x) 是概率密度函数p(x) 的严格型凸函数（或上凸函数）。性质2.44 连续信源的差熵 h

35、(x) 可以是负值。2.6.4 连续信源熵的性质和最大熵定理 2最大熵定理仅讨论三种约束条件下的最大熵。由 3 个定理给出。定理2.3 (1) 若信号的幅度被限定在 区间内，则当输出信号的概率密 度均匀分布时，信源具有最大熵，其值为 log(b-a) 。 (2) 当 N 维随机序列取值受限时，也只有随机分量统计独立 并均匀分布时具有最大熵2.6.4 连续信源熵的性质和最大熵定理定理2.4 (1) 若信号的平均功率被限定为 P，则当其概率密度分布是 高斯分布时，信源具有最大熵，其值为 。 (2) N 维连续平稳信源，若其 N 维随机变量的协方差矩阵 C 被限定，则为正态分布时，信源熵最大，其值为

36、 功率受限时高斯信源的熵最大。2.6.4 连续信源熵的性质和最大熵定理定理2.45 若连续信源输出的非负信号的均值被限定为 m， 则当输出信号的概率密度分布是指数分布时， 信源具有最大熵，其值为 log me。2.7 冗余度和熵功率本节主要内容2.7.2 连续信源的熵功率 2.7.1 离散信源的冗余度和自然语言的熵2.7.1 离散信源的冗余度和自然语言的熵实际问题： 离散信源可能是平稳的或非平稳的。 平稳信源熵为 H ，一般难于计算，需用 Hm+1近似计算。 非平稳信源熵不一定存在，可以假定其平稳，近似估计。Hm+1= H(Xm+1 | X1X2Xm) m 阶马尔可夫信源熵，条件熵关系式（极大

37、熵为 log q，实际熵 H最小）：2.7.1 离散信源的冗余度和自然语言的熵定义2.27（相对率，冗余度） 信源的相对率定义为： 信源的冗余度定义为： 很好地反应了符号间记忆强弱和概率分布的均匀性： （1） 越大， 越小，信源的实际熵 越小。 表明符号间记忆关系越强和/或符号的概率分布越不均匀。 （2） 越小， 越大，信源的实际熵 越大。 表明符号间的记忆关系越弱和符号的概率分布越均匀。 （3） = 0， = 1 时，信源的实际熵 等于极大值。 表明符号间不但统计独立、无记忆，且是等概率分布。2.7.1 离散信源的冗余度和自然语言的熵 二元信源的符号 0 和 1 等概率分布，且符号之间无相关

38、性， 信源熵达到极大值： H(X) =1 bit/符号， 信源相对率： = 1，冗余度 = 0。 当信源有记忆和/或非等概率分布时， 且实际信源熵为： H(X) = H = 0.8 bit/符号， 信源相对率为： 信源冗余度为：例2.7.1 离散信源的冗余度和自然语言的熵实际语言的信源熵计算，以英语为例。表： 英文字母概率表字 母概 率字 母概 率字 母概 率字 母概 率空 格0.1859G0.0152N0.0574U0.0228A0.0642H0.0467O0.0632V0.0083B0.0127I0.0575P0.0152W0.0175C0.0218J0.0008Q0.0008X0.0013D0.0317K0.0049R0.0484Y0.0164E0.1031L0.0321S0.0514Z0.0005F0.0208M0.0198T0.0796 英文信源由 26 个英文字母和空格构成， （空格用于英文单词间的分隔，略去