信息论与编码第二章-信源熵

1、2.1 单符号离散信源第2章：信源熵2.1.1 单符号离散信源的数学模型信源信宿干扰源信道噪声（一）简单通信系统模型一、信源的描述和分类连续信源离散信源 信源输出的是一个个符号，这些符号的取值是有限的或可数的。 输出连续消息的信源。可用随 机过程来描述。（二）信源描述单符号离散信源多符号离散信源 只涉及一个随机事件的 离散信源。可用离散随机变量来描述。 涉及多个随机事件的离散信源。可用随机矢量来描述。（三）离散信源分类1、单符号离散信源与多符号离散信源2、马尔可夫信源（1）马尔可夫过程马尔可夫性（无后效性）：过程或系统在时刻t0所处的状态为已知的条件下，过程在t t0时刻所处的状态的条件分布与

2、过程t0之前所处的状态无关。具有马尔可夫性的随机过程称为马尔可夫过程。特点：a、受时间影响的条件分布：分布情况与所处时刻及之前时刻有关；b、无后效性。2、马尔可夫信源（2）马尔可夫过程的概率分布a、用分布率描述马尔可夫性2、马尔可夫信源（2）马尔可夫过程的概率分布b、转移概率由转移概率组成的矩阵称为马氏链的转移概率矩阵。C、平稳性2、马尔可夫信源（3）马尔可夫信源 发出的消息可以看做马尔可夫随机过程的信源。举例：只传输数0,1的串联系统（0-1传输系统），如下图所示：其中x0为第0级输出，xn为第n+1级输入，设一个单位时间传输一级，每级的传真率为p，误码率为q=1-p，试分析此系统。12nx

3、0 x1xn-1x2xn信源离散信源连续信源单符号多符号随机变量随机矢量随机过程3、信 源 分 类信源离散信源连续信源离散无记忆信源离散有记忆信源发出单个符号的无记忆信源信源分类3、分类发出多个符号的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源对于离散随机变量X，取值于集合 单符号离散信源的数学模型为(2.1.2)规定集合中各个元素的概率为记(2.1.1)(,),(,),(),( , , , , )( 2121=niniapapapapaaaaXPXLLLL满足其中)(iap（四）单符号离散信源的数学模型也称P(ai)为先验概率。 需要注意 的是：大写字母X、Y、Z代表随机变量

4、，指的是信源整体。带下标的小写字母: 代表随机事件的某一结果或信源的某个元素。两者不可混淆。随机变量X、Y分别取值于集合 联合随机变量 取值于集合 记2.1.2 自信息和信源熵 无条件概率、条件概率、联合概率满足下面一些性质和关系：1234562.1.2 自信息和信源熵一、信息量信息量：信息的定量表示信源熵：物理熵：无序程度的度量，描述系统特征，如热力学熵。信息熵：随机事件的不确定度，描述系统的统计特征。信源熵：信源发出消息的不确定度。一、信息量自信息量 联合 自信息量条件 自信息量信息量2、性质：（1）非负；（2）（3）单调递减函数；（4）随机函数自信息量（一）1、定义：一个随机事件发生某一

5、结果所带来的信息量称为自信息量，简称自信息。表示为概率对数的负值。3、单位单位 对数底 用途比特(bit) 2 奈特(nat) e 用于地理、地质等领域笛特(det) 10三个信息单位之间的转换关系如下： 二进制表达信息所需要的位数，用于电子通信等领域 例：二进制码元（0,1），“0”与“1”出现的概率相等，均为1/2，则各自的信息量为：即从通信学的角度，一个以等概率出现的二进制码元(0,1)所包含的自信息量为1bit。（二）不确定度1、表征随机事件发生的不确定程度。2、随机事件的不确定度与自信息量的关系：（1）两者数值相同，单位相同。（2）意义不同：不确定度表征事件本身的性质，自信息量表示事

6、件发生后观察者得到的消除不确定度需要的信息量。1、联合概率 (三)1）定义：多个事件拥有共同样本空间的概率。2）记作：以事件A与事件B为例，联合概率为P(AB)3）性质：（1）数量上等于A、B交集的概率。（2）当A、B相互独立时，P(AB)=P(A)P(B)联合自信息量 联合自信息量 2、1）定义：联合概率对数的负值。2）信源模型为：代入式(2.1.4)就有事件的联合概率密度为：联合自信息量为：3）性质:（1）非负性（2）当事件相互独立时，联合自信息量为各自信息量之和。 条件自信息量 (四) 1、定义：条件概率对数的负值;2、事件ai以事件bj的发生为条件，其条件概率密度为p(ai/bj)，其

7、条件自信息量为：的变化而变化。自信息量、条件自信息量和联合自信息量之间有如下关系式： 联合自信息量和条件自信息也满足非负和单调递减性 ，同时，它们也都是随机变量，其值随着变量 二、 互信息量和条件互信息量由前可知， 离散信源X的数学模型为：后验概率（一）信宿Y的数学模型为： 后验概率：信宿接收符号消息 时信源发出符号消息为 的概率，即条件概率图2.1.3简单通信系统模型信源X信宿Y有扰信道C干扰源N互信息量（二）1、定义：后验概率与先验概率比值的对数。例2.1.2 某地二月份天气构成的信源为 一天有人告诉你：今天不是晴天。把这句话作为收到的消息后出现的概率变成后验概率 收到 了。其中 两个不确

8、定度之差，是不确定度被消除的部分，也就是从bj 得到的关于ai的信息量 。 互信息量的含义2、对于bj不知道的情况下，ai存在的不确定度已知bj条件下， ai仍然存在的不确定度发送接收？收到后仍有不确定性，但比原来的不确定性发生了一些变化。不确定性变化的部分，即是观察者从接收端获得的关于发送端的信息量。？发送接收发送后仍有不确定性，但比原来的不确定性发生了一些变化。不确定性变化的部分，即是观察者从发送端获得的关于接收端的信息量。通信前先验不定度（联合自信息量） 发送接收观察通信系统：后验不定度 通信后发送接收这样，通信后流经信道的信息量，等于通信前后不定度的差互信息的性质对称性 当X和Y相互独

9、立时，互信息为0 互信息量可为正值或负值 1233、是，也是的已知条件。条件互信息量 (2.1.13)4、信源熵熵条件熵联合熵三.信源熵 已知单符号离散无记忆信源的数学模型这里的符号是指代表信源整体的X信源熵平均不确定度一信源熵 1、定义：表征信源多个符号（各个离散消息）的平均不确定度。 2、公式：参考数学期望的性质，用各符号的自信息量的加权平均表示总体的不确定性，数值上等于信源的平均信息量。（2.1.16）3、单位：比特/符号。信源的信息熵；香农熵；无条件熵；熵函数；熵。4、注意：非负性两种特殊情况：符号当信源X只有一个符号，符号只有一个状态，例2.1.3 继续讨论第一节的例题，即某地二月份

10、天气构成的信源为 由式(2.1.16)的定义，该信源的熵为5、信源熵和平均自信息量的异同。两者数值相同含义不同。信源熵表征信源本身的性质，表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息量，只有当信源输出符号并被收到才有意义。信源熵与信息量的比较 信源的平均不确定度消除不定度得到信息与信源是否输出无关 接收后才得到信息 确定值 一般为随机量 有限值 可为无穷大 熵 信息量6、总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。信源熵H(X)表示信源输出前，信源的平均不确定度。信源熵H(X)反映了变量X的随机性。123条件熵 H(X/Y)

11、(二)定义：联合符号集合X,Y上的条件自信息量的数学期望。H(X/Y)表示给定接收集合Y观察发送符合集合X的不确定度。 条件熵是一个确定值，表示信宿在收到Y后信源X仍然存在不确定性度。这是传输失真所造成的。 有时称H(X/Y)为信道疑义度，也称损失熵，称条件熵H(Y/X)为噪声熵。例：2.1.4联合熵H(XY)（共熵） （三）定义：联合符号集合XY上的每个元素对 自信息量的数学期望。H(XY)表示已接收符号集Y与发送符号集X的不确定度。熵的文氏图表示2.1.1 单符号离散信源的数学模型2.1.2 自信息和信源熵2.1.3 信源熵的基本性质和定理非负性对称性12定理 信源中包含n个不同离散消息时

12、，信源熵H(X)有 当且仅当X中各个消息出现的概率全相等时，上式取等号。最大离散熵定理3证明：自然对数具有性质图2.1.4 自然对数的性质 对于单符号离散信源，当信源呈等概率分布时具有最大熵。例一般二元信源的熵如图2.1.5时熵与概率的关系 虽然概率很小的事件出现后，给予接收者的信息量很大，但对熵的贡献很小，可以忽略不计。扩展性4 确知信源的不确定度为零。 正因为具有可加性，可以证明熵的形式是唯一的。确定性可加性65 已知Y后，从中得到了一些关于X的信息，从而使X的不确定度下降。极值性7 f 的定义域中任意两个矢量X、Y，若则称 f 为严格上凸函数 设P、Q为两组归一的概率矢量。即上凸性8则有

13、（2.1.31）证明；几何意义：P21严格上凸函数在定义域内的极值必为极大值。2.1.4 加权熵的概念和基本性质（选修）2.1.1 单符号离散信源的数学模型2.1.2 自信息和信源熵2.1.3 信源熵的基本性质和定理2.1.6 各种熵之间的关系2.1.5 平均互信息 香农信息量和熵没有考虑人的主观因素，只是信息系统概率的函数，是“客观信息”。在实际中，各种事件虽以一定的概率发生，但各种事件的发生对不同的人有不同的意义其重要性也因人而异。 为了把主观价值和主观意义反映出来，引入加权熵的概念。 若有信源构造重量空间重量，即权重系数。消息的作为，确定一个非负的实数 对消息 , iiwa加权熵定义信息

14、的加权熵从某种程度上反映了人的主观因素。例下雪加权熵的性质： 信源平均每发出一个消息，总能提供一定的信息量，最差是零。非负性1连续性2 信源空间中概率分量的微小波动，不会引起加权熵值的很大变动。信源概率及相应重量的顺序任意互换时，加权熵的值不变。表明熵的总体特性。对称性3均匀性4 等概信源的加权熵等于离散信源的最大熵与n个权重系数的算术平均值的乘积。等重性5 权重系数均为w的等重信源，其加权熵是信源熵的w倍。只包含一个实验结果的事件是确定事件，没有任何随机性，尽管发生的事件是有效用或有意义的，仍然不能提供任何信息量 。确定性6非容性7可能的事件无意义，有意义的事件是不可能的，这时香农熵不为0，

15、但加权熵为0。扩展性8 增加1个有效用或意义很大但是不可能发生的消息，其消息的加权熵值不变。线性叠加性9 当一个信源发出的每一种不同消息的效用或意义同时扩大若干倍时，其加权熵也扩大同样的倍数。加权熵的最大值10 香农最大熵可看成是加权熵在权重系数都为1时的特例。2.1.4 加权熵的概念和基本性质2.1.1 单符号离散信源的数学模型2.1.2 自信息和信源熵2.1.3 信源熵的基本性质和定理2.1.5 平均互信息量 互信息量是定量地研究信息流通问题的重要基础，但是它只是研究了某个具体消息。所以，它不能从整体上作为信道中信息流通的测度。在平均意义上度量每通过一个符号流经信道的平均信息量。作为一个测

16、度，应该是确定值。一、平均互信息量的定义 如果将信道的发端和收端分别看成是两个“信源”，则两者之间的统计依赖关系即信道输入和输出之间的依赖关系，实际上描述了信道的特性。平均互信息一、平均互信息量的定义平均互信息量Y对X的定义：互信息量 在联合概率空间P(XY)中的统计平均值。也称平均交互信息量或交互熵同理，X对Y的平均互信息：(2.1.44)(2.1.45)（二）意义：接收端接收到Y后能获得的关于X的信息量。二、平均互信息的物理意义平均互信息量是收到Y前、后关于X的不确定度减少的量，即由Y获得的关于X的平均信息量。1收到Y后对X仍然存在的不确定度，疑义度! I(Y;X)是发送 X 前、后，关于

17、Y的平均不确定度减少的量。2如果信道中不存在任何噪声，发端和收端必存在确定的对应关系，而现在不能完全确定对应的输出，因此，条件熵H(Y/X)称为噪声熵。3输入X，输出Y，即收发通信后，整个系统仍然存在的不确定度。通信前，整个系统的先验不确定度 平均互信息量等于通信前、后，整个系统不确定度减少的量。 信息就是负熵从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。例2.1.5信源X接入图示信道0.980. 80. 20. 02123等概率信源的熵最大。4567三、平均互信息的性质对称性1因为 对于信道两端的随机变量X和Y，由Y提取关于X的信息量与从X中提取的关

18、于Y的信息量一样。只是观察者的立足点不同。非负性2当且仅当X和Y相互独立，等式才成立。 从整体和平均的意义来看，信道每传递一条消息，总能提供一定的信息量，或者说接收端每收到一条消息，总能提取到关于信源X的信息量，最坏情况是0。非负性2结论：通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于0，但绝不会失去已知信息。极值性3非负 从一个事件提取关于另一个事件的信息量，至多是 另一个事件的熵。1当随机变量X、Y是确定的一一对应时则两个事件一一对应时，从一个事件可以充分获得关于另一个事件的信息，从平均意义上来说，代表信源的信息量可全部通过信道。2当随机变量X、Y

19、是相互独立时两事件互相独立时，从一个事件不能得到关于另一个事件的任何信息。等效于信道中断。结论：从一个事件提取关于另外一个事件的信息量，至多是另外一个事件的熵那么多，不会超过另一个事件自身所有的信息量。当X和Y是一一对应关系时（无扰信道），I(X;Y)=H(X),此时互信息达到最大值，代表信源的信息量可全部通过信道。当X和Y相互独立时（全损信道），H(X/Y)=H(X)， I(X;Y)=0达到最小值。凸函数性4 若固定信道，则平均互信息量是信源概率分布的函数。 若固定信源，则平均互信息量是信道传递概率的函数。平均互信息量是信源分布和信道传递概率分布的函数。上凸函数证（略）1例2.1.6二元信源

20、X 接入对称信道求平均互信息 I(X；Y)0011 当q不变即固定信道特性时，互信息量随输入概率分布变化的曲线。下凸函数2总结凸函数性：平均互信息量I(X;Y)是信源概率分布p(ai)的上凸函数；该性质是研究信道容量的理论基础。平均互信息量I(X;Y)是信道转移概率分布p(bj/ai)的下凸函数。该性质是研究率失真函数的理论基础。图2.1.8数据处理模型数据处理定理X YZ5定义上两式相减得到：例题：p36 当消息（信息、信号）经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。两级串联信道输入与输出消息之间的平均互信息量既不会超过第1级信道输入与输出消息之间的

21、平均互信息量，也不会超过第2级信道输入与输出消息之间的平均互信息量。信息不增原理：当对信号、数据或消息进行多级处理时，每处理一次，就有可能损失一部分信息，数据处理会把消息变成更有用的形式，但绝不会创造出新的信息。结论多次测量 多次测量的互信息量要比单次测量的互信息量大 证(略)2.1.6 各种熵之间的关系2.1.1 单符号离散信源的数学模型2.1.2 自信息和信源熵2.1.3 信源熵的基本性质和定理2.1.4 加权熵的概念和基本性质2.1.5 平均互信息X YX YX YX YX Y2.1 单符号离散信源2.2 多符号离散平稳信源 单符号离散信源：单个符号表示信息； 多符号离散信源：实际信源输

22、出的消息是时间上和空间上的一系列符号。通常一个消息序列的每一位出现那个符号都是随机的，而且一般前后符号之间是有统计依赖关系的，这种信源称为多符号离散信源。多符号离散平稳信源随机矢量中的各随机变量的各维联合概率分布均不随时间的推移而变化，信源所发符号序列的概率分布与时间起点无关。2.2.1 序列信息的熵2.2.3 平稳信源的熵和极限熵2.2.2 离散平稳信源的数学模型2.2.4 马尔可夫信源2.2.5 信源冗余度假定随机变量序列的长度是有限的，信源输出的消息序列中，符号之间无相互依赖关系，亦称为单符号离散平稳无记忆信源的扩展信源。序列长度就是扩展次数。单符号信源0，1经过扩展，变成了：00，01

23、，10，11例2.2.1离散平稳无记忆信源单符号离散信源为：扩展以后的信源为： 的概率是对应的 个单符号信源消息的概率组成的序列的概率。因为信源时无记忆的，所以序列的概率为：根据信源的定义，扩展信源的熵可以证明，离散平稳无记忆信源 的 次扩展信源的熵就是离散信源 熵的 倍。根据信源的定义，扩展信源的熵。单符号信源如下,求二次扩展信源熵扩展信源：例2.2.1计算扩展信源的熵时，不必构造新的信源，可直接从原信源 X的熵导出，即一个离散平稳无记忆信源X的N次扩展信源的熵等于信源X熵的N倍。2.2.1 序列信息的熵2.2.3 平稳信源的熵和极限熵2.2.2 离散平稳信源的数学模型2.2.4 马尔可夫信

24、源2.2.5 信源冗余度离散平稳信源各维联合概率均与时间起点无关的完全平稳信源。联合概率分布也与时间起点无关信源在任何时刻发出两个符号的概率完全相同。如果各维联合概率分布均与时间起点无关，即对两个不同的时刻有：离散平稳信源各维联合概率均与时间起点无关的完全平稳信源。2.2.1 序列信息的熵2.2.3 离散平稳信源的熵和极限熵2.2.2 离散平稳信源的数学模型2.2.4 马尔可夫信源2.2.5 信源冗余度反映信源记忆特性的两方法： 用联合概率反映信源记忆特性发出符号序列的有记忆信源1用条件概率反映信源记忆特性2离散平稳信源一般是指有记忆信源，即发出的各个符号之间具有统计关联关系的一类信源。马尔可

25、夫信源二维平稳信源假设信源符号序列组之间相互独立1相应的概率分布为：X的数学模型为：且有： 两个有相互依赖关系的随机变量X1和X2所组成的随机矢量X=X1 X2的联合熵，等于第一个随机变量X1的熵与第一个随机变量已知的前提下，第二个随机变量的条件熵H(X2/X1 )之和。 当X1和X2取值于同一集合时，因为：二维离散平稳有记忆信源熵小于等于二维平稳无记忆信源的熵。一般地例2.2.2原始信源：条件概率：X1X2原始信源的熵：由条件概率确定的条件熵 条件熵比无条件熵减少了0.672，是由于符号之间的 依赖性所造成的。信源每发一个消息所提供的联合熵 为： 则每个信源符号所提供的平均信息量 小于信源所

26、提供的平均信息量，这是由于符号之间的统计相关性所引起的。N维信源2 多符号离散平稳有记忆信源X的熵是X起始时刻随机变量X1的熵与各阶条件熵之和。由于信源是平稳的，这个和值与起始时刻无关。由平稳性：平均符号熵 (即每发一个符号所提供的信息量)：极限熵：平均发出一个消息所提供的信息量： 当 时，平均符号熵取极限值，称为极限熵或极限信息量极限熵的存在性：当离散有记忆信源是平稳信源时，从数学上可以证明，极限熵是存在的，且等于关联长度 时，条件熵 的极限值，即极限熵的计算：必须测定信源的无穷阶联合概率和条件概率分布，这是相当困难的，有时为了简化分析，往往用条件熵或平均符号熵作为极限熵的近似值。在有些情况

27、下，即使N值并不大，这些熵值也很接近 ，例如马尔可夫信源。2.2.1 序列信息的熵2.2.3 平稳信源的熵和极限熵2.2.2 离散平稳信源的数学模型2.2.4 马尔可夫信源的极限熵2.2.5 信源冗余度 输出的符号序列中符号之间的依赖关系是有限的。即任意时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关。 信源输出的信息符号还与信源所处的状态有关。1、信源的状态和符号集与当前输出符号有关的前m个随机变量序列(X1X2Xm)的某一具体消息。状态设符号集为 和信源所处的状态为S。信源所处的状态 ，信源每一状态下可能输出的符号每一时刻信源发出一个符号后，所处的状态发生转

28、移。信源输出的随机符号序列为： 信源所处的状态序列为 设在第L 时刻信源所处状态为 ，输出符号 的概率给定，为：设信源在L的前一时刻(L-1)时刻处于 状态，而在时刻L转移到 状态，转移概率为：上式的条件概率称为马尔可夫链在时刻L的状态一步转移概率。时齐马尔可夫链：状态转移概率与时间L无关，称为时齐的。若信源输出的符号和所处的状态满足下列两个条件，则成为马尔可夫信源：某时刻输出符号概率仅与此刻信源所处的状态有关；而与以前的状态和以前的输出符号均无关，即：不论何时，在状态 下发生符号 的概率不变信源的下一个状态由当前状态和下一刻的输出唯一确定。即输出符号 后，由状态 变成状态2、马尔可夫信源定义

29、12状态的一步转移概率若信源处于某一状态 ，当它发出一个符号后，它所处的状态就变了，转移到另一状态；状态的转移依赖于发出的信源符号，任何时刻信源处在什么状态，完全由前一时刻的状态和发出的符号决定；因为条件概率 已给定，所以状态转移概率满足一定概率分布，并可求出 3、结论马尔可夫信源有记忆的特点：有限记忆长度； 发出一个个符号，每发一个符号状态要发生转移。信源输出不仅与符号集有关，而且与状态有关；123条件概率 状态转移概率状态转移图（马尔可夫状态图/香农线图）4、描述方法例 2.2.3信源在si状态下发符号的概率为s1s2s3s4s5状态转移概率为s1s2s3s4s5 信源输出当前符号仅与前面

30、m个符号有关的马尔可夫信源。将这m个符号看做是信源在当前时刻的状态。5、m阶马尔可夫信源 一般有记忆信源发出的是有关联性的各符号构成的整体消息，即发出的是一组符号或者是符号序列，并用符号间的联合概率描绘。 马尔可夫信源用符号之间的转移概率（条件概率）来描述这种关联关系。马尔可夫信源以转移概率发出每个信源符号，转移概率的大小取决于他与前面符号间的关联性。 一个状态就是一个m长序列，信源输出依赖长度为m+1的随机序列，因此可用转移概率计算马尔可夫信源的熵。P(si)是m阶马尔可夫信源稳定后的状态极限概率6、m阶马尔可夫信源的极限熵马尔可夫信源稳定后各状态的极限概率m阶马尔可夫信源的极限熵等于m阶条

31、件熵。一步转移概率是给定的可唯一解。二阶马尔可夫信源00 01 10 11香农线图：例2.2.4极限熵为： 平稳信源（如果不平稳则先把其变成分段平稳的）。121 马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号； 一般有记忆信源用联合概率描述符号间的关联关系，马尔可夫信源用条件概率（状态转移概率）来描述符号间的关联关系；m阶马尔可夫信源与一般记忆长度为m的有记忆信源的区别：122 马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。长为m的有限记忆信源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系；3442.2.1 序列信息的熵2.2.3 平稳信源的熵和极限熵2.2.2 离

32、散平稳信源的数学模型2.2.4 马尔可夫信源2.2.5 冗余度、自然语言及信息变差 实际信源可能是非平稳的，极限熵不一定存在。假定它是平稳的，并测得N足够大时的条件概率PN (XN/X1X2XN-1)，然后计算HN(X)来近似极限熵。计算HN(X)十分困难。 进一步假设信源是m阶马尔可夫信源，信源熵用Hm+1来近似，则近似的程度取决于m。 m越大越接近实际信源。 记忆长度m不同，熵值就不同，意味着平均发一个符号就有不同的信息量， 记忆长度越长，熵越小 空格：0.2 E：0.105 T：0.072 O：0.0654 A：0.063 N：0.059 I：0.055 R：0.054 S：0.052

33、H：0.047 D：0.035 L：0.029 C：0.023 F、U：0.025 M：0.021 P：0.175 Y、W：0.012 G：0.011 B：0.0105 V：0.008 K：0.003 X：0.002 J、Q：0.001 Z：0.001英文各个字符的统计概率如下：例2.2.5英文字母出现概率统计信源的最大熵为对于英语信源：不考虑符号间依赖关系： 按表的概率分布，随机选择英语字母得到一个信源输出序列为: AI-NGAE-ITE-NNR-ASAVE-OTE-BAINTHA-HYROO-FOER 为了进一步逼近实际，把英语信源近似看做1阶，2阶马尔可夫信源。容易推知，依赖关系越多，及

34、马尔可夫信源的阶数越高，输出的序列越接近实际情况。信息熵的相对率：信源的冗余度：信息变差：冗余度与传输效率冗余度与传输可靠性冗余度与英语学习?2.1 单符号离散信源2.3 连续信源2.2 多符号离散信源一、连续信源1. 连续信源的概念t 时刻的输出值 x满足概率密度函数 连续信源输出的是连续(型)随机变量。指输出的消息在时间和取值上都连续的信源。 具体地说，连续信源在“任何”时刻都按照某种概率在一定的取值范围内输出“任何”值。一、连续信源2. 连续信源的特点 从数学的角度来看，连续信源的输出结果是以时间 t 为 从消息的角度来看，连续信源在任一时刻都发送消息，从自变量的函数该函数时间连续、取值

35、连续。 此外，连续信源在某一时刻的取值也可以分为与前面的且消息的状态数为无穷大。取值无关或者相关两种情况。3、连续信源的分类连续信源平稳信源非平稳信源2.3.1 连续信源的熵2.3.3 连续信源熵的性质及 最大连续熵定理2.3.2 几种特殊连续信源的熵2.3.4 熵功率相应地，连续随机变量的信息度量可用离散随机变量1. 连续信源的离散化(逼近)2.3.1 连续信源的熵为了参照前面已有的关于离散随机变量的讨论，对于连续随机变量，将用离散随机变量来逼近。认为是离散变量的极限情况。的信息度量来逼近。即连续变量可2、单变量连续信源的数学模型为：并满足如图，2.3.1记则 X 的取值处于第 i 个区间

36、的概率 为：3. 连续信源的离散化推导2.3.1 连续信源的熵将连续信源 X 的取值区间 n 等份，其中，(积分中值定理)且满足2. 连续信源的离散化推导2.3.1连续信源的熵 由此，连续信源X就可用取值为 (i=1,2,n)的离散变量来近似，连续信源X被量化为离散信源： 离散信源 的熵为：连续信源的熵分析2.3.1连续信源的熵当 即 时，随机变量 X ；离散随机变量 将趋于连续可以作为连续信源的信息熵。因此，离散信源 的熵 的极限值3. 连续信源的熵2.3.1连续信源的熵分析(1) 连续信源的绝对熵定义为上式的第一项一般为定值，第二项将趋于无限大。定义(2) 连续信源的相对熵定义为记为即连续信源的相对熵简称为连续信源的熵。由于连续信源的状态数为无穷大，若假定等概率，不确定度将为无穷大。(1) 连续信源的绝对熵为无穷大4、关于连续信源熵的几点说明2.3.1连续信源的熵无穷大。在实际问题中，常常计算的是熵的差值，如平均互信此时，绝对熵中的无限大项将互相抵消掉。(2) 用连续信源的相对熵来定义连续信源的熵 可以和离散信源的熵在形式上统一，且便于计算；息等。因此，连续信源的绝对熵为求均匀分布的连续信源熵例2.3.1连续信源熵 相对熵离散信源熵 绝对熵5、其他连续熵的定义：2.3.1 连续信源的