信息论 - 第2章教材

第二章离散信源及其信息测度信源的数学模型及分类信源的自信息*信息熵及基本性质*离散无记忆扩展信源离散平稳信源马尔科夫信源*信源的剩余度与自然语言的熵2.1信源的数学模型及分类离散信源：信源输出的都是单个符号的消息，符号集的取值是有限的或可数的且满足X为样本空间P(x)为每个符号出现的概率，称为先验概率连续信源：信源输出的都是单个符号的消息，符号集的取值是连续的或取值是实数集R=(-,)

或并满足

或平稳信源与非平稳信源：任意两个不同时刻随机矢量X的各维概率分布都相同（不相同）

N维随机矢量：由N个符号组成的符号序列

N次扩展信源：信源输出的消息是按一定概率选取的由N个符号组成的序列，即输出的是随机矢量有记忆信源与无记忆信源：发出的符号之间有（没有）相互依赖关系

离散信源连续信源平稳信源非平稳信源有记忆信源无记忆信源几种信源分类之间的关系2.2信源的自信息

如果事件发生的概率为,事件发生所含有的信息量，就称为自信息量，表示为一次测量获得的信息量为不确定性I是概率的函数自信息量的特点1.如果，则2.当，则3.当，则4.两个独立事件联合信息量等于他们分别的信息量之和自信息量的计算公式如果事件发生的概率为,事件发生的自信息量为例题

如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”，答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？设事件A为第一个事件事件B为第二个事件事件A的概率事件B的概率则从事件A中获得的信息量则从事件B中获得的信息量例题例题设有12枚同样的硬币，其中有一枚为假币，且只知道假币的重量与真币不同，但不知是轻还是重。现采用天平比较左右两边轻重的方法来测量（因无砝码）。为了在天平上称出那一枚是假币，试问至少必须称多少次？在12枚硬币中，某一枚为假币的概率为假币的重量比真币的重量是重或轻的概率为找到假币获得的总的信息量为在天平上称一次能判断出三种情况：重、轻、相等。所以称一次获得的信息量为所以，至少必须称的次数为比特比特次2.3信息熵物理意义：信源输出的每个消息的平均信息量信源的平均不确定性输出消息的随机性信息熵定义为信源的平均信息量8个灯泡的例子此信源的信息熵（比特/符号）例题

甲乙两地的天气预报为：晴（占4/8）、阴（占2/8）、大雨（占1/8）、小雨（占1/8）。某乙地的天气预报为：晴（占7/8）、小雨（占1/8）。求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0。另一种是晴、阴、大雨、小雨出现的概率都相等，为1/4。求这两极端情况所提供的平均信息量。又求乙地出现这两极端情况所提供的平均信息量。例题甲地天气预报提供的平均信息量（信息熵）

（比特）乙地天气预报提供的平均信息量（信息熵）

（比特）甲地极端情况1的信息熵（比特）甲地极端情况2的信息熵（比特）

同样乙地的两极端情况的信息熵分别为与信息熵的基本性质概率矢量：熵函数：

基本性质对称性、确定性、非负性、扩展性、可加性、强可加性、递增性、极值性、上凸性1)

信息熵的对称性当变量的顺序任意互换时，熵函数的值不变，即2)

信息熵的确定性3)

信息熵的非负性4)

信息熵的扩展性5）可加性如果有两个随机变量X和Y，他们彼此是统计独立的，概率分布分别为与则有H(XY)=H(X)+H(Y)即其中6）信息熵的强可加性

两个相互关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵7）信息熵的递增性

其中

熵函数是概率矢量的严格型凸函数。即对任意概率矢量和及任意则有8）信息熵的极值性（最大离散熵定理）9）信息熵的上凸性例题为了传输一个由字母A,B,C,D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A,01代表B,10代表C,11代表D。每个二元码脉冲宽度为5ms。（1）不同字母等概率出现时，计算传输的平均信息速率？（2）若每个字母出现的概率分别为pA=1/5,pB=1/4,pC=1/4,pD=3/10,试计算传输的平均信息速率？1）不同字母等概率出现时，平均每个字母含有的信息量为比特/符号一秒钟可以传输的字母个数为字母/秒传输的平均信息速率为比特/秒2）概率不同时，平均每个字母含有的信息量为比特/符号传输的平均信息速率为比特/秒离散无记忆的扩展信源有一离散信源如果输出的每二个符号看作一组，则信源可以写成离散无记忆的扩展信源扩展信源：信源输出的消息是按一定概率选取的由多个符号组成的序列离散无记忆信源其N次扩展信源是其中N次扩展信源的信息熵计算公式

有一离散无记忆信源其信息熵(比特/符号）二次扩展信源信息熵(比特/符号）例题离散平稳信源

在任意两个不同时刻发出符号序列的各维联合概率分布都相同的离散信源其中与为两个不同时刻条件概率：信源在前面已发出N个符号的基础上再发出符号的概率，可表示为N维联合概率：信源输出N个符号的概率，可表示为

联合概率与条件概率的关系当符号间没有依赖关系时二维平稳信源及其信息熵一维离散平稳信源二次扩展平稳信源联合熵二维平稳信源X的信息熵的近似值条件熵已知前面一个符号时，输出下一个符号的平均不确定性输出第二个符号总的平均不确定性（条件熵）联合熵与条件熵的关系（熵的强可加性）条件熵与无条件熵的关系对于一般的离散平稳有记忆信源信源符号之间的依赖长度为N,则其联合熵为极限熵例题某一离散二维平稳信源且发出的符号只与前一个符号有关，联合概率为求信源符号之间无依赖关系时信源X的信息熵，有依赖关系时二维信源的条件熵与联合熵。01201/41/18011/181/31/18201/187/36条件概率为01209/111/8011/113/42/9201/87/9信源符号之间无依赖性时，信源X的信息熵为（比特/符号）考虑符号之间有依赖性时，条件熵为（比特/符号）联合熵为（比特/二个符号）（比特/符号）熵的近似值

一个平面上刻有6行8列的棋型方格，若有二个质点A和B,分别以等概率落入任一方格内，且它们的坐标分别为（XA,，YA），（XB，YB）,但A,B不能落入同一方格内。（1）若仅有质点A,求A落入任一格的平均自信息量是多少？(5.58)（2）若已知A落入，求B落入的平均自信息量。(5.55)（3）若A，B是可辨的，求A，B同时落入的平均自信息量。(11.14)例题（1）A落入任一格的平均自信息量（比特）（2）已知A落入，B再落入的平均自信息量

(比特）（3）A，B同时落入的平均自信息量（比特）马尔科夫信源例子：有一个信源，输出符号的符号集为{0,1}。此信源输出的符号序列遵守下面的规则：当前面两位符号是00时，输出符号0的概率为0.8，输出符号1的概率为0.2;当前面两位符号是01时，输出符号0的概率为0.5，输出符号1的概率为0.5;当前面两位符号是10时，输出符号0的概率为0.5，输出符号1的概率为0.5;当前面两位符号是11时，输出符号0的概率为0.2，输出符号1的概率为0.8.马尔科夫信源E2E3E4E5E1信源符号集信源状态(1)某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以前的输出符号无关（2）信源某时刻所处的状态由当前的输出符号和前一时刻信源的状态唯一决定时齐的马尔科夫信源状态转移概率和已知状态下发出符号的概率均与时间无关的马尔科夫信源m阶马尔科夫信源m阶有记忆离散信源的数学模型可由一组信源符号集和一组条件概率确定：并满足状态则信源的状态集马尔科夫信源的信息熵时齐、遍历的马尔科夫信源的信息熵其中为状态出现的概率例题二元二阶马尔科夫信源的符号集为[0,1]，条件概率为求各状态之间的转移概率与马尔科夫信源的信息熵。信源有qm=22=4种可能状态，E1=00,E2=01,E3=10,E4=11状态转移图为000111100:0.80:0.51:0.20:0.51:0.51:0.50:0.21:0.8其他状态转移概率为0解方程组，可得信源的熵（比特/符号）信源的剩余度一个离散信源的符号集为A,B,C,D组成的集合，在信道中传输每个符号所需的时间为5ms。（1）不同字母等概率出现时，计算传输的平均信息速率？（2）若每个字母出现的概率分别为pA=1/2,pB=1/4,pC=1/8,pD=1/8,试计算传输的平均信息速率？例题1）不同字母等概率出现时，平均每个字母含有的信息量为比特/符号一秒钟可以传输的字母个数为字母/秒传输的平均信息速率为比特/秒2）概率不同时，平均每个字母含有的信息量为比特/符号传输的平均信息速率为比特/秒信源的剩余度熵的相对率：信源实际的信息熵与具有同样符号集的最大熵的比值信源剩余度：1减去熵的相对率自然语言的熵英文字母组成的信源的最大熵