信息理论的基本知识

1、信息理论的基本知识数字通信技术信息理论的基本知识1.1 信息及其度量 传递信息是通信系统的基本任务。在传输过程中，信息是以各种具体的电信号形式表现出来的。为了对通信系统进行深入的分析，需要对信息进行度量，我们把能够衡量信息大小的物理量定义为信息量，用I表示。 信息理论研究表明，信息量的大小与消息中事件的发生概率有关。事件发生概率越小，信息量越大。显然，若消息中包含的事件必然发生，即事件发生的概率为1，则此消息包含的信息量为0。 据此，可得信息量与事件概率之间的关系为 （1-1） P（x）是事件发生的概率，I为发生该事件的消息包含的信息量。信息量的单位由对数的底a的取值决定，若a=2，则信息量的

2、单位是比特（bit）；若a=e，则信息量的单位是奈特（nit）；若a=10，则信息量的单位是哈特莱。使用最多的信息量单位是比特。 （1）若有M个独立的消息，每个消息出现的概率相同，即P（x）=1/M，则 （1-2）若M=2，则I=1bit；若M=2k，则I=k bit。 （2）若n个符号组成的集合中，每一个符号xi在消息中是按一定的概率P（xi）独立出现的，且 ，则整个消息的信息量为 （1-3） 【例1-1】 已知二元信源只有“0”、“1”两种符号，如“0”出现的概率为1/3，求1所包含的信息量。 解：据题意可知，“1”出现的概率是2/3，则其包含的信息量为 【例1-2】 已知英文字母e和z出

3、现的概率分别为0.105和0.001，求英文字母e和z的信息量。 解：e的信息量为 z的信息量为 【例1-3】 某离散信息源由0、1、2、3四种符号组成，它们出现的概率分别为3/8、1/4、1/4、1/8，试求消息201020130213001203210100321010023102002010312032100120210的信息量。 解：在此消息中，0出现23次，1出现14次，2出现13次，3出现7次，于是可得消息的信息量为 当消息很长时，用符号出现的概率计算信息量很烦琐，采用平均信息量的计算方法比较方便。所谓平均信息量是指每个符号所含信息量的统计平均值，又称为信息源的熵，其单位是bit/

4、符号。n个符号的离散消息的平均信息量计算公式为 （1-4） 对于例1-3可求出消息中各符号的平均信息量（或信源的熵）为 因此，上述含有57个符号消息的总信息量为 从计算结果看，与例1-3相比略有差异，原因在于两者平均处理的方法不同。随着消息中符号数的增加，这种误差会逐渐减小。 需要注意的是，信源的熵越大越好，这说明信源的信息有效性高。信源的最大熵发生在每一个符号等概率出现时，即 ，且最大熵等于 bit/符号。1.2 信道容量与香农公式 单位时间内信道上所能传输的最大信息量称为信道容量。它可用信道的最大信息传输速率来表示。 以无限小的差错率和无限大的速率传输信息是人们对通信系统的理想要求。可是信

5、道传输信号的功率和信道的带宽均是有限的，信号在信道中传输要受到干扰的影响，在实际的工程应用中往往采用折衷方案，即在满足可靠性的前提下尽可能地提高信息速率。那么，在怎样的情况下，信道可以不失真地将信息以尽量高的速率传输呢？香农定理为我们解决了这个问题。 香农定理的内容是，若信息源发出的信息速率小于或等于信道容量，则信息可以在信道中无失真地传输；反之，则无法正确传输信息。 对于给定的有扰信道，香农公式给出了信道容量、信道带宽和高斯白噪声干扰信号（或信道输出信噪比）之间的关系： (bit/s) （1-5） 式中，C为信道容量（单位bit/s），B为信道带宽（Hz），S为信号功率（W），n0为输入端加

6、性高斯白噪声的单边功率谱密度（W/Hz），N=n0B为噪声功率（W）。 根据香农公式，我们可以得出以下结论： （1）当信道的带宽B和信噪比S/N一定时，信道的极限传输能力（信道容量）C确定。当信道的实际传输速率小于C时，可以做到无差错传输。也就是说，信道的实际传输速率不能大于C，除非允许存在一定的差错率。 （2）提高信噪比可以提高信道容量。 （3）当信道容量C一定时，带宽B和信噪比S/N之间可以互换。也就是说可以通过调整带宽B和信噪比S/N之间的关系来保持一定的信道容量。 （4）增加带宽B并不能无限制地增大信道容量。当B时，C1.44S/ n0。这是因为此时的噪声功率n0B也趋向于无穷大。 理论上把以极限速率传输信息（达到信道