信息论基础理论及应用

1、信息论形成的背景与基础人们对于信息的认识和利用，可以追溯到古代的通讯实践可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步， 人们对传递信息的要求急剧增加。到了 20世纪20年代，如何提高传 递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎 斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛 希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。信息论是在人们长期的通信工程实践中，由通信技术和 概率论、随机过程和数理统计相结合而逐步发展起来的一门 学科。信息论的奠基人是美国伟大的数学家、贝尔实验室杰 出的科学家C.E.香农（被称为是“信息论之父”）

2、，他在1948年 发表了著名的论文通信的数学理论，1949年发表噪声中 的通信，为信息论奠定了理论基础。20世纪70年代以后，随着 数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破 香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语 义信息和语用信息的科学。近半个世纪以来，以通信理论为核 心的经典信息论，正以信息技术为物化手段，向高精尖方向 迅猛发展，并以神奇般的力量把人类社会推入了信息时代。 信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就 是立足于这个基本性质。随着信息理论的迅猛发展和信息概念 的不断深化，信息论所涉及的内容早已超越了狭义的通信工 程范畴，

3、进入了信息科学领域。信息论定义及概述信息论是运用概率论与数理统计的方法研究信息、信息熵、通信 系统、数据传输、密码学、数据压缩等问题的应用数学学科。核心问 题是信息传输的有效性和可靠性以及两者间的关系。它主要是研究 通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳 解决信息的获限、度量、变换、储存和传递等问题的基础理论。基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些 技术提高了数据传输和存储的效率。信息论将信息的传递作为一种统 计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压 缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源 信道隔离定理相互联系信

4、息论作为一门科学理论，发端于通信工程。它的研究范围极 为广阔，一般把信息论分成三种不同类型：狭义信息论。狭义信息论主要总结了 Shannon的研究成果，因此 又称为Shannon信息论。在信息可以度量的基础上，研究如何有效、 可靠地传递信息。有效、可靠地传递信息必然贯穿于通信系统从信源 到信宿的各个部分，狭义信息论研究的是收、发端联合优化的问题， 而重点在各种编码。它是通信中客观存在的问题的理论提升。一般信息论。研究从广义的通信引出的基础理论问题：Shannon 信息论；Wiener的微弱信号检测理论。微弱信号检测又称最佳接收研 究是为了确保信息传输的可靠性，研究如何从噪声和干扰中接收信道 传

5、输的信号的理论。主要研究两个方面的问题：从噪声中去判决有用 信号是否出现和从噪声中去测量有用信号的参数。该理论应用近代数 理统计的方法来研究最佳接收的问题，系统和定量地综合出存在噪声 和干扰时的最佳接收机结构。除此之外，一般信息论的研究还包括： 噪声理论、信号滤波与预测、统计检测与估计理论、调制理论、信号 处理与信号设计理论等。可见它总结了Shannon和Wiener以及其他学 者的研究成果，是广义通信中客观存在的问题的理论提升。广义信息论。无论是狭义信息论还是一般信息论，讨论的都是客 观问题。然而从前面给出的例子可知，当讨论信息的作用、价值等问 题时，必然涉及到主观因素。广义信息论研究包括所

6、有与信息有关的 领域，如：心理学，遗传学，神经生理学，语言学，社会学等。因此， 有人对信息论的研究内容进行了重新界定，提出从应用性、实效性、 意义性或者从语法、语义、语用方面来研究信息，分别与事件出现的 概率、含义及作用有关，其中意义性、语义、语用主要研究信息的意 义和对信息的理解，即信息所涉及的主观因素。广义信息论从人们对信息特征的理解出发，从客观和主观两个方 面全面地研究信息的度量、获取、传输、存储、加工处理、利用以及 功用等，理论上说是最全面的信息理论，但由于主观因素过于复杂， 很多问题本身及其解释尚无定论，或者受到人类知识水平的限制目前 还得不到合理的解释，因此广义信息论目前还处于正在

7、发展的阶段。信息量信息量也就是熵，是一个建立在随机型性基础上的概念。信息论 中熵的概念与物理学中热力学熵的概念有着紧密的联系。玻耳兹曼与 吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受 之启发。信息量是随机性大小的度量。信源X是随机，可以认为信源 X发出符号1，2，3的概率都是1/3,即可以按公式I(a)= logp(a) 来计算。但是信源y是一个确定的信源，t=0时刻发1, t=1时刻发 2, t=2时刻发3等等，这是有规律可循的，随机性为0,即信源y是 确定的，它的信源熵为0，不能提供任何信息，信息量为0。所以信 源x的消息每一个消息符号所含的消息量大于信源y的每个消息符号

8、所含的信息量(信源y的每个消息符号所含的信息量为0)。信息的 度量是信息论研究的基本问题之一。美国数学家C.E.香农在1948年 提出信息熵作为信息量的测度。根据人们的实践经验，一个事件给予 人们的信息量多少，与这一事件发生的概率(可能性)大小有关。一个 小概率事件的发生，如“唐山发生七级以上大地震”使人们感到意外， 它给人们的信息量就很多。因此，用I(A)=-log(A)P(A)表示事件A 发生的概率)来度量事件A给出的信息量，称为事件A的自信息量。 若一次试验有M种可能结果(事件)，或一个信源可能产生M种消息(事 件)，它们出现的概率分别为尸己,/.，则用AfH = - PjlogPiJ来

9、度量一次试验或一个消息所给出的平均信息量。当对数取2为底时，单位为比特；当对数取e为底时，单位为奈特。H 的表达式与熵的表达式差一个负号，故称负熵或信息熵。信息传输模型信息传输系统主要由信源、信道和信宿组成，下图为信息传输系 统的基本模型。信源是产生消息的系统。信宿是接受消息的系统，信道则是传输消息的通道。图中编码器、译码器的作用是把消息变换成 便于传输的形式。信源信宿信息传输麟型信源编码信源是产生消息（包括消息序列）的源，是为了减少信源输出符 号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列 所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻 找某种方法，把信源输出符号

10、序列变换为最短的码字序列，使后者的 各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的 符号序列。信源编码的基本日的是提高码字序列中码元的平均信息 量，一切旨在减少剩余度而对信源输出符号序列所施行的变换或处 理，都可以在这种意义下归入信源编码的范畴，例如过滤、预测、域 变换和数据压缩等。信源编码器将消息变换为一个数字序列（通常为 二进制数字序列）。在离散情形，若信源产生M种可能消息，它们出现 的概率分别为心 ，每个消息由N种信源符号组成,便可取 信源编码与数字序列一一对应。第i种消息对应的数字序列长（数字 个数）为Li，Li相等的称等长编码，否则称变长编码。定义Af为编码速率，它表征

11、平均每个信源符号要用多少个数字来表示。若取信源译码器为信源编码器的逆变换器，则在无噪信道 （信源编码器的输出即为信源译码器的输入）情况下，消息可以正确 无误地传送。这时信源编码问题是要找出最小的速率R及其相应的编码。已经证明，对于相当广泛的信源类,当N可以任意大时这个最小极限速率5=百二目（-土切冉腿乙），称为信源的熵率，是信源的一个重要参数。为了有效传播信息，最理想状态即为无失真传输。在无失真信源 编码中又分为定长编码、变长编码机最佳变长编码。一、定长编码。在定长编码中，K是定值，编码的目的即为找到 最小的K值。要实现无失真的信源编码，不但要求信源符号与码字是 一一对应的，而且还要求有码字组

12、成的码符号序列的逆变换也是唯一 的。由定长编码定理可知，当编码器容许的输出信息率，也就是当每 个信源符号必须输出的码长是K=KL/log M。由定理表明，只要码字所能携带的信息量大于信源序列输出的信 息量，则可以使传输几乎无失真，但是条件是L足够大。这就为传输 带来了很大的麻烦，并且实现起来很困难，并且编码效率也不高。而 要达到编码效率接近1的理想编码器虽有存在性，但在实际上时不可 能的，因为L非常大，无法实现。由此而产生了变长编码。二、变长编码。在变长编码中，码长K是变化的，可根据信源各 个符号的统计特性，对概率大的符号用短码，而对概率小的符号用长 码。这样大量信源符号编成码后，平均每个信源

13、符号所需的输出符号 数就可以降低，从而提高编码效率。用变长编码来达到相当高的编码 效率，一般所要求的符号长度L可以比定长编码小得多的多。很明显， 定长码需要的信源序列长，这使得码表很大，且总存在译码差错。而 变长码要求编码效率达到96%时，只需L=2.因此用变长码编码时，L 不需要很大就可达到相当高的编码效率，而且可实现无失真编码。并 且随着信源序列长度的增加，编码效率越来越接近于1，编码后的信 息传输率R也越来越接近于无噪无损二元对称信道的信道容量 C=1bit/二元码符号，达到信源与信道匹配，使信道得到充分利用。几种不同的变长编码方式如下：1、香农编码方法。香农第一定理指出了平均码长与信源

14、之间的 关系，同时也指出了可疑通过编码使平均码长达到极限值，这是一个 很重要的极限定理。香农第一定理指出，选择每个码字的长度Ki满 足下式：I(xi)KiI(xi)+1就可以得到这种码。编码方式如下：首先将信源消息符号按其出 现的概率大笑依次从大到小排列，为了编成唯一可译码，计算第i种 消息的累加概率P=Ep (a)，并将累加概率Pi变换成二进制数。最 后去Pi二进制数的小数点后Ki位提取出，即为给细心符号的二进制 码字。由此可见香农编码法多余度稍大，实用性不强，但他是依据编码 定理而来，因此具有重要的理论意义。2、费诺编码方法。费诺编码属于概率编码，但不是最佳的编码 方法。在编N进制码时首先

15、将信源消息符号按其出现的概率依次由小 到大排列开来，并将排列好的信源符号按概率值分N大组，使N组的 概率之和近似相同，并对各组赋予一个N进制码元“0”、1” “N-1”。之后再针对每一大组内的信源符号做如上的处理，即再分为 概率和相同的N组，赋予N进制码元。如此重复，直至每组只剩下一 个心愿符号为止。此时每个信源符号所对应的码字即为费诺码。针对同一信源，费诺码要比香农码的平均码长小，消息传输速率 大，编码效率高。3、哈夫曼编码方法。编码方法：也是先将信源符号按其出现的 概率大小依次排列，并取概率最小的字母分别配以0和1两种码元（先 0后1或者先1后0，以后赋值顺序固定），再将这两个概率想家作为

16、 一个新字母的概率，与未分配的二进制符号的字母重新排队。并不断 重复这一过程，直到最后两个符号配以0和1为止。最后从最后一级 开始，向前返回得到各个信源符号所对应的码元序列，即为相应的码 字。哈夫曼编码方式得到的码并非唯一的。在对信源缩减时，两个概 率最小的符号合并后的概率与其他信源符号的概率相同时，这两者在 缩减信源中的排序将会导致不同码字，但不同的排序将影响码字的长 度，一般讲合并的概率放在上面，这样可获得较小的码方差。哈夫曼码的平均码长最小，消息传输效率最大，编码效率最高。信道编码信道是传输信息的媒质或通道，如架空明线、同轴电缆、射频波束、光导纤维等。有时为研究方便将发送端和接收端的一部

17、分如调制 解调器也划归信道。信息论把信息传送过程中受各种干扰的影响都归 入信道中考虑。根据干扰的统计特性，信道有多种模型。最简单的是 离散无记忆恒参信道，它可以用信道入口符号集乂、出口符号集Y和 一组条件概率P(y|x)(x E X, y E Y)来描述。若信道输入信号x = (x1,x2,xN),则相应的输出(受扰)信号y= (y1,y2,yN)出现的Np = (ylx) = TTP(yixi),N = 1,2, 概率为i-l信道编码器将数字序列每K个一组变换为字长N的信号(码字)，称为分组编码。若数字和 信道符号都是二进制的(可用0,1表示)，则R=K/N定义为编码速率， 它表明每个信道符

18、号表示多少个数字。N-K称为编码冗余度。信道编 码(纠错编码)的基本思想就是增加冗余度以提高可靠性。更确切地 说，信道译码器可以利用编码冗余度将受扰信号变换为正确的发送数 字序列。重复编码乃一简例。信道编码器将输入数字重复三次，如将 01011变换为000111000111111。信道译码器可用门限译码，即先将 输入译码器的信道符号每三个一组地相加，再将结果逐个与阈值2 比较，小于阈值2的译为0,否则译为1。这样若受扰信号 010110100011011虽然错了 5个符号，但译码仍为01011与发送数字 序列完全相同。信息论得出的重要结论是:对于一个有噪信道，只要在 信道编码中引入足够而有限的

19、冗余度，或等价地说编码速率足够小， 就能通过信道渐近无误地传送消息。更确切地说，对充分长的数字序 列，其接收错误概率可以任意小。信道编码问题是要找出使信道渐近 无误地传输消息所能达到的最大编码速率R和相应的编码。已经证明，对于离散无记忆恒参信道，这个最大极限编码速率为RzE注g）它是对X上一切概率分布p取极大值。p为信道转移概率（条件概率），22 Z凯痔R凯对1熙 嗥I 山八渗Mg。称为交互信息;c称为信道容量，是信道的重要参数。信道编码大致分为两类：信道编码定理，从理论上解决理 想编码器、译码器的存在性问题，也就是解决信道能传送的最大 信息率的可能性和超过这个最大值时的传输问题。构造性的编

20、码方法以及这些方法能达到的性能界限。编码定理的证明，从离 散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户 信道到多用户信道，从证明差错概率可接近于零到以指数规律逼 近于零，正在不断完善。编码方法，在离散信道中一般用代数码 形式，其类型有较大发展，各种界限也不断有人提出，但尚未达 到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。 在连续信道中常采用正交函数系来代表消息 ，这在极限情况下可 达到编码定理的限度。不是所有信道的编码定理都已被证明。只 有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有 严格的证明；其他信道也有一些结果，但尚不完善。提高数据传输效率，降低误码率

21、是信道编码的任务。信道编 码的本质是增加通信的可靠性。但信道编码会使有用的信息数据 传输减少，信道编码的过程是在原数据码流中加插一些码元，从 而达到在接收端进行判错和纠错的日的，这就是我们常常说的开 销。这就好像我们运送一批玻璃杯一样，为了保证运送途中不出 现打烂玻璃杯的情况，我们通常都用一些泡沫或海绵等物将玻璃 杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能 装5000个玻璃杯的，包装后就只能装4000个了，显然包装的代 价使运送玻璃杯的有效个数减少了。同样，在带宽固定的信道中， 总的传送码率也是固定的，由于信道编码增加了数据量，其结果 只能是以降低传送有用信息码率为代价了。将有用

22、比特数除以总 比特数就等于编码效率了，不同的编码方式，其编码效率有所不 同。数字电视中常用的纠错编码，通常采用两次附加纠错码的前 向纠错（FEC）编码。RS编码属于第一个FEC，188字节后附加16 字节RS码，构成（204，188）RS码，这也可以称为外编码。第 二个附加纠错码的FEC 一般采用卷积编码，又称为内编码。外编 码和内编码结合一起，称之为级联编码。级联编码后得到的数据 流再按规定的调制方式对载频进行调制。前向纠错码（FEC）的码字是具有一定纠错能力的码型，它在 接收端解码后，不仅可以发现错误，而且能够判断错误码元所在 的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈， 实

23、时性好。所以在广播系统（单向传输系统）都采用这种信道编 码方式。下面是纠错码的各种类型：1、RS编码RS编码即里德-所罗门码，它是能够纠正多个错误的纠错码，RS码为（204，188, t=8 ），其中t是可抗长度字节数，对应的 188符号，监督段为16字节（开销字节段）。实际中实施（255， 239，t=8）的RS编码，即在204字节（包括同步字节）前添加 51个全0字节，产生RS码后丢弃前面51个空字节，形成截短的（204，188）RS 码。RS 的编码效率是：188/204。2、卷积码卷积码非常适用于纠正随机错误，但是，解码算法本身的特 性却是：如果在解码过程中发生错误，解码器可能会导致突

24、发性 错误。为此在卷积码的上部采用RS码块，RS码适用于检测和校 正那些由解码器产生的突发性错误。所以卷积码和RS码结合在一 起可以起到相互补偿的作用。卷积码分为两种：（1）基本卷积码：基本卷积码编码效率为，n =1/2,编码效率较低，优点是纠 错能力强。（2）收缩卷积码：如果传输信道质量较好，为提高编码效率，可以采样收缩截 短卷积码。有编码效率为：n = 1/2、2/3、3/4、5/6、7/8这几 种编码效率的收缩卷积码。编码效率高，一定带宽内可传输的有效比特率增大，但纠错能 力越减弱。3、Turbo 码1993年诞生的Turbo码，单片Turbo码的编码/解码器， 运行速率达40Mb/s。

25、该芯片集成了一个32X 32交织器，其性能 和传统的RS码和卷积内码的级联一样好。所以Turbo码是一种 先进的信道编码技术，由于其不需要进行两次编码，所以其编码 效率比传统的RS+卷积码要好。4、交织在实际应用中，比特差错经常成串发生，这是由于持续时间 较长的衰落点会影响到几个连续的比特，而信道编码仅在检测和 校正单个差错和不太长的差错串时才最有效(如RS只能纠正8个字节的错误)。为了纠正这些成串发生的比特差错及一些突发 错误，可以运用交织技术来分散这些误差，使长串的比特差错变 成短串差错，从而可以用前向码对其纠错，例如：在 DVB-C系统 中，RS(204,188)的纠错能力是8个字节，交

26、织深度为12，那么 纠可抗长度为8X12= 96个字节的突发错误。实现交织和解交织一般使用卷积方式。交织技术对已编码的信号按一定规则重新排列，解交织后突 发性错误在时间上被分散，使其类似于独立发生的随机错误，从 而前向纠错编码可以有效的进行纠错，前向纠错码加交织的作用 可以理解为扩展了前向纠错的可抗长度字节。纠错能力强的编码 一般要求的交织深度相对较低。纠错能力弱的则要求更深的交织 深度。般来说，对数据进行传输时，在发端先对数据进行FEC编 码，然后再进行交织处理。收端次序和发端相反，先做去交织处 理完成误差分散，再FEC解码实现数据纠错。另外，从上图可看 出，交织不会增加信道的数据码元。根据

27、信道的情况不同，信道编码方案也有所不同，在DVB-T里由于是无线信道且存在多径干扰和其它的干扰，所以信道很“脏”，为此它的信道编码是：RS +外交积+卷积码+内交积。采用了两次交织处理的级联编码，增强其纠错的能力。RS作为外 编码，其编码效率是188/204 (又称外码率)，卷积码作为内编 码，其编码效率有1/2、2/3、3/4、5/6、7/8，信道的总编码效 率是两种编码效率的级联叠加。设信道带宽8MHZ，符号率为 6.8966Ms/S，内码率选2/3，16QAM调制，其总传输率是27.586Mbps, 有效传输率是 27.586*(188/204)*(2/3)=16.948Mbps, 如果

28、加上 保护间隔的插入所造成的开销，有效码率将更低。在DVB-C里，由于是有线信道，信道比较“干净”，所以它 的信道编码是：RS +交积。一般DVB-C的信道物理带宽是8MHZ， 在符号率为6.8966Ms/s，调制方式为64QAM的系统，其总传输率 是41.379Mbps,由于其编码效率为188/204，所以其有效传输率是 41.379*188/204=38.134Mbps。在DVB-S里，由于它是无线信道，所以它的信道编码是：RS +交积+卷积码。也是级联编码。5、伪随机序列扰码进行基带信号传输的缺点是其频谱会因数据出现连“1”和连“0”而包含大的低频成分，不适应信道的传输特性，也不利于 从中提取出时钟信息。解决办法之一是采用扰码技术，使信号受到 随机化处理，变为伪随机序列，又称为“数据随机化”和“能量 扩散”处理。扰码不但能改善位定时的恢复质量，还可以使信号 频谱平滑，帧同步和自适应同步和自适应时域均衡等系统的性能 得到改善。扰码虽然“扰乱”了原有数据的本来规律，但因为是人为的 “扰乱”，所以在接收端很容易去加扰，恢复成原数据流。实现加扰和解码，需要产生伪随机二进制序列（PRBS）再与 输入数据逐个比特作运算。PRBS也称为m序列，这种m序列与TS 的数据码流进行模2加运