信息论与编码报告

1、信息论报告摘要：信息论是一门用概率论与数理统计方法来研究信息的度量、传递和交换规律的科 学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决 信息的获限、度量、变换、存储和传递等问题的基础理论。自香农在1948年发表奠定 信息论基础的通信的数学理论一文以来，信息论学科迅速发展并延伸到许多领域中。 信息理论不仅在通信、计算机、控制等领域中有直接指导意义，还渗透到经济学、生物 学、医学等广泛领域。本文简要介绍信息论的基本原理和发展史，重点介绍信息论在数 据压缩、密码学、信号处理及量子理论中的应用。关键词：信息、信息论、密码学、数据压缩、量子理论、熵1.信息论原理1.1信息论

2、中的信息信息是信息论中最重要最基本的概念。早期，人们对信息的理解是很肤浅的。最早 把信息作为科学对象来加以研究的是通信领域，而这一领域的奠基之作当推哈特莱于 1928年在贝尔系统电话杂志上发表的题为信息传输的论文。他把信息理解为 选择通信符号的方式，并用选择的自由度来计量这种信息的大小。1948年，通信专家 香农在贝尔系统电话杂志上发表了一篇名为通信的数学理论的论文，在文中他 以概率论为工具，阐明了通信中的一系列基本理论问题，给出了计算信源信息量和信道 容量的方法和一般公式，得到了一组表示信息传递重要关系的编码定理。香农在定量测 度信息时，把信息定义为随机不确定性的减少，亦即信息是用来减少随机

3、不确定性的东 西。基于这一思想，布里渊直接指出，信息就是负熵1。而控制论的奠基人维纳则把信 息看做广义通信的内容，他指出：“正如熵是无组织（无序）程度的度量一样，消息集 合所包含的信息就是组织（有序）程度的度量。事实上完全可以将消息所包含的信息解 释为负熵”。(1)香农在论文A Mathematical Theory of Communication中给出了信息熵的定义：H = Z p log(p )(1-2-1)iii这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息 中所含的信息量，其中去除了由消息的固有结构决定的部分，比如语言结构的冗余性以 及语言中字母、词的使

4、用频度等统计特性。信息论中熵的概念与物理学中的热力学熵有 着紧密的联系。波尔兹曼与吉布斯在统计物理学中对熵做了很多工作，信息论中的熵正 是受此启发。但是热熵只能增加不能减少；而在通信中，信息熵只会减少不会增加。联合熵：H(XY)= p(c y )og p( y )(1-2-2)i j 联合熵H(XY)表示信源X与信宿Y之间任意一对消息的共熵，即描述信源和信宿之间 消息序列的平均不确定性。互信息：它是另一有用的信息度量，指两个事件集合之间的相关性。两个事 件X和Y的互信息定义为：I(X, Y)= H(X)+ H(Y) H(X, Y)(1-2-3)Shannon信息论的精髓在于将通信的内容抽象为信

5、息，赋予信息以数学的形式，将 通信过程中的信息加工变为严格的数学运算。如果一个信源的实际信息熵小于其占用的 编码空间，那么就可以对信源参数做一种编码压缩的数学变换，使新编码所占用的空间 可以压缩到接近甚至等于原始信息的信源熵。这样，就可以用较少的信道容量完成通信 而不丢失信息。如信道中有干扰，则增加相应的监督码量来纠错而保证信息的无损传输。 最后在接收端还要做一种译码的数学反变换以完整地恢复原信号。这就是Shannon的信 源编码和信道编码的基本数学原理3,4。2.信息论的发展信息论是在长期的通信工程实践和理论研究的基础上发展起来的。莫尔斯在 1832-1835年间建立起了电报系统。1876年

6、，贝尔发明了电话系统。接着在1895年英 国的马可尼和俄国的波波夫就发明了无线通信。随着工程技术的发展，有关理论问题的 研究也逐步深入。1832年莫尔斯电报系统中高效率的编码方法对后来香农的编码理论 是有启发的。1885年L.Kclvin曾经研究过一条电缆的极限传信问题。1922年J.R.Carson 对调幅信号的频谱结果进行了研究，并建立了信号频谱的概念。1924年奈圭斯特的论 文若干影响电报速度的因素中已经包含了在可传输通信系统中量化“信息”和“线速 度”的概念，并给出一个式子W Klogm，其中，W是情报的传输速度，m是每个时间 可以选择发送不同的电压电平的数目，而K是一个常数。他指出：

7、如果以一个确定的 速度来传输电报信号，就需要一定的带宽，他把信息率与带宽联系起来。1928年哈莱 特发展了奈圭斯特的工作并提出把消息考虑为代码或单语的序列。信息论的创始人香农认为：“通信的基本问题就是精确地或近似地在一点复现另一 点选择的信号，通信就是将信息由发信者传给受信者。他提出了通信系统的随机模型， 把许多复杂的通信机构简化为由信源、编码、信道、噪声、译码及信宿组成的一个信息 系统。香农的这一通信模型，不仅适用于技术系统，而且可以推广到生命和社会系统， 具有普遍意义。香农还把信息定量化，使通信科学由定性阶段进入定量阶段。他把信息看作是用以 消除不确定的东西。信息数量的大小可以用被消除的不

8、确定性多少来表示，而事物不确 定性的多少用概率来描写。香农对通信的技术问题也作了全面的研究，解决了如何从信 息接收端提取由信息源发来的消息的技术性问题。他还提出如何充分利用信道的信息容 量问题，找到了如何在有限信道中以最大速率传送信息的基本途径，初步解决了怎样编 码、译码才能使信源信息充分表达、信道被充分利用的问题。香农的研究工作具有开创性的意义。信息论产生以后，一方面应用于多种学科和技 术领域，另一方面不断完善本身的理论体系。信息论的应用信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，其基本任务 是为设计有效而可靠的通信系统提供理论依据，主要特点是理论的成功应用。下面将主 要介

9、绍信息论在数据压缩、密码学、量子理论和信号处理中的应用。香农在1948年发表的论文通信的数学理论一文中指出，任何信息都有冗余， 冗余大小和信息中每个符号的出现概率有关5。香农把信息中排除了冗余后的平均信息 量称为信息熵，并给出了计算信息熵的数学表达式，这为数据压缩奠定了基础。数据压缩作为信息论研究中的一项内容，主要目的是力求用最少的数据表示信源发 出的信号，使信号占用的存储空间尽可能小，以达到提高信号传输速度的目的。它主要 是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经 过编码的数据流比源数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率 高，运算速度快，

10、实现方式灵活，使得其在数据压缩领域的到了广泛的应用。不过哈夫 曼所得编码长度只是对信息熵计算结果的一种近似，还无法真正逼近信息熵的极限。所 以尽管哈夫曼编码具有良好的压缩性能，也一直占据重要的地位，还是不断有基于哈夫 曼编码的改进算法提出。数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以 及能在多大程度被压缩与信息的不确定性有直接关系，人工智能技术将会对数据压缩的 未来产生重大影响。3.2信息论在密码学中的应用密码学是研究编制密码和破译密码的技术科学。从传统意义上说，密码学是研究如 何把信息转换为一种隐蔽的方式并阻止他人得到它。密码术的研究和应用虽有很长的历 史，但在信

11、息论诞生以前，它还没有系统的理论，直到香农发表的保密通信的信息理论 一文，为密码学确立了一系列的基本原则和指标，如加密运算中的完全性、剩余度等指 标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说 信息论与密码学的关系十分密切。近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范 围有了很大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量 标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构 造仍以香农的完善保密性为基础。信息处理包括影像、数据、语声或者其他信号的处理，从信息论的观点来看，信号 则是观察客观

12、事物表达其相应信息的技术手段，也就是特定信息的载体。信息是通过 信号来表达的，对信息的加工和处理，也就是对信号的加工和处理。所有处理过程无非 是信源编码，变换，过滤或决策过程，其实变换也是一种编码过程。这些过程中的大部 分的信息论基础是信息率失真理论。譬如数字信号处理，其技术可以归结为以快速傅里叶变换和数字滤波器为核心，以 逻辑电路为基础，以大规模集成电路为手段，利用软硬件来实现各种模拟信号的数字处 理，其中要用到信息论中的信号检测、信号变换、信号调制和解调、信号的运算、信号 的传输和交换等。3.4量子理论量子纠缠是量子系统内存在的一种特有的现象，它是各个子系统关联的属性，即对 一个子系统的测

13、量结果决定了其他子系统的状态。纠缠是量子力学独有的现象，具有纠 缠性的量子比特称为纠缠比特，纠缠态是一种特殊的相干叠加态。1935 年，Einstein、Podolsky 和 Rosen 一起在 Physical Review 上发表文章提出了著 名的“EPR佯谬”。在发表的论文中，Einstein等给出了一个两粒子系统的纠缠态：W G , x )= j 心f GG )dp(3-4-1)其中，x和x表示粒子1和2的坐标变量，p为系统的动量，而f (x (x )则表示粒 12p 1 p 2子之间形成了纠缠态。研究表明，力学具有完备性。在一般情况下，量子力学不允许我们读出任意精度的一个量子系统状态

14、。贝尔量子 系统之间的纠缠态存在，不能被转换成经典的信息。这是唯一可能改变量子信息与量子 系统的足够信息的能力。因为这个原因，消息M所含的信息，可以用贮存这个消息所 需的最小二级系统的数量n来度量：M包含7n个量子比特。在其原始的理论意义上的， 术语量子比特是信息量的量度。两能级量子系统可以实现最多一个量子比特，在同样的 意义上，一个经典的二进制数字可以携带至多有一个经典比特。在量子信息系统中，常用量子位或量子比特(qubit)表示信息单元。量子计算机是用 二态的量子力学系统来描述两位信息的，比如，光子的两个偏振方向，磁场中电子自旋 或者核自旋向上和向下的两个方向，原子中电子的两个能级态等。量

15、子计算机进行量子 计算的过程就是这些量子力学系统的量子态的演化过程。噪声信道编码定理指出，噪声限制了一个模拟信息载体所携带的信息内容是有限 的，而在噪声下保护这些有限信息是很困难的。传统的模拟信息的例子表明，量子信息 处理方案必然是对噪声有容限的，否则将没有实际使用价值。量子纠错编码和容错量子 计算方式被发现时，这将会是一个巨大突破。总结信息论方法的建立，不仅对自然科学有重要的意义，而且对社会科学的研究和发展 也同样具有深远的意义。但是香农信息论虽然为目前的通信系统设计和编码都有不可忽 视的指导意义，却也有不足的地方，一个局限是香农得出的大部分结果，都是在理论上 得到的极限值，虽然为通信系统的设计给出了非常有指导意思的理论界限，但实际系统 中应该如何去达到这些界限，香农并没有给出。但是我相信随着理论与技术的成熟，随 着更多的专家与学者加入该领域的研究，信息论领域一定会得到突飞猛进的发展，并且 对未来科学技术以及人类的发展与进步起到巨大的推动作用。参考文献1.BRILLOUN L.Science and information theory M. New York Academic Press Inc. 1956. .马费成等.信息管理学基础M.武汉：武汉大学出版社,2000.