信息论概述及其应用

1、信息论概述及其应用信息的概念人类从产生的那天起，就生活在信息的海洋之中。人类社会的生存和发展，无时无刻都离不开接收信息，传递信息，处理信息和利用信息。比如原始人的“结绳记事”也许是最初期的表达，存储和传送信息的办法，古代的“烽火告警”是一种最早的快速，远距离的传递信息的方式。近现代以来，由于电子计算机的迅速发展和广泛应用，尤其个人微型计算机得以普及，大大提高了人们处理加工信息，存储信息及控制和管理信息的能力。随着计算机技术，微电子技术，传感技术，激光技术，卫星通讯，移动通讯等等新技术的发展和应用，尤其是近年来以计算机为主体的互联网技术的兴起与发展，他们相互结合，相互促进，以前所未有的的威力推动

2、着人类经济和社会的高速发展。这是这些现代新科学，新技术，将人类社会推入到高度信息化时代。信息与信号，消息的比较消息是信息的数学载体，信号是信息的物理载体。信号是具体的，物理的消息是具体的，非物理的信息是非具体的，非物理的信号最具体，它是一物理量，可测量，可显示，可描述，同时它又是载荷信息的试题信息的物理层表达。消息是具体的，非物理的，可以描述为语言文字，符号，数据，图片，能够被感觉到，同时它也是信息的载荷体。是信息论中的主要描述形式。信息是抽象的，非物理的，是哲学层的表达。信息的定义关于信息的科学定义，到目前为止，国内外已有上百种说法，他们都是从不同侧面和不同的层次来揭露信息的本质。最早对信息

3、进行科学定义的是莱哈特。他在1928年发表的信息传输一文中，首先提出信息这个概念。但是哈莱特这种理解在一定程度上能够解释通信工程中的一些信息问题，但他存在着严重的局限性。1948年，控制论的创始人之一，美国科学家维纳出版了控制论动物和机器中通讯与控制问题一书。他指出了，信息就是信息自己，不是其他什么东西的替代物，它是与物质，能量等同等重要的基本概念。正是维纳，首先将信息上升到了最基本概念的位置。香农在1948年发表了一篇著名的论文通信的数学理论。他从研究通信的系统传输的实质出发，对信息做了科学的定义，并进行了定性和定量的描述。香农信息论是以概率论、随机过程为基本研究工具，研究广义通信系统的整个

4、过程，而不是整个环节，并以编、译码器为重点，其关心的是最优系统的性能及如何达到该性能（并不具体设计环节，也不研究信宿）。目前，香农信息论方面值得注意的研究方向有信息概念的深化问题、信息失真理论的发展及在数据压缩中的应用、以计算机为中心的信息处理系统的基本理论等。信息论研究的对象，目的和内容信息论研究的对象是统一的通信系统模型。通信系统模型主要分成下列五部分。1， 信息源：信源是产生消息和消息序列的源。2， 编码器：编码是吧消息变成信号的措施。3， 信道：信道是指通信系统把载荷消息的信号从甲地传输到乙地的媒介或通道。4， 译码器：译码就是把信道输出的编码信号（已叠加干扰）进行反变换，一般认为这种

5、变换是可逆的。译码器一般可以分为新源译码器和信道译码器。若在保密通信系统中，应还包括解密译码。5， 信宿：信宿是消息传送的对象，即接收消息的人或机器。信源和信宿可处于不同地点和不同时刻。 香农信息论的建立与发展香农于1948年10月发表于贝尔系统技术学报上的论文A Mathematical Theory of Communication（通信的数学理论）作为现代信息论研究的开端。在这两篇论文中，他用概率测度和数理统计的方法系统地讨论了通讯的基本问题，首先严格定义了信息的度量-熵的概念，又定义了信道容量的概念，得出了几个重要而且带有普遍意义的结论，并由此奠定了现代信息论的基础。1， 香农信息理论

6、的数学严格化2， 无失真信源编码定理和技术的发展3， 信道纠错编码的发展4， 限失真信源编码的提出和发展5， 多用户，网络信息论的发展6， 信息保密与安全理论的提出和发展香农定义的信息仍有其局限性，存在一些缺陷。信息论在相关领域的应用信息很早就被人们利用，但真正被作为一个科学概念探讨，则是20世纪40年代以后的事，而被作为科学为人们普遍认识和利用则是近几十年的事情。当今世界，信息技术日新月异，在经济社会各领域的应用不断深化，日益深刻地影响着人类社会发展。信息产业已经发展成为当前世界上最大的产业。今年来，逐渐形成的光学信息论，量子信息论，生物信息论都是信息科学的重要分支。信息论主要的应用范围：编码学 密码学与密码分析学 数据传输 数据压缩