信息论第1章教学课件

1、第1章 绪 论1.1信息论的形成和发展1.2信息论的研究内容1.3信息的基本概念1.4通信系统模型简介8/21/202211.1信息论的形成和发展信息论的早期酝酿（19世纪到20世纪40年代）编码技术产生：莫尔斯码、波多码早期通信中发现的问题信号的频带宽度和信噪比影响信道的通信容量。通信的数量与质量相互制约：有效性和可靠性抗干扰码的出现。香农熵的产生维纳、费希尔、香农几乎同时提出信息的度量形式1948年，香农发表论文通信的数学理论，奠定了现代信息论的基础8/21/202221.1信息论的形成和发展Claude Shannon (1916-2019)8/21/202231.1信息论的形成和发展信

2、息论的建立与发展（19481980S）对香农信息理论进行严格的数学描述与论证（19481960S）香农信息论的发展（1970S1980S）率失真理论的发展多用户信息论（网络信息论）的发展代数编码理论的发展8/21/202241.1信息论的形成和发展信息论近期发展（20世纪90年代后）无失真编码的应用有失真信源数据压缩编码的应用调制解调码问题汉字信息编码图形码与存储介质码8/21/202251.2信息论的研究内容狭义信息论（经典信息论）主要研究信息的测度、信道容量及信源和信道编码理论等问题，又称香农基本理论一般信息论（工程信息论）主要研究信息传输和处理问题。除香农理论以外，还包括编码理论、噪声理

3、论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等广义信息论不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题8/21/20226香农信息论压缩理论限失真信源编码无失真信源编码率失真理论压缩编码定长编码定理变长编码定理最优码构成Huffman码Fano码传输理论有噪声信道编码理论码构成纠错码代数编码卷积码网络信道网络信息理论网络最佳码保密理论保密系统的信息理论保密码香农信息论的科学体系8/21/202271.3信息的基本概念物质世界的三大支柱：物质、能量和信息Wi

4、thout materials, there is nothing.没有物质的世界是虚无的世界Without energy, nothing happens.没有能源的世界是死寂的世界Without information, nothing makes sense.没有信息的世界是混乱的世界8/21/20228信息的定义从日常生活知识来理解有关科学家的论述香农：信息是事物运动状态或存在方式的不确定性的描述艾什比：把信息定义为“差异度”维纳：把信息定义为一种“组织性”的度量有关哲学家的论述信息是一切物质的属性信息就是信息，不是物质也不是能量英国牛津字典：信息是谈论的事情、新闻和知识韦氏字典：在观

5、察研究过程中获得的数据情报、新闻和知识日本广辞苑：信息是所观察事物的知识8/21/20229消息、信号和信息消息（Message）： 信源发出的语言、文字、公式、数据、声音、图像等等。每个消息都是具体的，其内容千千万万，形式多种多样。信号（Signal）：替代消息并适合于在信道中传输的是连续或脉冲的电压、电流、电磁波及光波。信源信道信宿消息(发送者)(收信者)干扰或噪声8/21/202210消息、信号和信息信息（Information）：信息是消息的内涵，是信号的价值，信息是能使信宿得以获知解惑的东西。它应当是从千千万万不同形式不同内容的消息中抽象出来的、具有共性的、可定量测度的一个量，应该有

6、它的单位和数学表达。8/21/202211消息、信号和信息例一：扔硬币正反面不确定例二：天气预报晴、多云、雨、雪、风：不确定例三：足球比赛胜负关系不确定8/21/202212消息、信号和信息信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它是信息的载荷体，是信息论中主要描述形式信息是抽象的、非物理的哲学层表达信息的物理层表达信息的数学层表达8/21/202213信息的特征信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、

7、新内容信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识信息可以产生，也可以消失，同时信息可以被携带、贮存及处理信息是可以量度的，信息量有多少的差别8/21/202214信息的特征信息的客观性信息与载体的不可分割性信息的价值性信息的时效性信息的可分享性信息的可传递性信息的可扩散性信息论导引. 李立萍等编著，电子科技大学出版社，2019.8/21/202215信息的特征信息的可加工性信息的可再现性信息的可存储性信息的积累性信息的延续性和继承性信息的可开发性信息的可再生性和可增值性8/21/202216信息的性质性质一：普遍性信息是普遍存在的。性质二：无限性在整个宇宙时空中，信息是无限的

8、。性质三：相对性对于同一事物，不同观察者所获得的信息量可能不同。性质四：转移性信息可以在时间上或空间中从一点转移到另一点。性质五：变换性信息是可变换的，可由不同的载体和不同的方法来载荷。8/21/2022171.4通信系统模型简介编码器信道译码器信宿噪声源信源消息信号干扰信号+干扰消息8/21/202218数字通信系统模型信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥8/21/202219信源、信宿和信道 信源：发送消息的源离散信源和连续信源信源是信息论的主要研究对象之一，但在信息论中并不探讨信源的内结构和物理机理，而把注意力放在信源的输出上，重点讨论信源输出的描述

9、方法及性质。信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。信道：传输信息的物理媒介 8/21/202220信源编码器与译码器 信源编码器的作用把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组，这种代码组就是基带信号。 同时通过信源编码可以压缩信源的冗余度，以提高通信系统传输消息的效率。 信源译码器的作用把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。母病愈，勿念8/21/202221信道编码器与译码器信道编码器的作用在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错或纠错的能力。信道译码器的作用具有检错或纠错的功能，它能将落在其检错或纠错范围内的错传码元检出或纠正，以提高传输消息的可靠性。 信道编码的主要作用是提高信息传送的可靠性母病，勿念8/21/202222三码合一密码学研究的内容如何隐蔽消息中的信息内容，使它在传输过程中不被窃听，提高通信系统的安全性。 从理论方面来说，若能把三种码合并成