信息论第一章课件

第Ⅰ章绪论

信息论是通信的数学基础，它是随着通信技术的发展而形成和发展起来的一门新兴学科。

人类社会的生存和发展，一时一刻都离不开接收信息、传递信息、处理信息和利用信息。

信息论即香农信息论，也称经典信息论，是研究通信系统极限性能的理论。什么是信息论香农信息论的发展历程信息的概念信息论的研究内容本章主要内容§1.1什么是信息论

信息论的概念

信息的传输和传播的5次变革信息论的重要性本节内容：

物质客观世界三大基本要素能量信息

信息时代社会的发展离不开物质(材料)、能量（能源）和信息资源。

1948年，美国工程师和数学家香农(ClaudeEdwoodShannon,1916-2001)发表了《通信的数学理论》（AMathematicalTheoryofCommunication，BSTJ，1948）标志着信息论的产生。信息论这门学科的特点理论基础数学工具研究的内容

通信的基本问题：在一点精确地或近似地恢复另一点所选择的消息。

通信系统三项性能指标：

传输的有效性传输的可靠性传输的安全性

有效性

对于离散信源，信源符号平均码长度应尽量短；信息传输应尽量快，即高的传信率；信息传送应该有高的频谱利用率

。

可靠性传输差错要尽量少，对数字传输就是要求低的误码率。

安全性传输的信息不能泄露给未授权人。

三项指标所对应的三项基本技术：

数据压缩数据纠错数据加密香农信息论解决了前两项技术的理论问题：

(1)提高有效性可通过信源编码来实现，即信源压缩编码，并给出了压缩编码的极限；

(2)提高可靠性通过信道编码来实现，并给出实现可靠传输的信息传输速率的极限。

所以说，香农揭示了数据压缩和传输的基本定律。香农建立了通信中的三项基本技术的理论基础,信息论是前两项技术的理论基础。

1.2香农信息论的发展历程

1948年香农在《贝尔系统技术杂志》（BellSystemTechnicalJournal）上连载发表了著名的论文《通讯的数学原理》（AMathematicalTheoryofCommunication）

1949年，香农又在该杂志上发表了另一影响深远的论文《噪声下的通信》（CommunicationinthePresenceofNoise）

这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列问题。

这两篇论文成为信息论的奠基性著作。1.2香农信息论的发展历程

1956年，香农发表了《噪声信道的零差错容量》（TheZero-ErrorCapacityofaNoisyChannal）

）

1959年，香农发表了《保真度准则下的离散信源编码定理》（CodingTheoremforaDiscreteSourcewithaFidelityCriterion）

1961年，香农发表了《双路通信信道》（Two-WayCommunicationChannels）

1.3信息的基本概念

由于信息已成为许多专家学者争相研究的对象，而且他们从不同的角度和侧面研究和定义信息。据说到目前为止已有上百种信息的定义或说法。例如:

“信息是物质与能量在时间与空间分布的不均匀性”“信息是事物之间的差异”

“信息是收信者事先不知道的东西”等等。

如前所述，由于当前还没有一个公认的关于信息的定义，但这并不影响我们对信息的基本特征的认识。信息有许多与物质、能量相同的特征，例如信息可以产生、消失、携带、处理和量度。信息也有与物质、能量不同的特征，例如，信息可以共享，可以无限制地复制等。1949年，Weaver在《通信的数学》中解释香农的工作时，把通信问题分成三个层次：第一层：通信符号如何精确传输？（技术问题）第二层：传输的符号如何精确携带所需要的含义？（语义问题）第三层：所接收的含义如何以所需要的方式有效地影响行为？（效用问题）（举例天气情况）信息是认识主体（人、生物、机器）所感受的和所表达的事物运动的状态和运动状态变化的方式。以这种定义为基础，信息分成三个基本层次，即语法信息，语义信息，语用信息，分别反映事物运动状态及其变化方式的外在形式、内在含义和效用价值。（举例情报部门）

可见，香农在研究信息理论时，排除了语义信息与语用信息的因素，先从语法信息入手，解决当时最重要的通信工程一类的信息传递问题。

香农信息论是由概率统计的角度来研究事物运动各种可能出现的状态及状态间的关系，因此是概率性的语法信息。（例如中英文信源）

信号通信信息三个层次消息信息消息是信息的携带者，信息包含于消息之中。信号是消息的载体，消息是信号的具体内容。香农信息的概念为什么要进行通信自信息的定义信息熵的定义§1.4信息论研究的内容

通信系统模型

香农信息论的主要内容

本节内容：

通信系统是从空间的一点到另一点传送信息的，例如，电话、电报、电视、无线通信、光通信等。存储系统是从时间的一点到另一点传送信息的。例如，磁盘或光盘驱动器、磁带记录器、视频播放器等

存储系统在某种意义上也可看成从现在向将来发送信息的通信系统。

图1-1通信系统模型

信道信源译码器编码器信宿噪声信号信号加噪声消息消息1.信源(informationsource)

信源是信息的来源，其功能是直接产生可能包含信息的消息

按输出符号的取值分类：

离散信源连续信源：连续信源又分为：

离散时间连续信源；波形信源或模拟信源。自信息、信息熵、互信息等等核心问题：信源的消息中所包含的信息量以及信息如何量度

按输出符号之间的依赖关系分类

无记忆信源

信源输出符号的概率与以前输出的符号无关

有记忆信源

信源输出符号的概率与以前输出的符号有关2.编码器(Encoder)

编码器的功能：将消息变成适合于信道传输的信号

信源编码器(sourceencoder)

信道编码器(channelencoder)

调制器(modulator)

信道编码器

信源编码器调制器符号符号信号消息

图1.2.2编码器的组成

各部分的主要功能信源编码器的功能是将信源消息变成符号，目的是提高传输有效性，也就是压缩每个信源符号传输所需代码的数目（对二进制代码称比特数）。

信道编码器给信源编码符号增加冗余符号，目的是提高传输可靠性。图1.2.3增加冗余符号提高传输可靠性（图中，有阴影的点表示码字）

调制器功能是，将编码器的输出符号变成适合信道传输的信号，目的是，提高传输效率（使远距离传输成为可能）。信道编码符号不能直接通过信道输出，要将编码器的输出符号变成适合信道传输的信号，例如，0、1符号变成两个电平，为远距离传输，还需载波调制，例如，ASK，FSK，PSK等。

3.信道信道是信号从编码器传输到译码器的中间媒介。信道可以分为狭义信道和广义信道。狭义信道是某些物理通信信道，也可以是物理的存储介质。例如有线、无线、光纤、磁盘、光盘等。广义信道是一种逻辑信道，它和信息所通过的介质无关，只反映信源与信宿的连接关系。信息论中只研究广义信道。

信道还分为无噪声信道和有噪声信道。信道还分为离散信道、离散时间连续信道和波形信道（或模拟信道信道也可有无记忆信道和有记忆的区分，离散信道和离散时间连续信道可以是无记忆的，也可以是有记忆的；而波形信道是通常有记忆的。

4.译码器(decoder)

译码器实现的功能即从信号中恢复消息。

包括:解调器

信道译码器

信源译码器信道译码器解调器信源译码器符号符号消息信号

图1.2.3译码器的组成

解调器功能是，将信道输出信号恢复成符号；

信道译码器的功能是，去掉解调器输出符号中的冗余符号；

信源译码器的功能是，将信道译码器输出符号变成消息。总之，功能与发信机中的对应部分功能相反，目的相同。在模拟通信系统中仅包含解调器。5.信宿(Destination)

信宿的功能是接收信息，包括人或设备。当前人们对信宿的研究也取得某些成果。例如，利用人的视觉残留效应可以对图像采用不连续传输的方式达到连续的视觉效果，从而进一步压缩码率。利用人听觉的掩蔽效应可以压缩在大幅度频率分量附近的信号而不影响听觉效果。总之，对信宿的研究和压缩编码结合可以在不影响视听效果的条件下，显著压缩码率。

香农信息论的内容可用一句话概括为：“一个概念，三个定理”，就是信息熵的概念和三个编码定理。

1．关于信源信息的度量

如前所述，香农将信源限制为具有某一先验概率的随机过程，对信息进行量度是信息论的首要问题。香农定义了信息熵作为信源所含信息的量度，是信息论中最重要的概念。

2.无失真信源编码定理（香农第一定理）

无失真信源编码定理，也称香农第一定理，是信源压缩编码的理论基础，其内容是:如果信源编码码率（编码后传送信源符号所需比特数）不小于信源的熵，就存在无失真编码，反之，不存在无失真编码。可以简述为：其中，R为信源编码码率，H为信源的熵。

R≥H〈=〉存在无失真信源编码（举例说明）3.关于信道容量与信息的可靠传输

有噪信道编码定理（香农第二定理）是信道编码的理论基础，其内容是：如果信息传输速率小于信道容量，则总可找到一种编码方式使得当编码序列足够长时传输差错任意小，反之不存在使差错任意小的编码。可以简述为：

其中，R为信息传输速率，也称信道编码码率，C为信道容量。

R≤C〈=〉存在译码差错任意小的编码4．信息率失真理论（数据压缩的理论基础）

为实现限失真传输的有效性，我们总是希望在满足一定的失真要求条件下，使编码器的码率最小，这是一个最优有损数据压缩编码的理论问题，其理论基础就是信息率失真理论，核心是限失真信源编码定理。

限失真信源编码定理（