信息论基础与应用-李梅-第一章 绪论

1、李 梅l教材及主要参考书教材及主要参考书： 信息论基础与应用信息论基础与应用 李梅李梅 电子工业出版社，电子工业出版社， 20162016年年6 6月月 信息论信息论-基础理论与应用基础理论与应用，傅祖芸，傅祖芸 电子工业出版社，电子工业出版社，20012001年年8 8月月l考核考核：平时成绩平时成绩 20（作业、考勤、（作业、考勤、实验实验） 期末考试期末考试 80（闭卷）（闭卷）l答疑答疑：实验一：信道容量的迭代算法实验一：信道容量的迭代算法 2 学时实验二：实验二：Huffman 编码编码 2 学时实验三：通信系统仿真实验三：通信系统仿真 4 学时 （备选题目：LZW压缩编码）T. M

2、. Cover, Fundamental of Information Theory 最为流行的英文教材，为Stanford、MIT等学校的研究生课程选用 数学推导适中，强调概念，作为参考教材R.G. Gallager, Information Theory and Reliable Communication 数学推导较为艰深 作为提高教材一、一、什么是信息什么是信息二、通信系统模型二、通信系统模型三、信息论的研究内容三、信息论的研究内容四、信息论的形成和发展四、信息论的形成和发展一、什么是信息一、什么是信息二、通信系统模型二、通信系统模型三、信息论的研究内容三、信息论的研究内容四、信息论的

3、形成和发展四、信息论的形成和发展1. 概述概述2. 信息的通俗概念信息的通俗概念3. 信息的狭义概念（香农信息）信息的狭义概念（香农信息）4. 信息的广义概念信息的广义概念l组成客观世界的三大基本要素：组成客观世界的三大基本要素：物质物质能量能量信息信息l没有物质什么都不存在，没有能量什么都不会发生，没没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。有信息什么都没有意义。 美国学者欧廷格美国学者欧廷格研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型 信息的通俗概念：消息就是信息。信息的通俗概念：消息就是信息。l用文字、符号、数据、语言、音

4、符、图片、图像等能够用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为思维活动的状态表达出来，就称为消息消息。研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l消息消息中包含信息，消息是信息的载体。中包含信息，消息是信息的载体。l信号信号是表示消息的物理量，包括电信号、光信号等。是表示消息的物理量，包括电信号、光信号等。l信号信号中携带着消息，信号是消息的载体。中携带着消息，信号是消息的载体。信息信息信号信号消息消息研究内容研究内容形成和

5、发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型香农信息：信息是对事物运动状态或存在方式的香农信息：信息是对事物运动状态或存在方式的不确定不确定 性性的描述。的描述。l通信的基本问题是在一点通信的基本问题是在一点( (信宿）精确或近似恢复另一点信宿）精确或近似恢复另一点（信源）所选择的消息。（信源）所选择的消息。 香农香农l通信的过程就是消除通信的过程就是消除不确定性不确定性的过程。的过程。l例例1 1： 甲袋红、白球各甲袋红、白球各5050个，乙袋红、白、蓝、黑球各个，乙袋红、白、蓝、黑球各2525

6、个。比较从甲袋中取出一个球是红球的事件和从乙袋个。比较从甲袋中取出一个球是红球的事件和从乙袋中取出一个球是红球的事件发生的难易程度，也就是事中取出一个球是红球的事件发生的难易程度，也就是事件发生的不确定性。件发生的不确定性。研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l例例2 2： 北京地区十月份可能出现的天气包括：晴、阴、北京地区十月份可能出现的天气包括：晴、阴、雨、雪。比较天气预报为雨、雪。比较天气预报为“晴晴”和天气预报为和天气预报为“雪雪”，给人们带来的信息量。给人们带来的信息量。研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模

7、型通信系统模型结论结论：不确定性的大小与事：不确定性的大小与事件发生的概率有关。件发生的概率有关。研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型不确定性的大小与事件发生的概率有关不确定性的大小与事件发生的概率有关因此，信息量可以表示为概率的函数。因此，信息量可以表示为概率的函数。不确定性是概率的函数不确定性是概率的函数l信息与概率的关系：信息与概率的关系：事件发生的事件发生的概率越大概率越大，该事件包含的，该事件包含的信息量越小信息量越小；如果一个事件发生的如果一个事件发生的概率为概率为1 1，那么它包含的，那么它包含的信息量为信息量为0 0；两个相互独立事

8、件所提供的信息量应等于它们各自提供的两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。信息量之和。研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l某个消息的不确定性（含有的信息量）可以表示为：某个消息的不确定性（含有的信息量）可以表示为：1( )loglog( )( )iiiI xp xp x 研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型qiiixpxpXH1)(log)()(信源的平均信源的平均不确定性：不确定性：11111()()log55xp xI x 22244()()log55xp xI x 114

9、4()loglog5555H X l香农信息的优点：香农信息的优点：有明确的数学表达式，定量化有明确的数学表达式，定量化与人们直观理解的信息含义一致与人们直观理解的信息含义一致不考虑收信者主观感受的不同，认为同一消息对不考虑收信者主观感受的不同，认为同一消息对任何收信者，所得信息量相同。任何收信者，所得信息量相同。研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l香农信息的局限：香农信息的局限：没有考虑收信者的主观特性和主观意义没有考虑收信者的主观特性和主观意义研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型研究内容研究内容形

10、成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型信息信息是认识主体（人、生物、机器）所感受的和表达的事是认识主体（人、生物、机器）所感受的和表达的事物运动的状态和运动状态变化的方式。物运动的状态和运动状态变化的方式。语法信息语法信息语义信息语义信息语用信息语用信息一、什么是信息一、什么是信息二、通信系统模型二、通信系统模型三、信息论的研究内容三、信息论的研究内容四、信息论的形成和发展四、信息论的形成和发展1. 通信系统模型通信系统模型2. 提高通信系统的性能指标的措施提高通信系统的性能指标的措施研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型图

11、图1 通信系统模型通信系统模型l信源信源l编码器编码器l信道信道l译码器译码器l信宿信宿研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型研究内容：研究内容：l信源发出的消息的信源发出的消息的统计特性统计特性 离散离散信源、信源、连续连续信源、信源、波形波形信源信源 有记忆有记忆信源和信源和无记忆无记忆信源信源 平稳平稳信源和信源和非平稳非平稳信源信源l信源产生信息的信源产生信息的速率速率 熵率熵率研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l编码器的功能：将消息变成适合信道传输的信号编码器的功能：将消息变成适合信道传输的信

12、号 l编码器包括：编码器包括：信源编码器信源编码器信道编码器信道编码器调制器调制器研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型图图2 编码器的组成编码器的组成研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l信源编码器：信源编码器：去除信源消息中的冗余度，提高传输的有效性。去除信源消息中的冗余度，提高传输的有效性。研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l信道编码器：信道编码器：将信源编码后的符号加上冗余符号，提高传输的可靠性。将信源编码后的符号加上冗余符号，提高传输的可靠性。研究

13、内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型图图3 信道编码示例信道编码示例研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l思考题：思考题： 信源编码去除冗余度，信道编码却加上冗余度，为信源编码去除冗余度，信道编码却加上冗余度，为什么要这么做？什么要这么做？l调制器：调制器：功能：将信道编码后的符号变成适合信道传输的信号功能：将信道编码后的符号变成适合信道传输的信号目的：目的： 提高传输效率提高传输效率研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l狭义信道狭义信道l广义信道广义信道研究内

14、容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型研究内容：研究内容：l信道的信道的统计特性统计特性无噪声无噪声信道、信道、有噪声有噪声信道信道离散离散信道、信道、连续连续信道、信道、波形波形信道信道有记忆有记忆信道和信道和无记忆无记忆信道信道恒参恒参信道（信道（平稳平稳信道）和信道）和随参随参信道（信道（非平稳非平稳信道）信道）单用户单用户信道和信道和多用户多用户信道信道l信道传输信息的信道传输信息的最高速率最高速率 信道容量信道容量研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l译码器的功能：从接收到的信号中恢复消息。译码器的功

15、能：从接收到的信号中恢复消息。l包括：包括：解调器解调器信道译码器信道译码器信源译码器信源译码器研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型图图4 译码器的组成译码器的组成研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l信宿是消息传送的对象（人或机器）。信宿是消息传送的对象（人或机器）。l香农信息论不研究信宿。香农信息论不研究信宿。研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l提高提高有效性有效性： （数据压缩）（数据压缩）信源编码：信源编码：无失真无失真信源编码和信源编码和限失真限

16、失真信源编码信源编码l提高提高可靠性可靠性： （可靠传输）（可靠传输）信道编码信道编码2.提高通信系统性能指标的措施研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型一、什么是信息一、什么是信息二、通信系统模型二、通信系统模型三、信息论的研究内容三、信息论的研究内容四、信息论的形成和发展四、信息论的形成和发展1. 信息论研究的主要问题信息论研究的主要问题2. 什么是信息论什么是信息论3. 信息论的应用信息论的应用通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容 狭义信息论：又称香农信息论。狭义信息论：又称香农信息论。 一般信息论：

17、也叫工程信息论。一般信息论：也叫工程信息论。 广义信息论广义信息论广义广义信息论信息论一般一般信息论信息论狭义狭义信息论信息论1 1）什么是信息？如何度量信息？）什么是信息？如何度量信息？通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容2 2）怎样确定信源输出信息的速率？）怎样确定信源输出信息的速率？3 3）对于一个信道，它传输信息的最高速率（信道容量）是）对于一个信道，它传输信息的最高速率（信道容量）是多少？多少？4 4）无失真信源编码，所需要的最少码符号数是多少？）无失真信源编码，所需要的最少码符号数是多少？ 香农第一定理香农第一定理： 如果编码后的信源序列

18、的如果编码后的信源序列的编码信息率不小于信源的熵，那么一定存编码信息率不小于信源的熵，那么一定存在一种无失真信源编码方法；否则，不存在一种无失真信源编码方法；否则，不存在这样的一种无失真信源编码方法。在这样的一种无失真信源编码方法。通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容5 5）在有噪声信道中，有没有可能实现几乎无差错的传输信）在有噪声信道中，有没有可能实现几乎无差错的传输信息？息？ 香农第二定理香农第二定理：如果信道的信息传输率小于信：如果信道的信息传输率小于信道容量，那么总可以找到一种编码方式，使得道容量，那么总可以找到一种编码方式，使得当编码序列足

19、够长时传输差错任意小；否则，当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式。不存在使差错任意小的信道编码方式。 通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容6 6）如果信源编码时，允许一定的失真，那么信源编码所需）如果信源编码时，允许一定的失真，那么信源编码所需要的最少码符号数又是多少？要的最少码符号数又是多少？ 香农第三定理香农第三定理：对于任意的失真度：对于任意的失真度 ，只要，只要码字足够长，那么总可以找到一种编码方法，使码字足够长，那么总可以找到一种编码方法，使编码后的编码信息率编码后的编码信息率 ，而码的平均失真，而码的平

20、均失真度度 。0D 0D()R DdD通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容 信息论是通信的数学基础，它以概率论为主要数学工具，信息论是通信的数学基础，它以概率论为主要数学工具，详细研究了通信中的各个关键环节，以定理的形式给出了信详细研究了通信中的各个关键环节，以定理的形式给出了信源编码、信道编码的理论极限，为各种具体的通信技术提供源编码、信道编码的理论极限，为各种具体的通信技术提供了理论上的指导。了理论上的指导。信息论创立的标志信息论创立的标志: :香农于香农于19481948年发表年发表 的论文的论文： A Mathematical Theory

21、of Communication（通信的数学理论）（通信的数学理论）通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容l以概率论、随机过程为基本研究工具。以概率论、随机过程为基本研究工具。通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容l研究的是通信系统的整个过程，而不是单个环节，并研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。以编、译码器为重点。l关心的是最优系统的性能和怎样达到这个性能（并不关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。具体设计系统）。l要求信源为随机过程，不研究信宿。要求信源

22、为随机过程，不研究信宿。信息论帮助通信工程师从全局的观点观察和设计通信系统。信息论帮助通信工程师从全局的观点观察和设计通信系统。信息论是从事信息通信系统研究和开发的必备的知识。信息论是从事信息通信系统研究和开发的必备的知识。香农信息论的目标是研究通信系统的信息传递，而不是帮香农信息论的目标是研究通信系统的信息传递，而不是帮助人们理解信息含义。香农信息论有它的局限性。助人们理解信息含义。香农信息论有它的局限性。通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容 通信的基本问题是在一点精确地或近似地恢复另一点（信源）通信的基本问题是在一点精确地或近似地恢复另一点（信源

23、）所选择的消息。通常，这些消息是有含义的，但是这些语义方所选择的消息。通常，这些消息是有含义的，但是这些语义方面的问题与通信问题无关，而重要的方面是实际消息是从一个面的问题与通信问题无关，而重要的方面是实际消息是从一个可能的消息集合中选择出的一条消息。可能的消息集合中选择出的一条消息。 香农香农通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容信息论的应用举例语音信号压缩（G.711,GSM,Vocoder）计算机文件压缩模拟话路中数据传输速率的提高其他（音频信号压缩MP3、图象信号的压缩JPEG,MPEG等）通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容一、什么是信息一、什么是信息二、通信系统模型二、通信系统模型三、信息论的研究内容三、信息论的研究内容四、信息论的形成和发展四、信息论的形