信息论讲义_第一讲

1、授课教师：于 泽电子信息工程学院201教研室内容安排内容安排第一章第一章 绪论绪论第二章第二章 信息的统计度量信息的统计度量信息论的基本问题信息论的基本问题第三章第三章 离散信源离散信源第四章第四章 离散信道离散信道第五章第五章 无失真信源编码无失真信源编码香农第一定理香农第一定理第六章第六章 有噪信道编码有噪信道编码香农第二定理香农第二定理第七章第七章 限失真信源编码限失真信源编码香农第三定理香农第三定理1教学目标教学目标 香农信息论的基本理论、概念和方法； 信息的统计度量，离散信源，离散信道和信道容量 编码的理论和实现原理 信源编码与信道编码 教学重点 信息度量 信源描述 信道容量 编码的

2、理论及实现2参考书目参考书目 傅祖芸，傅祖芸，信息论信息论-基础理论与应用基础理论与应用，2001 电电子工业出版社子工业出版社 朱雪龙朱雪龙 ，应用信息论基础应用信息论基础，2003年清华大年清华大学出版社学出版社 傅祖芸，傅祖芸，信息理论与编码信息理论与编码学习辅导及精学习辅导及精选题解选题解，2004年电子工业出版社年电子工业出版社 陈杰，徐华平，周荫清陈杰，徐华平，周荫清信息论习题集信息论习题集，2005年清华大学出版社年清华大学出版社 3网站论坛网站论坛4计分方式计分方式 期末闭卷考试成绩占80 平时成绩占20 作业 课堂纪律5第一章第一章 绪论绪论主要内容主要内容1.1 信息信息1

3、.2 信息论信息论1.3 信息论的形成和发展信息论的形成和发展1.4 信息论的主要研究成果信息论的主要研究成果61.1 信息的概念 71.1 1.1 信息的概念信息的概念 信息信息是信息论中最基本、最重要的概念，是一是信息论中最基本、最重要的概念，是一个既复杂又抽象的概念。个既复杂又抽象的概念。 信息概念十分广泛，由于信息科学比起其他学信息概念十分广泛，由于信息科学比起其他学科（如物理学、化学、数学）还很年轻，人类科（如物理学、化学、数学）还很年轻，人类对信息的认识还很不够。迄今为止，信息对信息的认识还很不够。迄今为止，信息并没并没有形成一个很完整的、系统的概念有形成一个很完整的、系统的概念。

4、 不同的研究学派对信息的本质及其定义还没有不同的研究学派对信息的本质及其定义还没有形成统一的意见和认识。形成统一的意见和认识。 81.1.1 通俗通俗的信息概念的信息概念 信息是一种信息是一种消息消息。 这是一种最普遍的概念，是目前社会上最这是一种最普遍的概念，是目前社会上最流行的概念，这个概念好像使人一听就明流行的概念，这个概念好像使人一听就明白，但不准确。确切地说，这种概念把消白，但不准确。确切地说，这种概念把消息认为是信息。息认为是信息。 信息信息 消息消息，同一条消息有不同信息量同一条消息有不同信息量。 例如例如: 某人收到一条消息某人收到一条消息 包含许多原来不知道的包含许多原来不知

5、道的新新内容内容信息量信息量大大 包含许多原来已知道的包含许多原来已知道的旧旧内容内容信息量信息量小小9信息和消息不一样，同一条消息可产生不同的效果：信息和消息不一样，同一条消息可产生不同的效果： 911事件是消息事件是消息 美国人美国人阿拉伯人阿拉伯人中国人中国人植物人植物人、包含许多原来未知的新内容、包含许多原来未知的新内容信息量大信息量大 例如：信息论这门课期末不考试例如：信息论这门课期末不考试信息量大信息量大、包含许多原来知道的旧内容、包含许多原来知道的旧内容信息量小信息量小 例如：信息论这门课期末考试例如：信息论这门课期末考试信息量小信息量小101.1.2 广义广义的信息概念的信息概

6、念 物质、能量和信息是构成客观世界三大要素物质、能量和信息是构成客观世界三大要素 没有物质的世界是虚无的世界没有物质的世界是虚无的世界 没有能量的世界是死寂的世界没有能量的世界是死寂的世界 没有信息的世界是混乱的世界没有信息的世界是混乱的世界 信息是信息是物质和能量物质和能量在在空间和时间空间和时间中分布的中分布的不均匀程度，不均匀程度，信信息表征客体变化、客体之间的差异和关系；息表征客体变化、客体之间的差异和关系；11什么是信息?“Information causes change;If it doesnt, it isnt information”121.1.2 广义广义的信息概念的信息概

7、念 信息本身看不见、摸不着，它信息本身看不见、摸不着，它必须依附于一定的物必须依附于一定的物质形式质形式（如（如文字、声波、电磁波文字、声波、电磁波等）。这种运载信等）。这种运载信息的物质称为信息的载体，一切物质都有可能成为息的物质称为信息的载体，一切物质都有可能成为信息的载体。信息的载体。131.1.3 概率概率信息概念信息概念由美国数学家香农由美国数学家香农1948年提出，亦称年提出，亦称香农信息香农信息或或狭义信息狭义信息。概率信息是从。概率信息是从不确定性不确定性 (Uncertainty) 和概率测度出发定义信息的。和概率测度出发定义信息的。香农针对人类通信活动的特点，提出了香农针对

8、人类通信活动的特点，提出了形式化假说形式化假说非决定论非决定论不确定性不确定性基于对通信活动基本功基于对通信活动基本功能的观察分析，能的观察分析，“通信通信的基本问题是在信宿端的基本问题是在信宿端精确或近似地复制发送精确或近似地复制发送端所挑选的消息。通常端所挑选的消息。通常消息是有语义的，即它消息是有语义的，即它按某种关系与某些物质按某种关系与某些物质概念的实体联系着。通概念的实体联系着。通信中语义方面的问题与信中语义方面的问题与工程问题没有关系工程问题没有关系”基于对通信活动对象和基于对通信活动对象和过程的分析研究，过程的分析研究，“信信源发出的消息总是从可源发出的消息总是从可能发生的消息

9、符号集合能发生的消息符号集合中随机选择，通信系统中随机选择，通信系统无法预先知道信源在什无法预先知道信源在什么时候会选择什么消息么时候会选择什么消息发送发送”，即具有通信意，即具有通信意义的消息都是随机发生义的消息都是随机发生的的基于对通信活动的机制基于对通信活动的机制和本质的分析研究，和本质的分析研究，“人类只有在两种情况人类只有在两种情况下有通信的需求，下有通信的需求，1）自自己有某种形式的消息要己有某种形式的消息要告诉对方，且估计对方告诉对方，且估计对方不知道；不知道；2）自己有某种自己有某种疑问需要对方给出解答疑问需要对方给出解答” 经过通信活动后，消除经过通信活动后，消除了了不确定性

10、不确定性，14概率信息概率信息的特征的特征 信息的基本概念在于它的不确定性不确定性,任何已确定的事物都不含信息。 接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容； 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识； 信息可以产生，也可以消失，同时信息可以被携带、贮存及处理； 信息是可以量度的，信息量有多少的差别15 甲袋（甲袋（100个球）个球） 乙袋（乙袋（100个球）个球） 红红(50)、白色、白色(50) 红红(25)、白、白(25)、兰、兰(25)、黑、黑(25) 随意取出一球为红色随意取出一球为红色 随意取出一球为红色随意取出一球为红色 | | 不

11、确定性小不确定性小、概率大、概率大(1/2) 不确定性大不确定性大、概率小、概率小(1/4) | | 当被告知取出球为红色当被告知取出球为红色 当被告知取出球为红色当被告知取出球为红色 (不确定性没有了不确定性没有了) (不确定性没有了不确定性没有了) | | 消除的不确定性少消除的不确定性少 消除的不确定性多消除的不确定性多 (获得获得信息少信息少) (获得获得信息多信息多)16 例：气象预报 甲 乙4/1, 4/1, 4/1, 4/1)(小雨大雨阴晴ypY8/1, 8/1, 4/1, 2/1)(小雨大雨阴晴xpX “甲地晴”比“乙地晴”的不确定性来的小 某一事物状态出现的概率越小，其不确定

12、性越大。某一事物状态出现的概率接近于1,即预料中肯定会出现的事件，那它的不确定性就接近于零。17 概率空间 样本空间： 某事物各种可能出现的不同状态。 先验概率p(xi)： 选择符号xi作为消息的概率。)()()(2121nnxpxpxpxxxPX样本空间概率测度18 对xi 的不确定性可表示为先验概率P(xi)的倒数的某一函数。 自信息 互信息 后验概率P(xi | yj) 接收端收到消息yj后而发送端发的是xi 的概率)(1log)(iixPxI11(;)loglog()()ijiijI x yP xP x y19香农定义的信息 香农定义的信息概念在现有的各种理解中，是比较深刻的，它有许多

13、优点优点。 它是一个科学的定义，有明确的数学模型和定量计算。 它与日常用语中的信息的含意是一致的。 定文排除了对信息一词某些主观上的含意 香农定义的信息也有其局限性，存在一些缺陷缺陷 定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。 没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含意、具体用途、重要程度和引起后果等因素。 201.1.4 信息、消息与信号信息、消息与信号 信息信息： 比较抽象比较抽象的概念；是系统中传输的的概念；是系统中传输的对对象象；包含包含在消息之中。在消息之中。 消息消息：比较具体比较具体，但，但不是不是物理量；具有不同物理量；具有不同形式

14、，例如形式，例如语言、文字、符号、图像语言、文字、符号、图像等能够等能够被人感知；可以被人感知；可以传输传输并被通信双方并被通信双方理解理解；同；同一消息含有一消息含有不同信息不同信息；同一信息可用；同一信息可用不同消不同消息载荷息载荷。 信号信号：最具体最具体，是，是消息的载荷者消息的载荷者；是表示消；是表示消息的息的物理量物理量，可测量可测量、可显示可显示、可描述可描述，是，是信息的物理表达层。信息的物理表达层。211.2 信息论及其研究的对象、目的和内容22信息论和信息技术研究什么样的问题？ 信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、

15、显示等功能。研究这方面的科学就是信息科学。 信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性可能性和存在性存在性问题，为具体实现提供理论基础。 信息技术主要研究如何实现、怎样实现的问题。231.2 1.2 信息论信息论 信息论信息论(Information Theory) 是应用是应用数理统计方法数理统计方法研研究信息的究信息的传输传输、存储存储和和处理处理的一门学科。的一门学科。 信息论是在信息论是在信息可以量度信息可以量度的基础上的基础上,研究研究有效地有效地和和可靠可靠地地传递信息的科学传递信息的科学,它涉及信息量度、信息特性、信息它涉及信息量度、信息特性、信息传

16、输速率、信道容量、干扰对信息传输的影响等方面传输速率、信道容量、干扰对信息传输的影响等方面的知识的知识 信息论从诞生至今已有信息论从诞生至今已有50多年的历史，包括：多年的历史，包括： 经典信息论经典信息论( (香农信息论香农信息论) ) 工程信息论工程信息论( (一般信息论一般信息论) ) 广义信息论广义信息论( (信息科学信息科学) ) 信息论信息论24香农三大定理香农三大定理1、第一定理：信源编码定理（第五章）、第一定理：信源编码定理（第五章） 解决信息传输的有效性解决信息传输的有效性最有效的方法。最有效的方法。2、第二定理：有噪信道编码定理（第六章）、第二定理：有噪信道编码定理（第六章

17、） 解决信息传输的可靠性解决信息传输的可靠性最可靠的方法。最可靠的方法。3、第三定理：限失真信源编码定理（第七章）、第三定理：限失真信源编码定理（第七章） 解决信源的信息在失真准则下进行压缩的极限。解决信源的信息在失真准则下进行压缩的极限。信息传输定理（信息处理定理）：信息传输定理（信息处理定理）：4、信息在传输、存贮和处理过程中的不可增加性、信息在传输、存贮和处理过程中的不可增加性 （第四章）（第四章）信息理论课程讲授的核心内容信息理论课程讲授的核心内容25香农信息论香农信息论压缩理论压缩理论有失真信源编码有失真信源编码无失真信源编码无失真信源编码率失真理论率失真理论压缩编码压缩编码等长编码

18、等长编码定理定理变长编码变长编码定理定理最优码构成最优码构成Huffman码码Fano码码传输理论传输理论有噪声有噪声信道编码理论信道编码理论码构成码构成纠错码纠错码代数编码代数编码卷积码卷积码网络信道网络信道网络信息理论网络信息理论网络最佳码网络最佳码保密理论保密理论保密系统的保密系统的信息理论信息理论保密码保密码香农信息论的科学体系香农信息论的科学体系261.2.1 经典信息论经典信息论( (香农信息论香农信息论) )亦称亦称香农香农信息论、信息论、数学数学信息论、信息论、狭义狭义信息论、信息论、近代近代信息论信息论创始人是美国数学家创始人是美国数学家C.E.Shannon(香农香农)，1

19、948年发表年发表A Mathematical Theory of Communication奠定了经典信息论的基础奠定了经典信息论的基础主要研究通信系统中的数学规律，主要内容主要研究通信系统中的数学规律，主要内容 信源与信息量信源与信息量 信道与信道容量信道与信道容量 信源与信道间统计匹配信源与信道间统计匹配 信源与信道编码定理信源与信道编码定理271.2.2 工程信息论工程信息论( (一般信息论一般信息论) ) 工程信息论主要研究通信系统及系统设备中工程信息论主要研究通信系统及系统设备中的最佳工作规律和最佳设计的一门科学。的最佳工作规律和最佳设计的一门科学。 主要应用于通信领域，主要内容主

20、要应用于通信领域，主要内容 信源编码理论与方法信源编码理论与方法 信道编码理论与方法信道编码理论与方法 信号检测、估计理论与方法信号检测、估计理论与方法 保密学保密学 通信网通信网部件最优，放在一起，系统不一定最优。部件最优，放在一起，系统不一定最优。281.2.3 广义信息论（信息科学）广义信息论（信息科学） 70年代以后，随着年代以后，随着VLSI和计算机技术的广泛和计算机技术的广泛应用，信息存储和处理能力不断提高，建立应用，信息存储和处理能力不断提高，建立了更具一般性的广义信息论了更具一般性的广义信息论信息科学信息科学 主要内容：主要内容： 经典信息论和工程信息论经典信息论和工程信息论

21、模式识别模式识别 计算机翻译计算机翻译 神经网络神经网络 心理学与遗传学心理学与遗传学 语言学与语义学语言学与语义学291.2.4 通信系统模型通信系统模型产生消息的源。消息是文字、语言、图像等，可以是离散序列，也可以是连续波形，都是随机发生的，可以用随机变量或随机过程来描述 将信源发出的消息变换成适于信道传送的信号的设备。包含三部分：信源编码器、信道编码器和调制器。是把载荷消息的信号从发射端传到接收端的媒质或通道，是包括收发设备在内的物理设施 译码器从受干扰的信号中最大限度地提取出有关信源输出消息的信息，应尽可能精确地恢复信源的输出，并将它们送给信宿。消息的接收者如传输中衰落、多经码间干扰、

22、非线性失真、热噪声30信道信源信源编码加密信道编码干 扰 源信宿信源解码解密信道解码加密密钥解密密钥311.2.4 1.2.4 通信系统模型（续）通信系统模型（续）信信 道道p=1/3信信 道道p=1/300111- p1- ppp321.2.4 1.2.4 通信系统模型（续）通信系统模型（续）基本问题基本问题临界数据压缩的值临界数据压缩的值临界通信传输速率临界通信传输速率信息熵信息熵 H信道容量信道容量C331.2.4 1.2.4 通信系统模型（续）通信系统模型（续）1.3 信息论的形成和发展34信息论发展简史 电磁理论和电子学理论对通信理论技术发展起重要的促进作用 18201830年，法拉

23、第发现电磁感应 莫尔斯18321835建立电报系统。1876年Bell发明电话 1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论 1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统 激光技术使通信进入光通信时代35信息论发展简史（续） 1832年莫尔斯电码对shannon编码理论的启发 1885年凯尔文研究了一条电缆的极限传信速率 1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正比 1928年Hartley提出信息量定义为可能消息量的对数（非统计） 1936年达得利提出在传输过程中增大带宽可以增强抑制干扰的能力，提出了宽

24、频移的频率调制方法 1939年Dudley发明声码器36 20世纪40年代初期，由于军事上的需要，维纳维纳在研究防空炮火的控制问题时，提出了平稳时间序平稳时间序列的外推、内插与平滑及其工程应用列的外推、内插与平滑及其工程应用的论文。将随机过程和数理统计的观点引入通信和控制系统中，揭示了信息传输和处理过程的统计本质。他还利用早在20世纪30年代初他本人提出的“广义谐波分析理论”对信息系统中随机过程进行谱分析，使得通信系统的理论研究引起了质的飞跃，取得了突破性进展。信息论发展简史（续）37Claude Shannon (1916-2001) “通信的基本问题就是在一点重新准确地或近似地再现另一点所

25、选择的消息”。这是数学家香农(Claude E.Shanon)Claude E.Shanon)在他的惊世之著通信的数学理论中的一句铭言。 香农应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。 香农因此成为信息论的奠基人38 香农，就职于贝尔电话研究所,受前辈工作的启示 奈奎斯特 影响电报速率的一些因素 哈特莱 信息的传输 最早研究了通信系统的信息传输能力,第一次提出了信息量的概念,并试图用教学公式予以描述。 香农则创造性地继承了他们的事业,在信息论的领域中钻研了8年之久,终于在1948年也在贝尔系统技术杂志上发表了244页的长篇论著通信的数学理论。次年,他又在同一杂志上发表了另一

26、篇名著噪声下的通信。39 在这两篇文章中,香农解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。 两篇文章成了现在信息论的奠基著作。40 1948年shannon信息论奠基 1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明 1957，Wolfowitz，1961 Fano，1968Gallager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1974年Bahl发明了分组码的迭代算法（BCRJ） 1956M

27、cMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976 Rissanen算术编码，1977，78 Ziv和Lempel的LZ算法信息论发展简史（续）41 1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术(TCM)，1993年Turbo编译码技术 1959年，Shannon提出率失真函数和率失真信源编码定理 1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。 1971年伯格尔（T.Berger）给出了更一般信源的率失真编码定理 从20世纪70年代以后，人们从经典

28、的香农单向通信的信息论推广到多用户信息理论，成为当前信息论的中心研究课题之一 信息社会信息论发展简史（续）421.4 目前信息论的主要研究成果 43 大偏差大偏差 极限定理极限定理概率理论概率理论 通信理论中通信理论中 的临界值的临界值 通信理论通信理论 不等式不等式 数学数学投资组合投资组合理论理论/ Kelly博弈论博弈论 经济学经济学 Fisher信息假设信息假设 检验检验 统计学统计学 物理学物理学 AEP渐近均分性渐近均分性 热力学热力学Kolmogorov 复杂度复杂度计算机科学计算机科学信息理论同其他学科的关系信息理论同其他学科的关系Information theory44信息论的主要研究成果语音信号压缩 长途电话网标准 1972年CCITT G.711标准中的64 kbit/s 1995年 CCITT G.723.1标准中的6.3 kbit/s 移动通信中 1989年GSM标准中语音编码速率为13.2 kbit/s 1994年在为半码速GSM研究的VSELP编码算法中，码速率为5.6 kbit/s 军用通信 美国NSA标准的速率在1975年已达2.4 kbit/s 目前在实验室中已实现600bit/s的低速率语音编码,特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s,已接近信息论指出的极