第1章 信息论与编码第1章

1、 信息论与编码信息论与编码Information Theory and codingInformation Theory and coding 信息系信息系1402/03/041402/03/04班班学习目的及意义l最简单的通信系统信信源源信信道道信信宿宿信源熵信源熵l信源包含多少信息？l信道中传输的是什么形式？l信道能传送多少信息？l信宿接收到的信息是否正确？编码编码信道容量信道容量检纠错检纠错概概 论论l 信息的分类信息的分类l信息论的起源、发展及研究内容信息论的起源、发展及研究内容信息论创始人：信息论创始人：C.E.Shannon(C.E.Shannon(香农香农) )美国科学家美国科学

2、家概概 论论 科学和科学和、科学一起被称为科学一起被称为当代文明的当代文明的“”。 一位美国科学家说过：一位美国科学家说过：“没有物质的世没有物质的世界是虚无的世界；没有能源的世界是死寂的界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。世界；没有信息的世界是混乱的世界。” 信息的存在花朵开放时的花朵开放时的，它可以引来昆虫为它可以引来昆虫为其授粉；其授粉； 成熟的水果会产生香味，诱来动物，动物食后为其成熟的水果会产生香味，诱来动物，动物食后为其传播种子，传播种子，；药有苦味，让人难以吞咽药有苦味，让人难以吞咽，；听老师讲课可以得到许多知识，听老师讲课可以得到许多知识，。

3、 信息的存在总之，信息处处存在，人的眼、耳、鼻、总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。舌、身都能感知信息。视觉视觉 嗅觉嗅觉味觉味觉听觉听觉触觉触觉信息的存在 1928年,美国数学家哈 特 莱 (Hartley)在贝尔系统电话杂志上发表了一篇题为信息传输的论文。他认为“信息是选择的自由度”。 ？信息究竟是什么呢？事隔20年， 另一位美国数学家香农 (C. E. Shannon) 在贝尔系统电话杂志发表了题为通信的数学理论的长篇论文。他创立了信息论，但是却没有给出信息的确切定义,他认为 美国数学家、控制论的主要奠基美国数学家、控制论的主要奠基人人维纳维纳(Wiener(Wien

4、er）在在19501950年出版年出版 的的控制论与社会控制论与社会中写到：“信息既不是物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。它揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的第三要素。 同时考虑事物运动状态及其变化同时考虑事物运动状态及其变化方式的方式的外在形式、内在含义和效用价值的认识外在形式、内在含义和效用价值的认识论层次信息。论层次信息。语法信息语义信息语用信息全 信 息信息的重要性质：信息的重要性质： 可压缩性可压缩性 可扩散性可扩散性 可替代性可替代性 可共享性可共享性 时效性时效性 存在的普遍性存在的普遍性 有序性有序性相对性相对性 可度量性可度

5、量性 可扩充性可扩充性 可存储、传输与携带性可存储、传输与携带性 信号、消息与信息区别与联系在中对信息的表达分为三个层次：信号信号、消息消息、信息信息。信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：1) 离散(数字)消息，是一组未知量，可用随机序列来描述：U=(U1UlUL)2) 连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,)信息：它是更高层次哲学上的抽象，是信号

6、与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。通信中的信息含义？信号、消息与信息区别与联系关系：关系：信息信息-可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。信号信号-则是抽象信息在物理层表达的外延；消息消息-则是抽象信息在数学层表达的外延。l同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；l同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述；l同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断 与通、低与高(电平)等等。 情报、知识是特点的信

7、息，但不等于信息的全体。情报、知识是特点的信息，但不等于信息的全体。通信中的信息含义？信息消息信号区别与联系：l消息是指担负着传送信息任务的单个符号或符号序列。包括文本、数据、语言、图形和图像等。是具体的。l信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特征的信号上去。是物理的。l信息是消息中的未知成分（不确定性），或者说是消息中的有用成分。是抽象的。l通信系统传输的是通信系统传输的是信号信号，信号是信号是消息消息的载体，的载体，消息中的未知成分是消息中的未知成分是信息信息。信息的直观认识1信道上传送的是随机变量的值信道上传送的是随机变量的值。l这就是说，我们在收到

8、消息之前，并不知道消息的内容。否则消息是没有必要发送的。 l消息随机变量有一个概率分布。 l消息随机变量的一个可能取值就称为一个事件。 信息的直观认识2 事件发生的概率越小，此事件含有的信息量就越事件发生的概率越小，此事件含有的信息量就越大。（不太可能发生的事件竟然发生了，令人震大。（不太可能发生的事件竟然发生了，令人震惊）惊）l例事件“中国足球队5：0力克韩国足球队” 此事件含有的信息量大大。（小概率事件发生了，事件信息量大）l例事件“中国足球队0：1负于韩国足球队” 此事件有的信息量小小。（大概率事件发生了，事件信息量小）信息的直观认识3 消息随机变量的随机性越大，此消息随机变消息随机变量

9、的随机性越大，此消息随机变量含有的信息量就越大。量含有的信息量就越大。l例消息随机变量X=“中国足球队与巴西足球队比赛的结果” 则消息随机变量X含有的信息量小。l例消息随机变量Y=“意大利足球队与德国足球队比赛的结果” 则消息随机变量Y含有的信息量大。信息的直观认识4 两个消息随机变量的相互依赖性越大，它们的两个消息随机变量的相互依赖性越大，它们的互信息量就越大互信息量就越大。l例X=呼和浩特明日平均气温, Y=包头明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。 则X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0 。 按照信息的作用按照信息的作用有用无用干扰1工业

10、农业军事政治科技文化经济市场管理 按照信息的应用部门按照信息的应用部门 2信息的分类语声图象文字数据计算 按照信息的来源按照信息的来源3连续连续离散离散半连续半连续 按照携带信息的信号的性质按照携带信息的信号的性质 4信息的分类 香农信息论香农信息论主要讨论的是语法信息中主要讨论的是语法信息中的的概率信息概率信息，本书也以概率信息为主要研，本书也以概率信息为主要研究对象。究对象。 在人类历史的长河中，信息传输和传播手段经历了五次重大变革：语言的产生。语言的产生。文字的产生。文字的产生。印刷术的发明。印刷术的发明。 电报、电话的发明。电报、电话的发明。 计算机技术与通信技术相结计算机技术与通信技

11、术相结 合，促进了网络通信的发展。合，促进了网络通信的发展。12345信息论的起源、发展及研究内容信息论的起源、发展及研究内容信源信道信宿噪声源信源编码加密信道编码调制器解调器信道译码解密信源译码通信系统模型通信系统模型 香农信息论信源熵信源熵信道容量信道容量率失真函数率失真函数信源编码信源编码信道编码信道编码密码密码香农信息论香农信息论2香农信息论的科学体系香农信息论香农信息论传输理论传输理论压缩理论压缩理论保密理论保密理论无噪声无噪声有噪声有噪声有失真信源编码有失真信源编码无失真信源编码无失真信源编码率失真理论率失真理论等长编码定理等长编码定理变长编码定理变长编码定理压缩编码压缩编码Sha

12、nnon(1949) (1959)Gallager(1968)Berger(1969)Shannon(1948) McMillan(1953)Shannon(1948) McMillan(1956)最优码构成最优码构成信道编码定理信道编码定理码构成码构成Huffman码码(1952)Fano码码算术码算术码(1976,1982)LZ码码(1977,1978)MH码码(1977)纠错码纠错码代数编码代数编码卷积码卷积码Hamming(1950)Elias(1955)Viterbi(1967)网络信道网络信道网络信息理论网络信息理论Shannon(1948)Feinstein(1954)Galla

13、ger(1965)Cover(1975)Shannon(1961)Cover(1972)网络最佳码网络最佳码保密系统的保密系统的信息理论信息理论保密码保密码Shannon(1949) Diffie和和Hellmen(1976)公开密钥公开密钥图图1.4 香农信息论的科学体系香农信息论的科学体系l香农定义信息的出发点是假定事物状态可以用一个经典集合论为基础的概率模型来描述。实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。某些情况下，这一模型不一定存在。l香农定义信息的度量没有考虑收信者的主观性和主观意义，也撇开了信息的具体含义、具体用途、重要程度和引起的后果等因素。这就与实际情况不完全一致。 香农信息的定义和度量是科学的，能反映信息的某些本质；但却是有缺陷的、有局限的。这样，它的适用范围会受到严重影响。 香农信息论的缺陷信息论研究的对象、目的和内容(1) 信息论研究的对象和目的l研究对象：信息论是一门应用概率论、随机过程、数理统计和近世代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程学科。 信息论研究的对象、目的和内容(1) 信息论研究的对象和目的l研究目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。 信息论研究的对象、目的和内容(2) 信息论研究的内容l信息论基础：也称狭义信息论/经典信息