信息论与编码理论基础第一章

信息论与编码理论基础第一章第一页，共四十六页，2022年，8月28日教材王育民、李晖，信息论与编码理论（第2版），高等教育出版社，2013.

第二页，共四十六页，2022年，8月28日参考书ThomasM.Cover,JoyA.Thomas,ElementsofInformationTheory，2nded,WILEYPress,2006.阮吉寿张华译信息论基础，机械工业出版社，2007.傅祖芸，信息论与编码学习辅导及习题详解，电子工业出版社，2004.傅祖芸,信息论—基础理论与应用，电子工业出版社，2001.沈世镒等，信息论与编码理论，科学出版社，2010.姜丹，信息论与编码，中国科学技术大学出版社，2008.第三页，共四十六页，2022年，8月28日信息是什么？Wiener(维纳)：“信息既不是物质，也不是能量，信息就是信息”。物质和能量是客观存在的、有形的，信息是抽象的、无形的。物质和能量是系统的“躯体”，信息则系统的“灵魂”。信息要借助于物质和能量才能产生、传输、存储、处理和感知；物质和能量要借助于信息来表述和控制。第四页，共四十六页，2022年，8月28日第五页，共四十六页，2022年，8月28日信息（英语：Information），是一个高度概括抽象概念，很难用统一的文字对其进行定义[1]，这是由于其具体表现形式的多样性造成的。信息是一个发展中的动态范畴，它随人类社会的演变而相应的扩大或收缩，总的来看从过去到现在信息所涵盖的范围是不断扩大的，可以断定随人类社会的发展信息范畴将进一步扩大。作为一个严谨的科学术语，信息的定义却不存在一个统一的观点，这是由它的极端复杂性决定的。信息的表现形式数不胜数：声音、图片、温度、体积、颜色……信息的分类也不计其数：电子信息、财经信息、天气信息、生物信息……。信息可以减少不确定性。事件的不确定性是以其发生机率来量测，发生机率越高，不确定性越低，事件的不确定性越高，越需要额外的信息减少其不确定性。例如投掷一个公正的硬币，其信息为-log2(1/2)=1bit，投掷两个公正的硬币，其信息为-log2(1/4)=2bits。在热力学中，信息是指任何会影响系统的热力学状态的事件。第六页，共四十六页，2022年，8月28日信息的度量信息可以被感知，但是不是所有的信息都可以定量计数，因此，我们要区分信息和信息量。从数学上来说，关于信息量的定义，大概有100多种。如果将信息提升到科学进行研究，必须要对信息进行定量，给出信息的科学测度，但是这并不是一件很容易的事情。第七页，共四十六页，2022年，8月28日信息与信息量信息是多样的，客观事物是多种多样的、五花八门的，事物的状态和变化是多姿多彩、变幻无穷的，属性不同就出现了不同的信息，需要给出不同的信息定义，从而可创建不同的信息理论。比如说信息的不确定性，引出了概率信息，这是我们讲的最多的。再如信息的模糊性，引出了模糊信息和模糊信息论，这个在70年代末提出来的。还如信息的量子属性，引出了量子信息和量子信息论。第八页，共四十六页，2022年，8月28日信息与信息量信息的复杂性引出了信息的复杂度和复杂度的信息理论，信息的感知属性引出了感知信息和感知信息理论，信息的美学属性引出美学信息和美学信息理论等等。现在有五花八门的信息理论，已经提出了各式各样的信息理论，而且得到了众多不同的结果，都宣称取得了成功。动态信息论、定性信息论、经济信息论、算法信息论、模糊信息论、量子信息论等等，还有信息生态学、信息代数、信息几何等，信息物理学、信息生物学等。第九页，共四十六页，2022年，8月28日信息与信息量信息量度定义的困难性，在众多信息中，只有少数的信息有了量，大多数的信息是可以感知的，但是无法度量，因为没有找到合适的信息量的定义，就建不起来一套理论。比如说对情感信息中的喜怒哀乐，都可以感知，但是我们很难度量它们，只能用一些比较模糊的形容词，描述不同程度的感情。“你问我对你的爱有多深，我爱你有几分，你去想一想，你去看一看，月亮代表我的心。”我们还不能确切地给出“这份爱”有多少“比特”，“那份爱”比“这份爱”又多多少“比特”。对于美学信息也是如此。第十页，共四十六页，2022年，8月28日信息多少的量度。1928年R.V.L.哈特莱首先提出信息定量化的初步设想，他将消息数的对数定义为信息量。若信源有m种消息，且每个消息是以相等可能产生的，则该信源的信息量可表示为I=logm。但对信息量作深入而系统研究，还是从1948年C.E.仙农的奠基性工作开始的。在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。第十一页，共四十六页，2022年，8月28日信息与信息量由于客观信息的多样性，要想给出一个能够包罗万象的统一定义，在此基础上建立起一套信息理论几乎是不大可能的。香浓(Shannon)信息论：1948年发表《通信的数学理论》，创建了信息论，建立了通信系统的模型，用概率和统计观点描述信息，包括信源、信道、干扰等，给出了不确定的信息量度，指出了客观有效、可靠的信息通信之路，宣告了一门学科信息论的诞生，成为通信领域技术革命的思想或者理论基础。第十二页，共四十六页，2022年，8月28日信息与信息量1948年发表的《通信的数学理论》文章，这是一篇20世纪少有的几篇对科学和工程，乃至对人类社会发展产生了重要影响著作，是可与牛顿力学相媲美的不朽之作，也是他最重要的科学贡献。这使他成为信息论之父，时年仅32岁。作为数学家，他为数学开辟了一个工程应用的新领域。这篇文章虽然在1947年完成，但至今仍然闪烁着智慧的光芒，它将照耀人类今后的数个世纪。第十三页，共四十六页，2022年，8月28日第十四页，共四十六页，2022年，8月28日第一章：引论（简介）一、通信系统模型二、Shannon信息论的中心问题三、Shannon信息的概念四、概率复习内容第十五页，共四十六页，2022年，8月28日一、通信系统模型信源、信道、信宿信源是消息的来源，信道是消息传送媒介，信宿是消息的目的地。信源编码器信道译码器信宿干扰源第十六页，共四十六页，2022年，8月28日通信系统模型进一步细分信源信源编码器信道编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器第十七页，共四十六页，2022年，8月28日各部件功能信源产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。研究的主要问题是消息的统计特性和产生信息的速率编码器信源编码器：对信源输出进行变换，求得有效性信道编码器：对信源编码输出变换，提高抗干扰性调制器：将信道编码输出变成适合信道传输的方式第十八页，共四十六页，2022年，8月28日各部件功能信道信号从发端传到收端的介质信道的中心问题是研究信道的统计特性和传信能力，即信道容量干扰源系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要是统计特性加性干扰和乘性干扰第十九页，共四十六页，2022年，8月28日各部件功能译码器编码器的逆变换中心问题是研究各种可实现的解调和译码方法信宿信息的接收者第二十页，共四十六页，2022年，8月28日信息、消息和信号信息一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素消息是信息的载体，相对具体的概念，如语言，文字，数字，图像信号表示消息的物理量，电信号的幅度，频率，相位等等第二十一页，共四十六页，2022年，8月28日音信消息南唐李中《暮春怀故人》诗：

“梦断美人沉信息，目穿长路倚楼台。”宋陈亮《梅花》诗：

“欲传春信息，不怕雪埋藏。”《水浒传》第四四回：

宋江大喜，说道：“只有贤弟去得快，旬日便知信息。”巴金《家》

三一：“二表哥的事情怎样了？为什么连信息也不给我一个？”第二十二页，共四十六页，2022年，8月28日二、Shannon信息论的中心问题“信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。1948年Shannon发表了“通信的数学理论”奠定了信息论理论基础信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。第二十三页，共四十六页，2022年，8月28日中心问题具体地说，就是信源编码和信道编码。问题一：信源消息常常不能够完全发送。（否则发送量巨大，比如：信源消息是一片无尽的天空。因此优先捡有用的发送。什么是有用的？就是信息量大的。什么是信息量大的？）问题二：信道因干扰而出现差错，必须进行检错和纠错。（否则所收到的消息无法识别。）第二十四页，共四十六页，2022年，8月28日香农信息论的基本任务基本任务是设计有效而可靠的通信系统可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息第二十五页，共四十六页，2022年，8月28日信源编码问题信源编码器的作用是根据失真度准则对信源进行划分，给每一类以不同的表示，即码字。信源译码器的任务是根据收到的信源表示恢复出信源所属的类。第二十六页，共四十六页，2022年，8月28日信源编码问题在给定信源和失真度条件下，要多大信息速率才行？或对给定信源保留一定的信息速率下，可以达到的最小失真是多少？——信源编码问题，即通信“可行性”研究。如何实现上述理论——找出实际可行的信源编码和译码方法。第二十七页，共四十六页，2022年，8月28日信道编码问题研究在保证信息传输可靠性的条件下最有效地利用信道的传信能力的。设送入信道的信息速率为R，信道容量为C，信道编码基本理论告诉我们：若R<C，则可以将速率为R的信息以任意高的可靠性送至接收端。若R>C，则不可能。寻找实际可行的编、译码方法。第二十八页，共四十六页，2022年，8月28日香农信息论特点将概率统计的观点和方法引入到通信理论研究中，揭示了通信系统中传送的对象是信息，并对信息给出科学的、定量的描述，指出通信系统设计的中心问题是在随机噪声干扰下如何有效而可靠地传送信息，实现这一目标的途径是编码（信源编码和信道编码），并且从理论上证明了可以达到的最佳性能限。第二十九页，共四十六页，2022年，8月28日类比对于Shannon信息论，可将通信问题与普通的运输问题做类比。前者是传送信息，后者是传送货物。传送货物有货源和运输通道，而货源和运输通道又有货源的体积（或吨位）和运输通道的容量。当运输通道的容量大于货源的体积（吨位）时，就能实现货物的正常运输。信源和信道编码理论则是解决信息的传输问题。可以通过信息的度量来确定信息量（可形象地称为信号体积）和信道容量。当信道容量大于信息体积时，就能实现信息的正确传输。第三十页，共四十六页，2022年，8月28日信息论的研究内容狭义信息论（经典信息论）研究信息测度，信道容量以及信源和信道编码理论一般信息论研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论广义信息论除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学第三十一页，共四十六页，2022年，8月28日狭义信息论体系结构Shannon信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码第三十二页，共四十六页，2022年，8月28日信息论发展简史电磁理论和电子学理论对通信理论技术发展起重要的促进作用1820－1830年，法拉第发现电磁感应莫尔斯1832－1835建立电报系统。1876年Bell发明电话1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论1895年马可尼发明了无线电通信微波电子管导致微波通信系统，微波雷达系统激光技术使通信进入光通信时代量子力学使通信进入量子通信领域第三十三页，共四十六页，2022年，8月28日信息论发展简史1832年莫尔斯电码对shannon编码理论的启发1885年凯尔文研究了一条电缆的极限传信速率1922年卡逊对调幅信号的频谱结构进行研究1924年奈奎斯特证明了信号传输速率和带宽成正比1928年Hartley提出信息量定义为可能消息量的对数1939年Dudley发明声码器1940维纳将随机过程和数理统计引入通信与控制系统第三十四页，共四十六页，2022年，8月28日信息论发展简史1948年shannon信息论奠基1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明1957，Wolfowitz，1961Fano，1968Gallager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1972年Arimoto和Blahut发明了信道容量的迭代算法1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976Rissanen算术编码，1977，78Ziv和Lempel的LZ算法第三十五页，共四十六页，2022年，8月28日信息论发展简史1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术，1993年Turbo编译码技术，1999年LDPC编码技术。1959年，Shannon提出率失真函数和率失真信源编码定理1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。第三十六页，共四十六页，2022年，8月28日三、Shannon信息的概念（直观地认识Shannon信息和信息量，而暂时不使用定义）

第一个重要概念：信道上传送的是随机变量的值。这就是说：（1）我们在收到消息之前，并不知道将要收到的是什么消息。否则消息是没有必要发送的。（2）我们在收到消息之前，知道将要收到的可能是哪些消息，以及收到每个消息的可能性大小。换句话说，消息随机变量有一个已知的概率分布。（3）消息随机变量的一个可能取值就称为一个事件。第三十七页，共四十六页，2022年，8月28日三、Shannon信息的概念第二个重要概念：事件的信息量。事件发生的概率越小，此事件含有的信息量就越大。（直观含义：越是不太可能发生的事件竟然发生了，越是令人震惊）例事件A=“中国足球队3：0力克韩国足球队”，则事件A含有的信息量大。（小概率事件发生了，事件信息量大）例事件B=“中国足球队0：1负于韩国足球队”，则事件B含有的信息量小。（大概率事件发生了，事件信息量小）第三十八页，共四十六页，2022年，8月28日三、Shannon信息的概念第三个重要概念：消息随机变量的信息量。消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。（直观含义：这种信息量的大小代表了不可预见性的大小）例消息随机变量X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。（随机性小，可预见性大，因此该消息随机变量含有的信息量小。）例消息随机变量Y=“意大利足球队与德国足球队比赛的结果”，则消息随机变量Y含有的信息量大。（随机性大，可预见性小，因此该消息随机变量含有的信息量大。）

第三十九页，共四十六页，2022年，8月28日三、Shannon信息的概念第四个重要概念：两个事件的互信息量。两个事件越是互相肯定，它们的互信息量就越大。两个事件越是互相否定，它们的互信息量就越小。如果两个事件既不互相肯定，也不互相否定，它们的互信息量就为0。（直观含义：这种信息量的大小代表了相互肯定性的大小）例A=西安明日有雨,B=咸阳明日有雨，BC=咸阳明日无雨，C=北京明日有雨，D=纽约明日有雨。则A与B互信息量大，A与C互信息量小得多，A与D互信息量几乎为0，A与BC互信息量小。

第四十页，共四十六页，2022年，8月28日三、Shannon信息的概念第五个重要概念：两个消息随机变量的互信息量。两个消息随机变量的互相关性越大，它们的互信息量就越大。（直观含义：这种信息量的大小代表了相互依赖性的大小）例X=西安明日平均气温,Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则X与Y互信息量大，X与Z互信息量小得多，X与W互信息量几乎为0。

第四十一页，共四十六页，2022年，8月28日四、概率复习内容记号P(A)表示事件A发生的概率。P(A|B)表示在事件B发生的条件下，事件A发生的条件概率。EX表示随机变量X的数学期望。离散型随机变量离散型随机变量X的所有事件为{x1,x2,…,xK}，对应的概率为P(X=xk)=qk，k=1,2,…,K。通常将此随机变量记为{X,xk,qk,k=1~K