YN信息论与编码理论.pptx

1、Thomas M. Cover.Elements of Information Theory. . 应用信息论基础. 信息论-基础理论与应用.电子工业出版社.信息论与编码理论. 高等教育出版社.参考书闭卷+课程论文平时成绩20%+论文成绩20%+考试成绩60%考核方式第一章 绪论第一章 绪论什么是信息？信息论研究什么？编码研究什么？如何研究?2个重要概念信息是不确定性的：随机性信息需要用数字信号：0和1来传输2个基本理论信源编码理论：数据压缩的临界最小值信道编码理论：数据传输的临界最大值1.1 通信系统模型和信息的概念1.2 信息论研究的中心问题及发展1.3 shannon信息论的局限性1.4

2、 信息的广义性1.1 通信系统模型和信息的概念1、通信系统模型信源编码器信道译码器信宿干扰源通信系统的基本任务要求可靠: 要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端有效: 用尽可能短的时间和尽可能少的设备来传输最大的消息通信系统模型进一步细分信源信源编码器信道编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器2、信息的概念：信息、消息和信号信息一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素。 消息中的有效内容。消息是信息的载体，相对具体的概念，如语言，文字，数字，图像。信号表示消息的

3、物理量，电信号的幅度，频率，相位等等。一般在通信领域表示消息的电信号。3、香农信息的定义收信者在收到消息前不知道消息的具体内容；通信的结果是消除不确定性从而获得信息。干扰源信源信道信宿信息的定义信息是事物运动状态或存在方式的不确定性的描述不仅仅是形式上的消息或情报 ，而且包括消息或情报所含的对事物状态或不确定性的描述“母病愈”1、收报人之前不知道任何相关信息，也不知道有人给他发报不确定性2、是关于身体健康的描述是动态的、随机的3、收到报文后，报文清楚，则不确定性消除；报文不清有可能消除一部分不确定性，不确定性减少，获得一部分信息；或不确定性没有减少，没有获得信息。4、香农信息的度量天气预测：晴

4、 雪 ；中奖（1）样本空间：某试验中各种可能出现的状态的集合；或者所有消息的集合（2）概率测度：每一个可能的离散消息指定的概率（3）概率空间：一个样本空间和它的消息测度称为一个概率空间（4）自信息：如果事件 ai 发生的概率p(ai),事件 ai 发生所含有的信息量，就称为自信息量，表示为 平均信息量、熵 （5）互信息：先验的不确定性减去尚存在的不确定性是两个随机变量相互之间独立程度的度量。 先验概率: 后验概率例1.1 假定8名运动员参加一场比赛，设8人的获胜概率分布为（1/2，1/4，1/8，1/16，1/64，1/64，1/64，1/64）。求该场比赛的平均信息量 。解：H(X)=-1/

5、2log(1/2)-1/4log(1/4)-1/8log(1/8) -1/16log(1/16)-4*1/64log(1/64) =2比特 假设要把某人获胜的消息传出去，可以发送该人的编号；由于获胜概率不同，获胜可能大的用较短描述，可以获得2比特的平均信息量。5 Shannon信息论的优点Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。几乎无错地经由Gaussian信道传信对于非白Gassi

6、an信道，Shannon的注水定理和多载波调制(MCM)CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、以及信息存储编码调制技术6 Shannon信息论的局限性如果实际信源或信道符合所采用的概率模型描述，这种方法是有效的，否则只能是近似的，甚至根本无效。语言的熵描述是非常困难的，它是非平稳的，除了确定的信息，还有模糊的信息，比如“韵味”，“意境”不同的接收者对同一个东西得到的信息可能是不同的Shannon信息论适合于能够定量描述的信息，对难于定量描述的信息则无能为力。7 信息论的广义性信息论常被理解为包括更广的领域语义学语言学神经生理学心理学组织学信息的不同属性的定义产生不

7、同的信息论模糊信息论量子信息论生物信息论信息复杂度的信息理论1.2 信息论研究的中心问题和发展1 Shannon信息论的基本目的1948年shannon发表了“通信的数学理论”奠定了信息论理论基础基本任务是设计有效而可靠的通信系统保密性和认证性克劳德艾尔伍德香农（Claude Elwood Shannon） 美国数学家、信息论的创始人。 1916年4月30日出生于美国密歇根州的Petoskey，2001年2月26日去世，享年84岁。 1936年毕业于密歇根大学并获得数学和电子工程学士学位 1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位 1941年他加入贝尔实验室，工作到19

8、72年。 1956年他成为麻省理工学院（MIT）客座教授 1958年成为终生教授，1978年成为名誉教授。香农的学术研究 香农于1940年在普林斯顿高级研究所（The Institute for Advanced Study at Princeton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年6月和10月在贝尔系统技术杂志（Bell System Technical Journal）上连载发表了他影像深远的论文通讯的数学原理。1949年，香农又在该杂志上发表了另一著名论文噪声下的通信。 在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的

9、数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。他的工作被称为二十世纪的伟大创造(intellectual achievements)之一。克劳德艾尔伍德香农（Claude Elwood Shannon）信息论在领域内的基本作用2 信息论的研究内容狭义信息论（经典信息论）研究信息测度，信道容量以及信源和信道编码理论 香农基本理论 P11 图1.5一般信息论研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论广义信息论除上述内容外，还包括自然和社会领域有关信

10、息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学Shannon理论Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。几乎无错地经由Gaussian信道传信对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM)CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、以及信息存储编码调制技术消息伴随着可以量化的信息熵、平均互信息信源发出的消息有冗余度，因

11、此可进行信源编码，熵是无失真信源编码的最低极限噪声使信道可靠传输能力受限，提出信道可靠传输能力信道容限为可靠通信，通过增加冗余进行信道纠错编码，信道容限是错误足够小的信道编码的临界上限干扰源信源信道信宿1.3信息论几个方面的主要进展信源编码与数据压缩 信道编码与差错控制技术多用户信息论与网络通信 多媒体与信息论 信息论与密码学和数据安全信息论与概率统计信息论与经济学信息论与计算复杂性信息论与系统、控制、信号检测和处理量子信息论Shannon的其它重要贡献1信源编码与数据压缩-关键理论进展的十个里程碑Kieffer 1993无扰信源编码的诞生(1948, C. E. Shannon)。Huffm

12、an算法的发现(1952, D. A. Huffman)。建立Shannon-McMillan定理(1953, B. McMillan)。发现Lloyd算法(1957, S. P. Lloyd ,1982年发表,)。率失真理论系统化(1959, C. E. Shannon,)。Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov,)。通用信源编码理论系统化(1973, L. D. Davission)。多端信源编码理论诞生(1973, D. Slepian和J. K. Wolf)。第一个实际的算术编码方案(1976, J. Rissannen和R. Pasco 1976 博士论文)。发现Lempel-Z