信息论与编码

信息论与编码

主讲：李利品联系电话：88382648

办公室：2#1022课程内容信息论的基本问题—信息的度量无失真信源编码定理—香农第一定理信道编码定理—香农第二定理限失真信源编码定理—香农第三定理信源编码信道编码3教学目标香农信息论的基本理论、概念和方法；信息的统计度量，离散信源，离散信道和信道容量编码的理论和实现原理信源编码与信道编码教学重点信息度量信源描述信道容量编码理论及实现4参考书1．信息论与编码，姜丹编著，中国科学技术大学出版社，20032．信息论与编码，陈运编著，电子工业出版社，2002信息理论与编码，吕锋等编著，人民邮电出版社，2004信息论与编码，仇佩亮编著，高等教育出版社，19995计分方式最后期终考试成绩占80％平时成绩占20％作业：一次不交扣2分，无故缺席一次扣2分，迟到或者早退一次扣1分；课堂提问：一次回答不上扣2分，视回答情况酌情扣分；严重违反课堂纪律，视情节轻重扣分。绪论第一章71.1信息的基本概念

8什么是信息?信息：一个既复杂又抽象的概念消息、情报、知识——信息的形式和内容数据、文字、记录（计算机处理或通信传输的对象）——信息的具体表现形式科学名词：统计数学、通信技术用严格的数学公式定义的科学名词，它与内容无关，而且不随信息具体表现形式的变化而变化，因而也独立于形式。它反映了信息表达形式中统计方面的性质，是一个统计学上的抽象概念。究竟应该怎么定义信息呢？9什么是信息?信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。10信息论和信息技术研究什么样的问题？信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学。信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。信息技术主要研究如何实现、怎样实现的问题。11信息论信息论一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取、处理系统中一般规律的学科。信息论是在信息可以量度的基础上,研究有效地、可靠地传递信息的科学,它涉及信息度量、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识12信息、消息和信号信息是事物运动状态或存在方式的不确定性的描述。消息是指包含有信息的语言、文字和图像等信号是消息的物理体现。在通信系统中，实际传输的是信号，但本质内容的是信息。信息包含在信号之中，信号是信息的载体。通信的结果是消除或部分消除不确定性，从而获得信息。香农信息的定义13信息的特征信息的基本概念在于它的不确定性,任何已确定的事物都不含信息。接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容；信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；信息可以产生，也可以消失，同时信息可以被携带、贮存及处理；信息是可以量度的，信息量有多少的差别14例：气象预报甲乙“甲地晴”比“乙地晴”的不确定性来的小某一事物状态出现的概率越小，其不确定性越大。某一事物状态出现的概率接近于1,即预料中肯定会出现的事件，那它的不确定性就接近于零。151.2信息论研究的对象、目的和内容16信息论研究的内容狭义信息论：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。一般信息论：主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题17香农信息论压缩理论有失真信源编码无失真信源编码率失真理论压缩编码等长编码定理变长编码定理最优码构成Huffman码Fano码传输理论有噪声信道编码理论码构成纠错码代数编码卷积码网络信道网络信息理论网络最佳码保密理论保密系统的信息理论保密码香农信息论的科学体系18数字通信系统模型信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥19信源、信宿和信道信源：发送消息的源离散信源模拟信源信源是信息论的主要研究对象之一，但在信息论中并不探讨信源的内结构和物理机理，而把注意力放在信源的输出上，重点讨论信源输出的描述方法及性质。信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。信道：传输信息的物理媒介20信源编码器与译码器信源编码器的作用是把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号；同时通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。—有效性信源编码器分为两类一类是无失真信源编码,适用于离散信源或数字信号；另一类是限失真信源编码,用于连续信源或模拟信号,如语音、图像等信号的数字处理21信源编码器与译码器信源编码器的主要指标是它的编码效率，即理论上能达到的码率与实际达到的码率之比。一般来说，效率越高，编译码器的代价也将越大。信源译码器的作用是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。22信道编码器与译码器信道编码主要作用是提高信息传送的可靠性。信道编码器的作用在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力信道编码的主要方法增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。信道译码器的作用具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。

23密码学研究的内容如何隐蔽消息中的信息内容,使它在传输过程中不被窃听.提高通信系统的安全性；将明文变换成密文,通常不需要增大信道容量,例如在二进码信息流上叠加一密钥流；但也有些密码要求占用较大的信道容量。

24问题：能否将三种码(信源编码、信道编码和密码)合成一种码进行编译？提高有效性必须去掉信源符号中的冗余部分,此时信道误码会使接收端不能恢复原来的信息,也就是必须相应提高传送的可靠性,不然会使通信质量下降；反之,为了可靠而采用信道编码,往往需扩大码率,也就降低了有效性。安全性也有类似情况编成密码,有时需扩展码位,这样就降低有效性；有时也会因失真而使授权用户无法获得信息,必须重发而降低有效性,或丢失信息而降低可靠性。25从理论方面来说，若能把三种码合并成一种码来编译，即同时考虑有效、可靠和安全，可使编译码器更理想化，在经济上可能也更优越。这种三码合一的设想是当前众所关心的课题，但因理论上和技术上的复杂性，要取得有用的结果，还是相当困难。261.3信息论的形成和发展27ClaudeShannon(1916-2001)“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。这是数学家香农(ClaudeE.Shanon)在他的惊世之著《通信的数学理论》中的一句铭言。香农应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。香农因此成为信息论的奠基人28香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来,他就职于贝尔电话研究所,在这个世界上最大的通信公司(美国电话电报公司)的研究基地里,他受着前辈的工作的启示,其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早研究了通信系统的信息传输能力,第一次提出了信息量的概念,并试图用教学公式予以描述。香农则创造性地继承了他们的事业,在信息论的领域中钻研了8年之久,终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著《通信的数学理论》。次年,他又在同一杂志上发表了另一篇名著《噪声下的通信》。29在这两篇文章中,香农解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。两篇文章成了现在信息论的奠基著作。香农的成就轰动了世界,激起了人们对信息论的巨大热情,它向各门学科冲击,研究规模像滚雪球一样越来越大。不仅在电子学的其他领域,如计算机、自动控制等方面大显身手,而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香农本人所研究和意料的范畴,即从香农的所谓“狭义信息论”发展到了“广义信息论”。30信息论的形成和发展进入20世纪80年代以来,当人们在议论未来的时候,人们的注意力又异口同声地集中到信息领域。按照国际一种流行的说法,未来将是一个高度信息化的社会。信息工业将发展成头号工业,社会上大多数的人将是在从事信息的生产、加工和流通。这时人们才能更正确地估价香农工作的全部含义信息论这个曾经只在专家们中间流传的学说,将来到更广大的人群之中。香农这个名字也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。311.4目前信息论的主要

研究成果

32信息论的主要研究成果语音信号压缩长途电话网标准

1972年CCITTG.711标准中的64kbit/s，1995年CCITTG.723.1标准中的6.3kbit/s。移动通信中

1989年GSM标准中语音编码速率为13.2kbit/s1994年在为半码速GSM研究的VSELP编码算法中，码速率为5.6kbit/s军用通信

美国NSA标准的速率在1975年已达2.4kbit/s目前在实验室中已实现600bit/s的低速率语音编码,特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s,已接近信息论指出的极限33信息论的主要研究成果图像信号压缩

图像信号的信息量特别巨大，这对图像信号的传输及存储都带来极大的不便。1989年CCITT提出电视电话/会议电视的压缩标准H.261,其压缩比达到25:1到48:1左右1991年CCITT与ISO联合提出的“多灰度静止图像压缩编码”标准JPEG,其压缩比为24:1在运动图像方面,运动图像专家组继成功定义了MPEG-1和MPEG-2之后,于1993年7月开始制订全新的MPEG-4标准。随着MPEG-4标准的不断扩展,它不但能支持码率低于64kbit/s的多媒体通信,也能支持广播级的视频。34信息论的主要研究成果降低信息传输所需的功率在远距离无线通信,特别是深空通信中如何降低信息传输所需的功率至关重要。因为在这种情况下发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。正是在这个领域信息论获得了它第一批令人信服的成果。60年代后期起，NASA发射的所有深空探测器无一例外地在其通信设备中采取了信道编码措施35信息论的主要研究成果计算机网中数据传输可靠性的保证在用各种电缆连接而成的计