信息与通信信息论与编码民大绪论

2024/6/281/39学时：36参考教材：①《信息论与编码》,沈连丰,科学出版社②《信息论—基础理论与应用》,傅祖芸,电子工业出版社③《纠错码—原理与方法》,王新梅,西安电子科技大学出版④《信息论与编码》,陈运,电子工业出版社⑤“”DigitalModulationandCoding”,S.Wilson,PrenticeHall（“数字调制与编码”影印版，电子工业出版社）⑥“ElementsofInformationTheory”,ThomasM.Cover,JoyA.Thomas.清华大学出版社影印版2024/6/282/39课程概况目的：了解学习信息论与编码理论的作用与意义，对信息论与编码理论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础特点：以概念和物理意义为主，数学推导尽量放到课外作业：编写相关内容的程序或阅读近两年内的国外期刊一两篇，结合自己的理解，写一份读书报告，内容可自选。考试：2024/6/283/39课程基本内容一.信息论信息论的发展以及通信系统的模型离散信源熵，互信息以及冗余度二.信源编码定长编码，变长编码以及最佳编码离散信源的信息率失真函数R(D)限失真信源编码定理以及常用信源编码方法三.信道编码信道模型和容量线性分组码卷积码网格编码调制与级联码Turbo码及其迭代译码原理2024/6/2841.信息论研究的中心问题和发展历史2024/6/285/39信息论？信息论是通信的数学基础，它以概率论、随机过程、数理统计和代数学为主要数学工具，详细研究了通信中的各个关键环节，以定理的形式给出了信源编码、信道编码的理论极限，为各种具体的通信技术提供了理论上的指导。信息论创立的标志:香农于1948年发表的论文：

AMathematicalTheoryofCommunication

（通信的数学理论）1948年以前，Nyquist、Hartley、Wiener做了许多有影响的工作。1948年，香农发表《通信的数学理论》，标志着信息论的诞生，同年发表《保密通信的信息理论》，用信息论的观点对信息保密问题作了全面的论述。1956年，香农发表《噪声信道的零差错容量》。1959年，香农发表《保真度准则下的离散信源编码定理》，提出信息率失真理论，为信源压缩编码奠定了理论基础。1961年，香农发表《双路通信系统》，开拓了多用户信息理论（网络信息论）的研究。2024/6/286/39信息论的研究范畴基础信息论（shannon经典信息论）研究信息测度，信道容量以及信源和信道编码理论一般信息论（工程信息论）以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，以工程上技术问题为主。研究内容除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论广义信息论除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学2024/6/287/39研究Shannon信息论的主要目的设计有效，可靠和安全的通信系统有效性是用尽可能短的时间和尽可能少的设备来传输一定信息量的消息信源编码（数据压缩）：无失真信源编码和限失真信源编码可靠性是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端信道编码（可靠传输）安全性加密编码2024/6/288/39shannon信息论研究的主要问题1）什么是信息？如何度量信息？（信息熵）2）怎样确定信源输出信息的速率？（信息传输速率）3）对于一个信道，它传输信息的最高速率是多少？（信道容量）4）无失真信源编码，所需要的最少码符号数是多少？（香农第一定理：如果编码后信源序列的信息传输速率不小于信源熵，那么一定存在一种无失真信源编码方法；否则，不存在这种无失真信源编码方）5）在有噪声信道中，有没有可能以接近信道容量的速率传输信息，而收端的错误概率几乎为零？（香农第二定理：如果信息传输速率小于信道容量，那么总可以找到一种编码方式，使得当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式）

6）如果信源编码时，允许一定的失真，那么信源编码所需要的最少码符号数又是多少？（香农第三定理：对于任意的失真度，只要码字足够长，那么总可以找到一种编码方法，使编码后每个信源符号的信息传输速率，而译码的平均失真度）2024/6/289/39香农和维纳理论的区别香农理论：香农研究的对象是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点是放在编码。他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论。维纳理论：维纳研究的重点是在接收端。研究一个信号如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰时，在接收端怎样把它恢复、再现，从干扰中提取出来。在此基础上，创立了最佳线性过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论。2024/6/2810/39信息论几个方面的主要进展Ⅰ．信源编码与数据压缩Ⅱ．信道编码与差错控制技术Ⅲ．多用户信息论与网络通信Ⅳ．多媒体与信息论Ⅴ．信息论与密码学和数据安全Ⅵ．信息论与概率统计Ⅶ．信息论与经济学Ⅷ．信息论与计算复杂性Ⅸ．信息论与系统、控制、信号检测和处理Ⅹ．量子信息论Ⅺ．Shannon的其它重要贡献2024/6/2811/39

信源编码与数据压缩理论的进展[Kieffer1993]无扰信源编码的诞生(1948,C.E.Shannon)。Huffman算法的发现(1952,D.A.Huffman)。建立Shannon-McMillan定理(1953,B.McMillan)。发现Lloyd算法(1957,S.P.Lloyd,1982年发表)。率失真理论系统化(1959,C.E.Shannon)。KolmogorovComplexity概念诞生(1964,A.N.Kolmogorov)。通用信源编码理论系统化(1973,L.D.Davission)。多端信源编码理论诞生(1973,D.Slepian和J.K.Wolf)。第一个实际的算术编码方案(1976,J.Rissannen和R.Pasco1976博士论文)。发现Lempel-Ziv码(1977,J.Ziv和A.Lempel)。2024/6/2815/39多用户信息论与网络通信理论的进展

(1)理论基础。两路通信系统(Shannon1961)。(2)理论进展。Cover,Schalkwijk,Van.derMeulen,Alswede,Slepian,Wolf,WynerLiao(UniverstyofHawaii),Han等。(3)技术成就。CDMA(Virerbi,Qaulecom)的技术问题：联合检测和译码、均衡、干扰抵消、速率分拆(ratesplitting)、功率检测控制等(Verdu,ShamaiandRimoldi)。STC(Spacetimecode)。线性网络编码联合编码技术2024/6/2816/39技术进展：通向Shannon极限的途径

Shannon极限：白高斯信道下为传送1比特信息所需的最小Eb/N0值，理论上如表。在误码率为10－5时，未编码二元信号最佳检测下所需的Eb/N0值为9.6dB。Shannon极限指出,采用编码可以得到9～10dB的功率增益。表白高斯信道的Shannon极限输入输出速率最小Eb/N0值二元信号软判决→0—1.6dB

二元信号软判决0.50.2dB

二元信号硬判决0.51.8dB

过去50年中Shannon信息论已取得巨大、丰富的理论和技术成果，在未来的50年中，Shannon信息论将继续繁荣还是趋向衰落和消亡?

在过去50年中也曾几次出现过类似的争论。如果信息论继续推动技术的发展，则在未来的几十年中就会继续繁荣下去，否则会象近30年来的物理学所经受的萧条。当前信息论对无线通信的重要作用为信息论的发展提供了契机，无线频带资源的匮乏更趋严重，高效和高可靠性通信愈加依靠信息论的发展，同时需要更多的信息论人才。

Internet通信、移动通信、光存储、生物等领域将向信息论提出新的挑战。未来的趋势2024/6/2818/39香农信息论的深化研究方向香农信息论：网络信息理论和多重相关信源编码理论的发展和应用；通信网的一般信息理论研究；信息率失真理论的发展及在数据压缩和图像处理中的应用；信息论在大规模集成电路中的应用；纠错码理论：在工程方面应用最优编码方法研究。维纳信息论：量子检测和估计理论非参数检测和估计理论，非线性检测与估计理论的研究。信源，信道和安全编码之间的结合联合信源信道编码联合安全信道编码2024/6/2819/39如果实际信源或信道符合所采用的概率模型描述，这种方法是有效的，否则只能是近似的，甚至根本无效。语言的熵描述是非常困难的，其是非平稳的，除了确定的信息，还有模糊的信息，比如“韵味”，“意境”不同的接收者对同一个东西得到的信息可能是不同的Shannon信息论适合于能够定量描述的信息，对难于定量描述的信息则无能为力。Shannon信息论的局限性Shannon信息论在研究方法上的启示1.理论与实践的关系。五十年信息论发展的历史证明，理论必须结合实践才有旺盛的生命力。实践可以帮助人们正确地提出问题和猜想；实践需要理论的指导才能建立更好的系统，才能迅速向前发展。理论用于不断变化的实践过程中，又常常提示和激励我们探索新的理论问题，并以新的方法重新检验已有的理论结论。2．简化模型。“简单模型胜于繁琐的现象罗列”，“简单化才能显现出事物的本质，它表现了人的洞察力”－Gallager

。3．基础的重要性。切莫近视、急功近利。2024/6/2821/39Shannon对信息论的贡献2001年2月24日，Shannon于马萨诸塞州病逝。著名信息论和编码学者Dr.RichardBlahut在Shannon塑像落成典礼上这样评价Shannon：“在我看来，两三百年之后，当人们回过头来看我们这个时代的时候，他们可能不会记得谁曾是美国的总统。他们也不会记得谁曾是影星或摇滚歌星。但是他们会记得Shannon的名字。学校里仍然会讲授信息论。”2024/6/2822/39Shannon信息论的应用范围2024/6/2823/39AWGN:AdditiveWhiteGaussianNoiseLDPC:Low-densityParity-checkCodesRecentprogressinFECsforopticalcommunicationsystems.

2024/6/28242.通信系统的模型2024/6/2825/39通信系统的通用模型信源编码器信道译码器信宿干扰源

系统的模型不是不变的，可根据实际情况而定，可将图中的编、译码器作更细致的划分，目的是使信源编码的研究主要和信源及信宿发生关系，此时信道编、译码器和信道的组合可等效为一个离散无扰信道。而信道编码的研究可和信源、信宿无关，而只与信道有关，此时信源和信源编码器组合成一个对于信道编码器来说的等效离散源，它的输出可近似地看成是无记忆、等概的数字序列。这种划分可使信源编码集中于解决传输有效性问题，而信道编码则集中于解决抗信道干扰和失真问题，即解决传输可靠性问题，从而简化了研究。2024/6/2826/39信道等效离散信道信源信源编码器纠错编码器调制器干扰源信源译码器纠错译码器信宿解调器等效信宿信道编码器信道译码器等效离散信源

细化的通信系统模型等效离散信道

这样划分是否会对发挥通信系统的传信潜力有根本性的限制呢？研究表明，在很一般的条件下，对大多数理论结果没有太大限制。但是这样划分也不一定总是合理的，有时将信源编码和信道编码统一考虑进行设计可能更有效些，有人已进行了这方面的探讨，如信源和信道联合编码、加密与纠错联合设计的研究。2024/6/2827/39各部件功能信源产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。研究的主要问题是消息的统计特性和产生信息的速率编码器信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性调制器：将信道编码输出变成适合信道传输的方式2024/6/2828/39各部件功能信道信号从发端传到收端的介质信道的中心问题是研究信道的统计特性和传信能力，即信道容量干扰源系