信息论与编码理论第一章

1、信息论与编码理论第一章第1页，共25页，2022年，5月20日，1点15分，星期一第一章 引论第2页，共25页，2022年，5月20日，1点15分，星期一第一章 引论1.1 通信系统模型1.2 信息论研究的中心问题及发展1.3 shannon信息论的局限性1.4 信息的广义性第3页，共25页，2022年，5月20日，1点15分，星期一1.1 通信系统模型第4页，共25页，2022年，5月20日，1点15分，星期一通信系统模型信源编码器信道译码器信宿干扰源通信系统的基本任务要求可靠: 要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端有效: 用尽可能短的时间和尽可能少的设

2、备来传输最大的消息第5页，共25页，2022年，5月20日，1点15分，星期一通信系统模型进一步细分信源信源编码器信道编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器第6页，共25页，2022年，5月20日，1点15分，星期一信息、消息和信号信息一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素消息是信息的载体，相对具体的概念，如语言，文字，数字，图像信号表示消息的物理量，电信号的幅度，频率，相位等等第7页，共25页，2022年，5月20日，1点15分，星期一1.2 信息论研究的中心问题和发展第8页，共25页，202

3、2年，5月20日，1点15分，星期一Shannon信息论的基本任务1948年shannon发表了“通信的数学理论”奠定了信息论理论基础基本任务是设计有效而可靠的通信系统第9页，共25页，2022年，5月20日，1点15分，星期一信息论的研究内容狭义信息论（经典信息论）研究信息测度，信道容量以及信源和信道编码理论一般信息论研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论广义信息论除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学第10页，共25页，2022年，5月20日，1

4、点15分，星期一Shannon理论Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。几乎无错地经由Gaussian信道传信对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM)CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、以及信息存储编码调制技术第11页，共25页，2022年，5月20日，1点15分，星期一信息论几个方面的主要进展信源编码与数据压缩 信

5、道编码与差错控制技术多用户信息论与网络通信 多媒体与信息论 信息论与密码学和数据安全信息论与概率统计信息论与经济学信息论与计算复杂性信息论与系统、控制、信号检测和处理量子信息论Shannon的其它重要贡献参见课程网站:信息论进展50年第12页，共25页，2022年，5月20日，1点15分，星期一I信源编码与数据压缩-关键理论进展的十个里程碑Kieffer 1993无扰信源编码的诞生(1948, C. E. Shannon)。Huffman算法的发现(1952, D. A. Huffman)。建立Shannon-McMillan定理(1953, B. McMillan)。发现Lloyd算法(19

6、57, S. P. Lloyd ,1982年发表,)。率失真理论系统化(1959, C. E. Shannon,)。Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov,)。通用信源编码理论系统化(1973, L. D. Davission)。多端信源编码理论诞生(1973, D. Slepian和J. K. Wolf)。第一个实际的算术编码方案(1976, J. Rissannen和R. Pasco 1976 博士论文)。发现Lempel-Ziv码(1977, J. Ziv和A. Lempel)。第13页，共25页，2022年，5月20日，1点15

7、分，星期一信道编码与差错控制技术 1Shannon信道编码定理和Shannon极限。Shannon编码信道定理:RC 不存在有编码方法实现满足误码率要求的速率为R的传信。Shannon 证明码长N大时，随机选择的码以很高概率为好码。问题：Shannon的证明是非构造性，如何构造好码实现定理目标? 实现ML译码的复杂性随N呈指数增长。第14页，共25页，2022年，5月20日，1点15分，星期一第15页，共25页，2022年，5月20日，1点15分，星期一第16页，共25页，2022年，5月20日，1点15分，星期一第17页，共25页，2022年，5月20日，1点15分，星期一多用户信息论与网络

8、通信(1) 理论基础。两路通信系统(Shannon 1961)。(2) 理论进展。 Cover, Schalkwijk, Van. der Meulen, Alswede, Slepian, Wolf, Wyner Liao(Universty of Hawaii), Han等。(3) 技术成就。CDMA(Virerbi, Qaulecom)的技术问题：联合检测和译码、均衡、干扰抵消、速率分拆(rate splitting)、功率检测控制等(Verdu, Shamai and Rimoldi)。STC(Space time code)，源于信息论考虑。线性网络编码合作编码技术第18页，共25页

9、，2022年，5月20日，1点15分，星期一 过去50年中Shannon信息论已取得巨大、丰富的理论和技术成果，在未来的50年中，Shannon信息论将继续繁荣还是趋向衰落和消亡? 在过去50年中也曾几次出现过类似的争论。如果信息论继续推动技术的发展，则在未来的几十年中就会继续繁荣下去，否则会象近30年来的物理学所经受的萧条。 当前信息论对无线通信的重要作用为信息论的发展提供了契机，无线频带资源的匮乏更趋严重，高效和高可靠性通信愈加依靠信息论的发展，同时需要更多的信息论人才。 Internet通信、移动通信、光存储、生物等领域将向信息论提出新的挑战。未来的趋势第19页，共25页，2022年，5

10、月20日，1点15分，星期一Shannon信息论在研究方法上的启示1. 理论与实际的关系。五十年信息论发展的历史证明，理论必须结合(扎根于)实际才有旺盛的生命力。2简化模型。理论的作用是浓缩知识之树， “简单模型胜于繁琐的现象罗列”， “简单化才能显现出事物的本质，它表现了人的洞察力”。 好的性能量度和复杂性的量度（信息量、熵、信道容量、商品等），常会引导出优秀的理论结果和令人满意的实际应用。 第20页，共25页，2022年，5月20日，1点15分，星期一1.3 Shannon信息论的局限性第21页，共25页，2022年，5月20日，1点15分，星期一如果实际信源或信道符合所采用的概率模型描述

11、，这种方法是有效的，否则只能是近似的，甚至根本无效。语言的熵描述是非常困难的，其是非平稳的，除了确定的信息，还有模糊的信息，比如“韵味”，“意境”不同的接收者对同一个东西得到的信息可能是不同的Shannon信息论适合于能够定量描述的信息，对难于定量描述的信息则无能为力。第22页，共25页，2022年，5月20日，1点15分，星期一1.4 信息论的广义性第23页，共25页，2022年，5月20日，1点15分，星期一信息论常被理解为包括更广的领域语义学语言学神经生理学心理学组织学信息的不同属性的定义产生不同的信息论模糊信息论量子信息论生物信息论信息复杂度的信息理论第24页，共25页，2022年，5月20日，1点15分，星期一课程内容Chap2:信息的定义与性质Chap