第一章引论信息信息科学与信息论课件

第一章引论1感谢你的观看2019-8-17第一章引论1感谢你的观看2019-8-17课程概况目的：了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础特点：以信息理论为中心，区别与“信源编码”、“信道编码”以概念和物理意义为主结合通信系统实际应用2感谢你的观看2019-8-17课程概况目的：2感谢你的观看2019-8-17参考书目Cover,ElementsofInformationTheoryMcElice,TheTheoryofInformation&Coding

Proakis,DigitalCommunication

，差错控制编码，第二版3感谢你的观看2019-8-17参考书目Cover,ElementsofInforma其它有关事项讲课:（概念、方法）自学:（数学推导、定理证明）考试：基本概念，基本计算。微课：分组进行微课制作，上传至网络，评分联系方式：欢迎提出各种问题、意见和建议4感谢你的观看2019-8-17其它有关事项讲课:（概念、方法）4感谢你的观看2019-8-第一章引论1.1通信系统模型1.2信息论研究的中心问题及发展5感谢你的观看2019-8-17第一章引论1.1通信系统模型5感谢你的观看2019-81.1通信系统模型6感谢你的观看2019-8-171.1通信系统模型6感谢你的观看2019-8-17通信系统模型信源编码器信道译码器信宿干扰源7感谢你的观看2019-8-17通信系统模型信源编码器信道译码器信宿干扰源7感谢你的观看20通信系统模型进一步细分信源信源编码器信道编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器8感谢你的观看2019-8-17通信系统模型进一步细分信源信源信道调制器信干扰源解调器信道信各部件功能信源产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。研究的主要问题是消息的统计特性和产生信息的速率编码器信源编码器：对信源输出进行变换，求得有效性信道编码器：对信源编码输出变换，提高抗干扰性调制器：将信道编码输出变成适合信道传输的方式9感谢你的观看2019-8-17各部件功能信源9感谢你的观看2019-8-17各部件功能信道信号从发端传到接收端的介质干扰源系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要是统计特性信道的中心问题是研究信道的统计特性和传信能力，即信道容量10感谢你的观看2019-8-17各部件功能信道10感谢你的观看2019-8-17各部件功能译码器编码器的逆变换中心问题是研究各种可实现的解调和译码方法信宿信息的接收者11感谢你的观看2019-8-17各部件功能译码器11感谢你的观看2019-8-17信息、信息科学与信息论什么是信息？Inform—information“某人被通知或告知的内容、情报、消息”－－牛津英文字典广义的信息———信息的形式、内容－－最广泛意义

技术术语的信息－－表达信息所用的形式或载体－－具体但无确切定义统计信息－－信息表达形式中统计方面的性质－－明确定义的科学名词－－与内容无关、独立于形式12感谢你的观看2019-8-17信息、信息科学与信息论什么是信息？Inform—inform信息、信息科学与信息论IT---计算机所涉及的各种各样的技术－－优点：笼统、不明确适应－种类繁多、不断发展统一的、全面的、高层次的什么是信息技术？13感谢你的观看2019-8-17信息、信息科学与信息论IT---什么是信息技术？13感谢你信息、信息科学与信息论出现于图书馆学－－研究图书文献的检索计算机出现后－－新的含义不同国家－－含义不尽相同发展和长远的观点－－能与信息技术相对应的基础科学什么是信息科学？14感谢你的观看2019-8-17信息、信息科学与信息论出现于图书馆学－－研究图书文献的检索什信息、信息科学与信息论信息论－统计信息理论四十年代末期C.E.Shannon，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。统计信息理论局限性－－不能解决一些问题如：人工智能中启发式搜索和学习发展的观点－－信息科学所不可缺少的理论基石什么是信息理论？15感谢你的观看2019-8-17信息、信息科学与信息论信息论－统计信息理论什么是信息理论？1信息、信息科学与信息论在通信中对信息的表达分为三个层次：信号、消息、信息。信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。消息：是信息的载体，相对具体的概念，如语言，文字，数字，图像信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。可以定量的描述。信息、物质和能量是构成一切系统的三大要素。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。通信中的信息含义？16感谢你的观看2019-8-17信息、信息科学与信息论在通信中对信息的表达分为三个层次：信号1.2信息论研究的中心问题和发展17感谢你的观看2019-8-171.2信息论研究的中心问题和发展17感谢你的观看2019-Shannon信息论的基本任务1948年shannon发表了“通信的数学理论”奠定了信息论理论基础基本任务是设计有效而可靠的通信系统可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息18感谢你的观看2019-8-17Shannon信息论的基本任务1948年shannon发表了信息论的研究内容狭义信息论（经典信息论）研究信息测度，信道容量以及信源和信道编码理论一般信息论研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论广义信息论除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学19感谢你的观看2019-8-17信息论的研究内容狭义信息论（经典信息论）19感谢你的观看20信息论的研究内容统计信息论—Shannon信息论—本课程的主要内容主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。研究内容：1)

信源的描述，信息的定量度量、分析与计算。2)

信道的描述，信道传输的定量度量、分析与计算。3）信源、信道与通信系统之间的统计匹配，以及通信系统的优化。

——Shannon的三个编码定理。信息论诞生五十年来，至今，仍然是指导通信技术发展的理论基础，是创新新通信体制的源泉。20感谢你的观看2019-8-17信息论的研究内容统计信息论—Shannon信息论—本课程的主信息论的研究内容工程信息论以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。研究内容主要包括：信源编、译码理论及其设计构造方法；信道编、译码理论及其设计构造方法；最佳调制与解调理论与实现；最佳检测、估值与最佳接收理论与实现；检测、估值、滤波理论最佳信息处理理论、方法与算法；均衡、模式识别、人工智能、随机控制……21感谢你的观看2019-8-17信息论的研究内容工程信息论21感谢你的观看2019-8-17狭义信息论体系结构Shannon信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码22感谢你的观看2019-8-17狭义信息论体系结构Shannon信息论压缩理论有失真编码无失信息论发展简史电磁理论和电子学理论对通信理论技术发展起重要的促进作用1820－1830年，法拉第发现电磁感应莫尔斯1832－1835建立电报系统。1876年Bell发明电话1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论1895年马可尼发明了无线电通信微波电子管导致微波通信系统，微波雷达系统激光技术使通信进入光通信时代23感谢你的观看2019-8-17信息论发展简史电磁理论和电子学理论对通信理论技术发展起重要的信息论发展简史1832年莫尔斯电码对shannon编码理论的启发1885年凯尔文研究了一条电缆的极限传信速率1922年卡逊对调幅信号的频谱结构进行研究1924年奈奎斯特证明了信号传输速率和带宽成正比1928年Hartley提出信息量定义为可能消息量的对数1939年Dudley发明声码器1940维纳将随机过程和数理统计引入通信与控制系统24感谢你的观看2019-8-17信息论发展简史1832年莫尔斯电码对shannon编码理论的信息论发展简史Claude.E.Shannon的两篇论文–Shannon信息论

1948年----信息时代的里程碑!“AMathematicalTheoryinCommunication”–Shannon第一、二定理

1959年“Codingtheoremsforadiscretesourcewithafidelitycriterion”.–Shannon第三定理25感谢你的观看2019-8-17信息论发展简史Claude.E.Shannon的两篇论文信息论发展简史1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明1957，Wolfowitz，1961Fano，1968Gallager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1972年Arimoto和Blahut发明了信道容量的迭代算法1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976Rissanen算术编码，1977，78Ziv和Lempel的LZ算法26感谢你的观看2019-8-17信息论发展简史1952年Fano证明了Fano不等式，给出了信息论发展简史1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术，1993年Turbo编译码技术1959年，Shannon提出率失真函数和率失真信源编码定理1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。27感谢你的观看2019-8-17信息论发展简史1950年汉明码，1960年卷积码的概率译码，信源编码1948年以后，信源编码

Huffman,FanoCode(1950);

波形编码：PCM,DM,DPCM;

语音参量编码;

图象编码：DCT,帧间预测插值,运动补偿

数据压缩编码

语音编码标准

图象编码标准28感谢你的观看2019-8-17信源编码1948年以后，信源编码28感谢你的观看2019-8信息论发展简史与现状－－

信息论方法的应用及其取得的成果语音信号压缩：64Kbps----100bps----(极限）降低信息传输所需的功率29感谢你的观看2019-8-17信息论发展简史与现状－－

信息论方法的应用及其取得的成果语音ClaudeE.Shannon著名信息论和编码学者

Dr.RichardBlahut在

Shannon塑像的落成典礼上这样评价Shannon：

在