信息论与编码新题

信息论与编码新题1第一页，共三十八页，2022年，8月28日

§1.1信息的概念

内容：1.1.1信息的定义1.1.2信息的特征与性质2第二页，共三十八页，2022年，8月28日信息是一个十分通俗而广泛的名词，抽象和复杂。不同的学科领域对其有不同的定义和解释。3第三页，共三十八页，2022年，8月28日1.1.1信息的定义消息、新闻与知识

据《新词源》考证，唐代诗人李中，《暮春怀故人》，“梦断美人沉信息，目穿长路倚楼台”，“信息”是消息的同义词；

在西方的早期文献著作中，信息(information)和消息(message)也是互相通用的；

英国牛津字典中，信息是谈论的事情、新闻和知识(sthtold;newsorknowledgegiven);

韦氏字典中，信息是在观察研究过程中获得的数据情报、新闻和知识。4第四页，共三十八页，2022年，8月28日维纳（Wiener）：美国数学家、控制论奠基人

《控制论：动物与机器中的通信与控制问题》1948

“信息就是信息，不是物质，也不是能量”

利用排他法告诉人们：信息不是物质和能量。这是对信息本质的最有原则性和最深刻的宣示，是把信息、物质和能量”放在同样地位上的最早科学论断。香农（Shannan):美国学者、信息论创始人在《贝尔系统技术》杂志“通信的数学理论”1948

把信息与信息的度量作为事物的“不肯定性”与“不肯定性”的度量。

以概率为工具，阐述了通信工程的基本理论问题，给出了计算信源信息量和信道容量的方法，得到了表征信息传递重要关系的编码定理。5第五页，共三十八页，2022年，8月28日布里渊（Brillouin）：法裔美国科学家名著《科学与信息论》

信息就是负熵(Negentropy)

维纳在《控制论与社会》1950，正如熵是无组织程度的度量一样，消息集合所包含的信息就是组织程度的度量，事实上完全可以将消息包含的信息解释为负熵。M.Tribes等《科学的美国人》“能量与信息”1971

信息是使概率分布发生变动的东西概率是对知识状态的一种数值编码。某人对一个特定问题的知识状态可以这样表示，即对这个问题种种想得出的答案各分配一定的概率；如果对这个答案完全了解，对其中一个赋予1，其他为0.6第六页，共三十八页，2022年，8月28日艾什比(Ashiby)：英国生物学家，控制论奠基人

《控制论导引》引入“变异度”的概念

信息定义为变异度

任何一个集合所包含的元素数目以2为底的对数称为这个集合的变异度；将变异度当作信息的概念来使用（1956）。变异度实际是均匀概率分布条件下的香农熵。事实上，半个多世纪以来，科学文献中提出过的信息定义数以百计。不同的作者从不同的角度在不同的条件下对信息进行考察的结果。

7第七页，共三十八页，2022年，8月28日钟义信主编《信息科学与技术导论》一书：根据不同的约束条件，区分不同的层次给出信息的定义，同时根据约束条件的增减，使信息的定义随之进退。

8第八页，共三十八页，2022年，8月28日没有任何约束条件的层次是最高层次，最普遍适用的层次，称为本体论层次。引入一个约束条件，最高层次的定义退变为次高层次的定义，适用范围比最高层次定义的范围窄；若引入的约束条件具有主体（人、生物和机器）存在，并且从主体的立场出发来定义信息，本体论层次信息定义就转化为认识论层次信息定义。引入的约束条件越多，层次越低，适用范围越窄。9第九页，共三十八页，2022年，8月28日本体论层次的信息定义：是事物的运动状态极其变化方式的自我表述。认识论层次的信息定义：指主体所感知（或所表述）的关于该事物的运动状态极其变化方式，包括这种状态或方式的形式、含义和效用。在这个体系下，各种有关信息的定义在不同层次上找到位置。10第十页，共三十八页，2022年，8月28日1.1.2信息的特征与性质1、特征1）信息来源于物质，又不是物质本身，它从物质的运动中产生出来，又可以脱离源物质而寄生于其它物质（媒体），相对独立的存在。2）信息也来源于精神世界，但是又不限于精神世界。3）信息与能量息息相关，但又与能量有质的区别。4）信息可以被提炼成知识，但信息本身不等于知识。5）信息是具体的，可以被主体（人，生物和机器）所感知、提取和识别，可以被传递、存储、变换、处理、显示、检索和利用。6）信息可以被复制，可以被共享。11第十一页，共三十八页，2022年，8月28日2、性质1）普遍性：信息是普遍存在的。2）无限性：在整个宇宙时空中，信息是无限的，即使是在有限空间，信息也是无限的。3）相对性：对于同一事物，不同观察者所获得的信息量可能不同。4）传递性：信息可以在时空中从一点传递到另一点。5）变换性：信息是可变换的，它可以由不同的载体用不同的方式来载荷。6）有序性：信息可以用来消除系统的不确定性，增加系统的有序性。12第十二页，共三十八页，2022年，8月28日7）动态性：信息具有动态性质，一切活的信息都随时间而变化，因此，信息也是有时效、有“寿命”的。8）转化性：从潜在的意义上讲，信息可以转化。在一定条件下，可以转化为物质、能量和时间等。13第十三页，共三十八页，2022年，8月28日3、信息的功能

信息可以通过一定的算法被加工成知识，并针对给定的目标被激活成为求解问题的智能策略，进而按照策略求解实际的问题。这是信息最核心最本质的功能。信息—知识—智能（策略）是人类智慧的生长链，或称智慧链。14第十四页，共三十八页，2022年，8月28日§1.2信息科学技术概述

内容：1.2.1信息科学1.2.2信息技术1.2.3信息产业15第十五页，共三十八页，2022年，8月28日1.2.1信息科学可以定义为“研究信息现象极其运动规律的科学”信息科学是以信息为主要研究对象、以信息运动过程的规律为主要研究内容、以信息科学方法论为主要研究方法、以扩展人的信息功能（全部信息功能形成的有机整体就是智力功能）为主要研究目标的一门科学。1、信息科学的研究对象

信息科学的研究对象信息，这是信息科学区别于其它科学的最根本的特点之一，也是信息科学之所以能够成为一门独立学科的最根本的前提。16第十六页，共三十八页，2022年，8月28日2、信息科学的研究内容研究内容——信息的运动过程及其运动规律。信息全过程模型（信息科学研究内容）人类通过信息器官认识世界和改造世界的信息模型。

17第十七页，共三十八页，2022年，8月28日1）信息获取信息的感知和表示2）信息传递信息的发送、传输和接收，即通信（或存储）过程。3）信息处理对信息进行加工和处理，从中提取相关的知识。即认知过程。4）信息再生利用已有信息产生新信息的过程。求解问题的策略？即决策过程5）信息施效（应用）信息最终发挥效用的过程。通过调节对象的运动状态及其变化方式，使其处于预期的运动状态。即控制。18第十八页，共三十八页，2022年，8月28日3、信息科学的研究目的扩展人类的信息功能，其有机整体就是智力功能。

随着信息科学研究的不断深入，主体（人和生物）在信息获取、信息传递、信息处理、信息再生和信息施效等各种功能的内在机制将逐步被阐明。逐渐找到越来越有效的方法在机器上模拟或者浮现主体信息功能的机制，甚至在某些方面改进这些机制的工作性能。大量高级智能信息系统的问世，以它们的优异性能来补充、增强和扩展人的各种天然信息功能，这些功能的综合——智力功能。

19第十九页，共三十八页，2022年，8月28日1.2.2信息技术定义：“扩展人的信息功能”的手段和方法。主要包括（功能）：1）传感技术：延长人的感觉器官收集信息的功能。2）通信技术：延长人的神经系统传递信息的功能。3）存储技术：延长人的记忆器官存储信息的功能。4）计算机技术：思维器官处理信息和决策的功能。信息的载体是信号，根据信号的不同形式，可分为：

电磁信息技术、电子信息技术、光信息技术、生物信息技术等。20第二十页，共三十八页，2022年，8月28日1.2.3信息产业

信息技术所产生的各种产品的生产、销售和售后服务，以及对这些产品的使用服务等。21第二十一页，共三十八页，2022年，8月28日§1.3信息论概述内容：1.3.1信息论基本内容1.3.2信息论的特点1.3.3信息论产生与发展1.3.4香农简介与学术风格22第二十二页，共三十八页，2022年，8月28日信息论一般是指香农信息论或经典信息论，研究的基本问题是信源、信道及编码问题。是信息科学产生的基础与起点。1948年Bell实验室香农:通信的数学理论(MathematicalTheoryofCommunication)

用统计的方法建立了通信系统中信源信息的度量、信道容量的度量以及保障通信系统信息传输有效性和可靠性的编码原理。香农信息论研究通信系统中信息的传输和处理问题，主要是针对通信系统（信息的传递过程）。

“信息论”不等于“信息科学”1.3.1信息论基本内容23第二十三页，共三十八页，2022年，8月28日1.3.2信息论的特点以概率论、随机过程为基本研究工具；研究通信的整个过程，并以编码和解码为重点；关心的是最优系统的性能和怎样达到这个性能；信源为随机过程，不研究信宿。24第二十四页，共三十八页，2022年，8月28日1.3.3信息论的产生与发展

香农信息论的创立主要是由于香农的杰出的贡献，但也与当时的技术发展背景和前人的工作密不可分。

主要通信技术与手段：电报(Morse,1830’s)电话(Bell,1876)AM无线电(1900’s早期)单边带调制(Carson,1922)

电视(1925-1927)电传(1931)

调频(Armstrong,1936)脉冲调制(Reeves,1937-9)

声码器(Dudley,1939)扩频(1940’s)25第二十五页，共三十八页，2022年，8月28日1、信息论的确立期

为了提高通信的质量和效率，机电技术和数学两方面:

机电技术：改进通信的物理手段与条件，如有线无线通信的采用，收发设备的改进，波段选择和信噪比等。数学方面：数学描述的重要性，信息论的基本问题开始形成，一些重要的通信原则开始确定。

1948--20世纪60年代：

香农主要贡献为：

26第二十六页，共三十八页，2022年，8月28日27第二十七页，共三十八页，2022年，8月28日28第二十八页，共三十八页，2022年，8月28日特点：对香农理论的研究与说明。29第二十九页，共三十八页，2022年，8月28日2、信息论的发展20世纪70年代—80年代：理论发展期率失真理论：失真的数据压缩理论。解决了在一定允许误差条件下的最小信号体积问题。主要标志是T.Berger的专著《RateDistortionTheory》问世。已成为数据压缩技术的理论基础。多用户信息论：多用户信源信道模型及编码定理证明，其发展是现在的网络信息论。30第三十页，共三十八页，2022年，8月28日20世纪90年代前后：理论的成功应用和多学科结合。无失真信源编码

Huffman码算术编码

LZW（Lempel-Ziv-Welch）码

YK（Yang-Kieffer）码31第三十一页，共三十八页，2022年，8月28日有失真信源压缩编码

有失真信源压缩编码理论是原理到技术、产品与市场紧密结合的成功范例，是现代多媒体技术的基础与支柱。

技术标准：