信息科学基本概念

信息科学基本概念第一页，共二十九页，2022年，8月28日第2章：信息科学基本概念

信息的传递与交换能够又多、又快、又好、又经济是人类活动最为普遍的愿望，并且人们希望能够对信息进行定量分析。1948年，香农（）在发表的《通信中的数学模型》一文中建立了狭义信息论的基本理论，对信息的度量问题给出了明确的定义。狭义信息论的基本思想是把信息作为通信过程中的消息来处理，通信的内容（符号）的传递具有一定的形式。第二页，共二十九页，2022年，8月28日通信系统模型第三页，共二十九页，2022年，8月28日通信系统模型信源产生待传输的消息，消息的形式是多种多样的，如字母、文字、旗语、数据、语声、音乐和图像等（这些都可视为符号序列）。但是消息不同于信息，它是信息的载体。发送机将消息变换为适合于信道的信号，信号成为信息的载体。变换指的是从消息转变为信号的全过程，其中最主要的是编码与调制。信道是信号从发送机传输到接收机的媒质，如导体、传播电磁波的自由空间和光导纤维等。信号在传输途中总要遇到一些干扰产生不可预计的损害，这些干扰被称为噪声，系统各部分的噪声的总和以噪声源表示。接收机是发送机的对应端，它将信号再变换为消息。但是，由于接收信号受到噪声的干扰导致输出的消息中存在失真或错误而丢失部分信息。信宿是被传输信息的归宿，也就是消息的接受者。第四页，共二十九页，2022年，8月28日信息论简介狭义信息论认为通信对象的信息（符号序列）一般具有统计特性，因此研究的数学工具以概率论与数理统计为基础工具；通信的目的是一种信息的交流，由于对方不知道或者本人有疑问，为了解除疑问需要通信，通信的过程是疑问解除的过程，也是信息获取与交流的过程，在信息交流的过程中，疑问（不确定性）的解除量等价于获取的信息量。也就是说，获取的信息量等价于通信前后“不确定性”的消除量。由于“不确定性”代表有“多种可能的结果”，因此必须用概率来度量。“不确定性”是关于某一个事件x的概率P(x)的函数。即信息量I=f(P(x))。第五页，共二十九页，2022年，8月28日信息论简介狭义信息论主要的研究领域为：通信的有效性、通信的可靠性、通信的保密性三个方面。通信的有效性指数据压缩或称信号压缩编码，其目的是减少通信信源的数据量，节省通信带宽；通信的可靠性指数据传输失真或传输误码率的减少，使传输过程更准确；通信的保密性指通信过程中，通信的内容不应当被非授权的第三方获取。狭义信息论的主要研究内容为：信息侧度、信道容量、信源编码和信道编码理论等内容。第六页，共二十九页，2022年，8月28日信息论简介广义信息论主要研究信息传输和信息处理问题。含香农基本理论、噪声理论、信号滤波和预测、统计检测与估值理论、调制理论、信息处理理论、保密理论等内容。同时广义信息论同时包含狭义信息论研究内容。广义信息论还研究包含所有的有关信息的自然和社会科学领域，如：模式识别、计算机翻译、心理学、遗传学、语言学、神经生物学、语义学、计算机科学等等。第七页，共二十九页，2022年，8月28日2.1信息的概念与描述信息定义：信息是认识主体所感知的或所表述的客观事物运动的状态和状态改变方式。运动分为内部运动与外部运动；内部运动指事物内部结构状态及其变化；外部运动指事物外部的联系及其相互作用。客观事物即指外部客观世界的实在客体，同时又指主观世界的精神现象。第八页，共二十九页，2022年，8月28日三类基本的信息定义第一类：字典和百科全书中的解释英国：牛津字典——信息是谈论的事情、新闻和知识。韦氏字典——信息是观察、研究过程中获得的数据、情报、新闻和知识。日本：广辞苑——信息是所观察的知识等。对于上述定义的归纳可以看出人们常常把消息中有意义的内容称为信息。第九页，共二十九页，2022年，8月28日三类基本的信息定义第二类：科学家的定义香农（）对信息的定义——信息是事物的“不确定性”的度量。因此，信息可以描述为确定性的增加，人们收到信息获得的信息量就是确定性的增加量。1948年，美国数学家、信息论的创始人香农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。艾什比（WilliamRossAshby）对信息的定义——信息是事物的“差异性”的度量。艾什比是控制论创始人之一、英国生物学家（WilliamRossAshby，1903-1972）。维纳（N.Wiener）对信息的定义——信息是事物的“组织性”的度量。第十页，共二十九页，2022年，8月28日三类基本的信息定义周戟教授对信息的定义：信息是系统的组成部分，是物质和能量的形态、结构、属性、和含义的表征，是人类认识客观的纽带。物质表现为具有一定质量、体积、形状、颜色、温度、强度等性能。这些物质的属性都是以信息的形式表达的。人们通过信息认识物质、认识能量、认识系统、认识周围世界。邓宇2002年提出的”信息”概念与定义：“信息是事物现象及其属性标识的集合。第十一页，共二十九页，2022年，8月28日三类基本的信息定义鈡义信教授给出的信息定义：信息是认识主体所感知的或所表述的客观事物运动的状态和状态改变方式。运动分为内部运动与外部运动；内部运动指事物内部结构状态及其变化；外部运动指事物外部的联系及其相互作用。客观事物即指外部客观世界的实在客体，同时又指主观世界的精神现象。第十二页，共二十九页，2022年，8月28日三类基本的信息定义第三类：哲学家的观点1948年，美国著名数学家、控制论的创始人维纳在《控制论》一书中，指出：“信息就是信息，既非物质，也非能量。”维纳从哲学观点出发，强调信息是独立于物质与能量的客观事物的对立属性，由此可以看出信息学科是一个独立的与传统机械、化工、农业等学科并存的学科。能量可以载荷信息，客体（物质）可以产生信息。第十三页，共二十九页，2022年，8月28日2.2信息的度量与信息的基本特征定义2.1：设信源产生的随机变量序列为

X=(x1,x2,…,xN)，其中，xm=ai。如果{ai，i∈[1,N]}可以完全代表信源输出的所有符号，则集合{a1,a2,…,aN}为信源输出的符号集合，记为A。对信源输出符号序列X进行统计分析，获得符号ai出现的概率为P（ai），因此，信源可以用如下数学模型表示：

=

其中：P（x）满足完备性条件=1，称该信源为离散无记忆信源。第十四页，共二十九页，2022年，8月28日2.2信息的度量与信息的基本特征定义2.2：一个信源产生的符号带来的信息量是该符号ai发生的先验概率p(ai)的函数，即：

I(ai)=f(p(ai))，并且该函数满足（1）f(*)是先验概率p(ai)的单调递减函数，即:当p(ai)>p(aj)时，有f(p(ai))<f(p(aj))；（2）当p(ai)=1时，有f(p(ai))=0；（3）当p(ai)=0时，有f(p(ai))=1；（4）两个独立事件的联合信息量等于它们分别发生时的信息量之和，即：I(aiaj)=I(ai)+I(aj)。因此，符号ai发生带来的信息量的数学形式为

I（ai）=log=-logp（ai）第十五页，共二十九页，2022年，8月28日2.2信息的度量与信息的基本特征设：离散信源X的信源（概率）空间为

=

则事件ai发生所含的信息量（称为自信息量）为

I(ai)=log=-logp(ai)自信息量的两种含义：

（1）当事件ai发生前，I(ai)表示事件ai发生的不确定性。（2）当事件ai发生后，I(ai)表示事件ai发生所含的信息量。第十六页，共二十九页，2022年，8月28日2.2信息的度量与信息的基本特征信息量的单位：当以2为底时，信息量的单位称为比特（Bit）。当以e为底时，信息量的单位称为奈特（Nat）。当以10为底时，信息量的单位称为哈特（Hart）。转换关系为：logax=logbx/logba第十七页，共二十九页，2022年，8月28日2.2信息的度量与信息的基本特征定义2.3：信源的平均信息量称为信源的信息熵，简称信源的熵,记为H(X)。

H(X)=E{-logp(ai)}=p(ai)I(ai)=-p(ai)logp(ai)一般信息熵用以2为底的对数表示，单位为比特。R进制信息熵与2进制信息熵的转换关系为：

H(X)=HR(X)logR（比特）第十八页，共二十九页，2022年，8月28日2.2信息的度量与信息的基本特征信息熵的物理意义：（1）信息熵H（X）表示信源的平均不确定性。（2）信息熵H（X）表示信源输出符号后的每个符号提供的平均信息量。（3）信息熵H（X）表示信源输出符号前信源的平均不确定性。（4）信息熵H（X）表示信源输出符号变量X的随机性。第十九页，共二十九页，2022年，8月28日2.2信息的度量与信息的基本特征信息具有十大特征：（1）可量度：信息可采用某种度量单位进行度量，并进行信息编码。如现代计算机使用的二进制编码。信息度量可用信息量和熵的概念表示。（2）可识别：信息识别可采取直观识别、比较识别和间接识别等多种方式来把握。（3）可转换：信息可以从一种形态转换为另一种形态。如自然信息可转换为语言、文字和图像等形态，也可转换为电磁波信号或计算机代码。（4）可存储：信息可以存储。大脑就是一个天然信息存储器。人类发明的文字、摄影、录音、录像以及计算机存储器等都可以进行信息存储。（5）可处理：人脑就是最佳的信息处理器。人脑的思维功能可以进行决策、设计、研究、写作、改进、发明、创造等多种信息处理活动。计算机也具有信息处理功能。信息处理满足信息不增原理，处理的目的是改变信息的组织形式或显示效果。第二十页，共二十九页，2022年，8月28日2.2信息的度量与信息的基本特征（6）可传递：信息传递是与物质和能量的传递同时进行的。语言、表情、动作、报刊、书籍、广播、电视、电话等是人类常用的信息传递方式。（7）可再生：信息经过处理后，可以用其它形式再生。如自然信息经过人工处理后，可用语言或图形等方式再生成信息。输入计算机的各种数据文字等信息，可用显示、打印、绘图等方式再生成信息。（8）可压缩：信息可以进行压缩，可以用不同的信息量来描述同一事物。人们常常用尽可能少的信息量描述一件事物的主要特征。（9）可利用：信息具有一定的实效性和可利用性。（10）可共享：信息具有扩散性，因此可共享。第二十一页，共二十九页，2022年，8月28日2.3信息理论与概念的应用（1）瞬时记忆的解释

如果你注视电灯的晕光，几分钟之后，当你将视线移至另一地方时，你会感觉还“看见”了这种晕光。心理学称这种现象为“后像”。不仅视觉如此，其它感觉也有此现象。例如，用铅笔扎一下手背，移去之后还有这种扎的感觉；优美动听的乐声停止后，好似“余音绕梁”等等。这些现象都叫作“瞬时记忆”。第二十二页，共二十九页，2022年，8月28日2.3信息理论与概念的应用瞬时记忆有三个特点：①持续性短暂，瞬息即逝。研究结果表明瞬时记忆时间按大约为0.25－2秒左右；②容量较小，如以单字为例，有人说4－5个字符，也有人说大约在7±2个字符的范围之内；③可在短暂的时期内接收大量信息，犹如所谓"登高远眺，尽收眼底"，虽然都收眼底，但不能记住。

第二十三页，共二十九页，2022年，8月28日2.3信息理论与概念的应用（2）短时记忆每个人都会有这种经验：当你查出一个新的电话号码，除非你特别要想记住它，否则随着你拨完号码盘，相应的数字也就忘掉了。这个记忆的时间，大约是5－20秒，最长也不超过一分钟。尽管时间很短，分析起来，短时记忆已有编码。当你用视觉记忆8866.5731的数字时，在拨电话号码盘是，你还要口述8866.5731。显然，从视觉接受刺激到用词语反应并出现拨号码盘的运动就是一种编码表现。这与瞬时记忆的刺激痕迹只落在视网膜上不同。短时记忆的内容，如果有意地复习它，就会变成长时记忆。第二十四页，共二十九页，2022年，8月28日2.3信息理论与概念的应用（3）长时记忆如果在你面前呈现“电脑”这两个字，开始时只有这个词的视觉现象。如果你一再重复地念出这个词的声音，就可能回忆起许多与这个词有关联的事物。这种长时记忆是记忆序列中的一种真正的编码，是记忆存储的最高形式，时间最长，因而叫做长时记忆。第二十五页，共二十九页，2022年，8月28日2.3信息理论与概念的应用第二十六页，共二十九页，2022年，8月28日2.3信息理论与概念的应用记忆的信息过程如下：感觉器官完成信息输入功能→通过感觉器官引起感知觉→进入中枢神经进行编码，可做短时存储，需要时可由反应器输出；如对短时存储的信息给以适当的重复，再经过编码存放于记忆神经系统