信息的概念与测量课件

1.信息的界定对客观世界中各种事物的变化和特征的反映；客观事物之间相互作用和联系的表征；客观事物经过感知和认识后的再现；减少不确定性的一种客观存在和能动过程。2023/1/41.信息的界定2022/12/2712.信息的性质（characteristics，properties，ornaturesofinformation）普遍性：信息充满于客观世界，人类存在于信息的汪洋大海之中，即事事有信息，时时有信息，处处有信息。寄载性：信息必须要依附在一定的实物上。动态性：信息的内容和数量是不断变化的。客观性：信息存在的客观性，主观信息（决策、判断、指令、计划、目标等）也有客观实际背景2023/1/42.信息的性质（characteristics，prope2传递性：也称转移性，是指信息可在空间上从某一地点转移到另一地点，或在时间上从某一时刻保存到另一时刻。（通信理论）时效性：脱离了母体的信息因不再能反映母体的新的运动状态及其状态变化方式，其效用将会降低，乃至完全丧失。（军事情报、网络新闻、试题答案等）不完全性：任何有关客观事物运动状态及其变化方式的认识都不可能包揽无余，在实际工作中人们所获得和运用的信息不可能绝对完整。可伪性：人在一定的条件下，可以按照自己的意志来生产、储存和传播假冒伪劣信息.（诸葛亮“空城计”、草船借箭） 2023/1/4传递性：也称转移性，是指信息可在空间上从某一地点转移到另一地3滞后性：信息是事物运动的状态及其状态变化的方式，因此，先有事物，后有信息。共享性：指同一内容的信息，可在相同的时间、相同或不同的地点，不同的时间、相同或不同的地点，为多个使用者所获取、掌握、占有和使用。（与物质、能量资源的比较，竞争性关系）价值的不定性:

同样的信息对于不同的使用者可能有不同的价值，同量的不同类型的信息，对于不同的使用者也不一定有相同的价值。因此，信息价值是信息对使用者有用程度的量度。（信息的效用）2023/1/4滞后性：信息是事物运动的状态及其状态变化的方式，因此，先有事4例：首批气象经纪人现身上海买卖气象信息商品

越来越多的商家开始“看天吃饭”，尤其是冷饮、空调、服装等“天气敏感厂家”。据上海中心气象台信息市场部介绍，仅2007年1-6月，上海市已经有100多家企业与气象部门签署了相关协议，要求提供气象服务。据不完全统计，上海市2008一年的气象服务产值就在五千万元左右。讨论：该例子体现了信息的哪些特征？2023/1/4例：首批气象经纪人现身上海买卖气象信息商品越来越多的商家5案例讨论：案例：啤酒和尿布的故事美国加州沃尔玛超市连锁店发现:在下班后前来购买婴儿尿布的顾客多数是男性，他们往往也同时购买啤酒。原因？分析得知，通常周末购买尿布的是男士，他们在完成了太太交给的任务后，经常会顺便买一些啤酒。处理：重新布置了货架，啤酒类商品、婴儿尿布、土豆片之类的佐酒小食品、男士们日常生活用品就近布置。结果：上述几种商品的销量几乎马上成倍增长。启示：1.对信息进行决策分析的重要性！2.要养成善于收集信息的习惯，训练自己的信息处理能力

2023/1/4案例讨论：案例：啤酒和尿布的故事启示：2022/12/2763.信息的分类按信息的生成领域：自然信息、机器信息和社会信息按照信息的流动方向：纵向信息、横向信息和网状信息。见下页图。(结合组织的信息流)按照信息的利用对象和作用层次，可将信息划分为战略信息、战术信息和业务信息2023/1/43.信息的分类2022/12/277纵向信息横向信息网状信息2023/1/4纵向信息横向信息网状信息2022/12/278按照信息的加工深度，可以将信息划分为一次信息、二次信息和三次信息

一次信息一般是指社会实践活动过程中产生的原始论文、报告、记录等。

二次信息是在对一次信息进行加工的基础上产生的一类信息，如书目、索引、目录、题录、文摘和简介等。

三次信息是在一次信息和二次信息的基础上经过研究者的综合、分析而产生的信息，常见的有综述、述评、年度总结、进展报告、数据手册、调查报告等。讨论：您所接触到的不同信息分别属于哪一类呢？2023/1/4按照信息的加工深度，可以将信息划分为一次信息、二次信息和三次9按照信息的时间状态，可以将信息划分为历史信息、现状信息和预测信息按照信息是否已经被量化，可以将信息划分为定量信息和定性信息

按照信息反映和描述的客观事物的范围，可以将信息划分为宏观信息和微观信息按照信息的获取方式，可以将信息划分为直接信息和间接信息按照信息的内容是否与现实事物相符，可以将其划分为真实信息和虚假信息。2023/1/4按照信息的时间状态，可以将信息划分为历史信息、现状信息和预测10前馈信息和反馈信息现场控制前馈控制反馈控制执行过程输入输出信息流向纠正措施反馈控制是根据最终结果产生的偏差信息来指导将来的行动。前馈控制是利用所能得到的最新信息，进行认真、反复的预测，把计划所要达到的目标同预测相比较，并采取措施修改计划，以使预测与计划目标相吻合。

常见的反馈信息和前馈信息有哪些？2023/1/4前馈信息和反馈信息现场控制前馈控制反馈控制执行过程输入输出信114.信息的质量信息质量的定义

信息质量是指信息对事物运动状态和方式的反映、描述的真实性或准确性。真实性则是指信息的来源是否可靠；准确性是指信息的内容与实际情况是否相符。

2023/1/44.信息的质量2022/12/2712信息的质量指标

.信息模糊度:也称乏晰度，是指描述、表示客观事物的状态及其状态变化的方式时，出现的没有精确规定的界限，以致表达不清楚、意思模糊。.如：自然语言中的“好、高、大”2023/1/4信息的质量指标

2022/12/2713.信息多余度:信息中含有的某类（些）信息的量的多余程度；与真正要表达的内容无关或无用成分的量的多余程度；信息中无效成分的相对含量.信息密集度:指信息中有效成分的相对含量。用较少的符号表达较多的信息内容，可称为信息的密集度越大。2023/1/4.信息多余度:信息中含有的某类（些）信息的量的多余程度；与真14

5.

信息的度量(P.43)

怎么度量信息首先分析一下问题的认识过程1.对一问题毫无了解，对它的认识是不确定的2.通过各种途径获得信息，逐渐消除不确定性

3.对这一问题非常的了解，不确定性很小黑箱不确定度A灰箱不确定度B白箱不确定度C信息I信息II对于系统，可以利用守恒关系有A+I=B，得I=B-A。可用消除不确定性的多少来度量信息！2023/1/45.信息的度量(P.43)怎么度量信息首先分析一下问15几个例子：例

当你要到大会堂去找某一个人时，甲告诉你两条消息：（1）此人不坐在前十排，（2）他也不坐在后十排；乙只告诉你一条消息：此人坐在第十五排。问谁提供的信息量大？乙虽然只提供了一条消息，但这一条消息对此人在什么位置上这一不确定性消除得更多，所以后者包含的信息量应比前者提供的两条消息所包含的总信息量更大例

假如在盛夏季节气象台突然预报“明天无雪”的消息。在明天是否下雪的问题上，根本不存在不确定性，所以这条消息包含的信息量为零。2023/1/4几个例子：例当你要到大会堂去找某一个人时，甲告诉你两条消息16是否存在信息量的度量公式？基于前面的观点，美国贝尔实验室的学者香农（Shannon）应用概率论知识和逻辑方法推导出了信息量的计算公式Inhiswords"Ijustwonderedhowthingswereputtogether."ClaudeElwoodShannon(April30,1916-February24,2001)hasbeencalled"thefatherofinformationtheory".2023/1/4是否存在信息量的度量公式？基于前面的观点，美国贝尔实验室的175.1概率（probability）及其计算

概率是表示事件发生可能性大小的一个数。如果用X表示事件，则它的概率可用P（X）来表示。

●

P（X）=1，表示事件X肯定会发生。

●

P（X）=0，表示事件X肯定不会发生。事件发生的概率满足:2023/1/42022/12/2718[例]一个不透明的袋子中装有100个球，其中红球99个，白球一个。假定球的大小、形状、质量完全一样，则求：1、随意从袋子中摸到一个白球（记为事件A）的概率是多少？2、随意从袋子中摸到一个红球（记为事件B）的概率是多少？ P（A）=1/100 P（B）=99/1002023/1/4[例]2022/12/27195.2信息量与可能性（probability）●可能性可用概率来表示●概率与可能性间的关系是：可能性↑=>概率↑●可能性与信息量间的关系为：可能性↑=>信息量↓●概率可表示信息量：概率↑=>信息量↓●信息量是概率的递减函数2023/1/45.2信息量与可能性（probability）2022/1205.3信息量与不确定性●假如你从未来过华政，也没有看过或听过任何有关华政的介绍，那么华政对你来说就是一个“未知数”，存在着所谓“不确定性”（uncertainty）●当你考取华政并来此报到学习后，就能通过耳闻目睹、接触交谈，了解华政的具体情况——“信息”●“信息”将帮你逐渐解开头脑中的疑团，消除你对“华政”认识的不确定性，并由不确定性变成较为确定或确定。如获得的“信息”越多，你对“华政”的了解就越全面。◆不确定性的变化程度能反映你所获取的信息量的多少。◆只要能量度不确定性及其变化程度，就可量度信息。2023/1/45.3信息量与不确定性如获得的“信息”越多，你对“华政”的21●不确定性，亦称不肯定性、不定性，是指人脑对客观事件能否发生的一种近似把握●在简单的通信（如打电话、写信、面谈等）过程中，它表现为以下的形式：

告诉B一件事

打电话：A B

B的头脑中存在不确定性，因为他不知道A要告诉他的事件内容

向B打听一件事 打电话：A BA的头脑中存在不确定性，因为他不知道B要告诉他的事件内容

2023/1/4●不确定性，亦称不肯定性、不定性，是指人脑22◆不确定性的大小在数学中可用随机事件发生的概率表示，随机事件发生与否或者随机变量的取值在事先是不确定的，其不确定性的大小在人们直觉中的反映就是：就单个事件而言，小概率事件发生的可能性很小，但它一旦发生变成确定的，则由此而产生的从不确定性到确定性的变化幅度就大；2023/1/4◆不确定性的大小在数学中可用随机事件发生的概率表示，随机事件23概率为1的事件，其发生不足为奇，因此其不确定性的变化为0，表示确定事件发生得不到任何信息;概率为0的事件，永远不会发生，若真的发生了，则是从确定的发生到确定的不发生的最大变化，这将是不确定性变化的最大值，可视为无穷大。两个独立的随机事件的不确定性是相互独立的，它们的不确定性变化也是相互独立的。故两者的不确定性变化幅度为其各自的不确定性变化幅度之和。2023/1/4概率为1的事件，其发生不足为奇，因此其不确定性的变化为0，表24

设Xi，Xj为随机事件，P（Xi）为Xi发生的先验概率，H(Xi)为Xi发生与否的不确定性到确定性的变化量，则可将上述三条用数学语言表示为：1.H(Xi)是先验概率P（Xi）的单调递减函数，即当P(Xi)＞P(Xj)时，H(Xi)＜H(Xj)；2.P(Xi)=1时，H（Xi）=0；

P(Xi)=0时,H(Xi)=∝；3.如果Xi与Xj相互独立，那么H（Xi∩Xj）=H（Xi）+H（Xj）2023/1/4设Xi，Xj为随机事件，P（Xi）为Xi发生的先验概率25申农证明了满足上述三个条件的函数具有对数的形式：若取c=1，则H（Xi）=-logaP（Xi）上述公式描述随机事件Xi不确定程度的变化量。在该公式中，如不作特别说明，一般都把a取作2，此时信息量的单位为比特。2023/1/4申农证明了满足上述三个条件的函数具有对数的形式：2022/1265.4自信息量

●所谓自信息量是指信息源（事物）X发出某一消息Xi时所含的信息量，消息不同，自信息量也不同。●如已知事件Xi已经发生，则定义该消息中所包含的信息量（即自信息量）为：H（Xi）=Xi的不确定性的变化量=-logaP（Xi）前面导出的公式实际上是自信息量计算公式。2023/1/45.4自信息量2022/12/2727-logaP（Xi）的含义是：

◆在事件发生之前，表示Xi发生与否的不确定性；◆如已知事件Xi已发生，则表示Xi所含有或所提供的信息量。

2023/1/4-logaP（Xi）的含义是：2022/12/2728[例]计算上例中两个事件的信息量。㈠随意从袋子中摸到一个白球这一事件（状态）的信息量。H（白球）=-log2（1/100）≈6.64（比特）㈡随意从袋子中摸到一个红球这一事件（状态）的信息量。H（红球）=-log2（99/100）≈0.014（比特）2023/1/4[例]2022/12/2729[例3]

若估计在一次国际象棋比赛中谢军获得冠军的可能性为0.1（记为事件A），而在另一次国际象棋比赛中她得到冠军的可能性为0.9（记为事件B）。试分别计算当你得知她获得冠军时，从这两个事件中获得的信息量各为多少？H（A）=-log2（0.1）≈3.32（比特）H（B）=-log2（0.9）≈0.152（比特）2023/1/4[例3]2022/12/2730

5.5统计信息量（平均自信息量）

如果事物X具有n种独立的可能状态（结果）为X1，X2，……，Xn，每一状态出现的概率分别为P（X1），P（X2），……，P（Xn），当然有：

2023/1/45.5统计信息量（平均自信息量）2022/12/231人们注意的是整个系统的统计特性，当信源各个消息的出现概率相互统计独立时，这种信源称为无记忆信源。无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值，表示用以消除这个事物的不确定性所需要的信息量。即统计信息量H(X)定义为：H(X)的表达式与统计物理学中的热熵具有相类似的形式，在概念上二者也有相同之处，故借用熵这个词把H(X)称为集合X的信息熵，简称熵。

2023/1/4人们注意的是整个系统的统计特性，当信源各个消息的出现概率相互32●如信息源发出的消息有几种可能性，则其输出一个消息所提供的平均信息量（信息熵）为H（X），它就是用于消除信息源不确定性所需要的信息量。◆熵的增加就意味着信息的损失，物质系统无序性的增强。◆信息量增加，熵减少，系统有序程度就提高。因此，信息量是系统有序化程度的一种量度。2023/1/4●如信息源发出的消息有几种可能性，则其输出一个消息所提供的平33[例]向空中投掷硬币，落地后有两种可能的状态，一个是正面朝上，另一个是反面朝上，每个状态出现的概率为1/2。如投掷均匀的正六面体的骰子，则可能会出现的状态有6个，每一个状态出现的概率均为1/6。试通过计算来比较骰子状态的不确定性与硬币状态的不确定性的大小。

2023/1/4[例]向空中投掷硬币，落地后有两种可能的状2022/12/34[例5]：设甲地的天气预报为晴（占4/8），阴（占2/8）小雨（占1/8），大雨（占1/8）；乙地的天气预报为晴（占7/8），小雨（占1/8）。试比较甲乙两地天气预报提供的平均信息量大小。

2023/1/4[例5]：设甲地的天气预报为晴（占4/8），阴（占2/8）小35

可见甲地的天气预报提供的信息量比乙地大。[推论1]当且仅当某个P（Xi）=1，其余的都等于0时，H（X）=0。[推论2]当且仅当某个P（Xi）=1/n，i=1，2，……，n时，H（X）有极大值logn。2023/1/42022/12/27361.信息的界定对客观世界中各种事物的变化和特征的反映；客观事物之间相互作用和联系的表征；客观事物经过感知和认识后的再现；减少不确定性的一种客观存在和能动过程。2023/1/41.信息的界定2022/12/27372.信息的性质（characteristics，properties，ornaturesofinformation）普遍性：信息充满于客观世界，人类存在于信息的汪洋大海之中，即事事有信息，时时有信息，处处有信息。寄载性：信息必须要依附在一定的实物上。动态性：信息的内容和数量是不断变化的。客观性：信息存在的客观性，主观信息（决策、判断、指令、计划、目标等）也有客观实际背景2023/1/42.信息的性质（characteristics，prope38传递性：也称转移性，是指信息可在空间上从某一地点转移到另一地点，或在时间上从某一时刻保存到另一时刻。（通信理论）时效性：脱离了母体的信息因不再能反映母体的新的运动状态及其状态变化方式，其效用将会降低，乃至完全丧失。（军事情报、网络新闻、试题答案等）不完全性：任何有关客观事物运动状态及其变化方式的认识都不可能包揽无余，在实际工作中人们所获得和运用的信息不可能绝对完整。可伪性：人在一定的条件下，可以按照自己的意志来生产、储存和传播假冒伪劣信息.（诸葛亮“空城计”、草船借箭） 2023/1/4传递性：也称转移性，是指信息可在空间上从某一地点转移到另一地39滞后性：信息是事物运动的状态及其状态变化的方式，因此，先有事物，后有信息。共享性：指同一内容的信息，可在相同的时间、相同或不同的地点，不同的时间、相同或不同的地点，为多个使用者所获取、掌握、占有和使用。（与物质、能量资源的比较，竞争性关系）价值的不定性:

同样的信息对于不同的使用者可能有不同的价值，同量的不同类型的信息，对于不同的使用者也不一定有相同的价值。因此，信息价值是信息对使用者有用程度的量度。（信息的效用）2023/1/4滞后性：信息是事物运动的状态及其状态变化的方式，因此，先有事40例：首批气象经纪人现身上海买卖气象信息商品

越来越多的商家开始“看天吃饭”，尤其是冷饮、空调、服装等“天气敏感厂家”。据上海中心气象台信息市场部介绍，仅2007年1-6月，上海市已经有100多家企业与气象部门签署了相关协议，要求提供气象服务。据不完全统计，上海市2008一年的气象服务产值就在五千万元左右。讨论：该例子体现了信息的哪些特征？2023/1/4例：首批气象经纪人现身上海买卖气象信息商品越来越多的商家41案例讨论：案例：啤酒和尿布的故事美国加州沃尔玛超市连锁店发现:在下班后前来购买婴儿尿布的顾客多数是男性，他们往往也同时购买啤酒。原因？分析得知，通常周末购买尿布的是男士，他们在完成了太太交给的任务后，经常会顺便买一些啤酒。处理：重新布置了货架，啤酒类商品、婴儿尿布、土豆片之类的佐酒小食品、男士们日常生活用品就近布置。结果：上述几种商品的销量几乎马上成倍增长。启示：1.对信息进行决策分析的重要性！2.要养成善于收集信息的习惯，训练自己的信息处理能力

2023/1/4案例讨论：案例：啤酒和尿布的故事启示：2022/12/27423.信息的分类按信息的生成领域：自然信息、机器信息和社会信息按照信息的流动方向：纵向信息、横向信息和网状信息。见下页图。(结合组织的信息流)按照信息的利用对象和作用层次，可将信息划分为战略信息、战术信息和业务信息2023/1/43.信息的分类2022/12/2743纵向信息横向信息网状信息2023/1/4纵向信息横向信息网状信息2022/12/2744按照信息的加工深度，可以将信息划分为一次信息、二次信息和三次信息

一次信息一般是指社会实践活动过程中产生的原始论文、报告、记录等。

二次信息是在对一次信息进行加工的基础上产生的一类信息，如书目、索引、目录、题录、文摘和简介等。

三次信息是在一次信息和二次信息的基础上经过研究者的综合、分析而产生的信息，常见的有综述、述评、年度总结、进展报告、数据手册、调查报告等。讨论：您所接触到的不同信息分别属于哪一类呢？2023/1/4按照信息的加工深度，可以将信息划分为一次信息、二次信息和三次45按照信息的时间状态，可以将信息划分为历史信息、现状信息和预测信息按照信息是否已经被量化，可以将信息划分为定量信息和定性信息

按照信息反映和描述的客观事物的范围，可以将信息划分为宏观信息和微观信息按照信息的获取方式，可以将信息划分为直接信息和间接信息按照信息的内容是否与现实事物相符，可以将其划分为真实信息和虚假信息。2023/1/4按照信息的时间状态，可以将信息划分为历史信息、现状信息和预测46前馈信息和反馈信息现场控制前馈控制反馈控制执行过程输入输出信息流向纠正措施反馈控制是根据最终结果产生的偏差信息来指导将来的行动。前馈控制是利用所能得到的最新信息，进行认真、反复的预测，把计划所要达到的目标同预测相比较，并采取措施修改计划，以使预测与计划目标相吻合。

常见的反馈信息和前馈信息有哪些？2023/1/4前馈信息和反馈信息现场控制前馈控制反馈控制执行过程输入输出信474.信息的质量信息质量的定义

信息质量是指信息对事物运动状态和方式的反映、描述的真实性或准确性。真实性则是指信息的来源是否可靠；准确性是指信息的内容与实际情况是否相符。

2023/1/44.信息的质量2022/12/2748信息的质量指标

.信息模糊度:也称乏晰度，是指描述、表示客观事物的状态及其状态变化的方式时，出现的没有精确规定的界限，以致表达不清楚、意思模糊。.如：自然语言中的“好、高、大”2023/1/4信息的质量指标

2022/12/2749.信息多余度:信息中含有的某类（些）信息的量的多余程度；与真正要表达的内容无关或无用成分的量的多余程度；信息中无效成分的相对含量.信息密集度:指信息中有效成分的相对含量。用较少的符号表达较多的信息内容，可称为信息的密集度越大。2023/1/4.信息多余度:信息中含有的某类（些）信息的量的多余程度；与真50

5.

信息的度量(P.43)

怎么度量信息首先分析一下问题的认识过程1.对一问题毫无了解，对它的认识是不确定的2.通过各种途径获得信息，逐渐消除不确定性

3.对这一问题非常的了解，不确定性很小黑箱不确定度A灰箱不确定度B白箱不确定度C信息I信息II对于系统，可以利用守恒关系有A+I=B，得I=B-A。可用消除不确定性的多少来度量信息！2023/1/45.信息的度量(P.43)怎么度量信息首先分析一下问51几个例子：例

当你要到大会堂去找某一个人时，甲告诉你两条消息：（1）此人不坐在前十排，（2）他也不坐在后十排；乙只告诉你一条消息：此人坐在第十五排。问谁提供的信息量大？乙虽然只提供了一条消息，但这一条消息对此人在什么位置上这一不确定性消除得更多，所以后者包含的信息量应比前者提供的两条消息所包含的总信息量更大例

假如在盛夏季节气象台突然预报“明天无雪”的消息。在明天是否下雪的问题上，根本不存在不确定性，所以这条消息包含的信息量为零。2023/1/4几个例子：例当你要到大会堂去找某一个人时，甲告诉你两条消息52是否存在信息量的度量公式？基于前面的观点，美国贝尔实验室的学者香农（Shannon）应用概率论知识和逻辑方法推导出了信息量的计算公式Inhiswords"Ijustwonderedhowthingswereputtogether."ClaudeElwoodShannon(April30,1916-February24,2001)hasbeencalled"thefatherofinformationtheory".2023/1/4是否存在信息量的度量公式？基于前面的观点，美国贝尔实验室的535.1概率（probability）及其计算

概率是表示事件发生可能性大小的一个数。如果用X表示事件，则它的概率可用P（X）来表示。

●

P（X）=1，表示事件X肯定会发生。

●

P（X）=0，表示事件X肯定不会发生。事件发生的概率满足:2023/1/42022/12/2754[例]一个不透明的袋子中装有100个球，其中红球99个，白球一个。假定球的大小、形状、质量完全一样，则求：1、随意从袋子中摸到一个白球（记为事件A）的概率是多少？2、随意从袋子中摸到一个红球（记为事件B）的概率是多少？ P（A）=1/100 P（B）=99/1002023/1/4[例]2022/12/27555.2信息量与可能性（probability）●可能性可用概率来表示●概率与可能性间的关系是：可能性↑=>概率↑●可能性与信息量间的关系为：可能性↑=>信息量↓●概率可表示信息量：概率↑=>信息量↓●信息量是概率的递减函数2023/1/45.2信息量与可能性（probability）2022/1565.3信息量与不确定性●假如你从未来过华政，也没有看过或听过任何有关华政的介绍，那么华政对你来说就是一个“未知数”，存在着所谓“不确定性”（uncertainty）●当你考取华政并来此报到学习后，就能通过耳闻目睹、接触交谈，了解华政的具体情况——“信息”●“信息”将帮你逐渐解开头脑中的疑团，消除你对“华政”认识的不确定性，并由不确定性变成较为确定或确定。如获得的“信息”越多，你对“华政”的了解就越全面。◆不确定性的变化程度能反映你所获取的信息量的多少。◆只要能量度不确定性及其变化程度，就可量度信息。2023/1/45.3信息量与不确定性如获得的“信息”越多，你对“华政”的57●不确定性，亦称不肯定性、不定性，是指人脑对客观事件能否发生的一种近似把握●在简单的通信（如打电话、写信、面谈等）过程中，它表现为以下的形式：

告诉B一件事

打电话：A B

B的头脑中存在不确定性，因为他不知道A要告诉他的事件内容

向B打听一件事 打电话：A BA的头脑中存在不确定性，因为他不知道B要告诉他的事件内容

2023/1/4●不确定性，亦称不肯定性、不定性，是指人脑58◆不确定性的大小在数学中可用随机事件发生的概率表示，随机事件发生与否或者随机变量的取值在事先是不确定的，其不确定性的大小在人们直觉中的反映就是：就单个事件而言，小概率事件发生的可能性很小，但它一旦发生变成确定的，则由此而产生的从不确定性到确定性的变化幅度就大；2023/1/4◆不确定性的大小在数学中可用随机事件发生的概率表示，随机事件59概率为1的事件，其发生不足为奇，因此其不确定性的变化为0，表示确定事件发生得不到任何信息;概率为0的事件，永远不会发生，若真的发生了，则是从确定的发生到确定的不发生的最大变化，这将是不确定性变化的最大值，可视为无穷大。两个独立的随机事件的不确定性是相互独立的，它们的不确定性变化也是相互独立的。故两者的不确定性变化幅度为其各自的不确定性变化幅度之和。2023/1/4概率为1的事件，其发生不足为奇，因此其不确定性的变化为0，表60

设Xi，Xj为随机事件，P（Xi）为Xi发生的先验概率，H(Xi)为Xi发生与否的不确定性到确定性的变化量，则可将上述三条用数学语言表示为：1.H(Xi)是先验概率P（Xi）的单调递减函数，即当P(Xi)＞P(Xj)时，H(Xi)＜H(Xj)；2.P(Xi)=1时，H（Xi）=0；

P(Xi)=0时,H(Xi)=∝；3.如果Xi与Xj相互独立，那么H（Xi∩Xj）=H（Xi）+H（Xj）2023/1/4设Xi，Xj为随机事件，P（Xi）为Xi发生的先验概率61申农证明了满足上述三个条件的函数具有对数的形式：若取c=1，则H（Xi）=-logaP（Xi）上述公式描述随机事件Xi不确定程度的变化量。在该公式中，如不作特别说明，一般都把a取作2，此时信息量的单位为比特。2023/1/4申农证明了满足上述三个条件的函数具有对数的形式：2022/1625.4自信息量

●所谓自信息量是指信息源（事物）X发出某一消息Xi时所含的信息量，消息不同，自信息量也不同。●如已知事件Xi已经发生，则定义该消息中所包含的信息量（即自信息量）为：H（Xi）=Xi的不确定性的变化量=-logaP（Xi）前面导出的公式实际上是自信息量计算公式。2023/1/45.4自信息量2022/12/2763-logaP（Xi）的含义是：

◆在事件发生之前，表示Xi发生与否的不确定性；◆如已知事件Xi已发生，则表示Xi所含有或所提供的信息量。

2023/1/4-logaP（Xi）的含义是：2022/12/2764[例]计算上例中两个事件的信息量。㈠随意从袋子中摸到一个白球这一事件（状态）的信息量。H（白球）=-log2（1/100）≈6.64（比特）㈡随意从袋子中摸到一个红球这一事件（状态）的信