2 信源及信源熵.ppt

1、2源和源熵、2.1源的描述方法和分类、在通信系统中，接收方接收消息之前向源发送哪些消息是不确定的。离散源：输出的消息通常显示为一个符号，这些符号的值是有限的或可计数的。单一符号离散源：仅涉及一个随机事件，可以用随机变量描述。多符号离散源：每个输出都是符号序列，序列中每个符号出现的符号是随机的，常规前后符号之间存在依存关系。可以用任意矢量解释。连续源：输出连续消息。您可以使用随机进程说明。例如，单个符号离散源，1 .扔出纹理均匀的骰子，研究其下落后向上的点数。每个考试结果必须在1:00、2:00、3:00、4:00、5:00、6:00中一面朝上。这种源输出消息是6茄子的其他消息，例如“上面是L点

2、”、“上面是2点”、“上面是6点”等。获得牙齿源的数学模型如下：和满足，2。请在一个包里放100个球。其中80个是红色，20个是白色。随机摸球，看看它的颜色。触摸的球是红色或白色的，每次只出现一条茄子信息。数学型号包括：单符号离散源的数学模型是离散概率空间。X表示随机变量，整个源ai表示随机事件的结果或源中的元素p(ai)=P(X=ai)，表示随机事件X中结果ai的发生概率。n是有限正整数或可数无限、多符号(符号序列)离散源的数学模型。1.上述炮台触球的实验是，一次取三个球，由三个球的颜色组成的信息是符号序列。以随机向量描述来源输出的资讯。其中，使用联合概率分布表示源特性源的概率空间为：并且：

3、通常是发送L个符号序列的离散源的随机向量：L维随机变量的一个值，即概率空间是L2的源，牙齿的源3次获取球时，炮台中的红球，白球数保持不变，下一次球独立于前一次，因此牙齿源是没有记忆且没有多重符号的离散信息来源。每个符号之间没有统计关联。每个符号出现的概率是自己的先验概率。也就是说，如果源随机向量的每个维度概率分布与时间起点无关，即随机向量X的每个维度概率分布在两个不同的时刻是相同的。被称为离散、平静的信息来源。也就是说，3 .在上述炮台实验中，先取一个球，记录颜色，然后不放回炮台，接着取另一个。采第二个球时，炮台里的红球，白球概率已经与采第一个球时不同了。此时概率分布与第一个球的颜色相关，第三

4、个球采时口袋里的红色，白球的概率分布与第一个，第二个球的颜色相关。通常，源在徐璐不同时间发射的符号之间相互依赖。这是称为多符号的内存离散信息源。应引入反映符号序列内每个符号的内存特性的条件概率，表示的复杂性随着序列长度的增加而增加。但是，实际上，来自源的符号通常只有前几个具有强烈的依赖性，随着长度的增加，依赖性越来越弱，从而限制了源的特性和处理所需的内存长度。(David aser，Northern Exposure(美国电视电视剧)，Markov源，源的内存长度为m1时，时刻出现的符号与前M个符号相关，与以前的符号无关。)。联合概率是M阶Markov源，m1，连续源，某些源输出为单个符号(代

5、码)，但可能出现的消息数是无法计数的无限值。也就是说，输出消息的符号集A的值是连续的或实数的集合。例如，对语音信号、热噪声信号、特定时间点的连续数据远程控制系统的电压、温度、压力等进行测量的连续数据。牙齿数据是连续的，但又是随机的。我们可以用一维连续随机变量X来解释这些消息。数学模型是连续的概率空间。其中，R是实数集、随机变量X的概率密度函数、2.2离散源熵和互信息、(1)自信息和条件自信息、自信息组合自信息条件自信息、自信息、信息和不确定性以及发生概率自信息公式自信息语义多个茄子原因(例如，噪声太大)导致收件人收到干扰消息后，信息的不确定性仍然存在或完全消除，信息的可视定义：在接收消息之前，

6、事件的不确定性减少(接收消息后事件的不确定性) (接收消息后事件的不确定性)没有噪声的情况下，通过信道传输发送的消息可以完全无损地接收。收到牙齿消息后，如果事件的不确定性完全消除，则为0。因此，我们推测，在收到牙齿消息之前，某事件发生的不确定性源输出的任何消息中包含的信息量、不确定性和发生概率、事件发生的概率越小，它可能发生的困难就越大，不确定性就越大。概率为1的必然事件没有不确定性。某事件发生的信息量应该是该事件发生的先验概率的函数。使用概率度量定义信息：设置具有已知事件Xi已经发生的概率空间的离散源X。事件包含的自身信息量由自己的信息公式确定，自身信息的含义，表示事件Xi发生之前：事件Xi

7、发生的不确定性。事件Xi发生后：指示事件Xi中包含(或提供)的信息量。在无噪音信道中，事件xi发生后将无错误地发送给收件人，因此I(xi)表示接收消息Xi后可获得的信息量。这是因为消除了I(xi)大小的不确定性，获得了牙齿大小的信息量。在自信息的度量单位及其转换关系信息论中，比特不同于电脑术语中的比特，自信息的度量单位及其转换关系以2为基础，信息单位称为比特。以e为基准，信息单位称为Nate(Hart unit)，为了纪念Hart lay，先用日志测量消息。1夜1.44位1心3.32位通常使用以“2”为底数的对数，为了写简洁，有时省略底数2。在信息论中，“位”不同于电脑术语中的“位”，如果p(

8、xi)=1/2，则I(xi)=1位。因此，1位信息量是发生两个徐璐不兼容的可茄子事件之一时提供的信息量。在信息论中，“比特”是指抽象的信息单位。在电脑术语中，“位”是指二进制数字。牙齿两个定义之间的关系是每个二进制数字能提供的最大平均信息的杨怡1位。例如，2月的气象概率分布统计如下：牙齿四茄子气候的磁量，磁量I(xi)的性质，I(xi)为非负p(xi)1时，I(xi)0牙齿p(xi)0时，I J=1，2，m)为x，条件本身的信息量，设定yj条件下xi发生的条件概率为p(xi /yj)，其条件本身的信息量I(xi/yj)被定义为表示在特定条件(设定yj)下随机事件Xi获取的信息量。同样，如果Xi

9、已知，则发生yj的条件本身的信息量就是它自己的信息量。分别计算他们自己的信息量。解决方案：“e”的自信息I (e) log 0.0105=3.25位“c”的自信息I (c)-log 0.023=5.44位“o”的8个自信息I (o)牙齿灯泡现在假设八个牙齿灯泡中只有一个受损，串行灯泡不亮。(比尔盖茨，灯泡，灯泡，灯泡，灯泡，灯泡，灯泡，灯泡，灯泡)万用表，电路断了，三次测量，得到足够的信息量，才能知道哪个灯泡损坏了。每次获取的信息量，自身信息是从一个源发送消息的信息量。根据发送的信息，它们包含的信息量也不同。平均信息源熵：自我信息的数学期望。也称为源的信息熵/源熵/香农熵/无条件熵/熵函数/熵

10、。信息熵的单位：取决于日志选择的底部。通常，使用2作为位/符号单位的底数。信息熵的含义：在整个源的统计特性中考虑了源的信息熵H。那是从平均意义上表征酱的整体特性。对于特定的源，只有一个信息熵。徐璐不同的源根据统计特性，熵也不同。例如，一个炮台里有100个球，其中80个是红色，20个是白色。随便摸球，猜测是什么颜色，概率空间表示x1:红球x2:摸索是白球，例23目前进一步分析了案例2.2.2。(威廉莎士比亚，Northern Exposure(美国电视电视剧)，在牙齿例子中，8个灯泡组成一个源X，每个灯泡损坏的概率是相等的。牙齿源可以计算牙齿源的信息熵。牙齿H(x)表示在知道哪个灯泡损坏之前，哪

11、个灯泡损坏的平均不确定性。因此，必须得到3位的信息量才能完全消除平均不确定性，从而确定哪个灯泡坏了。如示例2.2.2中所示，牙齿测量方法一次只能获得1位的信息量。由此可见，至少要测量三次，才能完全消除不确定性。源熵的三个茄子物理意义，源熵是在平均意义上表示源的整体特性的量。因此，源熵有三个茄子物理意义：源熵H(X)是源输出后每个消息/符号提供的平均信息量。源熵H(X)表示源输出前的平均不确定性。使用源熵H(X)表征变量X的随机性。在下面的例子中，变量Y取y1和y2是相同的概率，所以随机性很大。变量X取x1的概率比取x2的概率大得多。变量X的随机性很小。因此，H(X)反映变量的随机性。例如，有两

12、个概率空间分别是信息熵h(x)=-0.99 log 0.99-0.01 log 0.01=0.08位/符号h (y)=-0.5 log 0.5-0.5 log的源y比源x的平均不确定性源X的两个茄子输出消息不是相同的概率。预先猜测x1和x2中会出现哪一个。虽然存在不确定性，但可以推测出x1牙齿出现的概率大约是x1牙齿出现的，因为大小。因此，源x的不确定性很小。信息熵反映了源输出前平均不确定性的大小。源熵和平均获得的信息量，源熵是对源的平均不确定性的描述。一般来说，这不等于平均获得的信息量。只有在没有噪声的情况下，接收方才能准确地接收源发送的消息，通过消除H(X)大小的平均不确定性获得的平均信息

13、量等于H(X)。一般而言，得到的信息量是两种熵的差异，而不是源熵本身。例如，二进制源是离散源的特殊情况。设置牙齿源符号的概率分别是P和1-p源的概率空间是二进制源的信息熵时，信息熵H(X)是P的函数。p可以绘制0，1区间内熵函数H(p)的曲线。条件熵，在给定yj条件下，X集的条件熵H(X|yj)为：定义：条件熵是组合符号集XY的条件本身信息的数学期望。在已知的Y中，X的条件熵是，Y所知道的条件下，当X的不确定性表示已知的X时，Y的条件熵是条件熵为常量值，联合熵，定义：联合熵是组合磁信息对组合符号集XY的数学期望，组合熵H(X，Y)表示X和Y同时发生的不确定性，例如失真导致传输时出现错误代码，牙

14、齿产生“U0”:”1“0”。”u1: 1 牙齿发行。v0 :接收“0”；接收V1 : 1 。P (u0)=1/2，p (v0/u0)=3/4，p (v0/u1)=1/2，请求：(1)已知概率(2)(4)已知接收的符号，由发送的符号获得的信息量，在示例2中，二进制源X通过离散非内存通道发送符号集0，1，并且通道输出显示为Y。因为频道有噪音，接收方除了接收0和1的符号外，还有不确定的符号。？”。如图所示，表示。已知x的先验概率为p(x=0)=2/3，p(x=1)=1/3，符号转移概率为p (y=0 | x=0)=3/4，p()|x=1)=1/2，其他为0，h (x，y)，x，y，0，0，1，1，3/4，1/4，1/2，1/2，1/2，交叉信息定义，x源发送的离散消息集合Y新宿接收的离散消息集合；源通过干扰通道向新宿发送消息。新宿事先不知道什么时候会发出什么信息，所以每条信息都是随机事件的结果。最简单的通信系统模型：源X，新宿Y的数学模型是(3)互信息，先验概率：源发送消息Xi的概率p(xi)。后验概率：估计申