信息理论基础2信息的统计度量课件

第2章信息的统计度量第2章2.1自信息量和条件自信息量2.2互信息量和条件互信息量2.3离散集的平均自信息量2.4离散集的平均互信息量2.5连续随机变量的互信息量和相对熵2004-07-2912.1自信息量和条件自信息量2.1.1自信息量2.1.2条件自信息量2004-07-2922.1.1自信息量.1

今年冬天比夏天冷今年冬天比夏天热两则消息很正常，在我的有生之年年年如此啊废话一般没有任何信息是吗？太不正常了，在我的有生之年我还没遇到过老天爷发疯了么：难道外星人来了？彗星撞地球了？我发疯了么：我没听错吧？我脑子有问题了么？你发疯了吧：散布妖言？含有极其丰富的信息2004-07-2932.1.1自信息量.2信息量与消息的发生概率有关：越不可能的消息，包含的信息量越多；确定无疑的消息，包含的信息量为零有一个比较简单的函数满足上述特性：2004-07-2942.1.1自信息量.32004-07-2952.1.1自信息量.4定理2.1.1任意随机事件的自信息量定义为该事件发生概率的对数的负值？自信息量没有单位2004-07-2962.1.1自信息量.5自信息量的单位2004-07-2972.1.1自信息量.6自信息量各单位之间的换算关系使用的公式2004-07-2982.1.1自信息量.7同理可得2004-07-2992.1.1自信息量.8定理2.1.2联合自信息量定义为定理2.1.2是定理2.1.1的自然推广2004-07-29102.1.1自信息量.9例2.1.1一信息源会发出4个符号：0、1、2、3、4。这4个符号出现的概率分别为：，同时各个符号的出现都是独立的。求：下面这个消息的自信息量：2010201302130012032101003210100023102002010312032100120212004-07-29112.1.1自信息量.10此消息中0出现23次，1出现14次，2出现13次，3出现7次。由于出现是独立的，因此出现此消息的概率为：此消息的自信息量为：2004-07-29122.1.2条件自信息量.1定理2.1.2自信息量定义的自然推广2004-07-29132.1.2条件自信息量.2例2.1.2设在一正方形棋盘上共有64个方格，如果甲将一枚棋子随意放在棋盘上的某一方格，且让乙猜测棋子所在的位置。（1）将方格按照顺序编号，令乙猜测棋子所在方格的序号（2）将方格按行和列编号，甲将棋子所在方格的行编号告诉乙之后，再令乙猜测棋子所在的列求：以上两种情况所包含的信息量2004-07-29142.1.2条件自信息量.3解：2004-07-29152.2互信息量和条件互信息量2.2.1互信息量2.2.2互信息量的性质2.2.2条件互信息量内容2004-07-29162.2.1互信息量.1介绍几个名词符号消息消息的表现形式为符号，例如a,b,c,0,1,2等等通信系统中的符号消息由于通信系统中信宿（消息的接收者）并不知道信源（消息的发送者）发送的是哪一个消息，因此每个符号消息是一个随机事件2004-07-29172.2.1互信息量.2先验概率2004-07-29182.2.1互信息量.3后验概率2004-07-29192.2.1互信息量.4解释2004-07-29202.2.1互信息量.5理想信道（假设，不符合实际情况）2004-07-29212.2.1互信息量.62004-07-29222.2.1互信息量.72004-07-29232.2.1互信息量.8简单的解决办法2004-07-29242.2.1互信息量.9回到我们的例子2004-07-29252.2.1互信息量.10回顾整个过程2004-07-29262.2.1互信息量.112004-07-29272.2.1互信息量.122004-07-29282.2.1互信息量.13后验概率不是0就是1，相同的是1，不相同的就是0。引入此概念有什么意思？2004-07-29292.2.1互信息量.142004-07-29302.2.1互信息量.15如果信道噪声变为下面的形式2004-07-29312.2.1互信息量.162004-07-29322.2.1互信息量.172004-07-29332.2.1互信息量.18对先验概率和后验概率有了一定了解，后面会具体讲计算的问题2004-07-29342.2.1互信息量.19定义2.2.12004-07-29352.2.1互信息量.20初步分析互信息量2004-07-29362.2.1互信息量.21初步分析互信息量收到符号“1”时，信源发出的消息必为“1”，因此在这一条件之下，信源发出消息为“1”这一事件所包含的信息为“0”2004-07-29372.2.1互信息量.22初步分析互信息量收到符号“1”时，所获得的信源发送消息为“1”的分布，仍为先验概率，表明两者之间有密切的关系2004-07-29382.2.1互信息量.23初步分析互信息量收到符号“1”时，信源发出的消息为“1”概率等于先验概率，因此在这一条件之下，信源发出消息为“1”这一事件所包含的信息量为自信息量2004-07-29392.2.1互信息量.24初步分析互信息量收到符号“1”时，不能所获得的信源发送消息为“1”的分布，表明两者之间有独立的关系2004-07-29402.2.2互信息量的性质.11.互信息量的互易性证明2004-07-29412.2.2互信息量的性质.21.互信息量的互易性2004-07-29422.2.2互信息量的性质.32.互信息量可为零2004-07-29432.2.2互信息量的性质.43.互信息量可正可负2004-07-29442.2.2互信息量的性质.5举例解释可负的原因2004-07-29452.2.2互信息量的性质.62004-07-29462.2.2互信息量的性质.72004-07-29472.2.2互信息量的性质.82004-07-29482.2.2互信息量的性质.9我们的问题2004-07-29492.2.2互信息量的性质.10从前面已经知道y=0是不可能事件，那么x=0|y=0也是不可能事件2004-07-29502.2.2互信息量的性质.11因为信道噪声太强大了，掩盖了传输的信号，信号畸变，接收到的消息不利于判断输入的信息例子：你不说我还明白，你越说我越糊涂2004-07-29512.2.2互信息量的性质.124.互信息量不能大于自信息量证明2004-07-29522.2.2互信息量的性质.134.互信息量不能大于自信息量2004-07-29532.2.2互信息量的性质.14例2.2.12004-07-29542.2.2互信息量的性质.15解2004-07-29552.2.2互信息量的性质.162004-07-29562.2.2互信息量的性质.172004-07-29572.2.3条件互信息量.1定义2.2.22004-07-29582.2.3条件互信息量.2进一步说明2004-07-29592.2.3条件互信息量.32004-07-29602.3离散集中的平均自信息量2.3.1平均自信息量（熵）2.3.2熵函数的数学特性2.3.3条件熵2.3.4联合熵2.3.5各种熵的性质2.3.6加权熵2004-07-29612.3.1平均自信息量（熵）.1随机变量自信息量无法衡量整个信源的信息测度引入平均自信息量：信息熵2004-07-29622.3.1平均自信息量（熵）.2定义2.3.12004-07-29632.3.1平均自信息量（熵）.3信息熵的单位取决于对数的底例子2004-07-29642.3.1平均自信息量（熵）.4例2.3.1－12004-07-29652.3.1平均自信息量（熵）.5解：2004-07-29662.3.1平均自信息量（熵）.6例2.3.1－2已知：一篇千字文，每字可从万字表中任选，每篇千字文等概率出现求：一篇千字文可提供的平均信息量2004-07-29672.3.1平均自信息量（熵）.7解2004-07-29682.3.1平均自信息量（熵）.8例2.3.22004-07-29692.3.1平均自信息量（熵）.9解2004-07-29702.3.2熵函数的数学特性.12004-07-29712.3.2熵函数的数学特性.22004-07-29722.3.2熵函数的数学特性.3定义2.3.2上凸函数2004-07-29732.3.2熵函数的数学特性.4直观解释2004-07-29742.3.2熵函数的数学特性.5引理2.3.12004-07-29752.3.2熵函数的数学特性.6引理2.3.1的推广2004-07-29762.3.2熵函数的数学特性.7引理2.3.1的推广书上的结论有问题2004-07-29772.3.2熵函数的数学特性.81.熵的对称性2004-07-29782.3.2熵函数的数学特性.9例子三个信源，概率空间分别为求：信息熵H(X),H(Y),H(Z)2004-07-29792.3.2熵函数的数学特性.10解2004-07-29802.3.2熵函数的数学特性.11对称性的物理意义信息熵的对称性说明熵仅与随机变量的总体结构有关（例如，信源的信息熵仅与信源的总体结构有关）2004-07-29812.3.2熵函数的数学特性.12例：2.3.3已知：

A、B两地的天气情况如表。求：信息熵2004-07-29822.3.2熵函数的数学特性.13解2004-07-29832.3.2熵函数的数学特性.14信息熵没有反映出关于冰雹的差别：信息熵的局限2004-07-29842.3.2熵函数的数学特性.152.熵的非负性证明2004-07-29852.3.2熵函数的数学特性.162004-07-29862.3.2熵函数的数学特性.173.熵的扩展性2004-07-29872.3.2熵函数的数学特性.18熵扩展性的含义如果两个集合的唯一差别是一个概率接近于0的事件，那么两个集合的熵是一样的2004-07-29882.3.2熵函数的数学特性.194.熵的可加性2004-07-29892.3.2熵函数的数学特性.192个随机变量的熵的定义形式2个随机变量的联合概率2004-07-29902.3.2熵函数的数学特性.202004-07-29912.3.2熵函数的数学特性.212004-07-29922.3.2熵函数的数学特性.22先看第一项2004-07-29932.3.2熵函数的数学特性.232004-07-29942.3.2熵函数的数学特性.24再看第二项2004-07-29952.3.2熵函数的数学特性.252004-07-29962.3.2熵函数的数学特性.264.熵的可加性的推论当二维随机变量X、Y相互统计独立时，有2004-07-29972.3.2熵函数的数学特性.27证明明确符号意义2004-07-29982.3.2熵函数的数学特性.28X,Y相互独立2004-07-29992.3.2熵函数的数学特性.29与i无关12004-07-291002.3.2熵函数的数学特性.305.熵的极值性说明在离散的情况下，集合X中的各事件等概率发生时，熵达到极大值。n越大，熵值越大2004-07-291012.3.2熵函数的数学特性.31引理2.3.2引理2.3.32004-07-291022.3.2熵函数的数学特性.32证明根据引理2.3.32004-07-291032.3.2熵函数的数学特性.33例2004-07-291042.3.2熵函数的数学特性.346.确定性2004-07-291052.3.2熵函数的数学特性.357.上凸性证明2004-07-291062.3.2熵函数的数学特性.36乘积展开【】后乘1分子单独提出分别取对数2004-07-291072.3.2熵函数的数学特性.37熵的表达式?2004-07-291082.3.2熵函数的数学特性.38引理2.3.32004-07-291092.3.3条件熵.1前述的信息熵:单个信源(概率空间)的不确定性的度量实际应用中,需要考虑两个或者两个以上的概率空间之间的相互关系,故要引入条件熵定义2.3.3条件熵2004-07-291102.3.3条件熵.2条件熵的数学表达式随机变量2004-07-291112.3.3条件熵.3条件熵的例子出现的概率2004-07-291122.3.4联合熵.1定义2.3.4联合熵2004-07-291132.3.5各种熵的性质.11。联合熵与信息熵、条件熵的关系或者联合熵＝X的熵＋在X的条件下的条件熵H（Y|X）或者联合熵＝Y的熵＋在Y的条件下的条件熵H（X|Y）2004-07-291142.3.5各种熵的性质.2性质1的推论性质1的推论2004-07-291152.3.5各种熵的性质.3性质1的推广举例2004-07-291162.3.5各种熵的性质.42。联合熵与信息熵的关系证明2004-07-291172.3.5各种熵的性质.52004-07-291182.3.5各种熵的性质.6根据引理2.3.32004-07-291192.3.5各种熵的性质.7推论1：等式成立的条件是X与Y统计独立证明2004-07-291202.3.5各种熵的性质.8推论2当X,Y取自同一符号集时，有证明当X,Y取自同一符号集时，有2004-07-291212.3.5各种熵的性质.9推论3等式成立的条件是相互统计独立2004-07-291222.3.5各种熵的性质.103。条件熵与信息熵的关系证明由图可知：f(x)为上凸函数2004-07-291232.3.5各种熵的性质.112004-07-291242.3.5各种熵的性质.12等式成立的条件：X,Y相互独立2004-07-291252.3.5各种熵的性质.13例2.3.42004-07-291262.3.5各种熵的性质.14解先验概率2004-07-291272.3.5各种熵的性质.15信息熵2004-07-291282.3.5各种熵的性质.16联合熵2004-07-291292.3.5各种熵的性质.17条件熵2004-07-291302.3.5各种熵的性质.18条件熵2004-07-291312.3.5各种熵的性质.192004-07-291322.3.6加权熵.1上海和南京两地的信息熵相等2004-07-291332.3.6加权熵.2设有随机变量X，引入事件的权重之后，概率空间为：2004-07-291342.3.6加权熵.3定义2.3.52004-07-291352.4离散集的平均互信息量2.4.1平均条件互信息量2.4.2平均互信息量2.4.3平均互信息量的性质2004-07-291362.4.1平均条件互信息量.1定义2.4.12004-07-291372.4.1平均条件互信息量.2互信息量平均互信息量平均条件互信息量2004-07-291382.4.1平均条件互信息量.3表达式2004-07-291392.4.1平均条件互信息量.4定理2.4.1证明2004-07-291402.4.1平均条件互信息量.5符合物理意义：当两者独立时，不可能从一个的发生，获得另外一个随机变量的信息2004-07-291412.4.2平均互信息量定理2.4.2平均互信息量2004-07-291422.4.3平均互信息量.11.非负性证明底转换x2004-07-291432.4.3平均互信息量.22.互易性证明从集Y中获得的X的信息量＝从集X中获得的Y的信息量2004-07-291442.4.3平均互信息量.33.平均互信息量和各类熵的关系（1）与熵、条件熵的关系证明信息熵条件熵2004-07-291452.4.3平均互信息量.4（2）与熵、联合熵的关系证明2004-07-291462.4.3平均互信息量.5回顾各种熵之间的关系联合熵信息熵条件熵平均互信息量2004-07-291472.4.3平均互信息量.6回顾各种熵之间的关系信息熵条件熵平均互信息量2004-07-291482.4.3平均互信息量.72004-07-291492.4.3平均互信息量.84.极值性证明2004-07-291502.4.3平均互信息量.94.凸函数性证明同信息熵的证明2004-07-291512.5连续随机变量的互信息和相对熵描述连续随机变量统计特征的量2004-07-291522.5.1连续随机变量的互信息.1定义2.5.1连续随机变量的互信息概率之比概率之比概率密度之比2004-07-291532.5.1连续随机变量的互信息.2定义2.5.2连续随机变量的平均互信息平均的概念2004-07-291542.5.1连续随机变量的互信息.3连续随机变量平均互信息的性质1.非负性2.对称性2004-07-291552.5.1连续随机变量的互信息.4例2.5.1解归一化相关函数X的均方差Y的均方差X的均值Y的均值2004-07-291562.5.1连续随机变量的互信息.5X和Y的边缘分布函数为：2004-07-291572.5.1连续随机变量的互信息.6结果分析归一化相关函数（归一化相关系数）2004-07-291582.5.2连续随机变量的信息熵.1回顾离散随机变量的信息熵：信息熵的数学期望引出连续随机变量的信息熵：2004-07-291592.5.2连续随机变量的信息熵.22004-07-291602.5.2连续随机变量的信息熵.3分析2004-07-291612.5.2连续随机变量的信息熵.40不能确定为有限数相对熵，微分熵，熵2004-07-291622.5.2连续随机变量的信息熵.5例2.5.2解2004-07-291632.5.2连续随机变量的信息熵.6联合熵条件熵2004-07-291642.5.2连续随机变量的信息熵.7连续变量各种熵之间的关系2004-07-291652.5.2连续随机变量的信息熵.8例证明2004-07-291662.5.2连续随机变量的信息熵.92004-07-291672.5.2连续随机变量的信息熵.102004-07-291682.5.2连续随机变量的信息熵.112004-07-291692.5.2连续随机变量的信息熵.12类似有2004-07-29170习题.1习题12004-07-29171习题.1习题1题解女孩中身高>1米6的大学生2004-07-29172习题.1习题1题解2004-07-29173习题.1习题1题解2004-07-29174习题.2习题22004-07-29175习题.2习题2题解2004-07-29176习题.2习题2题解2004-07-29177习题.2习题2题解2004-07-29178习题.2习题2题解2004-07-29179习题.2习题2题解2004-07-29180习题.3习题32004-07-29181习