互信息和平均互信息数学模型和应用

1、互信息和平均互信息数学模型和应用2单符号离散信道的数学模型信源X信宿YCNX的数学模型为34.1 互信息和平均互信息单符号离散信道的数学模型信宿Y的数学模型为 44.1 互信息和平均互信息单符号离散信道的数学模型信道模型的表示方法公式法图示法矩阵法54.1 互信息和平均互信息 互信息量及其性质根据前面的信道的数学模型：如果信道是理想的，发出ai收到ai则所获得的信息量 ai的不确定度I(ai)；如果信道不理想，发出ai收到bj,由bj推测ai的概率，一、定义1：我们将从bj中获取有关ai的信息量称为互信息量64.1.2 互信息量及其性质一、互信息量的定义 继续讨论第二章的例题，即某地二月份天气

2、构成的信源为 “今天不是晴天”作为收到的信息b1，计算b1与各天气之间的互信息量。74.1.2 互信息量及其性质一、互信息量的定义2将互信息表达式展开得：同样道理，我们可以定义ai对bj 的互信息量为8通信前先验不定度（联合自信息量） 发送接收4.1.2 互信息量及其性质一、互信息量的定义39后验不定度 一、互信息量的定义3发送接收4.1.2 互信息量及其性质通信后10 这样，通信后流经信道的信息量，等于通信前后不定度的差4.1.2 互信息量及其性质一、互信息量的定义3114.1.2 互信息量及其性质二、互信息量的性质对称性 当X和Y相互独立时，互信息为0 12124.1.2 互信息量及其性质

3、二、互信息量的性质互信息量可为正值或负值 3互信息量为正， bj使ai的不确定度减小，上例中，“今天不是晴天”为0，二者相互独立，“今天我很高兴”为负， bj没有使ai的不确定度减小，“今天有风”。134.1.3 平均互信息量及其性质一、信道疑义度研究信源中各个消息之间的关系144.1.2 互信息量及其性质一、信道疑义度损失熵信道疑义度：含义：收到Y后关于X尚存的平均不确定性。性质：equivocation154.1.2 互信息量及其性质二、平均互信息量的定义平均互信息互信息量在联合概率空间P(XY)统计平均。平均交互信息量；交互熵164.1.2 互信息量及其性质二、平均互信息量的定义计算时可

4、用公式：174.1.2 互信息量及其性质二、平均互信息量的定义平均交互信息量与几个测度函数辨析 和 和相同点：统计平均不同点：提供与获得184.1.2 互信息量及其性质三、条件互信息和平均条件互信息给定X、Y、Z三个离散概论空间，其连接关系为： 系统1系统2系统1XXYYZZ(a)(b)194.1.2 互信息量及其性质练习： 有两个硬币，一个正常硬币（一面是国徽，一面是面值），另一个是不正常的硬币（两面都是面值）。现随机抽取一次硬币，抛掷两次。问出现面值的次数对于硬币的 识别能提供多少信息量？ 204.1.2 互信息量及其性质四、平均互信息量的性质非负性说明：信道每传递一条消息，总能提供一定的

5、信息量。注： 可正可负10,正常通信=0,通信中断=0,如何证明？ 2、C=logn n为输入的符号数 3、C=logm m为输出的符号数 46几种特殊离散信道的容量一、离散无噪信道1、一一对应的无噪信道an bna1 b1a2 b247a1 b1a2 b2an-1 bn-1an bnX、Y一一对应,此时H(X/Y)=0，H(Y/X)=0，CmaxI(X;Y)log n (p(ai)=1/n即等概)p(ai)一一对应的无噪信道48a1 b1 b2 b32、具有扩展功能的无噪信道a2 b4 b5 b6a3 b7 b8 49此时，H(X/Y)=0，H(Y/X) 0，且 H(X) H(Y)。所以，C

6、 = max H(X) = log n (p(ai)=1/n即等概) p(ai)一个输入对应多个输出2、具有扩展功能的无噪信道503、具有归并性的无噪信道a1 b1a2 a3 b2a4a5 b3C = max H(Y) = log m p(ai) =？p(ai)H(X/Y) 0，H(Y/X) = 0多个输入变成一个输出51结论无噪信道的信道容量只取决于信道的输入符号数n或输出符号数m，与信源无关。524.2.3 几种特殊离散信道的信道容量二、对称信道容量计算1、对称信道的定义：如果信道转移矩阵满足下列性质： (1) 每行都是第一行的某种置换;(2) 每列都是第一列的某种置换。 则称该信道为对称

7、信道。 显然，对称信道是输入对称的，也是关于输出对称的。 53练习：判断下列矩阵表示的信道是否是对称信道54二、对称信道容量的计算强对称信道（均匀）：n X np：总体错误概率55二、对称信道容量的计算2、对称信道的性质：对称信道满足下列性质： （1）即噪声熵=矩阵第一行元素组成的熵函数 （2）当P(X)（输入）等概分布，输出也是等概分布注：这两个性质对后面求信道容量非常重要！56二、对称信道容量的计算3、对称信道的信道容量：由于对称信道满足：综合起来可以得出对称信道的信道容量为对称信道关于输出也是对称的，当信道输入是等概率分布时，信道输出也是等概率分布，H(Y)取得最大值57典型例子均匀信道

8、信道容量计算解 显然该信道是对称的，信道容量为上述信道称为强对称信道或者均匀信道，是对称信道的一个特例。 一般信道转移矩阵中，列元素之和并不等于1，而该信道转移矩阵的各列元素之和都等于1。 其中，p为总的错误传输概率。特别地，当r=2时，信道容量为C=1H(p) 58几种对称信道之间的关系输入对称对称信道均匀信道二元均匀59二、对称信道容量的计算4、准对称信道的信道容量：二元对称纯删除信道该信道转移矩阵为 ，该信道即二元纯对称删除信道，如图所示， 其信道容量为比特/符号60二、对称信道容量的计算如果信道转移矩阵按列可以划分为几个互不相交的对称信道的子集，则称该信道为准对称信道。 显然，准对称信

9、道是输入对称的。4、准对称信道的信道容量：准对称信道可以分解为若干个对称信道之和，所以对于准对称信道，信道输入的最佳分布是等概率分布，而信道容量为其中，q1，q2，qm为准对称信道转移矩阵中的一行元素，s为划分的子集数量，Nk为第k个子矩阵的行元素之和，Mk为第k个子矩阵的列元素之和。61例题信道转移矩阵为求信道容量C。 解 通过观测可知，该信道是准对称信道，可以分解为三个互不相交的子集，分别为62例题对应的参数分别为所以信道容量为比特/符号 63练习题：有噪声的打字机信道考虑有26个键的打字机1）如果每敲击一个键，它就准确输出成相应的字符，那么该容量C为多少？2）如果假设敲击一个键都会导致输

10、出该键对应的字母或者下一个字母等概论出现，即敲A可能输出A或者B，敲Z可能输出Z或者A，那么此时的容量如何？64复习数学知识65离散信道容量的一般计算法信道容量的求解为一个多元函数求约束极值的问题。信道转移矩阵为例：求信道输入最佳分布和信道容量C。 解 观察信道转移矩阵可知，该信道不是对称的，信道的输入、 输出符号数量都为2，假设信道输入符号的概率分别为p，1p，可以得到平均互信息量。 根据假设的信道输入的概率分布，求出信道输出概率分布p(bj)：p(b1p+0.2(1pp p(b2p+0.8(1pp66离散信道容量的一般计算法输入、 输出之间的平均互信息量为：将相关参数代入上述计算公式，得到

11、：67离散信道容量的一般计算法对I(X;Y)求导，得到最佳分布得到，p，所以信道容量为C=maxI(X;Y)=0.415 比特/符号从该例可以看出，即使是简单的非对称二元信道，其最佳分布的求解也十分复杂，所以一般离散信道的信道容量的求解通过计算机进行。 下面讨论一般离散信道的解法。 68离散信道容量的一般计算法 平均互信息量I(X;Y)是输入概率分布p(ai)的凸函数，所以极大值是一定存在的。 假设信道输入的符号数量为n，那么I(X;Y)应当是r个随机变量(p1，p2，pn) 的函数，而且满足约束条件，该多元函数的条件极值可以利用拉格朗日乘法求出。 (1) 首先引入函数其中，为拉格朗日乘子。

12、69离散信道容量的一般计算法(2) 对信道输入概率p(ai)求导数，并令其为0。解方程组可以求出最佳概率分布和。(3) 将最佳分布代入I(X;Y)，即可求出信道容量C。而p(bj)可以表示为70离散信道容量的一般计算法故关键是求第一项我们将这项展开看看哪部分和求偏导有关71离散信道容量的一般计算法72离散信道容量的一般计算法第二块分步求（1）将 看作常数，对前面的求偏导（2）将 看作常数，对 求偏导 73离散信道容量的一般计算法带入合并得：给定 后验概率为1故74离散信道容量的一般计算法结论75离散信道容量的一般计算法假设信道输入的最佳分布为(p1，p2，pn)，将方程组的两边同时乘以各自的概

13、率p(ai)，并且两边同时对i求和，从而得到信道容量为C=+loge仍然为待定的系数，但我们找到一些规律将 来分析其中76离散信道容量的一般计算法加上前面一个加权规律：信源处于最佳分布时，由输出端观察，每一个符号的信息量都是一样的。77离散信道容量的一般计算法定理 设有一般离散信道，它有n个输入符号，m个输出符号，其平均互信息I(X;Y)达到极大值(即等于信道容量)的充要条件是输入概率分布p(ai)满足(其中i=1，2，n)对所有p(ai)0的ai 对所有p(ai)=0的ai常数C就是所求的信道容量。 78离散信道容量的一般计算法求该信道的容量C和信道输入的最佳概率分布。 解 该信道不是对称信道，所以不能直接使用对称信道计算其信道容量。 但是通过观察发现，如果信道输入符号的概率p(a2)=0，该信道就是一个二元纯对称删除信道。 这样就可以假设p(a2)=0，p(a1)=p(a3)=1/2，然后检查是否满足上述定理条件，如果满足就可以计算出信道容量。 例79离散信道容量的一般计算法首先根据假设求出相应的p(bj)然后计算互信息量I(ai;Y)