信息理论与编码参考答案

1、2.3 一副充分洗乱的牌（含52张），试问：（1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A为任一特定排列，则其发生概率为 可得，该排列发生所给出的信息量为 bit dit（2）设事件B为从中抽取13张牌，所给出的点数互不相同。 扑克牌52张中抽取13张，不考虑排列顺序，共有种可能的组合。13张牌点数互不相同意味着点数包括A，2，K，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以1

2、3张牌中所有的点数都不相同的组合数为。因为每种组合都是等概率发生的，所以 则发生事件B所得到的信息量为 bit dit2.5 设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：(1) 红色球和白色球各50只；(2) 红色球99只，白色球1只；(3) 红，黄，蓝，白色各25只。求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令R“取到的是红球”，W“取到的是白球”，Y“取到的是黄球”，B“取到的是蓝球”。（1）若布袋中有红色球和白色球各50只，即 则 bit（2）若布袋中红色球99

3、只，白色球1只，即 则 bit bit（3）若布袋中有红，黄，蓝，白色各25只，即 则 bit2.7 设信源为求，井解释为什么，不满足信源熵的极值性。解： bit/symbol不满足极值性的原因是，不满足概率的完备性。2.8 大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。（1）这二个回答中各含多少信息量?（2）平均每个回答中含有多少信息量?（3）如果你问一位女同志，则答案中含有的平均信息量是多少?解：对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为 bit bit平均每个回答中含有的信息量

4、为 bit/回答对于女性，是红绿色盲的概率记作，不是红绿色盲的记作，则平均每个回答中含有的信息量为 bit/回答 联合熵和条件熵2.9 任意三个离散随机变量、和，求证：。证明：方法一：要证明不等式成立，等价证明下式成立： 根据熵函数的定义得证方法二：因为所以，求证不等式等价于因为条件多的熵不大于条件少的熵，上式成立，原式得证。2.11 设随机变量和的联合概率空间为定义一个新随机变量（普通乘积）。 （1）计算熵、以及；（2）计算条件熵、以及；（3）计算互信息量、以及； 解 （1） bit/symbol bit/symbol可得的概率空间如下 由得由对称性可得（2）H-H=H-H根据对称性，H=H

5、H=H-HH=H-H根据对称性，H=HH=HH=H-H根据对称性，把X和Y互换得H=HH=H-H(3)根据对称性，得根据对称性得2.17 设信源发出二次扩展消息,其中第一个符号为A、B、C三种消息，第二个符号为D、E、F、G四种消息，概率和如下：ABC 1/2 1/3 1/6D 1/4 3/10 1/6E 1/4 1/5 1/2F 1/4 1/5 1/6G 1/4 3/10 1/6求二次扩展信源的联合熵。解：联合概率为可得X,Y的联合概率分布如下：ABCD 1/8 1/10 1/36E 1/8 1/15 1/12F 1/8 1/15 1/36G 1/8 1/10 1/36所以2.19 设某离散

6、平稳信源，概率空间为并设信源发出的符号只与前一个相邻符号有关，其联合概率为如下表所示：0120 1/4 1/1801 1/18 1/3 1/1820 1/18 7/36求信源的信息熵、条件熵与联合熵，并比较信息熵与条件熵的大小。解：边缘分布为条件概率如下表：0120 9/11 1/801 2/11 3/4 2/920 1/8 7/9所以信源熵为 条件熵： 可知 因为无条件熵不小于条件熵，也可以得出如上结论。联合熵： 说明：（1）符号之间的相互依赖性造成了信源的条件熵比信源熵少。（2）联合熵表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为 原因在于考虑了符号间的统计相

7、关性，平均每个符号的不确定度就会小于不考虑符号相关性的不确定度。2.20 黑白气象传真图的消息只有黑色（B）和白色（W）两种，即信源，设黑色出现的概率为，白色的出现概率为。（1）假设图上黑白消息出现前后没有关联，求熵（2）假设图上黑白消息出现前后有关联，其依赖关系为， ，求此一阶马尔可夫信源的熵。（3）分别求上述两种信源的剩余度，并比较和的大小，试说明其物理意义。解：（1）假设传真图上黑白消息没有关联，则等效于一个DMS，则信源概率空间为信源熵为（2）该一阶马尔可夫信源的状态空间集为根据题意可得状态的一步转移矩阵状态极限概率满足即可以解得，该一阶马尔可夫信源的熵为（3）黑白消息信源的剩余度为一

8、阶马尔可夫信源的剩余度为由前两小题中计算的和比较可知该结果说明：当信源的消息（符号）之间有依赖时，信源输出消息的不确定性降低。所以，信源消息之间有依赖时信源熵小于信源消息之间无依赖时信源熵。这表明信源熵反映了信源的平均不确定性的大小。而信源剩余度反映了信源消息依赖关系的强弱，剩余度越大，信源消息之间依赖关系就越大。2.23 设信源为试求：（1） 信源的熵、信息含量效率以及冗余度；（2） 求二次和三次扩展信源的概率空间和熵。解：（1） （2） 假设X为DMS，则可得二次扩展信源的概率空间2次扩展信源的熵为三次扩展信源的概率空间及熵为2.18 设有一个信源，它产生0，1符号的信息。它在任意时间而且

9、不论以前发生过什么符号，均按 的概率发出符号。（1）试问这个信源是否是平稳的？（2）试计算,及；（3）试计算并写出信源中可能有的所有符号。解：（1） 该信源在任何时刻发出的符号概率都是相同的，即信源发出符号概率分布与时间起点无关，因此这个信源是平稳信源。又因为信源发出的符号之间彼此独立。所以该信源也是离散无记忆信源。（2） （信源无记忆）（3） （信源无记忆）的所有符号：2.23 设信源为试求：（1） 信源的熵、信息含量效率以及冗余度；（2） 求二次和三次扩展信源的概率空间和熵。解：（1） （2） 假设X为DMS，则可得二次扩展信源的概率空间2次扩展信源的熵为三次扩展信源的概率空间及熵为2.2

10、5 设连续随机变量X的概率密度函数为（1） 求X的熵；（2） 求的熵；（3） 求的熵。解：（1）因为所以故（2） 首先求得Y的分布函数Y的概率密度为Y的微分熵为 （令） 因为已知X，关于Y没有不确定，常数A不会增加不确定度，所以从熵的概念上也可判断此时（3）首先求得Y的分布函数Y的概率密度为Y的微分熵为 （令） 3.2 信道线图如下，试确定该信道的转移概率矩阵 解：按照转移矩阵的排列原则：行对应输入符号，列对应输出符号3.3 的转移矩阵如下（1）画出信道线图；（2）若输入概率为，求联合概率、输出概率以及后验概率。解：（1）（2）乘以的第1行，乘以的第2行，得联合概率矩阵：的各列元素相加得对应的

11、输出概率，写成矩阵形式：的各列元素除以对应的输出概率，得后验概率矩阵：3.4 设离散无记忆信源通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为 试求：（1）信源的符号和分别含有的自信息；（2）从输出符号所获得的关于输入符号的信息量；（3）信源和信道输出的熵；（4）信道疑义度和噪声熵；（5）从信道输出中获得的平均互信息量。解：(1) /符号 /符号 (2) = /符号 = /符号 = /符号= /符号(3) /符号 /符号(4)、(5) /符号 /符号 /符号 /符号又根据 = /符号3.6 举出下列信道的实例，给出线图和转移矩阵。（1）无损的，但不是确定的，也不是对称的；（2）准

12、对称且无损，但不是确定的；（3）无损的确定信道。解：(1) 满足（无损），(不确定)，不具有行列排列性，线图和转移矩阵如下 (2) 无损要求；不确定要求，具有行排列性，线图和转移矩阵如下：(3) 无损、确定信道的线图和转移矩阵如下3.7 求下列两个信道的信道容量和最佳输入分布，并加以比较。其中。 解：(1) 方法一：利用一般DMC信道容量解的充要条件，计算各偏互信息，并使之均等于信道容量C，再结合输出概率的完备性，可以解出信道容量，最后利用全概率公式得出最佳输入分布。该方法通用，但过程繁琐。方法二：观察发现此信道是准对称信道。信道矩阵中可划分为二个互不相交的子集，如下：，而这两个子矩阵满足对称

13、性，因此，可直接利用准对称信道的信道容量公式进行计算。 其中n=2, ，, ，所以输入等概率分布时达到信道容量。（2）此信道也是准对称信道，现采用准对称信道的信道容量公式进行计算。此信道矩阵中可划分成两个互不相交的子集为 ，这两矩阵为对称矩阵。其中 n=2， ， ，所以输入等概率分布（）时达到此信道容量。两个信道的噪声熵相等但第二个信道的输出符号个数较多，输出熵较大，故信道容量也较大。3.8 求下列二个信道的信道容量及其最佳的输入概率分布。 解：图中2个信道的信道矩阵为 矩阵为行列排列阵，其满足对称性，所以这两信道是对称离散信道。由对称离散信道的信道容量公式得 比特/符号特/符号最佳输入分布是输入为等概率分布。3.9 设信道转移矩阵为（1）求信道容量和最佳输入分布的一般表达式；（2）当和时，信道容量分别为多少？并针对计算结果作一些说明。解：（1）该信道属一般信道，设最佳输入分布为，三个输入概率外加信道容量，共4个参数，需列4个方程。由定理3.6，有化简得解得转移概率已知，输出分布已求出，根据可求出。解得（2） 当p=0,此信道为一一对应信道，得 bit/信道符号，最佳输入分布为当时，=1 bit/信道符号，最佳输入分布为，p=0时，信道为确定无损信道，可以从输出端得到信源的全部信息量，信源的最大熵即为信道容量。但