信息理论及编码参考答案

1、. 2.3 一副充分洗乱的牌含52，试问：1任一特定排列所给出的不确定性是多少？2随机抽取13牌，13牌的点数互不一样时的不确定性是多少？ 解：152扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A为任一特定排列，则其发生概率为可得，该排列发生所给出的信息量为 bit dit2设事件B为从中抽取13牌，所给出的点数互不一样。 扑克牌52中抽取13，不考虑排列顺序，共有种可能的组合。13牌点数互不一样意味着点数包括A，2，K，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13牌中所有的点数都不一样的组合数为

2、。因为每种组合都是等概率发生的，所以则发生事件B所得到的信息量为 bit dit2.5 设在一只布袋中装有100只对人手的感觉完全一样的木球，每只上涂有1种颜色。100只球的颜色有以下三种情况：(1) 红色球和白色球各50只；(2) 红色球99只，白色球1只；(3) 红，黄，蓝，白色各25只。求从布袋中随意取出一只球时，猜想其颜色所需要的信息量。解：猜想木球颜色所需要的信息量等于木球颜色的不确定性。令R取到的是红球，W取到的是白球，Y取到的是黄球，B取到的是蓝球。1假设布袋中有红色球和白色球各50只，即则 bit2假设布袋中红色球99只，白色球1只，即则 bitbit3假设布袋中有红，黄，蓝，

3、白色各25只，即则 bit2.7 设信源为求，井解释为什么，不满足信源熵的极值性。解： bit/symbol不满足极值性的原因是，不满足概率的完备性。2.8 大量统计说明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他答复是或否。1这二个答复中各含多少信息量2平均每个答复中含有多少信息量3如果你问一位女同志，则答案中含有的平均信息量是多少解：对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为 bit bit平均每个答复中含有的信息量为 bit/答复对于女性，是红绿色盲的概率记作，不是红绿色盲的记作，则平均每个答复中含有的信息

4、量为 bit/答复联合熵和条件熵2.9 任意三个离散随机变量、和，求证：。证明：方法一：要证明不等式成立，等价证明下式成立：根据熵函数的定义得证方法二：因为所以，求证不等式等价于因为条件多的熵不大于条件少的熵，上式成立，原式得证。2.11 设随机变量和的联合概率空间为定义一个新随机变量普通乘积。 1计算熵、以及；2计算条件熵、以及；3计算互信息量、以及； 解 1 bit/symbol bit/symbol可得的概率空间如下由得由对称性可得2H-H=H-H根据对称性，H=HH=H-HH=H-H根据对称性，H=HH=HH=H-H根据对称性，把*和Y互换得H=HH=H-H(3)根据对称性，得根据对称

5、性得2.17 设信源发出二次扩展消息,其中第一个符号为A、B、C三种消息，第二个符号为D、E、F、G四种消息，概率和如下：ABC 1/2 1/3 1/6D 1/4 3/10 1/6E 1/4 1/5 1/2F 1/4 1/5 1/6G 1/4 3/10 1/6求二次扩展信源的联合熵。解：联合概率为可得*,Y的联合概率分布如下：ABCD 1/8 1/10 1/36E 1/8 1/15 1/12F 1/8 1/15 1/36G 1/8 1/10 1/36所以2.19 设*离散平稳信源，概率空间为并设信源发出的符号只与前一个相邻符号有关，其联合概率为如下表所示：0120 1/4 1/1801 1/1

6、8 1/3 1/1820 1/18 7/36求信源的信息熵、条件熵与联合熵，并比拟信息熵与条件熵的大小。解：边缘分布为条件概率如下表：0120 9/11 1/801 2/11 3/4 2/920 1/8 7/9所以信源熵为条件熵：可知因为无条件熵不小于条件熵，也可以得出如上结论。联合熵：说明：1符号之间的相互依赖性造成了信源的条件熵比信源熵少。2联合熵表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为原因在于考虑了符号间的统计相关性，平均每个符号的不确定度就会小于不考虑符号相关性的不确定度。2.20 黑白气象 图的消息只有黑色B和白色W两种，即信源，设黑色出现的概率为

7、，白色的出现概率为。1假设图上黑白消息出现前后没有关联，求熵2假设图上黑白消息出现前后有关联，其依赖关系为，求此一阶马尔可夫信源的熵。3分别求上述两种信源的剩余度，并比拟和的大小，试说明其物理意义。解：1假设 图上黑白消息没有关联，则等效于一个DMS，则信源概率空间为信源熵为2该一阶马尔可夫信源的状态空间集为根据题意可得状态的一步转移矩阵状态极限概率满足即可以解得，该一阶马尔可夫信源的熵为3黑白消息信源的剩余度为一阶马尔可夫信源的剩余度为由前两小题中计算的和比拟可知该结果说明：当信源的消息符号之间有依赖时，信源输出消息的不确定性降低。所以，信源消息之间有依赖时信源熵小于信源消息之间无依赖时信源

8、熵。这说明信源熵反映了信源的平均不确定性的大小。而信源剩余度反映了信源消息依赖关系的强弱，剩余度越大，信源消息之间依赖关系就越大。2.23 设信源为试求：信源的熵、信息含量效率以及冗余度；求二次和三次扩展信源的概率空间和熵。解：1假设*为DMS，则可得二次扩展信源的概率空间2次扩展信源的熵为三次扩展信源的概率空间及熵为2.18 设有一个信源，它产生0，1符号的信息。它在任意时间而且不管以前发生过什么符号，均按的概率发出符号。1试问这个信源是否是平稳的？2试计算,及；3试计算并写出信源中可能有的所有符号。解：该信源在任何时刻发出的符号概率都是一样的，即信源发出符号概率分布与时间起点无关，因此这个

9、信源是平稳信源。又因为信源发出的符号之间彼此独立。所以该信源也是离散无记忆信源。2信源无记忆3信源无记忆的所有符号：2.23 设信源为试求：信源的熵、信息含量效率以及冗余度；求二次和三次扩展信源的概率空间和熵。解：1假设*为DMS，则可得二次扩展信源的概率空间2次扩展信源的熵为三次扩展信源的概率空间及熵为2.25 设连续随机变量*的概率密度函数为求*的熵；求的熵；求的熵。解：1因为所以故2首先求得Y的分布函数Y的概率密度为Y的微分熵为令因为*，关于Y没有不确定，常数A不会增加不确定度，所以从熵的概念上也可判断此时3首先求得Y的分布函数Y的概率密度为Y的微分熵为令3.2 信道线图如下，试确定该信

10、道的转移概率矩阵 解：按照转移矩阵的排列原则：行对应输入符号，列对应输出符号3.3 的转移矩阵如下1画出信道线图；2假设输入概率为，求联合概率、输出概率以及后验概率。解：12乘以的第1行，乘以的第2行，得联合概率矩阵：的各列元素相加得对应的输出概率，写成矩阵形式：的各列元素除以对应的输出概率，得后验概率矩阵：3.4 设离散无记忆信源通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为试求：1信源的符号和分别含有的自信息；2从输出符号所获得的关于输入符号的信息量；3信源和信道输出的熵；4信道疑义度和噪声熵；5从信道输出中获得的平均互信息量。解：(1) /符号/符号 (2)=/符号 =/

11、符号 =/符号=/符号(3) /符号/符号(4)、(5)/符号/符号/符号/符号又根据 =/符号3.6 举出以下信道的实例，给出线图和转移矩阵。1无损的，但不是确定的，也不是对称的；2准对称且无损，但不是确定的；3无损确实定信道。解：(1) 满足无损，(不确定)，不具有行列排列性，线图和转移矩阵如下(2) 无损要求；不确定要求，具有行排列性，线图和转移矩阵如下：(3) 无损、确定信道的线图和转移矩阵如下3.7 求以下两个信道的信道容量和最正确输入分布，并加以比拟。其中。解：方法一：利用一般DMC信道容量解的充要条件，计算各偏互信息，并使之均等于信道容量C，再结合输出概率的完备性，可以解出信道容

12、量，最后利用全概率公式得出最正确输入分布。该方法通用，但过程繁琐。方法二：观察发现此信道是准对称信道。信道矩阵中可划分为二个互不相交的子集，如下：，而这两个子矩阵满足对称性，因此，可直接利用准对称信道的信道容量公式进展计算。其中n=2, ，, ，所以输入等概率分布时到达信道容量。2此信道也是准对称信道，现采用准对称信道的信道容量公式进展计算。此信道矩阵中可划分成两个互不相交的子集为，这两矩阵为对称矩阵。其中 n=2， ，所以输入等概率分布时到达此信道容量。两个信道的噪声熵相等但第二个信道的输出符号个数较多，输出熵较大，故信道容量也较大。3.8 求以下二个信道的信道容量及其最正确的输入概率分布。

13、解：图中2个信道的信道矩阵为矩阵为行列排列阵，其满足对称性，所以这两信道是对称离散信道。由对称离散信道的信道容量公式得 比特/符号特/符号最正确输入分布是输入为等概率分布。3.9 设信道转移矩阵为1求信道容量和最正确输入分布的一般表达式；2当和时，信道容量分别为多少？并针对计算结果作一些说明。解：1该信道属一般信道，设最正确输入分布为，三个输入概率外加信道容量，共4个参数，需列4个方程。由定理3.6，有化简得解得转移概率，输出分布已求出，根据可求出。解得2 当p=0,此信道为一一对应信道，得 bit/信道符号，最正确输入分布为当时，=1 bit/信道符号，最正确输入分布为，p=0时，信道为确定无损信道，可以从输出端得到信源的全部信息量，信源的最大熵即为信道容量。但时，信道存在干