信息理论与编码课后答案吕锋王虹着.pdf

第一章 教材习题第一章 教材习题 1.1. 试述信息与知识、消息和信号之间的区别与联系，并举例说明。 1.2. 详述钟义信先生的信息定义体系。 1.3. 试查阅文献，说明信息具有哪些特征和性质？ 1.4. 说明通信系统模型由哪几部分组成，并详细讨论每一部分的功能。 1.5. 试述信息论的研究内容？ 第二章 教材习题第二章 教材习题 信源模型信源模型信源模型信源模型 2.1 试简述信源分类以及各种信源特点。 信息的描述信息的描述信息的描述信息的描述 2.2 在非理想观察模型中，存在哪些不确定性，它们与信息有何关系？ 不确定性与信息不确定性与信息不确定性与信息不确定性与信息 2.3 一副充分洗乱的牌（含 52 张） ，试问： （1）任一特定排列所给出的不确定性是多少？ （2）随机抽取 13 张牌，13 张牌的点数互不相同时的不确定性是多少？ 2.4 同时扔出两个正常的骰子，也就是各面呈现的概率都是 1/6，求： （1）“3 和 5 同时出现”这事件的自信息量。 （2）“两个 1 同时出现”这事件的自信息量。 （3）两个点数的各种组合（无序对）的统计平均自信息量。 （4）两个点数之和（即 2，3，12 构成的子集）的熵。 （5）两个点数中至少有一个是 1 的自信息量。 2.5 设在一只布袋中装有 100 只对人手的感觉完全相同的木球，每只上涂有 1 种颜色。100 只球的颜色有下列三种情况： （1） 红色球和白色球各 50 只； （2） 红色球 99 只，白色球 1 只； （3） 红，黄，蓝，白色各 25 只。 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 2.8 大量统计表明，男性红绿色盲的发病率为 7%，女性发病率为 0.5%，如果你问一位男 同志是否为红绿色盲，他回答“是”或“否”。 （1）这二个回答中各含多少信息量? （2）平均每个回答中含有多少信息量? （3）如果你问一位女同志，则答案中含有的平均信息量是多少? 联合熵和条件熵联合熵和条件熵联合熵和条件熵联合熵和条件熵 2.9 任意三个离散随机变量X、Y和Z，求证： ()()()()H XYZH XYH XZH X。 平均互信息及其性质平均互信息及其性质平均互信息及其性质平均互信息及其性质 2.11 设随机变量 12 ,0,1Xx x=和 12 ,0,1Yy y=的联合概率空间为 11122122 ( ,)( ,)(,)(,) 1 83 83 81 8 XY XYx yx yxyxy P = 定义一个新随机变量ZXY=（普通乘积） 。 （1）计算熵()H X、( )H Y、( )H Z、()H XZ、()H YZ以及()H XYZ； （2）计算条件熵(|)H X Y、(|)H Y X、(|)H X Z、(|)H Z X、(|)H Y Z、(|)H Z Y、 (|)H X YZ、(|)H Y XZ以及(|)H Z XY； （3）计算互信息量(; )I X Y、(;)I X Z、( ;)I Y Z、(;|)I X Y Z、( ;|)I Y Z X以及 (;|)I X Z Y； 2.12 任意三个离散随机变量X、Y和Z，求证： ()()(|)( ;|)H XYZH XZH Y XI Z Y X=+ 离散无记忆信源的扩展离散无记忆信源的扩展离散无记忆信源的扩展离散无记忆信源的扩展 2.16 每帧电视图像可看成是由 3105个独立变化的像素组成的， 每个像素又取 128 个不同 的亮度电平，并设亮度电平是等概出现的。 （1）问每帧图像含有多少信息量？（2）现假设有一 个广播员，在约 10000 个汉字中选 1000 个字来口述这一电视图像，试问广播员描述此图像所广 播的信息量是多少？假设汉字字汇是等概分布的，并且彼此无依赖。 （3）试问若要恰当地描述 此帧图像，广播员在口述中至少需要多少个汉字？ 离散平稳信源的熵离散平稳信源的熵离散平稳信源的熵离散平稳信源的熵 2.18 设有一个信源，它产生 0，1 序列的信息。它在任意时间而且不论以前发生过什么符 号，均按(0)0.4, (1)0.6pp=的概率发出符号。 （1）试问这个信源是否是平稳的？ （2）试计算 2 ()H X, 312 ()H XX X及H； （3）试计算 4 ()H X并写出 4 X信源中可能有的所有符号。 马尔可夫信源的信息熵马尔可夫信源的信息熵马尔可夫信源的信息熵马尔可夫信源的信息熵 2.20 黑白气象传真图的消息只有黑色和白色两种，即信源黑，白=X，设黑色出现的概 率为3 . 0)(=黑P，白色的出现概率为7 . 0)(=白P。 （1）假设图上黑白消息出现前后没有关联，求熵)(XH （2）假设图上黑白消息出现前后有关联，其依赖关系为9 . 0)|(=白白P，1 . 0)|(=白黑P， 2 . 0)|(=黑白P，8 . 0)|(=黑黑P，求此一阶马尔可夫信源的熵)( 2 XH。 （3）比较)(XH和)( 2 XH的大小，试说明其物理意义。 2.22 设有一个马尔科夫链的一步转移概率矩阵为 012 0 0 0 0 0 0 0 0 0 0 0 0 qpqpqpqp qpqpqpqp qpqpqpqp 试计算： （1）该马尔科夫链的二步转移概率矩阵； （2）平稳后状态“0“，“1“，“2“的极限概率。 离散信源的信息率和信息含量效率离散信源的信息率和信息含量效率离散信源的信息率和信息含量效率离散信源的信息率和信息含量效率 2.23 设信源为 4 3 4 1 = 21 xx P X X 试求： （1） 信源的熵、信息含量效率以及冗余度； （2） 求二次和三次扩展信源的概率空间和熵。 连续随机变量的熵和平均互信息量连续随机变量的熵和平均互信息量连续随机变量的熵和平均互信息量连续随机变量的熵和平均互信息量 2.25 设连续随即变量 X 的概率密度函数为 其他 axbx xfX 0 0 =)( 2 （1）求X的微分熵； （2）求)0(+=AAXY的微分熵； （3）求XY2=的微分熵。 第三章 教材习题第三章 教材习题 信道模型与信道分类信道模型与信道分类信道模型与信道分类信道模型与信道分类 3.1 试说明信道分类以及不同信道的特点 离散无记忆信道的数学模型离散无记忆信道的数学模型离散无记忆信道的数学模型离散无记忆信道的数学模型 3.2 信道线图如下，试确定该信道的转移概率矩阵 d c a b j i h f g e 0.0001 0.0009 0.1 5 0.3 0.0 4 0.0 0 9 2.0 3.0 3.0 1 5.0 0 4.0 0 0 9.0 0009.0 0001.0 2.0 3.0 概率的计算问题概率的计算问题概率的计算问题概率的计算问题 3.3DMC的转移矩阵如下 | 0.60.30.1 0.30.10.6 Y X P = （1）画出信道线图； （2）若输入概率为 0.50.5 X P=，求联合概率、输出概率以及后验概率。 信道的疑义度、散布度和平均互信息信道的疑义度、散布度和平均互信息信道的疑义度、散布度和平均互信息信道的疑义度、散布度和平均互信息 3.4 设离散无记忆信源X通过离散无记忆信道 | , Y X X PY传送信息， 设信源的概率分布和 信道的线图分别为 = 4 . 06 . 0 21 aa P X 1 a 2 a 1 b 2 b 0.8 0.9 0.2 0.1 试求： （1）信源X的符号 1 a和 2 a分别含有的自信息； （2）从输出符号(1,2) j bj=所获得的关于输入符号(1,2) i a i=的信息量； （3）信源X和信道输出Y的熵； （4）信道疑义度(|)H X Y和噪声熵(|)H Y X； （5）从信道输出Y中获得的平均互信息量。 信道容量信道容量信道容量信道容量 3.7 求下列两个信道的信道容量和最佳输入分布，并加以比较。其中1=+pp。 2 (1) 2 pp pp 20 02 )2( pp pp 3.8 求下列二个信道的信道容量及其最佳的输入概率分布。 1 a 2 a 1 b 2 b 3 b 4 b 1 3 1 6 1 3 1 6 1 6 1 6 1 3 1 3 1 a 2 a 1 b 2 b 0.98 0.02 0.98 0.02 3.12 二元删除信道有两个输入：0，1 和 3 个输出：0，1，E，其中E表示可检出但无法 纠正的错误。信道的转移概率是 () 0 01p= ()0p E=()100p= () 010p=()1p E=()111p= 求信道容量C。 3.13 试推导出准对称信道的信道容量的一般表达式。 扩展信道及其信道容量扩展信道及其信道容量扩展信道及其信道容量扩展信道及其信道容量 3.14 设DMCDMCDMCDMC的转移矩阵分别为 12 1 | 2 0.90.1 (1) 0.10.9 Y X bb a P a = 求 2 次和 3 次扩展信道的转移矩阵。 信道的组合信道的组合信道的组合信道的组合 3.16 把n个二元对称信道串接起来，每个二元对称信道的错误传递概率为p。证明这n个 串接信道可以等效于一个二元对称信道，其错误传递概为 1 1 (1 2 ) 2 n p。并证明 0 lim (;)0 n n I XX =，设0p或 1，信道的串接如图题 3.2 所示。 二 元 对 称 信 道1 0 X 1 X 二 元 对 称 信 道22 X 二 元 对 称 信 道n n X 图题 3.2 串接二元对称信道 信源与信道的匹配信源与信道的匹配信源与信道的匹配信源与信道的匹配 3.17 设二元对称信道的输入概率分布为 3 41 4 X P=，转移矩阵为 | 2 31 3 1 32 3 Y X P = （1）求信道输入熵、输出熵、损失熵、噪声熵以及平均互信息量； （2）求信道容量和最佳输入分布； （3）求信道剩余度。 连续信道及其信道容量连续信道及其信道容量连续信道及其信道容量连续信道及其信道容量 3.19 设一时间离散、幅度连续的无记忆信道的输入是一个零均值、方差为 E 的高斯随机变 量，信道噪声为加性高斯噪声，方差为 2 1W=，信道的符号传输速率为r= 8 000 符号/秒。 如令一路电话通过该信道，电话机产生的信息率为 64 kbps，求输入信号功率E的最小值。 波形信道及其信道容量波形信道及其信道容量波形信道及其信道容量波形信道及其信道容量 3.21 设在平均功率受限高斯可加波形信道中，信道带宽为 3kHz，又设（信号功率+噪声功 率）/噪声功率=10 dB。 （1）试计算该信道传送的最大信息率（单位时间） 。 （2）若功率信噪比降为 5dB，要达到相同的最大信息传输率，信道带宽应是多少。 第第 4 4 4 4 章 教材习题章 教材习题 信源编码概论信源编码概论信源编码概论信源编码概论 4.1 设 DMS 的概率空间为 1234 1 21 41 81 8 U Uuuuu P = 对其单个符号进行二进制编码，即码元集合为0,1X=。 定义编码f为 2111 2222 2333 2444 ()0 ,1 ()10 ,2 ()110 ,3 ()111,4 f uwl f uwl f uwl f uwl = = = = 试计算（1）该信源的熵( )H U； （2）由码字构成的新信源W的熵()H W； （3）由码元0,1构 成的新信源X的熵()H X； （4）信息率R； （5）编码效率 c ； （6）码的冗余度 c 码的唯一可译性码的唯一可译性码的唯一可译性码的唯一可译性 4.3 对信源U编出了六种不同的码，如下表所示。 （1）这六 种 码 分别是什么码？ 哪 些 码是 UDC？ （2）分别 求 出 各码的平均码长。 4.4对于二进制码， 若 码 长集合分别为 （1） 1,2,2,3； （2）1,2,3,3。 问：是否存在满足码长集合的非续长码？若存在，试借助码树给出实例。 定长编码定长编码定长编码定长编码 4.7 设 DMS 为 123456 0.370.250.180.100.070.03 U Uuuuuuu P = 用二元符号表 12 0,1Xxx=对其进行定长编码。 （1）求无失真定长编码的最小码长和编码效率； （2）将编码器输出视为新信源X，求()H X； （3）若所编的码为000,001,010,011,100,101，求编码器输出码元的一维概率分布 1 ()P x和 2 ()P x； （4） 12 () (), ()H XH P xP x=吗？为什么？ 4.8 信源同 4.7 题，采用二元定长编码，若引入失真，要求差错率为 6 10 e P =，编码效率 为 90%，则需要对多长的信源符号序列进行编码？ 变长编码方法变长编码方法变长编码方法变长编码方法 U ( ) i P u 1 W 2 W 3 W 4 W 5 W 6 W 1 u 2 u 3 u 4 u 5 u 6 u 1 2 1 4 1 8 1 16 1 32 1 32 000 001 010 011 100 101 0 01 011 0111 01111 011111 0 10 110 1110 11110 111110 0 10 110 1110 1011 1101 0 10 1100 1101 1100 1111 0 100 101 110 111 011 4.10 设信源为 12345678 0.220.200.180.150.100.080.050.02 U Uuuuuuuuu P = （1）进行二进制霍夫曼编码，求平均码长和编码效率； （2）进行三进制霍夫曼编码，求平均码长和编码效率。 4.12 设信源为 123 0.50.30.2 U Uuuu P = （1）进行二进制霍夫曼编码，求平均码长和编码效率； （2）对信源的二元符号序列进行二进制霍夫曼编码，求平均码长和编码效率。 4.16 对信源 12345678 ( )1 41 41 81 8116116116116 Uuuuuuuuu P U = 进行费诺编码并计算信源熵、平均码长以及编码效率。 4.17 对信源 1234567 ( )0.200.190.180.170.150.100.01 Uuuuuuuu P U = 进行香农编码并计算平均码长和平均信息传输率。 几种实用的无失真信源编码几种实用的无失真信源编码几种实用的无失真信源编码几种实用的无失真信源编码 4.18 某一页传真文件的一扫描行的像素分布如下: |85 白7 黑33 白728 黑875 白 试确定: (1) 该扫描行的 MH 码； (2) 本行编码的压缩比。 第 5 章 教材习题第 5 章 教材习题 译码规则与错误概率译码规则与错误概率译码规则与错误概率译码规则与错误概率 5.1 已知信道矩阵 P P P P和两种不同的译码函数 F1和 F2， 求相应与 F1和 F2的平均错误概率 e P。 = 4 .03 .03 .0 5 .03 .02 .0 2 .03 .05 .0 P ，F1： ( ) ( ) ( ) = = = 23 32 11 abF abF abF ，F2： ( ) () () 11 22 33 F ba F ba F ba = = = 两种典型的译码规则两种典型的译码规则两种典型的译码规则两种典型的译码规则 5.3 设有 DMCDMCDMCDMC 其转移矩阵如下 = 216131 312161 613121 XY P 若信道输入概率为25. 025. 05 . 0= X P，试确定最佳译码规则和极大似然译码 规则并计算出相应的平均差错率。 平均差错率与信道编码平均差错率与信道编码平均差错率与信道编码平均差错率与信道编码 5.5 设信源有M个消息符号，将每个符号编码成N长的二进制码字，码字从个N长二 进制序列中独立、等概地选出，若采用极大似然译码规则，试分别求取