信息论与编码理论-第3章信道容量-习题解答

1、第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为解: (1) 若，求和。(2)求该信道的信道容量及其达到信道容量时的输入概率分布。二进制对称信息的信道容量BSC信道达到信道容量时，输入为等概率分布，即：0.5，0.5注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。第一种：无噪无损信道，其概率转移矩阵为：信道容量： bit/符号离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量， bit/符号输入最佳概率分布如下：第二种：无噪有损信道，其概率转移矩阵为：，离散输入信道， H(Y)输出为等概率分布时可达到最大值，此值就是信道容量此时最佳输入概率：信道容量

2、： bit/符号第三种：有噪无损信道，由图可知：输入为等概率分布时可达到信道容量，此时信道容量 bit/符号 输入最佳概率分布：3-3 设4元删除信道的输入量，输出量，转移概率为 其中1）该信道是对称DMC信道吗？2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。（1）本通信过程的转移概率分布如下所示： 可以分解为两个矩阵： 可以看出该信道不是对称DMC信道，它是准对称DMC信道。（2）该信道的信道容量为：（直接套用准对称信道计算公式）（3）两个独立并联的二元删除信道其转移概率如下：可以写成：的形式独立并联的二元信道的信道容量为两个信道容量的和。其信道容量为： b

3、it/符号两个独立并联和删除信道的信道容量=2C= bit/符号本信道的信道容量与两个并联删除信道信道容量相等。3-4 设BSC信道的转移概率矩阵为1）写出信息熵和条件熵的关于和表达式，其中。2）根据的变化曲线，定性分析信道的容道容量，并说明当的信道容量。解：（1）设输入信号的概率颁布是p,1-p（2）的变化曲线，是一个上凸函数，当输入等概率分布时达到信道容量。由于函数H（）是一个凸函数，有一个性质：可知：假设时此信道是一个二元对称信道，转移概率分布为：信道容量：3-5 求下列两个信道的容量，并加以比较。 第一个：可以写成：与 bit/符号第二个：与两个对称形式bit/符号所以：信道一的信道容

4、量大于信道二的信道容量，信道容量的不增性。3-6设信道前向转移概率矩阵为1）求信道容量和最佳输入概率分布的一般表达式；2）当和时，信道容量分别为多少？并针对计算结果做出说明。（1）此信道为非对称信道，设输入概率分布为：输出概率分布为：把C对P1，P2，P3 分别求导：，可得：可得： P2 = P3 可以解得：最佳输入概率分布的表达式为：设则（2）p=0时，是一个对称信道，当输入等概率分布时可以达到信道容量，输入转移概率为N=3，所以 bit/符号（3）p=1/2时，可得N=4， bit/符号3-7设BSC信道的前向转移概率矩阵为设该信道以1500个二元符号秒的速度传输输入符号，现在一消息序列共

5、有14000个二元符号，并设在这消息中，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传输完。解：BSC信道，且输入为等概率，信道容量 bit/符号14000个二元符号的信息量为：14000比特所以10秒内不能无失真的传输完。3-8 有个离散信道，转移概率矩阵分别为。由这个离散信道组成一个新信道，称为和信道，其转移概率矩阵为：设是第个离散信道的信道容量。试证明：和信道的信道容量为此时第个信道的使用概率为。解：m=2时,转移矩阵变为: ，设两个信道的信道容量分别为：，信道的利用率分别为：，并行信道，有C=C1+C2分别对C1，C2进行求导可得： 可得：令，可得：依次类推，可得：3-

6、9 求个相同的BSC级联信道的信道容量。解：N个相同BSC级联，设级联后：N为偶数时：N为奇数时：可知本信道等同于BSC信道，可得出： bit/符号3-10 电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB，试计算在这些条件下传送电视的视频信号所需的带宽。解：1秒内可以传送的信息量为：3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度WHz的加性高斯白噪声的干扰，信息传输速率kbit/s，信号功率W。1）若信道带宽无约束，求信道容量；解：带限的加性高斯白噪声波形信道的信道容量为无带宽约束时：2）若信道的频率范围为0到3KHz，求信道容量和系统的频带利用率（bps/Hz）(注：为系统带宽)；对同样的频带利用率，保证系统可靠传输所需的