信息论复习习题

1、1、求基本高斯信源的差熵。（10分）2、一个随机变量的概率密度函数为，。试求该信源的相对熵。3、黑白气象传真图的消息只有黑色和白色两种，即信源，设黑色的出现概率为，白色的出现概率为。（1）假设图上黑白消息出现前后没有关联，求熵。（2）假设消息前后有关联，其依赖关系为，求此平稳离散信源的熵。（3）分别求上述两种信源的剩余度，比较和的大小。4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。6、若信道的输入和输出分别是长序列和，且信道是无记忆的，则 ，这里和分别是序列和中第位随机变量；并且证明当且仅当信源

2、也是无记忆信源时等号成立。7、有一并联高斯加性信道，各子信道的噪声均值为0，方差为：=，=，=，=，=，=，=，=，=，=（）。输入信号是10个相互统计独立、均值为0、方差为的高斯变量，且满足：。求各子信道的信号功率分配方案。8、给定语音信号样值的概率密度函数为，求，并比较与具有同样方差的正态变量的连续熵的大小。9、某二元信源，其失真矩阵定义为，求该信源的，和该信源的信息率失真函数。10、设连续信源，其概率密度函数为，失真度为，试求此信源的函数。11、一个二进制非等概信源，符号集，试验信道输出符号集，失真函数为汉明失真。求该信源的信息率失真函数。12、设一个四元等概信源，接收符号集为，失真矩阵

3、定义为，求，及信源的函数，并作出率失真函数曲线（取4到5个点）。13、信源符号有6种字母，概率为，。(1) 求符号熵。(2) 用香农编码法编成二进制变长码，计算其编码效率。(3) 用费诺编码法编成二进制变长码，计算其编码效率。(4) 用霍夫曼编码法编成二进制变长码，计算其编码效率。(5) 用霍夫曼编码法编成三进制变长码，计算其编码效率。14、信源符号有6种字母，概率为，。a) 求符号熵。b) 用香农编码法编成二进制变长码，计算其编码效率。c) 用费诺编码法编成二进制变长码，计算其编码效率。d) 用霍夫曼编码法编成二进制变长码，计算其编码效率。e) 用霍夫曼编码法编成三进制变长码，计算其编码效率

4、。15、有一个n元等概率、平稳无记忆信源，接收符号集为，且规定失真矩阵为求率失真函数。16、设高斯信源的概率密度函数为且失真函数定义为差方失真，。求该信源的率失真函数的香农下限。17、设有多维无记忆加性连续信道，输入信号序列为：，输出信号序列为：，其噪声为高斯噪声，噪声序列中的各分量是均值为0，方差为的高斯噪声，分两种情况计算其信道容量： （1）在各单元时刻（）上的噪声都是均值为0、方差为的高斯噪声； （2）在各单元时刻（）上的噪声都是均值为0、方差为的高斯噪声，但输入信号的总平均功率受限，其约束条件为：18、设二进制对称信道的转移概率矩阵为 （1）若，求，和；（2）求该信道的信道容量及其达到

5、信道容量时的输入概率分布。19、某信源发送端有两个符号：，每秒发出一个符号。接收端有三种符号：，转移概率矩阵 （1）计算接收端的平均不确定性；（2）计算由于噪声产生的不确定性；（3）计算信道容量。20、在干扰离散信道上传输符号1和0，在传输过程中每100个符号发生一个错传的符号。已知，信道每秒内允许传输1000个符号。求此信道的容量。21、发送端有三种等概率符号，接收端收到三种符号，信道转移概率矩阵为（1）计算接收端收到一个符号后得到的信息量；（2）计算噪声熵；（3）计算接收端收到一个符号的错误概率；（4）计算从接收端看的平均错误概率；（5）计算从发送端看的平均错误概率；（6）从转移矩阵中能看

6、出该信道的好坏吗（7）计算发送端的和。22、设无记忆信源，接收符号集，失真矩阵，试求：和及达到、时的转移概率矩阵。23、已知二元信源以及失真矩阵，试求：（1）；（2）；（3）。24、某信源有8个符号，概率分别为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，试编成这样的码：000，001，010，011，100，101，110，111的码。求（1）信源的符号熵。（2）出现一个1或一个0的概率。（3）这种码的编码效率。（4）相应的香农码及其编码效率。（5）相应的费诺码及其编码效率。25、已知符号集合为无限离散消息集合，它们出现的概率分别为，等。（1）用香农编码方法写出各个符号消息的码字。（2）计算码字的平均信息传输速率；（3）计算信源编码效率。26、已知一信源包含8个消息符号，其出现的概率为。（1）若该信源在每秒内发出一