信息论基础与编码课后题答案(第三章)

信息论基础与编码课后题答案(第三章)3-1设有一离散无记忆信源，其概率空间为，信源发出符号通过一干扰信道，接收符号为，信道传递矩阵为，求：（1）信源中事件和分别含有的自信息量；（2）收到消息（j＝1，2）后，获得的关于（i＝1，2）的信息量；（3）信源和信宿的信息熵；（4）信道疑义度和噪声熵；（5）接收到消息后获得的平均互信息量。解：（1）（2），，，（3）（4）（5）3-2设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。证明：信道传输矩阵为：，信源信宿概率分布为：，H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)-H(Y/X)=2-1.79=0.21（bit/符号）3-3已知信源包含两种消息：，且，信道是有扰的，信宿收到的消息集合包含。给定信道矩阵为：，求平均互信息。解：I(X;Y)=H(X)+H(Y)-H(XY)H(X)=1bit/符号,H(Y)=0.93bit/符号,H(XY)=1.34bit/符号,I(X;Y)=0.59bit/符号。列无失真地传送完。3-8有一离散信道，其信道转移概率如题图3-8所示，试求：（1）信道容量C；（2）若＝0，求信道容量。题图3-8解：（1）（2）若，则3-9设离散信道矩阵为：，求信道容量C。解：C＝0.041（bit/符号）。3-10若有一离散非对称信道，其信道转移概率如题图3-10所示。试求：题图3-10（1）信道容量；（2）若将两个同样信道串接，求串接后的转移概率；（3）求串接后信道的信道容量。答案：（1）此信道转移概率矩阵，信道容量＝0.0487bit/符号；（2）串接后的转移概率矩阵；（3）串接后信道的信道容量＝0.0033bit/符号。3-11设有一离散级联信道如题图3-11所示。试求：题图3-11（1）与间的信道容量；（2）与间的信道容量；（3）与间的信道容量及其输入分布。答案：（1）（2）＝0.75（bit/符号）（3）X、Z间信道转移概率矩阵为它是准对称信道，当输入等概率分布时达到信道容量。＝{0.5,0.5}3-12若有两个串接的离散信道，它们的信道矩阵都是：，并设第一个信道的输入符号是等概率分布，求和并加以比较。解：串接后信道矩阵为，比特/符号，比特/符号可见，3-13若，，是三个随机变量，试证明：；；,当且仅当（）是马氏链时等式成立。3-14若三个离散随机变量有如下关系：，其中和相互独立，试证明：；；；；。3-15把个二元对称信道串接起来，每个二元对称信道的错误传递概率为。证明这个串接信道可以等效于一个二元对称信道，其错误传递概率为。并证明：，设，信道的串接如题图3-15所示。题图3-15证明：当＝1时，，当＝2时，，错误传递概率为：。当考虑三个二元对称信道串接，得用数学归纳法可证明：3-16有一信源发出恒定宽度，但不同幅度的脉冲，幅度值处在和之间。此信源连至某信道，信道接收端接收脉冲的幅度处在和之间。已知随机变量和的联合概率密度函数试计算，，和。答案：，，，。X与Y统计独立。3-17设某连续信道，其特性如下：而信道输入变量的概率密度函数为：试计算：（1）信源的熵；（2）平均互信息。答案：（1）X是正态分布的，均值为零，方差为。（2）=0.208比特3-18设加性高斯白噪声信道中，信道带宽为3kHz，又设{（信号功率＋噪声功率）/噪声功率}＝10dB。试计算该信道传送的最大信息率（单位时间）；若功率信噪比降为5dB，要达到相同的最大信息传输率，信道带宽应是多少？解：（1），即：，又已知信道带宽为3KHz，由香农公式得：，此即为信道传送的最大信息率。（2）若，即，此时要达到相同的最大信息传输率，设带宽为，由香农公式得：，计算得：。3-19设电话信号的信息率为56kbit/s，在一个噪声功率谱为、限频F、限输入功率P的高斯信道中传送，若F＝4kHz，问无差错传输所需的最小功率P是多少W？若，则P是多少W？解：（1）（2）3-20