信息论基础-练习与思考2

子曰：“不愤不启，不悱不发，举一隅不以三隅反，则不复也”

－孔子2/7/20231信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号。单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为Ct实际是信道的最大信息传输速率。第三章总结2/7/20232求信道容量的方法当信道特性p(yj/xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后，C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；信道容量是完全描述信道特性的参量；信道容量是信道能够传送的最大信息量。2/7/20233香农公式说明当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。当信道频带无限时，其信道容量与信号功率成正比。2/7/20234香农公式限频带(W)、限时(T)条件下的信源通过一个限功率(PN)的白色高斯信道，其信道容量为它指出了信号间各物理量参量之间的辨证关系，它为一些不同的通信体制提供了基本原理。用频带换取信噪比，它是现代扩频通信的基本原理其目的是为了提高通信系统的可靠性。如果在通信中信噪比成为主要矛盾时，而信号带宽有富余，往往就可以采用带宽换取信噪比的办法提高通信的可靠性。现代移动通信中常采用伪码直接扩频，跳频编码等扩展频谱手段，提高可靠性等。用信噪比换频带，它是多进制多电平多维星座调制通信方式的基本原理在优质信道中，信噪比有富余，而使用的频带进展，这时可用信噪比换频带。比如在光缆信道，卫星和微波接力等较优质信道中，常常采用的多进制、多电平、多维星座调制就是基于这一原理。2/7/20235香农公式用时间换取信噪比，它是弱信号累积接收的基本原理在深空通信中，往往利用这一原理传送信息。它是利用信号与干扰统计特性上的差异来实现的。比如，在深空通信中，噪声很强，它可以远远高于信号强度。但是由于信号是规则的，它可以按时间积累线性增长，然而，噪声是随机的，其增长速率远低于信号的线性增长，随着时间的积累，信号由弱变强，而噪声由强变弱，从而可以提高信噪比实现弱信号的累积接收。用时间换取频带在一些特殊需要的情况下，比如可以采用频带很窄的电话线路，传送准活动的图像。2/7/20236信道编码定理：若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息率R<C，总可以找到一种编码，当L足够长时，译码差错概率Pe<ε，ε为任意大于零的正数。反之，当R>C时，任何编码的Pe必大于零，当L→∞，Pe→1。信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。2/7/20237习题13.1.设信源通过一干扰信道，接收符号为Y=[y1,y2],信道传递概率如下图所示。求①信源X中事件x1和x2分别含有的信息量。②收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。③信源X和信源Y的信息熵。④信道疑义度H(X/Y)和噪声熵H(Y/X)。⑤接收到消息Y后获得的平均互信息。2/7/20238习题1解答：互信息可以为正值也可以为负值，负值表明由于噪声的存在，接收到一个消息后，对另一个消息是否出现的不确定性反而增加了。2/7/20239习题1解答：2/7/202310习题23.3.设二元对称信道的传递概率为①若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。②求该信道的信道容量及达到信道容量时的输入概率分布。2/7/202311习题22/7/202312习题33.9.有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？2/7/202313习题3解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。下面计算该二元对称信道能传输的最大的信息传输速率：信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol2/7/202314习题3得最大信息传输速率为：Rt≈1500符号/秒×0.8586比特/符号≈1287.9比特/秒≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10×Rt

≈1.288×104比特可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。2/7/202315习题43.10.求下图中信道的信道容量及其最佳的输入概率分布。（a）(b)2/7/202316习题4解答：图中两个信道的信道矩阵分别为均满足对称性，所以这两个信道是对称离散信道。由对称离散信道的信道容量公式得：最佳输入分布（即达到信道容量的输入分布）是等概率分布2/7/202317习题53.12.求下图中信道的信道容量及其最佳的输入概率分布。并求当ε=0和1/2时的信道容量C。2/7/202318习题5解答：图中信道的信道矩阵如下此信道为一般信道。2/7/202319习题52/7/202320习题52/7/202321习题66.5设一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。若消息从放大器中输出，问放大器输出消息在每个自由度上的最大熵是多少？又放大器的带宽为F,问单位时间内输出最大信息量是多少？2/7/202322习题6解答：已知幅度受限的连续随机变量的概率密度函数为均匀分布时其熵最大。所以，放大器输出消息的最大熵比特/自由度

因为放大器的带宽为F,则取样率为2F。那么，放大器在单位时间内输出的消息有2F个自由度，单位时间内输出的最大信息量为：比特/秒2/7/202323习题76.9设连续随机变量X,已知X≥0,其平均值受限，即数学期望为A,试求在此条件下获得最大熵的最佳分布，并求出最大熵。2/7/202324习题72/7/202325习题86.24.在图片传输中，每帧约为2.25×106个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30db）。2/7/202326习题8解答：每秒需传送的信息率为信道的信噪功率比为，所以2/7/202327习题96.25.设在平均功率受限高斯加性噪声连续信道中，信道带宽为3KHZ，又设（信号功率＋噪声功率）/噪声功率＝10db。(1)试计算该信道传送的最大信息率（单位时间）(2)若（信号功率＋噪声功率）/噪声功率降为5db，要达到相同的最大信息传输率，信道带宽应是多少？2/7/202328习题9解答：(1)平均功率受限高斯加性连续信道，W为3KHz,10log10(1+PS/PN)=101+PS/PN=10

2/7/202329练习题1若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？2/7/202330练习题12/7/202331练习题2设有一离散级联信道如下图所示：试求(1)X与Y之间的信道容量C1

(2)Y与Z之间的信道容量C2

(3)X与Z之间的信道容量C3，及其输入分布2/7/202332练习题22/7/2023333.设电话信号的信息率为5.6×104比特/秒，在一个噪声功率谱为N0=5×10-6mW/Hz、限频F、限输入功率P的高斯信道中传送，若F=4kHz,问无差错传输所需的最小功率P是多少W?若F趋于无穷大时，则P是多少瓦？练习题32/7/202334练习题32/7/202335练习题44.若有一限频