第三章总结与习题幻灯片.ppt

信道容量C 在信道中最大的信息传输速率 单位是比特 信道符号 单位时间的信道容量Ct 若信道平均传输一个符号需要t秒钟 则单位时间的信道容量为Ct实际是信道的最大信息传输速率 第三章总结 2020 2 28 1 求信道容量的方法当信道特性p yj xi 固定后 I X Y 随信源概率分布p xi 的变化而变化 调整p xi 在接收端就能获得不同的信息量 由平均互信息的性质已知 I X Y 是p xi 的上凸函数 因此总能找到一种概率分布p xi 即某一种信源 使信道所能传送的信息率为最大 C和Ct都是求平均互信息I X Y 的条件极大值问题 当输入信源概率分布p xi 调整好以后 C和Ct已与p xi 无关 而仅仅是信道转移概率的函数 只与信道统计特性有关 信道容量是完全描述信道特性的参量 信道容量是信道能够传送的最大信息量 2020 2 28 2 香农公式说明当信道容量一定时 增大信道带宽 可以降低对信噪功率比的要求 反之 当信道频带较窄时 可以通过提高信噪功率比来补偿 当信道频带无限时 其信道容量与信号功率成正比 2020 2 28 3 信道编码定理 若有一离散无记忆平稳信道 其容量为C 输入序列长度为L 只要待传送的信息率RC时 任何编码的Pe必大于零 当L Pe 1 信道编码定理说明 同无失真信源编码定理类似 信道编码定理也是一个理想编码的存在性定理 它指出信道容量是一个临界值 只要信息传输率不超过这个临界值 信道就可几乎无失真地把信息传送过去 否则就会产生失真 2020 2 28 4 习题1 3 1 设信源通过一干扰信道 接收符号为Y y1 y2 信道传递概率如下图所示 求 信源X中事件x1和x2分别含有的信息量 收到消息yj j 1 2 后 获得的关于xi i 1 2 的信息量 信源X和信源Y的信息熵 信道疑义度H X Y 和噪声熵H Y X 接收到消息Y后获得的平均互信息 2020 2 28 5 习题1 解答 互信息可以为正值也可以为负值 负值表明由于噪声的存在 接收到一个消息后 对另一个消息是否出现的不确定性反而增加了 2020 2 28 6 习题1 解答 2020 2 28 7 习题2 3 2 设二元对称信道的传递概率为 若P 0 3 4 P 1 1 4 求H X H X Y H Y X 和I X Y 求该信道的信道容量及达到信道容量时的输入概率分布 2020 2 28 8 习题2 2020 2 28 9 习题2 2020 2 28 10 习题3 3 3设有一批电阻 按阻值分70 是 30 是 按瓦分64 是1 8W 其余是1 4W 现已知阻值的电阻中80 是1 8W 问通过测量阻值可以得到的关于瓦数的平均信息量是多少 解 设随机变量X表示电阻的瓦数 Y表示电阻的阻值 则其概率分布为 已知 由概率的归一性 由 得 2020 2 28 11 习题3 2020 2 28 12 2020 2 28 13 2020 2 28 14 2020 2 28 15 2020 2 28 16 2020 2 28 17 2020 2 28 18 2020 2 28 19 3 2020 2 28 20 2020 2 28 21 2020 2 28 22 2020 2 28 23 2020 2 28 24 2020 2 28 25 2020 2 28 26 2020 2 28 27 2020 2 28 28 2020 2 28 29 2020 2 28 30 2020 2 28 31 2020 2 28 32 解 2020 2 28 33 2020 2 28 34 2020 2 28 35 2020 2 28 36 2020 2 28 37 2020 2 28 38 2020 2 28 39 2020 2 28 40 2020 2 28 41 2020 2 28 42 2020 2 28 43 2020 2 28 44 2020 2 28 45 2020 2 28 46 2020 2 28 47 2020 2 28 48 20