信息论与编码复习总结

1、信息论与编码复习总结题型：填空、解答、计算1、编码：无失真与限失真信源编码定理编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真三大定理：无失真信源编码定理（第一极限定理）（可逆）信道编码定理（第二极限定理）限失真信源编码定理（第三极限定理）（不可逆）Shannon（香农）信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论。通信系统模型方框图：信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁 波的空间等都是信道。也可以从信道的性质或其传送的信号情况来分类，例如： 无干扰信道和有干扰信道、恒参信道和变参信道、离散信道（Discrete Channel） 和连

2、续信道（Continuous Channel）单用户信道和多用户信道等。信源的描述：通过概率空间描述离散序列信源X = X = x2 X = xL以3位PCM信源为例*_X = 000 X = 001 X = 111p pl M.i pl平稳包含齐次，而齐次不包含平稳(重要，第二章计算题)定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，Pj称为平稳分布(如下)耽必=Pj7 0乃二2丹 2广1设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为w =p(s)2广1jWP - W W - w2 w2 wp自信息量的特性:p(xi)=1,I(xi)=0; p(Xj)=0,

3、I(Xj)=8；非负性；单调递减性；可加性;定义：联合概率空间中任一联合事件的联合(自)信息量为：岳为）=-logp（斗为）=log1Pxiyj）定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的 信息量定义互信息，单位为比特单符号离散信源互信息1() = log四坦=1箜些 p(x)p(x)p(y)ME _ %尤)pG)pO) 沁)p3)= iogP(件)二13；*)p(y)最大嫡定理平均每个符号炳(消息炳)%(X)二牛 H(X)J J例：一个无记忆信源，随机变量XGQ1),等概率 分布，若单个符号由现为一个时间A则 HX=lbit/符号口若以南个符号由现也二2、则随 机

4、序列 xe 00,01,10,11序列H(X)-2bit/序列，2bit才能表示该事件，信道模型：二进制离散信道BSC；离散无记忆信道DMC；波形信道香农公式r C = Flog(l += Flog(l + 53W?)香农限：1.6dB哪信源编码器的目的：是使编码后所需的信息传输率R尽量小。 信源编码：主要任务就是减少冗余，提高编码效率。唯一可译码：（任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码）0,10,11为唯一可译码，任意有限长码序列：100111000O（分类）即时码和非即时码唯一可译码存在的充分和必要条件各码字的长度皓应符合克劳夫特不等式， nj F 11=

5、1皿为信源符号数，m为进制教变长编码定理（解答，重要）1、平均码长：2、根据信源各个符号的统计特性，如概率大的符号用短码，概率小的用 较长的码，使得编码后平均码长降低，从而提高编码效率。（统计匹配）变长码要求编码效率96%时，序列长仅为2.随着L的增加，编码效率可接近1， 有效的利用信道问：小信号集如何实现统计匹配的变长编码？答：基本思想为扩张信源，以实现统计匹配哈夫曼编码（例题）（重要）哈夫曼码是即时码例：信源（u】，u2），对应概率为p1=2/3， p2=1/3，取L=1,2,3，分别进行二进制 哈夫曼编码。 L=1，编码 u130，u231，对应平均码长k1=1信源熵 H=0.9183b

6、it编码效率=0.9183 L=2，每次取两个消息，组成新的联合信源消息集概率编码u1u14/91U1U22/901u2u12/9000u2u21/9001平均码长k=0.944编码效率=0.9725L=3，三次扩展消息集概率编码u1u1u18/2701 U1U1U24/27000 U1U2U14/27001 U1U2U22/27100 U2U1U14/27110 U2U1U22/27111 U2U2U12/271010 U2U2U2平均码长k=0.93831/271011编码效率=0.9787纠错能力（汉明码）（重要）例42 （6罚线性分组码，其生成矩阵是G=1110 10求；110001

7、011101 计算裾集，列出信息组与码字的映射关系2）将该褐系统化处理后，计算系统码码集并列出映射关系。计算系统码的校验矩阵Ho若收褐r=10O11G,检验它是否玛字？（4）根据系统码生成矩阵画出编巧器电原理图。例&2.码集与映射关系信息码字系统码字000000000000000001011101001CHL010LL0001L011001110110001L101100LLL010Loom101LoomL0L10011000101111000111101011011101。Ge= 1 on 111(1；抨)010 1 1 0 (I)-b (2)+(3001011 +(2)GEIFLH二Pg三

8、个基底(loonijioi loj/ooioiq张成珥空间c, 另三个基底(1W100)/H10LO)X101001)张成对偶码空间D 成A1001 IDHT二001,不是码字6-2二元3)兹性分蛆肩第码署例6,4构造一个明=3的二元(7, 4)汉明码#解：先利用汉明码的特性构造一个(7, 4)汉明码的校验矩阵H,再通过列置换将它变为系统形式；0001111 曹置换 1 1 1 0 1H= 0 110011 n 0 1 1 1 jo 1 0 I = PT EI31 o i o i o i J , 11 o i b o ij再得生成炬阵G为.-1000101G =草 P = 0100 1110010110VO o o 1 0 1 1 J卷积码(编码一一状态图、网格图):卷积码网格图输入信息序列是10110-.,输出码字是111, 011, 110, 100, 010.第F分.阿格图第二部分.编码轨迹路径)图图6-20 （3,1,2）卷积码状态流图假如输入信息序列是 10110.,S。业LS?义凸