信息与编码复习总结

1、第一章n 信息是关于事物运动状态或存在方式的不确定性的描述。抽象的、非物理的，是信息的哲学层表达。n 消息是指包含信息的语言、文字、符号、数据、图像等。消息是信息的载体。是具体的、非物理的形式 ，是信息的数学层表达n 信号：运用声、光、电等物理量来运载信息。信号是载荷信息的实体，是具体的、物理的形式，是信息的物理层表达n 信息是具体信号与消息的内涵，是信号载荷的内容，是消息描述的对象。n 反过来，信号则是信息在物理表达上的外延，消息则是信息在数学表达上的外延。同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息。n 消息是信息

2、的数学载体、信号是信息的物理载体 通信系统的模型例题： 一个布袋中包含100个球，其中80个红球，20个白球。 （1）随机地抽取一个球观察颜色后放回布袋，则出现白球的概率多少？（2）随机抽取一个球，记录颜色后不放回布袋，接着再取一球记录颜色，试问如果第一个是红球，第二个分别是红球和白球的概率？（3）随机抽取一个球，记录颜色后不放回布袋，试问，取出两个球，先后是白球和红球的概率？（1）解: 设 Wi =第i次取出是白球, i=1,2, 2）解: 设 Wi =第i次取出是白球, i=1,2, Rj=第j次取出是红球， j=1,2, （3）解: 设 Wi =第i次取出是白球, i=1,2, Rj=第

3、j次取出是红球， j=1,2, nn 1、信源编码的主要目的是提高_ 有效性_， 信道编码的主要目的是提高_可靠性_。n 2、根据是否允许失真，信源编码可分为_无失真信源编码_和_限失真信源编码_。n 3、如果从随机不确定性的角度来定义信息，信息反映的_不确定性_消除量。n 4、简述信息、消息与信号3个名词n 5、给出通信系统的基本模型，并说明各组成部分的含义。n 6、简述通信系统的性能指标，并说明通过什么渠道优化这些性能指标。有效性信源编码可靠性信道编码安全性加密编码第二章l 按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为_和_两大类。 习题2-1,习题2-2n 1、掷

4、两粒骰子，当点数之和为5时，该消息包含的信息量是_bit。 n 2、从大量统计资料知道，女性色盲发病率为0.5%，如果你问一位女士：“你是否是色盲？”她的回答可能是“是”，可能是“否”，问 （1）这两个回答中各含多少信息量？ （2）平均每个回答中含有多少信息量？解：教材39页 2-2 , 2-5,2-7,2-15第二章复习（1）信息是可以定量描述的，可以比较大小。由概率决定；（2）对应特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量；（3）可通过对信源的观察、测量获得信息，以减少对信源的不确定度；（4）考虑信源符号概率分布和符号之间的相关性，信源不确定度会下降； （5）通过传输，

5、信宿可以得到信息I(X;Y)，从而减小对信源的不确定度：H(X/Y)=H(X)-I(X;Y)（6）信息通过系统传输，只会丢失信息，不会增加。丢失部分H(X/Y)是由噪声引起的。1、一维连续随机变量X在a，b区间内均匀分布时，其信源熵为_。 2、分别说明下列表达式的含义。 （1）自信息量 （2）熵 （3）联合熵 （4）平均互信息量 （5）条件熵4、简述最大离散熵定理 5、简述数据处理定理 6、一阶马尔可夫信源的状态图如图所示，信源X的符号集为（0，1，2）。（1）求信源平稳后的概率分布P(0)，P(1)，P(2)；（2）求此信源的极限熵。 有 1、设信道输入X=3,1,1，输出Y=1，1，2，

6、规定失真函数为 则失真矩阵D=_。 2、分别说明下列表达式的含义。（1）信息率失真函数R（D）；（2）信道容量C。 第五章分组码：每个符号序列依照固定的码表映射成一个码字。定长码：码中所有码字的长度都相同。 变长码：码中的码字长短不一。 非奇异码：信源符号和码字是一一对应。奇异码：信源符号和码字不是一一对应。唯一可译码：任意有限长的码元序列，只能被唯一地分割成一个个的码字。 即时码：在唯一可译码中有一类码，它在译码时无须参考后继的码符号就能立即做出判断，译成对应的信源符号。 非即时码：接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码。 解（1）（2）信源

7、消息符号xi 符号概率p(xi) 累加概率Pi -logp(xi) 码字长度ki 码字x1 1/20110x2 1/41/22210x3 1/83/433110x4 1/167/8441110x5 1/3215/165511110x6 1/6431/3266111110x7 1/12863/64771111110x8 1/128127/128771111111（3）xi p(xi) 编码码字码字长度ki x1 1/2001x2 1/410102x3 1/8101103x4 1/161011104x5 1/3210111105x6 1/64101111106x7 1/1281011111107x

8、8 1/1281111111174）在编r元哈夫曼码时，信源符号m要满足m=(r-1)n+r，其中m为任意正整数，n表示缩减的次数。 本题中r =3（三进制），所以m=(r-1)n +r =2n +3，取n=3，则m=9。xi p(xi) 编码码字码字长度ki x1 1/21/21/21/2001x2 1/41/41/41/4121x3 1/81/81/801/42102x4 1/161/161/161122x5 1/321/3201/1621103x6 1/641/6411123x7 1/12801/64211104x8 1/128111114x9 02o 设一个三状态马尔可夫信源X=a1,

9、a2,a3，其状态图如图所示。求（1）稳态下各状态概率Wi；（2）稳态下各字母ai出现的概率； （3）H(X|si);（4）H(X);（5）对各状态sj求Huffman编码；（6）计算平均码长。 解：（1）稳态下个状态概率（2）稳态下各字母ai出现的概率（3）（4）（5）在状态s1下的Huffman编码符号概率Huffman编码码字码长a1 1/21/2011a2 1/401/21002a3 1/41012在状态s2下的Huffman编码符号概率Huffman编码码字码长a2 1/2001a3 1/2111在状态s3下一定发出a1，无需编码（6）平均码长1、m元惟一可译码存在的充要条件是各码字的长度ki符合克劳夫特不等式_。 2、R(D)是_参数，它是满足D准则下平均传送每信源符号的所需的最_比特数，因此只要信息率_信息率失真函数，则一定存在一种编码方法，其译码失真满足要求。 第六章n 1、设一个(7,4)分组码的生成矩阵为 求该码的全部码字n 2、某分组码的校验矩阵为求：n （1）n=? , k=?, 该码的码字有多少个？n （2）该码的生成矩阵G？n （3）矢量010111和100011是否是码字？n 3、某码空间的生成矩阵为 校验矩阵为_, 码集中有_个码字, 伴随式有_个，信息组（110）对应的