信息论与编码习题课新课件

信息、消息、信号的定义？三者的关系？通信系统的模型？各个主要功能模块及作用？

第一章

第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法?冗余度?具有概率为的符号自信息量：条件自信息量：平均自信息量、平均不确定度、信源熵：条件熵：联合熵：互信息：熵的基本性质：非负性、对称性、确定性(2)

(3)两个点数的排列如下：共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是111213141516212223242526313233343536414243444546515253545556616263646566(4)两个点数求和的概率分布如下：(5)包含1的组合：{(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和，就有：平均每个符号携带的信息量为bit/符号2.8

试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息：{0,1,2,3}

八进制脉冲可以表示8个不同的消息：{0,1,2,3,4,5,6,7}

二进制脉冲可以表示2个不同的消息：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量八进制脉冲的平均信息量二进制脉冲的平均信息量所以，四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2-9

国际莫尔斯电码用点和划的序列发送英文字母，划用连续三个单位的电流脉冲表示，点用持续一个单位的电流脉冲表示。其划出现的概率是点出现概率的1/3，计算：（1）点和划的信息量；（2）点和划的平均信息量。“－”出现的概率是

解：

“”出现概率的1/3

(1)I()＝bit

I()=(2)H=

bitBit/符号

(3)P(黑/白)=

P(白/白)=

H(Y/白)=

(4)

H(Y)=2-14在一个二进制信道中，信源消息，且p(1)=p(0),信宿的消息,信道传输概率，（1）在接收端收到y=0后，所提供的关于传输消息x的平均条件互信息量I(X;y=0);（2）该情况所能提供的平均互信息量I(X;Y)。。求：解：(1)

P(i，j)=

P(i/j)=2-15已知信源发出a1和a2两种消息，p(a1)=p(a2)=1/2,此消息在二进制对称信道上传输，信道传输特性为。求互信息量I(a1;b1)和I(a1;b2)。解：信道转移概率矩阵为P(bj/ai)=

p222.17每帧电视图像可以认为是由

个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：（1）2-26一个信源发出二重符号序列消息（X1，X2),其中第一个符号X1可以是A,B,C中的一个，第二个符号X2可以是D,E,F,G中的一个。已知各个为p(A)=1/2,p(B)=1/3,p(C)=1/6;各个值列成如下。求这个信源的熵（联合熵H(X1，X2)）。

A

BCD1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6解：

P(i)=

P(i，j)=第三章信道容量的定义：无噪无损离散信道：对称DMC信道、准对称DMC信道的定义？对称DMC信道：准对称DMC信道：（连续信道）香农公式：二元对称信道：（2）其最佳输入分布为3.3

在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。解：由题意可知该二元信道的转移概率矩阵为：为一个BSC信道所以由BSC信道的信道容量计算公式得到：

解：(1)

（2）联合概率后验概率

H(Y/X)==bit/symbol（3）当接收为，发为时正确，如果发的是则为错误，各自的概率为：则错误概率为：（4）从接收端看平均错误概率为：（5）从发送端看的平均错误概率为：（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。（7）bit/symbol

H(X/Y)=bit/symbol3-10

一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？解：（1）

（2）（3）

3-12

有一个二元对称信道，其信道转移概率如下图所示，该信道以1500个二元符号/s的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中p(0)=p(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解：信道容量由于为1bit,14000个符号14000bit的信息，传输14000bit的信息需要时间不能无失真的传输，每个二元符号的信息量失真函数：第四章平均失真：信息率失真函数R(D)：R(D)函数的定义域：

R(D)函数的性质：下凸性、连续性、单调递减性信息率失真函数与信道容量的比较。4-1设有一个二元等概率信源,，通过一个二进制对称信道（BSC）。其失真函数与信道转移概率分别定义为

，

试求失真矩阵d和平均失真。解：由题意得，失真矩阵为d，信道转移概率矩阵为P平均失真为

4-3

设输入符号与输出符号X和Y均取值于{0,1,2,3}，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为求以及相应的编码器转移概率矩阵。解：由题意，得

则这时信源无失真，0→0,1→1,2→2,3→3，相应的编码器转移概率矩阵为

则

此时输出概率分布可有多种，其中一种为：p(0)=1,p(1)=p(2)=p(3)=0则相应的编码器转移概率矩阵为p764-5

具有符号集的二元信源，信源发生概率为：所示，接收符号集，转移概率为：。发出符号与接收符号的失真：。。Z信道如下图（1）计算平均失真（2）率失真函数R(D)的最大值是什么？当q为什么值时可达到该最大值？此时平均失真D是多大？（3）率失真函数R(D)的最小值是什么？当q为什么值时可达到该最小值？此时平均失真D是多大？；（4）画出R(D)-D的曲线。解：由题意，知失真矩阵为d转移概率矩阵为（1）平均失真（2）此时的平均失真当q=0时，

容易看出当此时的平均失真D=q(1-p)=1-p

时，minR(D)=0（3）

（4）R(D)-D曲线第五章信源编码主要内容：能够分辨码字的类型；掌握计算码长、编码效率；掌握几种常用的信源编码方法：香农编码、费诺编码和哈夫曼编码。具有概率为的符号自信息量：条件自信息量：平均自信息量、平均不确定度、信源熵：条件熵：联合熵：