信息论第2章作业

1、19第2章作业1 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？2 居住在某地区的女孩中有25%是大学生,在大学生中有75%是身高1.6以上的，而女孩中身高1.6米以上的占总数一半.假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解： 信息量：比特3 设离散无记忆信源，其发出的消息为（202120130213001203210110321010021032011223210），求（1） 求每个符号的自信息量；（2） 若信源发出一消息符号序列为(202 120 130

2、213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。4 有一信源输出X0,1,2，其概率为p0=1/4，p1=1/4，p2=1/2。设计两个独立实验去观察它，其结果为Y10,1和Y20,1。已知条件概率为P(Y1|X)01P(Y2|X)0101001010111021/21/2201求：1) I(X;Y1)和I(X;Y2)，并判断哪一个实验好些。2) I(X;Y1,Y2)，并计算做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得多少关于X的信息。3) I(X;Y1/Y2)和I(X;Y2/Y1)，

3、并解释它们的含义。解：（1） 类似的 =0.5bit/sym I(X;Y1)= =0.5 bit/sym =0 bit/sym I(X;Y1)= =1bit/sym I(X;Y1)<I(X;Y2),故第二次试验更好，因为获得的信息量更多。（2）因为Y1和Y2相互独立 类似地得出Y1和Y2的联合概率分布由P(XY1Y2)=P(X)P(Y1Y2X)= P(X) P(Y1X) P(Y2X)，得出X和Y1Y2的联合概率分布Y1Y2010 1XY1Y2 010010Y1和Y2的联合概率分布2X和Y1Y2的联合概率分布 =-4·log=2bit/sym =-4·log=2bit/

4、sym=H(,)=1.5bit/sym =1.5+2-2=1.5bit/sym- I(X;Y1)=1.5-0.5=1 bit/sym- I(X;Y2)=1.5-1=0.5 bit/sym故做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得1 bit/sym和0.5 bit/sym。（3）= = =0.5 bit/sym同理，得出=1 bit/sym结果说明，在做完实验Y1或Y2的条件下再做第二个实验，并没有获得更多的信息，因为Y1和Y2相互独立，没有任何关联。 5 为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A,01代表B,10代表C,11代

5、表D。每个二元码脉冲宽度为5ms。（1） 不同字母等概率出现时，计算传输的平均信息速率？（2） 若每个字母出现的概率分别为pA=1/5，pB=1/4，pC=1/4，pD=3/10，试计算传输的平均信息速率？(1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2 平均信息传递速率为=2bit/ms=200bit/s (2) 信源熵为 H(X)= 传输的平均信息速率为 =0.198bit/ms=198bit/s6 （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素

6、和10个不同亮度电平，设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现，求传送此图像所需的信息率（bit/s）。（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。解：（1）需要5×105个像素和10个不同亮度电平，则可能出现的不同画面为每个画面等概率出现，P=1/每帧图像的熵 H(X)= Log()=5×Log10=1.66×比特传送此图像所需的信息率： 30×H(X)=4.98×比特/秒（2）彩色系统，要求三十个不同色彩度，

7、则有可能出现的不同画面为每个画面等概率出现，P=1/每帧图像的熵 H(X)= Log()=5×Log300 传送此图像所需的信息率： 30H(X)=1.234×比特/秒 故传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。7 设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6概率发出符号。（1）试问这个信源是否平稳的？（2）试计算H()，H(X3/ X1 X2)及HN(X)。（3）试计算H()并写出信源中可能有的所有符号。解：(1) 这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发

8、生过什么符号”(2) (3) 8 给定语声样值X的概率密度为求HC(X)，并证明它小于同样方差的正态变量的微分熵。解： =（奈特/符号）同样方差的正态变量的微分熵 H(X)= HC(X)< H(X),故证明HC(X)小于同样方差的正态变量的微分熵9 设两连续随机变量X和Y，它们的联合概率密度是均值为零，协方差矩阵为C的正态分布，在下列几种情况下，计算I(X;Y)：（1）r1；（2）r0；（3）r1。10若有二个串接的离散信道，它们的信道矩阵都是设第一个信道的输入符号Xa1,a2,a3,a4是等概率分布，输出符号用Z表示。第二个信道输出用Y表示。求I(X;Z)和I(X;Y)，并加以比较。解

9、：11有一个一阶平稳马尔可夫链X1，X2,Xr，各Xr取值于集合A=a1,a2,a3。已知起始概率p(Xr)为p1=1/2，p2=p3=1/4，转移概率如下。 ji12311/21/41/422/301/332/31/30（1）求(X1,X2,X3)的联合熵和平均符号熵。（2）求这个链的极限平均符号熵。（3）求H0，H1，H2和它们所对应的冗余度。 11设有一个马尔可夫信源，它的状态集为s1,s2,s3，符号集为a1,a2,a3，及在某状态下发符号的概率为P(ak/ si)(i,k=1,2,3),如图所示。 a3:1/2a2:1/2a1:1a3:1/4a2:1/4a1:1/2S1S2S3（1）

10、求出图中马尔可夫信源的状态极限概率并找出符号的极限概率。（2）计算信源处在某一状态下输出符号的条件熵H(X/S=j)(j= s1,s2,s3)。（3）求出马尔可夫信源熵。 12黑白气象传真图的消息只有黑色和白色两种，即信源X=黑,白，设黑色出现的概率P(黑)=0.3，白色出现的概率P(白)=0.7。 (1)设图上黑白消息出现前后没有联系，求熵H(X)； (2)假设消息出现前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2； (3)分别求上述两种信源的剩余度，并比较H(X)和H2的大小，并说明其物理意义。解:(1) (2) =0.553bit/symbol(3) 信源一的冗余度 R1=1-=1-= 信源二的冗余度 R2=1-=0 H(X)> H2 , 表示的物理含义是：无记