信息论基础》试卷(期末A卷

1、信息论基础答案一、填空题(本大题共 10小空，每小空1分，共20分)1.按信源发岀符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无 记忆信源两大类。2. 一个八进制信源的最大熵为3bit/符号X3.有一信源X,其概率分布为PX1X2 X31 1,其信源剩余度为94.64%;若对该信源进4 4行十次扩展，则每十个符号的平均信息量是15bit。4. 若一连续消息通过放大器， 该放大器输出的最大瞬间电压为 b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是；其能在每个自由度熵的最大熵是 Iog (b-a) bit/自由度；若放大器的最高频率为F ,则单位时间内输出

2、的最大信息量是2Flog ( b-a) bit/s.5. 若某一信源X ,其平均功率受限为16w ,其概率密度函数是高斯分布时，差熵的最大值为1log32 e ；与其熵相等的非高斯分布信源的功率为16w26、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。7、 无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/Iogr= H (S)。8、当R=C或(信道剩余度为 0)时，信源与信道达到匹配。9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。10、 在下面空格中选择填入数学符号“，”或“”(1) 当 X 和 Y 相互独立时，H (XY) =H(X)+H

3、(X/Y)。(2) 假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y) 0, H(YX)=0,l(X;Y)VH(X)。二、掷两粒骰子，各面岀现的概率都是1/6 ,计算信息量：1.当点数和为3时，该消息包含的信息量是多少？2.当点数和为7是，该消息包含的信息量是多少？3.两个点数中没有一个是1的自信息是多少？解：1.P (“点数和为 3”)=P ( 1,2 ) + P (1,2 ) =1/36+1/36=1/18则该消息包含的信息量是：I=-IogP （“点数和为3”）=log18=4.17bit2.P (“点数和为 7”)=P ( 1,6 ) + P (6,1 ) + P

4、( 5,2 ) + P ( 2,5 ) + P (3,4 ) + P (4,3 ) =1/366=1/6则该消息包含的信息量是：I=-IogP (“点数和为7”)=Iog6=2.585bit3.P (“两个点数没有一个是1 ”)=1-P (“两个点数中至少有一个是1”)=1-P(1,1or1,jori,1)=1-(136+536+536)=2536则该消息包含的信息量是：I=-logP （“两个点数中没有一个是1”）=log2536=0.53bit-1或1的概率相等。定义另一个二元随机变(Y;Z);三、设X、Y是两个相互统计独立的二元随机变量，其取 量z,取Z=YX （一般乘积）。试计算:1.

5、H (Y、H( Z); 2.H (XY、H( YZ ； 3.I(X;Y )、解：1. H (Y)2P (yi ) logP (y)i 1-log12 2-log12 2=1bit/符号Q Z=YX而且X和Y相互独立P(Z1 = 1) =P(Y=I) P(X 1) P(Y 1)P(X1I)=(Z2=-1 )=P(Y=I) P(X 1) P(Y1) P(X 1)=故 H(Z)=P(Zi)IOg P(Zi) =1bit/符号2.从上式可以看出:Y与X的联合概率分布为：P(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.25XP(E1)P(E2)P(E3)P(E1)P(E1) 1P(E

6、2) 7P(E3) 2(,丄,O) + ?H(1, I)2 274 2 4H(YZ)=H(X)+H(Y)=1+ 仁 2bit符号3. QX与Y相互独立，故 H(XY)=H(X)=1bit/ 符号I (X;Y) =H(X)-H(XIY)=I-仁Obit/符号;I(Y;Z)=H(Y)-H(YIZ)=H(Y)-H(YZ)-H(Z)=0 bit/符号四、如图所示为一个三状态马尔科夫信源的转移概率矩阵1102211P=-0 1.绘制状态转移图；2.求该马尔科夫信源的稳态分布；3.求极限熵;22111424解：1.状态转移图如右图32.由公式P(Ej)P(Ei) P(EjIEi),可得其三个状态的稳态概率

7、为:i 11 11-P(EI)-P(E2)-P(E3)2 24112 P(E2)2 P(E3)11-P(EI)尹但)P(E2) P(E3)13.其极限熵：3 3112=3 1+2 1+277781.5= bit/ 付号=-i1P(Ei)HCXEi)=7 HC咛 +711. 该信道的转移概率矩阵P；2.信道疑义度H( XlY) ；3.该信道的信道容量以及其输入概率分布解：1.该转移概率矩阵为0.90.1P=0.10.92. 根据P (XY) =P (Y|X) P (X)，可得联合概率P (XY)YYX=09/401/40X=13/4027/40P(Y=i)12/4028/40由 P (X|Y)

8、=P(XIY)/P(Y)可得P(XIY)Y=0Y=1X=03/41/28X=11/427/28H(XIY)=-P(Xiyj)log P(XiIyj) =0.09+012+0.15+0035=04bit/ 符号i，j3.该信道是对称信道，其容量为:C=IOgS-H=Iog2-H(0.9,0.1 )=1-0.469=0.531bit/ 符号01这时，输入符号服从等概率分布，即P(X)6六、某信道的转移矩阵0.6 0.3 0.10P0.3 0.600.1试求：该信道的信道容量及其最佳输入概率分布。解：该信道是准对称信道，分解为两个互不相交的子信道矩阵0.60.30.30.60.10N10.9N20.

9、1这里0 0.1M10.9 M20.1C=Iogr-H（P的行矢量）N K log M Kk 1H （0.6，0.3，0.1） 0.9Iog0.9-0.1 log 0.1 =0.174bit/符号这时，输入端符号服从等概率分布，即P（X）011七、信源符号X有六种字母，概率为 0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼编码法编成二进制变长码，写岀编码过程并计算其平均码长、编码后的信息传输率和编码效率解：码字00101101001100111该信源在编码之前的信源熵为:H(S)P(Xi) 0g P(i) =0.526+0.481+0.445+0.423+0.292+0.186i 1=2.353bit/ 符号编码后的平均码长：L (0.320.220.18) 20.16 3(0.080.04) 4=2.4 码元/信源符号编码后的信息传输率为：r H(S)2.353R -0.98bit/ 码元L2.4编码效率为：RH(S) 0.98RmaXL log r八、设在平均功率受限的高斯可加波形信道中，信道带宽为3KHz,又设信噪比为101. 试计算该信道传达的最大信息率(单位时间)；2. 若功率信噪比降为5dB，要达到相同的最大信息传输率，信道带宽是多少？解：