北航信息科学基础答案离散信源

3.1设有一离散无记忆信源，其概率空间为XP(X)X1=0X2=1X3=2X4XP(X)3/81/41/41/8该信源发出的信息序列为。求：此消息的自信息量是多少？此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是：848此消息的信息量是：I--logp=87.811bit⑵此消息中平均每符号携带的信息量是：I/n二87.811/45=1.951bit3.2某一无记忆信源的符号集为｛0,1｝，已知信源的概率空间为PLPLPL01PL011/43/4求信息符号的平均熵；⑵由100个符号构成的序列，求某一特定序列(例如有m个“0”和(100-m个“1”)的自信息量的表达式；⑶计算⑵中序列的熵。解：(1)H(X)H(X)=-'p(Xi)logp(x)H(X)=-'p(XH(X)=-'p(Xi)logp(x)^log--log-^-0.811bit4444I(xj二-logp(G二-log10^=41.51.585mbit4H(X100)=100H(X)=1000.811=81.1bit3.5某信源的消息符号集的概率分布和二进制代码如题表3.2所列题表3.2

信源UoU1U2U3P1/21/41/81/8代码010110111求信息的符号熵；求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序列中的一个二进制码的熵；当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率Po和Pi，求相邻码间的条件概率Po/1、P1/0、Pi/1、Po/o。解：(1)TOC\o"1-5"\h\zL(1111111H(X)-p(xjlogp(xjloglogloglog1.75bit^22448888)⑵1111L=E(lJ八p(xi)li12—3—3=1.75248811Hn(X)H(X)H(X)=1bitNL设消息序列长为设消息序列长为设消息序列长为N，则设消息序列长为N，则Lb、U1、U2、U3的个数分别为N/2,N/4,N/8,N/8个。而1的个数为N0N1而1的个数为N0N1N2一3=7—2因而Po=P1=0.51Po/1二P10/P1二彳Po/o二Poo/Po则0的个数为—1—1一1一0=——11P1/1=P11P1/1=P11/P1P1/1=P11/P1P1/0=P01/P1=4888123.7设有一个信源，它产生0,1序列的信息。该信源在任意时间而且不论以前发生过什么消息符号，均按P(0)P1/1=P11/P14888(1)试问这个信源是否是平稳的；

⑵试计算H(W),H(%/XiXO及吐；试计算出乂)并写出乂信源中可能有的所有符号。解：(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号⑵H(X2)=2H(X)—2(0.4log0.40.6log0.6)=1.942bitH(X3/X!X2)=H(X3)=p(xjlogp(xj(0.4log0.40.6log0.6)=0.971bitiH一一=limH(Xn/X.X2...XNJ二H(Xn)=0.971bit-N⑶H(X4)=4H(X)—4(0.4log0.40.6log0.6)=3.884bitX4的所有符号:0000000100100011010001010000000100100011010001010100010101100111100001000101011001111000100011003.11有一马尔可夫信源，已知转移概率为p(S!/S100011003.11有一马尔可夫信源，已知转移概率为p(S!/S1)=2/3，p(S2/S)=1/3，p(S/S2)=1，3.11有一马尔可夫信源，已知转移概率为p(S!/S1)=2/3，3.11有一马尔可夫信源，已知转移概率为p(S!/S1)=2/3，p(S2/S)=1/3，p(S/S2)=1，P0/S2)=0。试画出状态转移图，并求出信源熵。解：；p(S)=p(s)p(s/S)十p(S2)p(S/S2)・P(S2)=P(S2)P(S2/S2)+P(S)P(S2/S)「2p(SJ=：p(S)+p(S2)«31P(S2)=3p(S1)L-3彳P(S2)=£P(S1)P(S1)p(S2)=1「P(S1)=3/4用2)=1/4=-EEp(S)P(Sj/S)logp(Sj/S)ij22311loglog33433=0.689bit3.21黑白传真机的信息元只有黑色和白色两种X=｛黑，白｝，一般气象图上黑色出现的概率为P（黑）=0.3，白色出现的概率为P（白）=0.7，黑白消息前后没有关联，其转移概率为P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8。求该一阶马尔可夫信源的不确定性H（X/X），并画出该信源的状态转移图。解：3.21黑白传真机的信息元只有黑色和白色两种X=｛黑，白｝，一般气象图上黑色出现的概率为P（3.21黑白传真机的信息元只有黑色和白色两种X=｛黑，白｝，一般气象图上黑色出现的概率为P（黑）=0.3，白色出现的概率为P（白）=0.7，黑白消息前后没有关联，其转移概率为P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8。求该一阶马尔可夫信源的不确定性H（X/X），并画出该信源的状态转移图。解：門)*(3)卩心/3)+P(S2)P(S/S2)f(S2)=P(S2)P(S2/S2)+p(Sl)P(S2/Sl)/(SJ=0.8p(S)+0.1p(S2)f(S2)=0.9p(£)+0.2p(SJ；p(S2)=2p(SJiP(S**81)+p(S2)=〔「PG)=1/3f(S2)=2/3H：：-八-p(S」p(Sj/Si)logp(Sj/S)ij11223333p黑/黑)=0.8=0.553bit3.23设信源产生A,B,C三种符号p(B/B)=1/2，p(A/B)=p(C/B)=1/4，p(A/A)=5/8，p(B/A)=1/4，p(C/A)=1/8，p(C/C)=5/8，p(B/C)=1/4，p(A/C)=1/8。试计算冗余度。解：”P(Sa)=P(Sb)=P(Sc)jP(Sa)+p(Sb)+p(Sc)=1P(Sa)=1/3P(sb)=1/3P(Sc)=1/3TOC\o"1-5"\h\z333H^=—送送瓦p(e)p(ej/e)logp(ej/ejjk155111111loglogplog-IL38834438811,111,111,1+Xlog+Xlog+Xlog344322344111111155logloglog388344388=1.366bitr=1—H1-1.366=0.138Holog33.26一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0,1,2}（1）求平稳后信源的概率分布；⑵求信源的熵比。P（P（S1）“P（S2）P（S3）(1)TOC\o"1-5"\h\z1p(sj-p(S3)41P6)-P($)413P(S2)P(S3)34

p(Si)=p(S3)TOC\o"1-5"\h\z\3P(S2)P(Si)L4P(Si)P(S2)=4/11=3/11p(S3)=4/11⑵TOC\o"1-5"\h\z333H：：-八、、'p(e)p(ej/e)logp(ej/e)i