研究生《信息处理与编码》课程综合试题.doc

研究生信息处理与编码课程综合试题专业： 姓名： 学号： 一、 设信源通过一干扰信道，接收符号为，信道传递概率如下图所示。求：X1X2Y1Y25/61/41/63/4（1） 信源X中事件X1和X2分别含有的自信息。（2） 收到消息yj (j=1,2) 后，获得关于xi (i=1,2)的信息量。（3） 信源X和信源Y的信息熵。（4） 信道疑义度H(H|Y)和噪声熵H(Y|X)。（5） 接收到消息Y后获得的平均互信息。解：（1）自信息： 0.51 1.74（2）互信息量：依题意有：由求出各联合概率： =0.7= =0.7= =0.3= =0.3=又由 得到Y集各消息概率：又由求X的各后验概率: =则： = 0.04= 0.11= 0.20= 0.38（3）信源熵：； 联合熵： 0.880.70 = 1.58（4）信道疑义度或 则：= 0.87噪声熵或 则：= 0.70（5）平均互信息量：或 则：= 0.01 二、 某信源有8个符号X1.X8，概率分别为1/2、1/4、1/8、1/16、1/32、1/64、1/128、1/128，编程这样的码：000、001、010、011、100、101、110、111。计算：（1） 信源的符号熵H(X)；（2） 出现一个“1”或“0”的概率；（3） 这样的码的编码效率；（4） 相应的香浓码和费诺码；（5） 相应的香浓码和费诺码的编码效率。解：（1）信源熵 = 1.98（2）将信源输出的符号按照固定的规则进行变换，即：出现一个“0”的概率p0=p(011)+p(101)+P(110)= 1/16+ 1/64+ 1/128=11/128出现一个“1”的概率p1= p(001)+p(010)+P(100)= 1/4+ 1/8+ 1/32=13/32（3）编码效率:，信源熵，平均码长，m码字序列符号进制数；二元编码效率：；平均码长：依题意有：此编码是二元编码，所以= 3（码元/符号）则：=1.98 / 3= 0.66（比特/码元） （4）香农码编码过程如下： 1) 将信源符号按概率从大到小的顺序排列：p(x1)p(x2) p(xn)2) 确定下列不等式的整数码长Ki: -logp(xi)Ki-logp(xi)+1以 i=3 为例：3 k34，所以取 k3=3。同理可求得Ki。3）令P(x0)=0,为编成唯一可译码,计算第i个信息的累加概率：4）将累加概率pi变成二进制数以 x3 为例：0.125 2 = 0.25 0 ； 0. 25 2 = 0.5 0 ；0. 5 2 = 1.00 1 ；有001，又k3=3，则码字为001。同理可求得各二进制码字。5）取pi二进制数的小数点后Ki位即为该消息的二进制码字。香农码编码结果如下表：信源消息符号xi符号概率p(xi)累加概率pi-logp(xi)码字长度 Ki码 字X11/20110X21/41/22210X31/83/433110X41/167/8441110X51/3215/165511110X61/6431/3266111110X71/12863/64771111110X81/128127/128771111111费诺码编码过程如下：1）将信源消息符号按其出现概率大小依次排列：p(x1)p(x2) p(xn)2）将依次排列的信源符号按概率值分两大组,对各组赋予一个二进制元码0、1；3）将每一大组的信源符号进一步分组,使划分后的两组概率和近于相同并又赋两组0、1；4）如此重复,至两组只剩下一个信源符号为止；5）信源符号所对应的码字即为费诺码。费诺码编码结果如下表：信源符号xi符号概率p(xi)第一次分组第二次分组第三次分组第四次分组第五次分组第六次分组第七次分组二元码字码长KiX11/2001X21/410102X31/8101103X41/161011104X51/3210111105X61/64101111106X71/1281011111107X81/128111111117（5）由于；香农码编码中：= 1.984375= 1.984375 得：= 1费诺码编码中：= 1.984375= 1.984375 得：= 1三、 哈夫曼编码：有一个包含7个消息的离散无记忆信源，其概率分布如下表，然后进行编码，并计算信源熵、平均码长和平均信息传输率。消息符号x1x2x3x4x5x6X7概率p(xi)0.1040.2180.1670.1890.1290.0630.130- log2 p(xi)3.2652.1983.2242.4042.9552.9892.943码长ni4232343码 字001010000110110011010信源熵 2.719 平均码长 2.760 平均信息传输率 2.7192.76 = 0.985四、 有一个马尔可夫信源，已知转移概率为p(e1/e1)=2/3，p(e2/e1)=1/3，p(e1/e2)=1，p(e2/e2)=0。试画出状态转移图，并求出信源熵。解：依题意知道，该马尔可夫信源只有两个状态e1、e2 ，p(e1/e1)=2/3，p(e2/e1)=1/3，p(e1/e2)=1，p(e2/e2)=0，设状态集s: e1=0, e2=1，则可知：p(0/0)= p(e1/e1)=2/3，p(1/0)= p(e2/e1)=1/3，p(0/1)= p(e1/e2)=1，p(1/1)= p(e2/e2)=0。解析：如原来状态为0,则此时刻只可能发出符号0或1,下一时刻只能转移到0,1状态,由于处于0状态发符号0的概率为2/3,处在0状态时发符号1的概率