信息论与编码第五章

1、 无失真信源编码（无噪离散信道编码）无失真信源编码（无噪离散信道编码）的抗干扰能力很脆弱，如把信源编码器的输出直接接入信道，必然会因干扰造成错误，使通信不可靠，为了使通信既有效，又可靠，可在以缩短平均码长、提高通信有效性为主要目标的信源编码器的输出与信道的输入之间，对信源编码器输出的最佳码再进行一次编码，以提高其抗干扰能力，称为信道编码信道编码。第五章第五章 有噪信道编码有噪信道编码5.1 译码规则和平均错误概率 信源符号编码后经信道传输到达信道的输出端并不表示通信过程的终结，还要经过一个译码过程，或称判决过程，才能到达消息的终端（信宿），因此，采用什么样的译码规则，对通信系统的可靠性影响很大

2、。错误概率不仅与信道的统计特性有关也与译码的规则有关也与译码的规则有关。 1 / 3p p12 / 3p10031) 1|1()0|0(pbapbap一、译码规则 对于每一个输出符号确定一个唯一的输入符号与其对应（单值函数），即： 输出集上中有s种不同的符号，所以一个译码规则由q个译码函数值组成（一组），又因s个输出符号中的每一个都可以译成q个输入符号中的任何一个，所以其有qs种不同的译码规则可供选择，（从q个符号中每次取s个任意次序排列（可重复）。 q=2,s=2时：ijabf)(1,iqsj, 1(0)0:(1)0faf(0)0:(1)1fbf(0)1:(1)0fcf1) 1 (1)0(:

3、ffd二、平均错误概率 表示经译码后平均接收到一个符号所产生的错误大小。希望pe越小越好。/1(/)ejjijpp e bp ab ()/()(/)jjijrjp f bbp abp111()()()/()()/sssrjrjjjjjijjjjpp bpp bp f bbp bp ab111()() /()1 ()/()sssejejjjjjjjjjpp bpp bp e bp bp f bb5.2 最大后验概率译码准则如何选择译码规则 ，使 最小？ 式右边每一项都为最小， 肯定最小。 选择译码规则 使每一单个符号正确译码概率 为最大即可。 即：选择译码函数 并使之满足条件 对所有的 ， 这个

4、选择译码规则的原则就称为“最大后验概率译码准则”。 由于该准则把每一个输出符号都译成具有最大后验概率的那个输入符号，从而保证了 ijabf)(epepepijabf)()|()/()(jijjbapbbfp*)(abfj)|()|(*jijbapbapisj1mineepp逐列进行处理 准则告诉我们，要使平均错误译码概率 达到最小值，必须采用最大后验概率准则，而 即信源、信道特性都有关。如给定其中一种，就要变化另一种使 本身再减小，都给定则 定。 *min111() 1(/)()() (/)sssejjjjjjjjpp bp abp bp bp ab*1111*()()()qsssijjiji

5、jjjip abp a bp absjiijiabpap1*)/()(111121(|)(|)(|)(|)sqsqrap b ap baap b ap baaep)|()(minijieabpapp和与minepminep6.3 最大似然译码准则 如输入符号等概分布，有： 选择译码规则 称为最大似然译码准则，这样就不必把给定信道的前向概率换算成后验概率，再比较后验概率的大小来选择译码规则了。 )|()()|()(*ijijabpapabpap)|()|(*ijjabpabpri, 1)|(*abpjsj, 1min1*11*1( ) (|)(|)qqsseijijijijiipp a p ba

6、p bar 5.4 费诺不等式证明：如 ，则平均错误概率：左：右：) 1log()()|(rpphyxhee*)(abfjsjijiebapp1*)(sjijiebapp1*)(1eeeeeppppph11log)1 (1log)() 1log()(rpphee) 1log(11log)1 (1logrpppppeeeeeeeeeppprp11log)1 (1logesjiiiesjrijipbapprbap11log)(1log)(1*1*sjrijijibapbapyxh11)|(1log)()|(sjsjijijirijijibapbapbapbap11*1)|(1log)()|(1lo

7、g)() 1log()()|(rpphyxheesjsjijijirijijibapbapbapbap11*1)|(1log)()|(1log)(1*1*11() log() log1srsijiijijieerp abp abppsjsjijiejirijiejibappbapbaprpbap11*1)|(1log)()|() 1(log)(应用不等式 第一项即 第二项 即即： 证毕1log xx1)|() 1()|() 1(logjiejiebaprpbaprp111*()log()1(1) (|)(1) (|)srseeijijjijiijijppp abp abrp a brp a b

8、sjsjijierijijibaprpbapbap11*1)(1)|()(esepbprbprrp)() 1()() 1(110)()()() 1(121eeesepppbpbpbprrp1)|(1)|(1logjiejiebappbappsjsjijiejiijiejibappbapbappbap11*1)|(1)()|(1log)(sjsjijiiejijibappbapbap11*)()1 ()|()(0)1 ()1 ()()()(21eesppbpbpbp) 1log()()|(rpphyxhee不论采用什么译码规则，fano不等式普遍成立。 收到随机变量y后关于随机变量x的仍然存在的

9、平均不确定性 由两部分组成，第一部分是收到y后是否产生其值为pe的平均错误，译码概率的平均不确定性 ； 第二部分是产生值为pe的平均错误译码概率后，到底是哪个输入符号发送而造成的错误译码的不确定性，这个不确定性的最大值是 ，这是因为选 ，当收到任何一种 ，译成 ，只有当正好输入 时，才是正确译码，其它 个输入符号均为错误，而这 个其它输入符号出现的最大平均不确定性是（等概）。)|(yxh)(eph) 1log( rpeijabf)(jbiaia) 1( r) 1( r6.5 平均错误概率与编码方法 一般不等于0，靠选择译码规则的潜力已挖尽，需通过编码降低 本身的值。 重复编码：重复编码：min

10、epminep322222232222222321ppppppppppppppppppppppppppppaap000)100()010()001()000(15321affff46782(011)(101)(110)(111)111ffffa3222222381*min21)|(21ppppppppppppppabppjiije)01. 099. 0(3)01. 0(103323423ppp 假定单符号信道输入符号数为m，输入等概时，每个符号携带的最大平均信息量是logm,n次重复编码后每个码符号携带的平均信息量下降为： 比特/码符号。 ：研究通信的目的是希望通信既有效，又可靠，但这是一个矛

11、盾，希望找到一种更好的编码方法，使 最小错误概率相当小，而r却保持在一定的水平上。 分析一下几种情况：nmrlog rpe1、输入端只有2个消息（符号）且等概出现，则每个消息携带的信息量是 。2、简单重复三次后，（三次无记忆扩展信道），入端有 个二进序列，但只选其中两个作为消息，m2，每个消息携带的信息量仍为 ，但用三个符号, 符号。 3、如将入端8个序列作为8条消息，则每条消息的平均信息量 ，但输入与输出需一一对应，不能有一个符号发生错误，否则出错，正确传递概率为 ，于是： 错误： ，比单信道 大了3倍。4、取 ： 000 011 101 110 按最大似然译码规则， 。1logm符号/bi

12、t823bit1/31bitr 1,38loglogrbitm3p233103)01. 01 (11ppeep4m2102ep码符号/3/23/4logbitr结论：结论：错误概率与编码方法有很大关系，我们可以在保持消息数m和代表消息的码字长度不变的前提下，以在 个可能作为消息的长度为n的码字中，选择m个合适的码字作为消息的代表，既能使信道的信息传输率r保持在 的水平上，又有可能使最小平均错误概率 有所减小，这就给我们展现了使通信既有效，又可靠的前景。322222231223222232000001pp pp pppp ppppppaap ppppp pppp pppp1000)110()10

13、0()010()000(affff2111)111()101()011()001(affff223222222min21ppppppppppppppppppe2232 ppppp23323min3621pppppppppeminmineeppnrnmlogminep5.6 hamming距离与编码原则 设 和 是两个由码符号 组成的长度为n的码符号序列，在 和 之间对应位置上码元不同的个数，定义为 和 间的汉明距离，记为: 再定义，由0，1构成的二进制码c中，任意两个码字的汉明距离的最小值称为该码c的最小距离，即：),(321iniiiiaaaaa)(1jnijbb 1 , 0ijjiankj

14、kikjibad1),(),(minminjiccdd101111ia111100j3),(jidjicc cccji,111,000)(ac3)(minad110,101,011,000: )(bc2)(minbd010,100,001,000: )(cc1)(mincd在消息等概的条件下，采用最大似然准则选择译码规则，能使 最小，我们试着把汉明距离与最大似然译码准则联系起来，看看能导出什么样的结果。 最大似然准则为：如 则选择最大似然准则可用汉明距离表述为： 可表示为： 选或曰： 选 epnkikjkinijnjjijabpaabbbpp1121)|()/()|(),(),()|(jiji

15、ddnijppp)|()|(*ijjpp*)(jf), 1(nrj ijijjddnjddnpppp*ijjdd*)(afj),(min),(min*jijijddd*)(afjnijijnrjiddnriiijeppmpmp1*1*min1)|(1njjnrjddnrijeppmpmp11*min*11)|(11 结论：结论：消息数m和码字长度n不变，使信道的信息传输率r保持在 /码符号）的水平上，同时又使平均错误译码概率 尽可能小，这个希望是有可能达到的，在个序列中挑选m个许用码字代表m个消息，使m个许用码字中任何两个码字间的最小汉距离 尽量的大。bitnmr(/logminepnr),(min),(minhkhkhkhkadad5.7 有噪离散信道编码定