信息论与编码-第六章2精讲

信息论与编码-最优译码和最大似然译码最优译码和最大似然译码信道的输入是一个二〔或q〕进制序列，而译码器的输出时一个信息序列M的估值序列。如以下图所示。译码器的根本任务就是依据一套译码规章，由接收序列R给出与发送的信息序列最接近〔最好是一样〕的估值序列信息论与编码-最优译码和最大似然译码信道纠错编码器纠错译码器干扰源信源编码器输出至信宿分组码数字通信模型信息论与编码-最优译码和最大似然译码由于M与码字C之间存在一一对应关系，所以这等价于译码其依据R产生一个C的估值序列，明显，当且仅当时，。这时译码器正确译码。假设，则译码器产生错误译码。当给定接收序列R时，译码器的条件译码错误概率定义为信息论与编码-最优译码和最大似然译码所以译码器的错误译码概率为其中，是接收R的概率，与译码方法无关，译码错误概率最小的最正确译码规章是使最小，即信息论与编码-最优译码和最大似然译码而因此，假设译码器对输入的R，能在个码字中选择一个使最大的码字作为C的估值序列，即则这种译码规章肯定能使译码器输出错误概率最小，称这种译码规章为最大后验概率译码MAP(maximumaposteriori),也叫做最正确译码。是一种通过阅历与归纳由收码推想发码的方法，是最优的译码方法。信息论与编码-最优译码和最大似然译码由贝叶斯公式可知，假设发送端发送每一个码字的概率均一样,且p(R)对全部R也相等〔信道对称均衡〕，则有信息论与编码-最优译码和最大似然译码一个译码器假设能选择即在R的状况下使先验概率最大，则这种译码规章称为最大似然译码〔ML(MLD)：MaximumLikelihood)，称为似然函数。相应的译码器称为最大似然译码器。信息论与编码-最优译码和最大似然译码由于logx与x是单调关系，因此最大似然规章也可以写成称logp(R/C)为对数似然函数。信息论与编码-最优译码和最大似然译码对于DMC信道，假设发送端发送每一个码字的概率相等，则一般可认为MLD就是译码错误概率最小的一种最正确译码规章。由于最正确译码要求知道后验概率p(R/C)，这在很多时候是很困难的，所以常常使用的是最大似然译码，在很多状况下，可以认为最大似然译码就是最正确译码。信息论与编码-最优译码和最大似然译码对于BSC信道，在译码的时候，假设我们逐比特地比较发码和收码，就只有两种可能性：一样或者不同，其概率分别是：信息论与编码-最优译码和最大似然译码假设R中有d个码元与不同，我们称R和之间的距离为d，这样定义的距离称为汉明距离。接收码字R和发送码字之间的汉明距离，就是二者模2加后的重量，即信息论与编码-最优译码和最大似然译码此时的似然函数是由于上述似然函数中是常数，可以看出，d越大，则似然函数越小，因此，求最大似然函数问题就变成了求最小汉明距离问题。信息论与编码-最优译码和最大似然译码汉明距离译码是一种硬判决译码。只要在接收端将接收码R与全部可能的发码逐比特进展比较，选择其中汉明距离最小的码字作为译码结果就可以了。当发送的码字相互统计独立且等概时，汉明距离译码就是最正确译码。信息论与编码-码距与检错、纠错力量码距与检错、纠错力量的关系码距：在随机编码中，我们曾说过，一个码字可以看作是N维矢量空间的一个点，全部码字所对应的点集合构成矢量空间的一个子集。子集的任意两点之间都存在肯定的距离，这个距离叫做码字之间的码距。子集任意两点之间的码距的最小值记为。欧氏距、汉明距信息论与编码-码距与检错、纠错力量检错力量：假设信道传输无误，接收到的N重矢量肯定是码字，在矢量空间中肯定对应到码字子集中的一个点上。当传输有误时，可能会发生两种状况：一是不再对应码字子集上的一点，而是对应到码字子集点相邻的的另一个空间点上；其次种可能是仍旧对应到码字子集中的一个点上，但却是一个错误的点上。第一种状况下，译码的时候肯定可以推断动身生了误码；而其次种状况却不能推断动身生了误码。信息论与编码-码距与检错、纠错力量对于一个最小码距为的码字子集，假设传输中发生误码后使得空间点的位置偏移小于，则肯定可以推断动身生了误码，由于这时候由于误码不行能从一个空间点偏移到另一个空间点。换句话说，可以检测到错误。而当由于误码使空间偏移大于时，则有可能偏移到另外的码字点上，也就有可能检不出该错误来。因此，对于最小码距为的码子字集，其检错力量为。信息论与编码-码距与检错、纠错力量纠错力量：假设我们承受最正确译码或最大似然译码，那么当接收到的码字偏离其在N维空间中原来的位置时，只要偏离得不太远，就可以依据最大似然译码规章〔或最正确译码规章〕经过译码得到正确的结果。但假设偏离得太远，以至于离另外一个码字的空间点更近一些，则经过最大似然译码，就会译成另一个码字，也就是不能订正误码，或者说超出了该种编码的最大纠错范围。那么纠错范围是多大呢？信息论与编码-码距与检错、纠错力量我们可以设想以个码字空间点为球心，分别做一个超维的球体，且各个球体互不相交，那么，假设由于误码使空间点的偏移没有超出所对应的球体，则可以由最大似然译码订正其错误，也就是可以纠错。对于最小码距为的码子字集，球体半径的最小值为，考虑到纠错力量为整数位，所以纠错力量应当写为。例子:C={(000),(111)}信息论与编码-码距与检错、纠错力量联合检错、纠错力量：对于最小码距为的码字，其单独的检错力量为，单独的纠错力量为。但假设联合考虑检错和纠错，则状况会有所变化，由于假设单独考虑检错，只要不会偏移到另一个码字空间点上，都可以检测出来，但当加了纠错以后，假设偏移值过大，以至于偏移后更接近于另一个码字空间点〔即进入另一个超球体〕，则由于纠错的缘由，就会把它当成另一个码字，从而进展错误的订正〔纠错后就认为没有错误了〕，以至于不能检测出来其错误。信息论与编码-码距与检错、纠错力量对于一个最小码距为的码字子集，一般性的结论是：其中，是纠错力量，是检错力量。信息论与编码-码距与检错、纠错力量例如：最小码距为7的码字子集，单独检错可以检测6个码元的错误，单独纠错可以订正3个码元的错误。但假设想订正3个码元的错误，其检错力量减小为3，由于假设错误大于3，就会由于进入另一个超球体的范围而被错误地纠错。假设想检测4个错误，则纠错力量要降低为2，也就是说，要把纠错的超球半径降低为2。假设想检测5个错误，则纠错的力量要降低为1。例重复码{(0000000),(1111111)}信息论与编码-码距与检错、纠错力量从上面对纠错检错力量的分析可以看出，码字子集的纠错检错力