第6章 有噪信道编码(ok)

1、第第6 6章章 有噪信道编码定理有噪信道编码定理 6.1 6.1 错误概率与译码规则错误概率与译码规则6.2 6.2 错误概率与编码方法错误概率与编码方法6.3 6.3 有噪信道编码定理有噪信道编码定理6.4 6.4 联合信源信道编码定理联合信源信道编码定理6.5 6.5 纠错编码的基本思想纠错编码的基本思想6.6 6.6 常用编码方法常用编码方法 前一章已经从理论上讨论了，对于无噪无前一章已经从理论上讨论了，对于无噪无损信道只要对信源进行适当的编码，总能以信道损信道只要对信源进行适当的编码，总能以信道容量无差错的传递信息。但是一般信道总会存在容量无差错的传递信息。但是一般信道总会存在噪声和干

2、扰，那么在有噪信道中进行无错传输可噪声和干扰，那么在有噪信道中进行无错传输可以达到的最大信息传输率是多少呢？这就是本章以达到的最大信息传输率是多少呢？这就是本章所要讨论的问题。本章的核心是香农第二定理。所要讨论的问题。本章的核心是香农第二定理。第第6 6章章 有噪信道编码有噪信道编码 6.1 6.1 错误概率与译码规则错误概率与译码规则 为了减少错误，提高通信的可靠性，就必须分析错为了减少错误，提高通信的可靠性，就必须分析错误概率与哪些因素有关，有没有办法控制，能控制到什么误概率与哪些因素有关，有没有办法控制，能控制到什么程度。程度。 前边已经讨论过，错误概率与信道的统计特性有关，前边已经讨论

3、过，错误概率与信道的统计特性有关，但并不是唯一相关的因素，译码方法的选择也会影响错误但并不是唯一相关的因素，译码方法的选择也会影响错误率。率。例：有一个例：有一个BSCBSC信道，如图所示信道，如图所示 01011/31/32/32/3若收到若收到“0”译作译作“0”，收到，收到“1”译作译作“1”，则平均错误概，则平均错误概率为：率为：(0)(1)2(0)(1)3EeePPPPP反之，若收到反之，若收到“0”译作译作“1”，收到，收到“1”译作译作“0”，则平，则平均错误概率为均错误概率为1/3，可见错误概率与译码准则有关。，可见错误概率与译码准则有关。6.1 6.1 错误概率与译码规则错误

4、概率与译码规则例：例： 输入符号集输入符号集 输出符号集输出符号集 译码规则译码规则 iAa()jiF ba0.50.30.20.20.30.50.30.30.4P6.1 6.1 错误概率与译码规则错误概率与译码规则可以设计译码准则：可以设计译码准则：A：11( )F ba22()F ba33( )F ba和和B：11( )F ba23()F ba32( )F ba jbB 译码规则的选择应该有一个依据，一个自然的依据就译码规则的选择应该有一个依据，一个自然的依据就是使是使平均错误概率最小平均错误概率最小.若译码规则为若译码规则为:6.1.1几个基本概念几个基本概念:1)1)译码的条件正确概率

5、译码的条件正确概率：收到：收到 的情况下，译码的条件正的情况下，译码的条件正确概率为：确概率为：( ()/)(/)jjijP F bbP abjb6.1 6.1 错误概率与译码规则错误概率与译码规则()jiF ba 2)条件错误译码的概率条件错误译码的概率:为收到为收到 后，推测发出除了后，推测发出除了 之之外其它符号的概率：外其它符号的概率： jbia( /)1(/)jijP e bP ab 3)平均错误译码概率为：平均错误译码概率为： 11()( /)()(1(/)msejjjijjjPp bP e bp bP ab 它表示经过译码后平均每收到一个符号所产生错误的它表示经过译码后平均每收到

6、一个符号所产生错误的大小，也称大小，也称平均错误概率平均错误概率。由前面分析知由前面分析知,为了使平均错误概率最小为了使平均错误概率最小,应该使应该使为最大为最大,即选择译码函数即选择译码函数 并使之满足条件：并使之满足条件： ( ()/)jjP F bb*()jF ba*(/)(/)jijiP abP abaa 也就是说，收到一个符号以后译成具有最大后验概率也就是说，收到一个符号以后译成具有最大后验概率的那个输入符号。这种译码准则称为的那个输入符号。这种译码准则称为“最大后验概率准最大后验概率准则则”或或“最小错误概率准则最小错误概率准则”。6.1 6.1 错误概率与译码规则错误概率与译码规

7、则6.1.26.1.2最小错误概率译码准则最小错误概率译码准则: :选择选择 使满足使满足:6.1 6.1 错误概率与译码规则错误概率与译码规则6.1.3 6.1.3 最大似然译码准则最大似然译码准则: :)/()/(*ijjabpabp*)(abFj这样定义的译码规则称为这样定义的译码规则称为最大似然译码准则最大似然译码准则. .由以上准则可写出平均错误概率：由以上准则可写出平均错误概率：() ( /)1 ()/ ()EjjjjjYYPP b P e bP F bbP b,() ()ijjjX YYp abP F b b1 ()jjYP F b b *,()ijX Y aP ab也可写成：也

8、可写成：*,(/) ( )EjiiX Y aPP ba P a上式也可写成对行求和：上式也可写成对行求和：( )(/)()EijijXYPP aP baF ba( )( )iieXP a P如果先验概率相等，则：如果先验概率相等，则：( )1iEeXPPr6.1 6.1 错误概率与译码规则错误概率与译码规则例：例：0.50.30.20.20.30.50.30.30.4P设先验概率相等，根据最大似然准则可选择译码函数设先验概率相等，根据最大似然准则可选择译码函数为为B：112332( )()()F baF baF ba*,11( / )(0.20.3)(0.30.3)(0.20.4)0.5673

9、3EY XaPP b a6.1 6.1 错误概率与译码规则错误概率与译码规则若采用前边讲到的译码函数若采用前边讲到的译码函数A，则平均错误率为：则平均错误率为：*,11( / )(0.30.2)(0.30.3)(0.20.5)0.633EY XaPP b a6.1 6.1 错误概率与译码规则错误概率与译码规则11( )F ba22( )F ba33( )F ba若采用最小错误概率译码准则，则联合矩阵为：若采用最小错误概率译码准则，则联合矩阵为：0.1250.0750.05()0.050.0750.1250.150.150.2ijP ab 所得译码函数为：所得译码函数为：C：132333( )(

10、)()F baF baF ba平均错误率为：平均错误率为：*,1( / )(0.1250.05)(0.0750.075)(0.050.125)0.53EY XaPP b a6.1 6.1 错误概率与译码规则错误概率与译码规则*()jF ba*(/)(/)jijiP abP abaa 码字码字 与输出序列与输出序列 之间对应位置上不同码元的个数称之间对应位置上不同码元的个数称为汉明距离，记为：为汉明距离，记为：1、汉明距离及最小码距：、汉明距离及最小码距： 码字码字 与输出序列与输出序列 之间对应位置上不同码元的个数称之间对应位置上不同码元的个数称为汉明距离，记为：为汉明距离，记为：6.2 6.

11、2 错误概率与编码方法错误概率与编码方法),(jiDij如：如：101111i111100j(,)3ijD (,)3ijD 在一码书在一码书C中，任意两个码字的汉明距离的最小值称为该中，任意两个码字的汉明距离的最小值称为该码码C的最小距离，简称的最小距离，简称最小码距最小码距，记为：，记为：mind 一个码一个码C的纠检错能力与的纠检错能力与最小码距最小码距有关。有关。选择译码函数选择译码函数 使满足使满足:2 2、 最小距离译码准则最小距离译码准则: :),(),(min*jijDD*)(jF即即: :),(),(*jijDD6.2 6.2 错误概率与编码方法错误概率与编码方法6.3 6.3

12、 有噪信道编码定理（香农第二定理）有噪信道编码定理（香农第二定理）1、有噪信道编码定理有噪信道编码定理 如一个离散无记忆信道，信道容量为如一个离散无记忆信道，信道容量为C。当信息传输。当信息传输率率RC时，只要码长足够长，总可以在输入符号集中时，只要码长足够长，总可以在输入符号集中 找到找到M 个码字组成的一组码个码字组成的一组码 和相应的译码和相应的译码准则，使信道输出端的平均错误译码概率达到任意小。准则，使信道输出端的平均错误译码概率达到任意小。nX(2 )nR(2 , )nRn2 2、有噪信道编码逆定理、有噪信道编码逆定理 如一个离散无记忆信道，信道容量为如一个离散无记忆信道，信道容量为

13、C。当信息传输。当信息传输率率RC时，则无论码长时，则无论码长n多长，总找不到一种编码多长，总找不到一种编码 使信道输出端的平均错误译码概率达到任意小。使信道输出端的平均错误译码概率达到任意小。(2 , )nRn 这个定理是信道编码的理论依据，可以看出：信道容量这个定理是信道编码的理论依据，可以看出：信道容量是一个明确的分界点，当取分界点以下的信息传输率时，是一个明确的分界点，当取分界点以下的信息传输率时， 以指数趋近于以指数趋近于0；当取分界点以下的信息传输率时，；当取分界点以下的信息传输率时， 以指以指数趋近于数趋近于1；因此在任何信道中，信道容量都是可达的、最；因此在任何信道中，信道容量

14、都是可达的、最大的可靠信息传输率。大的可靠信息传输率。 这个定理是一个存在定理，它没有给出一个具体可构造这个定理是一个存在定理，它没有给出一个具体可构造的编码方法，在它的证明过程中，码书是随机的选取的，它的编码方法，在它的证明过程中，码书是随机的选取的，它有助于指导各种通信系统的设计，有助于评价各种系统及编有助于指导各种通信系统的设计，有助于评价各种系统及编码的效率。码的效率。EPEP6.3 6.3 有噪信道编码定理（香农第二定理）有噪信道编码定理（香农第二定理）6.4 6.4 联合信源信道编码定理联合信源信道编码定理 从香农第一、第二定理可以看出，要做到有效和可靠的从香农第一、第二定理可以看出，要做到有效和可靠的传输信息，我们可以将通信系统设计成两部分的组合，即传输信息，我们可以将通信系统设计成两部分的组合，即信源编码和信道编码两部分，首先通过信源编码，用尽可信源编码和信道编码两部分，首先通过信源编码，用尽可能少的信道符号来表达信源，尽可能减少编码后信源的数能少的信道符号来表达信源，尽可能减少编码后信源的数