信息论与编码-第六章1

信道编码-有扰离散信道的编码定理信道编码的初步认识编码规则码字

C=(c0,c1,…,cn-1),其中ci(i=0,1,2,…,n-1)称码元，对于二进制有

ci

∈{0，1}差错符号差错比特信道编码-有扰离散信道的编码定理差错图样E=发码C-收码RmodM对于二进制E=C⊕R=C+R或C=R+E差错图样的类型:随机差错突发差错信道编码-有扰离散信道的编码定理

差错控制方式前向纠错（FEC）、检错重发（ARQ）和混合纠错（HEC）是常用的三种差错控制方式。图是这三种方式构成的差错控制系统原理框图。图三种差错控制方式示意图信道编码-有扰离散信道的编码定理在前向纠错(FEC)系统中，发信端将信息码经信道编码后变成能够纠正错误的码，然后通过信道发送出去；收信端收到这些码组后，根据与发信端约定好的编码规则，通过译码能自动发现并纠正因传输带来的数据错误。在前向纠错(FEC)系统中，发信端将信息码经信道编码后变成能够纠正错误的码，然后通过信道发送出去；收信端收到这些码组后，根据与发信端约定好的编码规则，通过译码能自动发现并纠正因传输带来的数据错误。前向纠错方式只要求单向信道，因此特别适合于只能提供单向信道的场合，同时也适合一点发送多点接收的广播方式。因为不需要对发信端反馈信息，所以接收信号的延时小、实时性好。在前向纠错(FEC)系统中，发信端将信息码经信道编码后变成能够纠正错误的码，然后通过信道发送出去；收信端收到这些码组后，根据与发信端约定好的编码规则，通过译码能自动发现并纠正因传输带来的数据错误。前向纠错方式只要求单向信道，因此特别适合于只能提供单向信道的场合，同时也适合一点发送多点接收的广播方式。因为不需要对发信端反馈信息，所以接收信号的延时小、实时性好。这种纠错系统的缺点是设备复杂、成本高，且纠错能力愈强，编译码设备就愈复杂。

检错重发(ARQ)系统的发信端将信息码编成能够检错的码组发送到信道，收信端收到一个码组后进行检验，将检验结果（有误码或者无误码）通过反向信道反馈给发信端作为对发信端的一个应答信号。发信端根据收到的应答信号做出是继续发送新的数据还是把出错的数据重发的判断。检错重发(ARQ)系统的发信端将信息码编成能够检错的码组发送到信道，收信端收到一个码组后进行检验，将检验结果（有误码或者无误码）通过反向信道反馈给发信端作为对发信端的一个应答信号。发信端根据收到的应答信号做出是继续发送新的数据还是把出错的数据重发的判断。检错重发系统根据工作方式又可分为三种，即停发等候重发系统、返回重发系统和选择重发系统，如图8―3所示。在图8―3（a）中，发信端在t=0时刻将码组1发给收信端，然后停止发送，等待收信端的应答信号。收信端收到该码组并检验后，将应答信号ACK发回发信端，发信端确认码组1无错，就将码组2发送出来；收信端对码组2进行检验后，收信端判断该码组有错并以NAK信号告知发信端，发信端将码组2重新发送一次，收信端第二次收到码组2经检验后无错，即可通过ACK信号告诉发信端无错，发信端接着发送码组3……从上述过程中可见，发信端由于要等收信端的应答信号，发送过程是间歇式的，因此数据传输效率不高。但由于该系统原理简单，在计算机通信中仍然得到应用。图8―3检错重发的三种工作方式返回重发系统的工作原理如图8―3（b）所示，在这种系统中发信端不停顿地发送信息码组，不再等候ACK信号，如果收信端发现错误并发回NAK信号，则发信端从下一个码组开始重发前一段N个码组，N的大小取决于信号传输和处理所造成的延时，也就是发信端从发错误码组开始，到收到NAK信号为止所发出的码组个数，图中N=5。收信端收到码组2有错。发信端在码组6后重发码组2、3、4、5、6，收信端重新接收，图中码组4连续两次出错，发信端重发两次。这种返回重发系统的传输效率比停发等候系统有很大改进，在很多数据传输系统中得到应用。图8―3（c）描述选择重发系统的工作过程：这种重发系统也是连续不断地发送码组，收信端检测到错误后发回NAK信号，但是发信端不是重发前N个码组，而是只重发有错误的那一组。图中显示发信端只重发收信端检出有错的码组2，对其它码组不再重发。收信端对已认可的码组，从缓冲存储器读出时重新排序，恢复出正常的码组序列。显然，选择重发系统传输效率最高，但价格也最贵，因为它要求较为复杂的控制，在收、发两端都要求有数据缓存器。

混合纠错方式是前向纠错方式和检错重发方式的结合。如图8―2（c）所示。其内层采用FEC方式，纠正部分差错；外层采用ARQ方式，重传那些虽已检出但未纠正的差错。混合纠错方式在实时性和译码复杂性方面是前向纠错和检错重发方式的折衷，较适合于环路延迟大的高速数据传输系统。信道编码-有扰离散信道的编码定理差错控制编码分类根据编码方式和不同的衡量标准，差错控制编码有多种形式和类别。下面我们简单地介绍几种主要分类。信道编码-有扰离散信道的编码定理差错控制编码分类根据编码方式和不同的衡量标准，差错控制编码有多种形式和类别。下面我们简单地介绍几种主要分类。(1)根据编码功能可分为检错码、纠错码和纠删码三种类型。只能完成检错功能的叫检错码；具有纠错能力的叫纠错码；而纠删码既可检错也可纠错。(2)按照信息码元和附加的监督码元之间的检验关系可以分为线性码和非线性码。(2)按照信息码元和附加的监督码元之间的检验关系可以分为线性码和非线性码。若信息码元与监督码元之间的关系为线性关系，即监督码元是信息码元的线性组合，则称为线性码。(2)按照信息码元和附加的监督码元之间的检验关系可以分为线性码和非线性码。若信息码元与监督码元之间的关系为线性关系，即监督码元是信息码元的线性组合，则称为线性码。反之，若两者不存在线性关系，则称为非线性码。(3)按照信息码元和监督码元之间的约束方式可分为分组码和卷积码。(3)按照信息码元和监督码元之间的约束方式可分为分组码和卷积码。在分组码中，编码前先把信息序列分为k位一组，然后用一定规则附加m位监督码元，形成n=k+m位的码组。监督码元仅与本码组的信息码元有关，而与其它码组的信息码元无关。(3)按照信息码元和监督码元之间的约束方式可分为分组码和卷积码。在分组码中，编码前先把信息序列分为k位一组，然后用一定规则附加m位监督码元，形成n=k+m位的码组。监督码元仅与本码组的信息码元有关，而与其它码组的信息码元无关。但在卷积码中，码组中的监督码元不但与本组信息码元有关，而且与前面码组的信息码元也有约束关系，就像链条那样一环扣—环；所以卷积码又称连环码或链码。(4)系统码与非系统码。(4)系统码与非系统码。在线性分组码中所有码组的k位信息码元在编码前后保持原来形式的码叫系统码，反之就是非系统码。(4)系统码与非系统码。在线性分组码中所有码组的k位信息码元在编码前后保持原来形式的码叫系统码，反之就是非系统码。系统码与非系统码在性能上大致相同，而且系统码的编、译码都相对比较简单，因此得到广泛应用。(4)系统码与非系统码。在线性分组码中所有码组的k位信息码元在编码前后保持原来形式的码叫系统码，反之就是非系统码。系统码与非系统码在性能上大致相同，而且系统码的编、译码都相对比较简单，因此得到广泛应用。(5)纠正随机错误码和纠正突发错误码。(4)系统码与非系统码。在线性分组码中所有码组的k位信息码元在编码前后保持原来形式的码叫系统码，反之就是非系统码。系统码与非系统码在性能上大致相同，而且系统码的编、译码都相对比较简单，因此得到广泛应用。(5)纠正随机错误码和纠正突发错误码。顾名思义，前者用于纠正因信道中出现的随机独立干扰引起的误码，后者主要对付信道中出现的突发错误。信道编码-有扰离散信道的编码定理从上述分类中可以看到，一种编码可以具有多样性，本章主要介绍纠正随机错误的二进制线性分组码。信道编码-有扰离散信道的编码定理码空间信息空间2k码空间2kn-维n-重矢量空间2n码的平均特性、码的性能限信道编码-有扰离散信道的编码定理有扰离散信道的编码定理随机编码考虑一个DMC信道，其输入符号集为输出符号集为转移概率矩阵为

即输入为q元，输出为Q元。信道编码-有扰离散信道的编码定理对其输入进行分组编码，编码方式是每K个输入信源符号一组，编成N个符号的码，叫做（N，K）分组编码器。如图所示。(N,K)分组编码器DMC信道消息组m信道编码-有扰离散信道的编码定理码字可看成是一个N维矢量，设想有一个N维的矢量空间，每一个码字可以认为是该矢量空间的一个点。信道编码-有扰离散信道的编码定理码字可看成是一个N维矢量，设想有一个N维的矢量空间，每一个码字可以认为是该矢量空间的一个点。由于每维有q个取值，故该矢量空间中总的点数为信道编码-有扰离散信道的编码定理码字可看成是一个N维矢量，设想有一个N维的矢量空间，每一个码字可以认为是该矢量空间的一个点。由于每维有q个取值，故该矢量空间中总的点数为而码字由K个q进制符号组成，故码字总数为信道编码-有扰离散信道的编码定理码字可看成是一个N维矢量，设想有一个N维的矢量空间，每一个码字可以认为是该矢量空间的一个点。由于每维有q个取值，故该矢量空间中总的点数为而码字由K个q进制符号组成，故码字总数为所谓编码，就是要在Z个N维空间点中，选择M个作为码字，不同的选取方法，可能会得到不同的误码率。信道编码-有扰离散信道的编码定理随机编码的误码率信道编码-有扰离散信道的编码定理随机编码的误码率已经说过，所谓编码就是要在Z个N维空间点中选取M个作为码字。信道编码-有扰离散信道的编码定理随机编码的误码率已经说过，所谓编码就是要在Z个N维空间点中选取M个作为码字。如果不要求一一对应，则共有ZM种不同的选取方法，在这些选取方法中，有的方法选取的结果会使得误码率比较低，有的可能比较高。那么，误码率的上界是多少呢？信道编码-有扰离散信道的编码定理随机编码的误码率已经说过，所谓编码就是要在Z个N维空间点中选取M个作为码字。如果不要求一一对应，则共有ZM种不同的选取方法，在这些选取方法中，有的方法选取的结果会使得误码率比较低，有的可能比较高。那么，误码率的上界是多少呢？由于共有ZM种不同的选取方法，故每一种选取方法的出现概率为1/ZM，即信道编码-有扰离散信道的编码定理其中，为某种选择方法得到的码集。信道编码-有扰离散信道的编码定理其中，为某种选择方法得到的码集。设与这种选择相对应的误码率为，则全部码集的平均误码率为信道编码-有扰离散信道的编码定理那么，的上界是多少呢？信道编码-有扰离散信道的编码定理那么，的上界是多少呢？设有某一个码字，经DMC信道传输后，在输出端变成接收码字，则译码后的误码率是信道编码-有扰离散信道的编码定理那么，的上界是多少呢？设有某一个码字，经DMC信道传输后，在输出端变成接收码字，则译码后的误码率是其中，信道编码-有扰离散信道的编码定理这就意味着，当发码字而收到r的概率大于发任何其他码字而收到r的概率时，则令因为此时通过最优译码可以做到正确译码；信道编码-有扰离散信道的编码定理这就意味着，当发码字而收到r的概率大于发任何其他码字而收到r的概率时，则令因为此时通过最优译码可以做到正确译码；反之，则令因为此时不能正确译码。信道编码-有扰离散信道的编码定理这就意味着，当发码字而收到r的概率大于发任何其他码字而收到r的概率时，则令因为此时通过最优译码可以做到正确译码；反之，则令因为此时不能正确译码。而一定满足不等式信道编码-有扰离散信道的编码定理上式可以根据和两种情况分别加以验证。信道编码-有扰离散信道的编码定理上式可以根据和两种情况分别加以验证。将上式代入误码率公式，于是有信道编码-有扰离散信道的编码定理这个不等式叫做Gallager界，它指出了码字的误码上界，是Gallager在1965年推导出来的。信道编码-有扰离散信道的编码定理这个不等式叫做Gallager界，它指出了码字的误码上界，是Gallager在1965年推导出来的。如果该误码上界等于零或者足够小，则我们可以说，总有一些编码方法，能够使误码足够小。这就是香农第二定理。信道编码-有扰离散信道的编码定理（二）有扰信道编码定理信道编码-有扰离散信道的编码定理（二）有扰信道编码定理上面分析了在输入端发送一个码字时，误码率的上界，即Gallager界。信道编码-有扰离散信道的编码定理（二）有扰信道编码定理上面分析了在输入端发送一个码字时，误码率的上界，即Gallager界。由于输入端发送的码字有多种可能，则由Gallager界，可以推导出其平均误码率的上界，为信道编码-有扰离散信道的编码定理（二）有扰信道编码定理上面分析了在输入端发送一个码字时，误码率的上界，即Gallager界。由于输入端发送的码字有多种可能，则由Gallager界，可以推导出其平均误码率的上界，为其中，N是码字长度，E(R)是叫做DMC信道的可靠性函数信道编码-有扰离散信道的编码定理E(R)定义为信道编码-有扰离散信道的编码定理E(R)定义为当最优的及选定以后，E(R)就只是R的函数，信道编码-有扰离散信道的编码定理E(R)定义为当最优的及选定以后，E(R)就只是R的函数，而是信道的码率，信道编码-有扰离散信道的编码定理E(R)定义为当最优的及选定以后，E(R)就只是R的函数，而是信道的码率，是可能的信息组合数，信道编码-有扰离散信道的编码定理E(R)定义为当最优的及选定以后，E(R)就只是R的函数，而是信道的码率，是可能的信息组合数，N是每码字的码元数，信道编码-有扰离散信道的编码定理E(R)定义为当最优的及选定以后，E(R)就只是R的函数，而是信道的码率，是可能的信息组合数，N是每码字的码元数，R表示每码元携带的信息量，所以称作码率（或传信率）。信道编码-有扰离散信道的编码定理从E(R)的定义式可以看出，E(R)越大，就越小，即可靠性就越高，这也是E(R)称为可靠性函数的原因，也叫做误差指数。信道编码-有扰离散信道的编码定理从E(R)的定义式可以看出，E(R)越大，就越小，即可靠性就越高，这也是E(R)称为可靠性函数的原因，也叫做误差指数。其中的定义为信道编码-有扰离散信道的编码定理从E(R)的定义式可以看出，E(R)越大，就越小，即可靠性就越高，这也是E(R)称为可靠性函数的原因，也叫做误差指数。其中的定义为也就是说，是以修正因子及输入符号概分布矢量为自变量的一个函数。信道编码-有扰离散信道的编码定理由于E(R)是对取极大值，所以一定有信道编码-有扰离散信道的编码定理由于E(R)是对取极大值，所以一定有即信道编码-有扰离散信道的编码定理与的关系曲线如下面左图所示，因此可得到R与的关系曲线，如下面右图所示。011RC信道编码-有扰离散信道的编码定理考察E(R)与R的关系，由E(R)的定义式，可得信道编码-有扰离散信道的编码定理考察E(R)与R的关系，由E(R)的定义式，可得即E(R)和R之间的关系曲线的斜率为，如下图E(R)RC0信道编码-有扰离散信道的编码定理E(R)RC0R从0~的一段，由于此时ρ恒为1，所以是一条直线，信道编码-有扰离散信道的编码定理E(R)RC0R从0~的一段，由于此时ρ恒为1，所以是一条直线，而在R从~C这一段，由于ρ从1逐渐减小至0，所以变成了一条曲线，各点处的斜率对应于该点处的-ρ，信道编码-有扰离散信道的编码定理E(R)RC0R从0~的一段，由于此时ρ恒为1，所以是一条直线，而在R从~C这一段，由于ρ从1逐渐减小至0，所以变成了一条曲线，各点处的斜率对应于该点处的-ρ，当R=C时，，所以此时的E(R)=0。信道编码-有扰离散信道的编码定理由此可以得到有扰离散信道的信道编码定理：信道编码-有扰离散信道的编码定理由此可以得到有扰离散信道的信道编码定理：设离散无记忆信道为[X,P(y/x),Y]，其信道容量为C。当信息传输率R<C时，只要码长N足够大，就一定存在一种编码方法，使译码的错误概率任意小（）。信道编码-有扰离散信道的编码定理这是因为平均误码率上界为也就是说，一定有一些编码方法，其译码误码率满足由于当R<C时，E(R)>0，所以只要N足够大，则可以足够小。信道编码-有扰离散信道的编码定理有扰离散信道的信道编码逆定理：信道编码-有扰离散信道的编码定理有扰离散信道的信道编码逆定理：设离散无记忆信道为[X,P(y/x),Y]，其信道容量为C。当信息传输率R>C时，无论码长N多长，总也找不到一种编码方法，使译码的错误概率任意小。信道编码-有扰离散信道的编码定理有扰离散信道的信道编码逆定理：设离散无记忆信道为[X,P(y/x),Y]，其信道容量为C。当信息传输率R>C时，无论码长N多长，总也找不到一种编码方法，使译码的错误概率任意小。这两个定理常常被写在一起，统称为有扰信道或噪声信道的信道编码定理。信道编码-有扰离散信道的编码定理香农第二定理也只是一个存在定理，它只说明错误概率趋于零的好码是存在的。但并没有给出具体的编码方法。信道编码-有扰离散信道的编码定理香农第二定理也只是一个存在定理，它只说明错误概率趋于零的好码是存在的。但并没有给出具体的编码方法。因此，在1948年香农发表文章后，科学家们致力于各种编码方法的实现，出现了代数编码、卷积码、循环码等等。信道编码-有扰离散信道的编码定理香农第二定理也只是一个存在定理，它只说明错误概率趋于零的好码是存在的。但并没有给出具体的编码方法。因此，在1948年香农发表文章后，科学家们致力于各种编码方法的实现，出现了代数编码、卷积码、循环码等等。下面我们将在分析差错控制的基本原理之后，来介绍这些编码方法。信道编码-有扰离散信道的编码定理差错控制与信道编译码的基本原理信道编码-有扰离散信道的编码定理差错控制与信道编译码的基本原理（一）差错控制的途径信道编码-有扰离散信道的编码定理差错控制与信道编译码的基本原理（一）差错控制的途径下面我们从前面我们推导的误码率公式以及信息论的基本理论两个方面来讨论。

信道编码-有扰离散信道的编码定理差错控制与信道编译码的基本原理（一）差错控制的途径下面我们从前面我们推导的误码率公式以及信息论的基本理论两个方面来讨论。1.从公式分析信道编码-有扰离散信道的编码定理差错控制与信道编译码的基本原理（一）差错控制的途径下面我们从前面我们推导的误码率公式以及信息论的基本理论两个方面来讨论。1.从公式分析由误码率的上界公式信道编码-有扰离散信道的编码定理可以看出，要减小误码率，可以增加码长N或者增加可靠性函数E(R)。信道编码-有扰离散信道的编码定理可以看出，要减小误码率，可以增加码长N或者增加可靠性函数E(R)。增加E(R)的途径主要有:（1）增加信道容量C信道编码-有扰离散信道的编码定理可以看出，要减小误码率，可以增加码长N或者增加可靠性函数E(R)。增加E(R)的途径主要有:（1）增加信道容量C（2）减小码率R信道编码-有扰离散信道的编码定理可以看出，要减小误码率，可以增加码长N或者增加可靠性函数E(R)。增加E(R)的途径主要有:（1）增加信道容量C（2）减小码率R（3）增加码长N信道编码-有扰离散信道的编码定理可以看出，要减小误码率，可以增加码长N或者增加可靠性函数E(R)。增加E(R)的途径主要有:（1）增加信道容量C信道编码-有扰离散信道的编码定理可以看出，要减小误码率，可以增加码长N或者增加可靠性函数E(R)。增加E(R)的途径主要有:（1）增加信道容量C右图是不同信道容量下，E(R)~R关系曲线。可以看出，在同样的信息率R的情况下，C大则E(R)也大。E(R)RC1C2R1R2R1<R2C1<C2信道编码-有扰离散信道的编码定理根据香农公式，对于带限波形信道，有信道编码-有扰离散信道的编码定理根据香农公式，对于带限波形信道，有因此，想增加信道容量C，可以采用的方法有：（i）增加带宽W

信道编码-有扰离散信道的编码定理根据香农公式，对于带限波形信道，有因此，想增加信道容量C，可以采用的方法有：（i）增加带宽W有线：架空明线对称电缆同轴电缆光纤

信道编码-有扰离散信道的编码定理根据香农公式，对于带限波形信道，有因此，想增加信道容量C，可以采用的方法有：（i）增加带宽W有线：架空明线对称电缆同轴电缆光纤无线：中波短波超短波毫米波微米波光波信道编码-有扰离散信道的编码定理增加信道容量C，可以采用的方法有：（i）增加带宽W（ii）加大信号功率信道编码-有扰离散信道的编码定理增加信道容量C，可以采用的方法有：（i）增加带宽W（ii）加大信号功率：提高发射功率、提高天线增益、全向天线改定向天线等。信道编码-有扰离散信道的编码定理增加信道容量C，可以采用的方法有：（i）增加带宽W（ii）加大信号功率（iii）降低噪声功率信道编码-有扰离散信道的编码定理增加信道容量C，可以采用的方法有：（i）增加带宽W（ii）加大信号功率（iii）降低噪声功率：采用低噪声器件、滤波等。信道编码-有扰离散信道的编码定理增加E(R)的途径主要有:（1）增加信道容量C（2）减小码率R信道编码-有扰离散信道的编码定理增加E(R)的途径主要有:（1）增加信道容量C（2）减小码率R对于（N，K）分组码，码率R=Klogq/N，要减小码率R，方法有：信道编码-有扰离散信道的编码定理增加E(R)的途径主要有:（1）增加信道容量C（2）减小码率R对于（N，K）分组码，码率R=Klogq/N，要减小码率R，方法有：（i）q、N不变，减小K。相当于信道速率不变的情况下，减小信息传输率。信道编码-有扰离散信道的编码定理（ii）q、K不变，增大N。因此会提高信道速率，会占用更大的带宽。信道编码-有扰离散信道的编码定理减小码率R，方法有：（i）q、N不变，减小K（ii）q、K不变，增大N（iii）K、N不变，减小q信道编码-有扰离散信道的编码定理减小码率R，方法有：（i）q、N不变，减小K（ii）q、K不变，增大N（iii）K、N不变，减小q。即减小输入输出符号集中符号的个数，如果发送功率不变，则信号间隔增大，可靠性提高。信道编码-有扰离散信道的编码定理增加E(R)的途径主要有:（1）增加信道容量C（2）减小码率R（3）增加码长N。信道编码-有扰离散信道的编码定理增加E(R)的途径主要有:（1）增加信道容量C（2）减小码率R（3）增加码长N。如果要求R不变，则增加码长N，相应地也要增加K，以保持K/N不变。信道编码-有扰离散信道的编码定理1.从公式出发2.从概念分析信道编码-有扰离散信道的编码定理1.从公式出发2.从概念分析从信息论和概率论的角度，增加传输系统的可靠性，降低差错率，就是要增加冗余度，和进行随机化。信道编码-有扰离散信道的编码定理1.从公式出发2.从概念分析从信息论和概率论的角度，增加传输系统的可靠性，降低差错率，就是要增加冗余度，和进行随机化。（1）增加冗余度信道编码-有扰离散信道的编码定理1.从公式出发2.从概念分析从信息论和概率论的角度，增加传输系统的可靠性，降低差错率，就是要增加冗余度，和进行随机化。（1）增加冗余度在第二章我们就反复强调过，增加冗余度可以提高抗干扰能力。但是，增加冗余度，并不是随便增加的，那样效率会很低。在信道编码中，要使得信息流中的冗余比特与信息比特有特定信道编码-有扰离散信道的编码定理的关系，这样当信息比特由于受到干扰而受损时，可以通过冗余比特来进行检测或恢复。至于冗余度增加多少、如何设计信息比特与冗余比特之间的关系等等，是纠错编码理论要讨论的主要问题。信道编码-有扰离散信道的编码定理的关系，这样当信息比特由于受到干扰而受损时，可以通过冗余比特来进行检测或恢复。至于冗余度增加多少、如何设计信息比特与冗余比特之间的关系等等，是纠错编码理论要讨论的主要问题。常用的冗余资源有：信道编码-有扰离散信道的编码定理的关系，这样当信息比特由于受到干扰而受损时，可以通过冗余比特来进行检测或恢复。至于冗余度增加多少、如何设计信息比特与冗余比特之间的关系等等，是纠错编码理论要讨论的主要问题。常用的冗余资源有：（i）时间。信道编码-有扰离散信道的编码定理的关系，这样当信息比特由于受到干扰而受损时，可以通过冗余比特来进行检测或恢复。至于冗余度增加多少、如何设计信息比特与冗余比特之间的关系等等，是纠错编码理论要讨论的主要问题。常用的冗余资源有：（i）时间。如ARQ系统的重复发送，就要占用更多的时间。信道编码-有扰离散信道的编码定理的关系，这样当信息比特由于受到干扰而受损时，可以通过冗余比特来进行检测或恢复。至于冗余度增加多少、如何设计信息比特与冗余比特之间的关系等等，是纠错编码理论要讨论的主要问题。常用的冗余资源有：（i）时间（ii）频带信道编码-有扰离散信道的编码定理的关系，这样当信息比特由于受到干扰而受损时，可以通过冗余比特来进行检测或恢复。至于冗余度增加多少、如何设计信息比特与冗余比特之间的关系等等，是纠错编码理论要讨论的主要问题。常用的冗余资源有：（i）时间（ii）频带。由于增加了冗余度，使得信息传输率下降，如果想保持有用信息的传输速率不变，就要提高信道的波特率，也就是要占用更大的带宽。信道编码-有扰离散信道的编码定理常用的冗余资源有：（i）时间（ii）频带（iii）功率。信道编码-有扰离散信道的编码定理常用的冗余资源有：（i）时间（ii）频带（iii）功率。根据频带和信噪比的互换原则，也可以不增加信道带宽，但提高发送功率，来达到同样的目的。信道编码-有扰离散信道的编码定理常用的冗余资源有：（i）时间（ii）频带（iii）功率（iV）设备复杂度信道编码-有扰离散信道的编码定理常用的冗余资源有：（i）时间（ii）频带（iii）功率（iV）设备复杂度。增加码长N可以减小差错率，但编解码设备等的复杂度相应有所增加。信道编码-有扰离散信道的编码定理（1）增加冗余度（2）噪声均化（随机化）信道编码-有扰离散信道的编码定理（1）增加冗余度（2）噪声均化（随机化）噪声干扰的危害大小，不仅与噪声的大小和总量有关，还与噪声的分布有关。信道编码-有扰离散信道的编码定理（1）增加冗余度（2）噪声均化（随机化）噪声干扰的危害大小，不仅与噪声的大小和总量有关，还与噪声的分布有关。同样的噪声总量，如果噪声分布非常密集在一个时段，就会使该时段的信息收到很大的损伤，变得不可恢复。信道编码-有扰离散信道的编码定理（1）增加冗余度（2）噪声均化（随机化）噪声干扰的危害大小，不仅与噪声的大小和总量有关，还与噪声的分布有关。同样的噪声总量，如果噪声分布非常密集在一个时段，就会使该时段的信息收到很大的损伤，变得不可恢复。如果噪声分布比较均匀，则虽然也会使信息收到损伤，但由于损伤不严重，可能会在编码的可纠错范围内，从而得到正确的译码结果。信道编码-有扰离散信道的编码定理（1）增加冗余度（2）噪声均化（随机化）噪声干扰的危害大小，不仅与噪声的大小和总量有关，还与噪声的分布有关。同样的噪声总量，如果噪声分布非常密集在一个时段，就会使该时段的信息收到很大的损伤，变得不可恢复。如果噪声分布比较均匀，则虽然也会使信息收到损伤，但由于损伤不严重，可能会在编码的可纠错范围内，从而得到正确的译码结果。所以，集中的噪声干扰的危害要大于分散的噪声干扰。噪声均化就是要把噪声尽可能地均匀分布到各个码字。信道编码-有扰离散信道的编码定理噪声均化的方法主要有：信道编码-有扰离散信道的编码定理噪声均化的方法主要有：（i）增加码长N。信道编码-有扰离散信道的编码定理噪声均化的方法主要有：（i）增加码长N。例如：设BSC信道的误码概率为，设编码的纠错能力为10%，即码字中如果错误的码元数小于等于码长N的10%，就可以通过译码加以纠正。信道编码-有扰离散信道的编码定理噪声均化的方法主要有：（i）增加码长N。例如：设BSC信道的误码概率为，设编码的纠错能力为10%，即码字中如果错误的码元数小于等于码长N的10%，就可以通过译码加以纠正。如果码字长度N=10，则当码字中有多于1个的码元发生误吗时，就会产生译码差错。信道编码-有扰离散信道的编码定理噪声均化的方法主要有：（i）增加码长N。例如：设BSC信道的误码概率为，设编码的纠错能力为10%，即码字中如果错误的码元数小于等于码长N的10%，就可以通过译码加以纠正。如果码字长度N=10，则当码字中有多于1个的码元发生误吗时，就会产生译码差错。所以差错概率为信道编码-有扰离散信道的编码定理如果将码长增加到N=40，则差错概率为信道编码-有扰离散信道的编码定理如果将码长增加到N=40，则差错概率为可见，仅仅是将码长由10增加到40，就可以将译码错误概率下降两个数量级。信道编码-有扰离散信道的编码定理如果将码长增加到N=40，则差错概率为可见，仅仅是将码长由10增加到40，就可以将译码错误概率下降两个数量级。原因在于：当码字长度增加后，每个码字中误码的比例就会比较接近统计平均值。信道编码-有扰离散信道的编码定理如果将码长增加到N=40，则差错概率为可见，仅仅是将码长由10增加到40，就可以将译码错误概率下降两个数量级。原因在于：当码字长度增加后，每个码字中误码的比例就会比较接近统计平均值。而当噪声严格均匀化的时候，对本例而言，是不会发生任何译码错误的，因为信道的差错概率（1%）小于编码纠错能力（10%）信道编码-有扰离散信道的编码定理噪声均化的方法主要有：（i）增加码长N。（ii）卷积。信道编码-有扰离散信道的编码定理噪声均化的方法主要有：（i）增加码长N。（ii