信息论和编码信道编码概念

1、信息论和编码信道编码概念2022-4-42本章节教学内容、基本要求、重点与难点本章节教学内容、基本要求、重点与难点 1. 1. 教学内容：教学内容： 信道编码的概念与分类。信道编码的概念与分类。 错误概率与其计算方法。错误概率与其计算方法。 四种差错控制的方法。四种差错控制的方法。 2. 2. 教学基本要求：教学基本要求： 了解信道编码和概念以及相关物理量的含义。了解信道编码和概念以及相关物理量的含义。 掌握编码与译码的原理。掌握编码与译码的原理。 会进行错误概率的计算会进行错误概率的计算。3. 3. 重点与难点：重点与难点： 错误概率的计算错误概率的计算 译码的方法。译码的方法。 2022-

2、4-43电信学院 汪汉新信道编码定理信道编码定理(香农第二定理香农第二定理)：若有一离散无记忆平稳信：若有一离散无记忆平稳信道，其容量为道，其容量为C，输入序列长度为，输入序列长度为L，只要待传送的信息率，只要待传送的信息率RC，总可以找到一种编码，当，总可以找到一种编码，当L足够长时，译码差错概足够长时，译码差错概率率PeC时，任何编时，任何编码的码的Pe必大于零，当必大于零，当L，Pe1。定理指出定理指出：在编码速率小于信道容量的条件下，通过编码：在编码速率小于信道容量的条件下，通过编码可以使译码错误概率任意小，从而达到可靠通信。给出的可以使译码错误概率任意小，从而达到可靠通信。给出的结果

3、只说明存在一种编码方式。其误码率随着码长结果只说明存在一种编码方式。其误码率随着码长n的增的增长趋于任意小。但它没有告诉我们如何构造这类码的方法。长趋于任意小。但它没有告诉我们如何构造这类码的方法。 信道编码信道编码：就是为解决这一问题而产生的学科，它的目的：就是为解决这一问题而产生的学科，它的目的是寻找易于实现且能达到是寻找易于实现且能达到可靠可靠通信的编译码方法。通信的编译码方法。 2022-4-44电信学院 汪汉新o从信道编码的构造方法看，信道编码的基本思路是根据一从信道编码的构造方法看，信道编码的基本思路是根据一定的规律在待发送的信息码中人为加入一些多余的码元，定的规律在待发送的信息码

4、中人为加入一些多余的码元，以保证传输过程可靠性。以保证传输过程可靠性。o信道编码的任务就是构造出以最小多余度代价换取最大抗信道编码的任务就是构造出以最小多余度代价换取最大抗干扰性能的干扰性能的“好码好码”。2022-4-45电信学院 汪汉新 码元传输速率码元传输速率：每秒钟通过信道传输的码元数。单位是：每秒钟通过信道传输的码元数。单位是波特波特(Baud)。 比特率比特率：每秒钟通过信道传输的信息量。单位是：每秒钟通过信道传输的信息量。单位是比特比特/秒秒(bit/s)。 码元码元：携带数据信息的信号单元。：携带数据信息的信号单元。 二进制码元二进制码元：每个码元的信息含量为：每个码元的信息含

5、量为1比特，二进制的比特，二进制的波特率与比特率在数值上是相等的。波特率与比特率在数值上是相等的。 M进制码元进制码元：每一个码元的信息含量为：每一个码元的信息含量为 log2M。如果码。如果码元传输速率为元传输速率为 rs 波特，相应的比特率波特，相应的比特率 rb 为为rb = rs log2M (bit/s)信道编码通信系统的主要术语信道编码通信系统的主要术语2022-4-46电信学院 汪汉新 误码率误码率：指在传输的码元总数中发生差错的码元数所占的：指在传输的码元总数中发生差错的码元数所占的比例（平均值）。比例（平均值）。 误比特率误比特率：指在传输的比特总数中发生差错的比特数所占：指

6、在传输的比特总数中发生差错的比特数所占的比例（平均值）。的比例（平均值）。 误帧率误帧率：指在传输的码组总数中发生差错的码组数所占的：指在传输的码组总数中发生差错的码组数所占的比例（平均值）。比例（平均值）。 根据不同的应用场合对差错率有不同的要求。根据不同的应用场合对差错率有不同的要求。 在电报传送时，允许的比特差错率约为在电报传送时，允许的比特差错率约为104105； 计算机数据传输，要求比特差错率小于计算机数据传输，要求比特差错率小于108109； 在遥控指令和军事武器系统中，要求有更小的误比特在遥控指令和军事武器系统中，要求有更小的误比特率或码组差错率。率或码组差错率。2022-4-4

7、7电信学院 汪汉新 两种降低误码率，提高可靠性的方法：两种降低误码率，提高可靠性的方法：1. 降低信道本身引起的误码率：选择合适的传输线路：降低信道本身引起的误码率：选择合适的传输线路：如光缆优于电缆；改进传输线路的特性或增加发送如光缆优于电缆；改进传输线路的特性或增加发送信号功率：如采取相位和幅度均衡以改进线路的群延信号功率：如采取相位和幅度均衡以改进线路的群延时和幅频特性，增加中继放大器。在时和幅频特性，增加中继放大器。在无线信道无线信道中，可中，可以以增加发射机功率增加发射机功率、利用、利用高增益天线高增益天线、低噪声放大器低噪声放大器等方法改善信道；选用潜在抗干扰性较强的调制解等方法改

8、善信道；选用潜在抗干扰性较强的调制解调方案。调方案。2. 采用信道编码，在数字通信系统中增加差错控制设备。采用信道编码，在数字通信系统中增加差错控制设备。2022-4-48电信学院 汪汉新前向纠错前向纠错(FEC)：发送端的信道编码器将信息码组编成具有一定纠：发送端的信道编码器将信息码组编成具有一定纠错能力的码字。接收端信道译码器对接收码字进行译码，若传输中错能力的码字。接收端信道译码器对接收码字进行译码，若传输中产生的差错数目在码的纠错能力之内时，译码器对差错进行定位并产生的差错数目在码的纠错能力之内时，译码器对差错进行定位并加以纠正。加以纠正。自动请求重发自动请求重发(ARQ)：用于检测的

9、纠错码在译码器输出端只给出当：用于检测的纠错码在译码器输出端只给出当前码字传输是否可能出错的指示，当有错时按某种协议通过一个反前码字传输是否可能出错的指示，当有错时按某种协议通过一个反向信道请求发送端重传已发送的码字全部或部分。向信道请求发送端重传已发送的码字全部或部分。混合纠错混合纠错(HEC)：是：是FEC与与ARQ方式的结合。发送端发送同时具有方式的结合。发送端发送同时具有自动纠错和检测能力的码组，接收端收到码组后，检查差错情况，自动纠错和检测能力的码组，接收端收到码组后，检查差错情况，如果差错在码的纠错能力以内，则自动进行纠正。如果信道干扰很如果差错在码的纠错能力以内，则自动进行纠正。

10、如果信道干扰很严重，错误很多，超过了码的纠错能力，但能检测出来，则经反馈严重，错误很多，超过了码的纠错能力，但能检测出来，则经反馈信道请求发端重发这组数据。信道请求发端重发这组数据。信息反馈信息反馈(IRQ)：接收端把收到的数据，原封不动地通过反馈信道：接收端把收到的数据，原封不动地通过反馈信道送回到发端，发送端比较发的数据与反馈来的数据，从而发现错误，送回到发端，发送端比较发的数据与反馈来的数据，从而发现错误，并且把错误的消息再次传送，直到发端没有发现错误为止。并且把错误的消息再次传送，直到发端没有发现错误为止。 差错控制的基本方式差错控制的基本方式2022-4-49电信学院 汪汉新FEC与

11、ARQ纠错方式纠错译码纠错编码信道消息m码字C接收向量R消息m检错译码检错编码信道消息m码字C接收向量R消息mFECARQ2022-4-410电信学院 汪汉新 在某些情况下，信道的改善可能较困难或者不经在某些情况下，信道的改善可能较困难或者不经济，这就要求采用信道编码，以满足系统差错率济，这就要求采用信道编码，以满足系统差错率的技术指标要求。的技术指标要求。 信道编码器信道编码器：对信息序列增加冗余位，以提高传：对信息序列增加冗余位，以提高传输的可靠性；输的可靠性； 信道编码在数字通信系统中的地位信道编码在数字通信系统中的地位信源编码解调器信源有信道编码的数字通信系统框图调制器传输媒介信宿信源

12、译码信道译码信道编码CRmm2022-4-411电信学院 汪汉新 重复码：重复码：(0, 0000), (1, 1111)，1比特信息映射到比特信息映射到4比特编比特编码序列。码序列。 哈达玛码：哈达玛码：(0, H0), (1, H1), , (3, H4)， 2比特信息映比特信息映射到射到4比特编码序列比特编码序列 直观结论：冗余越大性能越好。直观结论：冗余越大性能越好。信道编码的实质信道编码的实质利用冗余降低差错概率利用冗余降低差错概率2022-4-412电信学院 汪汉新信道编码的分类信道编码的分类根据监督元与信息组之间关系可分为：分组码和根据监督元与信息组之间关系可分为：分组码和卷积码

13、卷积码根据监督元与信息元之间关系可分为：线性码和根据监督元与信息元之间关系可分为：线性码和非线性码非线性码根据码的功能可分为：检错码和纠错码根据码的功能可分为：检错码和纠错码2022-4-413电信学院 汪汉新 编码：针对当前要传的消息，根据映射规则，确定当编码：针对当前要传的消息，根据映射规则，确定当前要发哪种码字（矢量）前要发哪种码字（矢量） 构造编码：寻找并建立映射规则构造编码：寻找并建立映射规则 编码设计准则编码设计准则最佳译码时的差错概率（最佳译码最佳译码时的差错概率（最佳译码有可能做不到）有可能做不到） 自由距最大化准则自由距最大化准则一种最常用的编码构造准则一种最常用的编码构造准

14、则编码与构造编码编码与构造编码2022-4-414电信学院 汪汉新编码信道信道译码信道编码编码信道消息m码字C接收向量R消息m2022-4-415电信学院 汪汉新二进制信道二进制信道：当码字：当码字 C C 和接收向量和接收向量 R R 均由二元序列表示均由二元序列表示时，称编码信道为二进制信道。时，称编码信道为二进制信道。C C=(C0,C1,Cn-1), Ci0,1R R=(R0,R1,Rn-1), Ci0,1 描述二进制信道输入输出关系的是描述二进制信道输入输出关系的是转移概率转移概率p(R R/C C)。无记忆二进制信道无记忆二进制信道：对任意的：对任意的n都有都有 则称为无记忆二进制

15、信道。则称为无记忆二进制信道。10)/()/(niiiCRppCR二进制信道二进制信道2022-4-416电信学院 汪汉新无记忆二进制对称信道无记忆二进制对称信道：转移概率满足：转移概率满足 p(0/1)=p(1/0)=pb只要噪声是白噪声，大多数二进制传输信只要噪声是白噪声，大多数二进制传输信道的模型都可以等效为一个道的模型都可以等效为一个BSC信道。信道。二进制编码信道模型二进制编码信道模型：R R =C C+E E (mod 2)差错图案差错图案：随机序列：随机序列(Ei)；随机变量；随机变量E E=(E0,E1,En-1)中中Ei=1为第为第i位上的一个随位上的一个随机错误；机错误；第

16、第i至第至第j位之间有很多错误时，称为一个位之间有很多错误时，称为一个ji+1长的突发错误。长的突发错误。 BSC转移概率1pb00111pbpbpb BSC编码信道1CER二进制对称信道二进制对称信道BSC2022-4-417电信学院 汪汉新信道编码的对象信道编码的对象：是信源编码器输出的信息序列是信源编码器输出的信息序列mm。通常。通常是二元符号是二元符号1、0组成的序列。组成的序列。信道编码的基本思想信道编码的基本思想： 按一定规则给数字序列按一定规则给数字序列mm增加一些多余的码元，使不具增加一些多余的码元，使不具有规律性的信息序列有规律性的信息序列 m m 变换为具有某种规律性的数码

17、变换为具有某种规律性的数码序列序列 C C； 码序列中的码序列中的信息序列信息序列与与多余码元多余码元之间是相关的；之间是相关的； 信道译码器利用这种信道译码器利用这种预知的预知的 编码规则译码。检验接收到编码规则译码。检验接收到的数字序列的数字序列 R R 是否符合是否符合既定的既定的 规则，从而发现规则，从而发现 R R 中是中是否有错，或者纠正其中的差错；否有错，或者纠正其中的差错； 根据根据相关性相关性来来检测检测和和纠正纠正传输过程中产生的差错。传输过程中产生的差错。 信道编码的基本思想信道编码的基本思想2022-4-418电信学院 汪汉新码元的组成及其它们之间的关系码元的组成及其它

18、们之间的关系 信息码组信息码组：数字序列：数字序列 m m 总是以总是以 k 个码元为一组传输，称个码元为一组传输，称这这k 个码元的码组为信息码组。个码元的码组为信息码组。 码字码字：信道编码器按一定的规则对每个信息码组附加一：信道编码器按一定的规则对每个信息码组附加一些多余的码元，构成了些多余的码元，构成了 n 个码元的码字。个码元的码字。 码字的码字的 n 个码元之间是个码元之间是相关的相关的，附加的，附加的 (nk) 个多余码个多余码元为何种符号序列与待编码的信息码组有关。元为何种符号序列与待编码的信息码组有关。 监督码元监督码元：附加的：附加的 (nk) 个码元称为该码组的监督码元个

19、码元称为该码组的监督码元或监督元。或监督元。2022-4-419电信学院 汪汉新 分组码分组码 将一个有限将一个有限k维输入矢量映射到一个维输入矢量映射到一个n维矢量的编码，维矢量的编码，记为记为(n, k)分组码分组码 卷积码卷积码 输入为一个无限长序列，每个节拍有输入为一个无限长序列，每个节拍有k个符号送入个符号送入编码器，同时有编码器，同时有n个符号输出至信道，但每节拍的个符号输出至信道，但每节拍的输出不仅与本节拍的输入有关，还与之前输出不仅与本节拍的输入有关，还与之前L-1个节个节拍的输入有关，记为拍的输入有关，记为(n, k, L)卷积码卷积码 级联码级联码 两个以上的编码器按一定方

20、式组合而成的编码器两个以上的编码器按一定方式组合而成的编码器几种常用的离散信道编码几种常用的离散信道编码2022-4-420电信学院 汪汉新检错与纠错的目的检错与纠错的目的 目的目的：检测检测从信道的输出信号序列从信道的输出信号序列 R R 是否是可是否是可能发送的能发送的 C C，或纠正导致，或纠正导致 R R 不等于不等于 C C 的错误。的错误。 纠错编码是一种纠错编码是一种冗余编码冗余编码。 编码效率编码效率：R=k/n。 检错与纠错原理检错与纠错原理纠错编码m=(m0,m1,mk1)C=(C0,C1,Cn1) 冗余编码2022-4-421电信学院 汪汉新重复消息位方法：重复消息位方法

21、：n重复码重复码：码率为：码率为 1/n，仅有两个码字，仅有两个码字 C C0和和 C C1，传送，传送1比特比特(k=1)消息；消息；C C0=(000)，C C1=(111)n重复码可以检测出任意小于重复码可以检测出任意小于 n个差错的错误图案，可以纠正任个差错的错误图案，可以纠正任意小于意小于 n/2个差错的错误图案个差错的错误图案 BSC信道：信道：pb1/2，n比特传输中发生差错数目越少，概率越比特传输中发生差错数目越少，概率越大大 (1pb)n pb(1pb)n 1 pbt(1pb)n t pbn 总认为发生差错的图案是差错数目较少的图案，当接收到重总认为发生差错的图案是差错数目较

22、少的图案，当接收到重复码的接收序列复码的接收序列 R R 中中“1”的个数少于一半时，认为发送的是的个数少于一半时，认为发送的是C C0，否则认为是，否则认为是 C C1。下页所示纠。下页所示纠1个任意差错的个任意差错的3重复码。重复码。2022-4-422电信学院 汪汉新111101110011000010100001t=1t=2t=3纠1位差错的3重复码2022-4-423电信学院 汪汉新 首先说明，译码本身是一种信息处理，肯定会引入一首先说明，译码本身是一种信息处理，肯定会引入一定的信息损失，但最重要的是尽量正确地恢复原始信定的信息损失，但最重要的是尽量正确地恢复原始信息。息。 最大似然

23、最大似然(ML)译码译码 最大后验概率最大后验概率(MAP)译码译码 序列译码序列译码译码准则译码准则2022-4-424电信学院 汪汉新最大似然译码：最大似然译码：由图可见：译码器接收到一个接收码字由图可见：译码器接收到一个接收码字 R R 后，按编码规后，按编码规则对则对 R R 进行译码后输出信息码组的估值进行译码后输出信息码组的估值 mm；信息码组与码字信息码组与码字 C C 之间是有固定规则的，这相当于信道之间是有固定规则的，这相当于信道译码器能给出码字译码器能给出码字 C C 的估值的估值 C C。当。当C CC C时就出现了译时就出现了译码错误。因为只有当码错误。因为只有当 C C=C C 时，时，mm=mm。信源编码解调器信源有信道编码的数字通信系统框图调制器传输媒介信宿信源译码信道译码信道编码CRmm2022-4-425电信学院 汪汉新最大后验概率译码：最大后验概率译码：当译码器收到某一个接收码字当译码器收到某一个接收码字R R后，根据最大后验概率后，根据最大后验概率p(C C/R R)进行译码判决，一定是译码错误概率最小。进行译码判决，一定是译码错误概率最小。根据贝叶斯原理根据贝叶斯原理似然函数：似然函数：p(R R/C C)