信息论第六章课件

第6章有噪信道编码定理6.1错误概率和译码规则6.2错误概率与编码方法6.3*联合典型序列6.4有噪信道编码定理6.5联合信源信道编码定理第6章有噪信道编码定理6.1错误概率和译码规则6.216.1错误概率和译码规则通信过程并不是在信道输出端就结束了,要经过译码过程才到达消息的终端，因此译码过程和译码规则对系统的错误概率影响很大.例如：已知二元信道(1)发送符号“0”,接收到符号仍为“0”的概率是(2)译码时，收到符号“0”时，若译码器译为符号“0”，则正确译码的概率是(3)发送“0”收到“1”,译成“1”，概率为6.1错误概率和译码规则通信过程并不是在信道输2此译码规则下，平均错误概率发送“0”，译成“1”的概率发送“1”,译成“0”的概率译对概率此译码规则下，平均错误概率发送“0”，译成“1”的概率发送“3新译码规则：接收符号“0”，译成符号“1”接收符号“1”，译成符号“0”结论：错误概率既与信道的统计特性有关，也与译码规则有关．新译码规则：接收符号“0”，译成符号“1”接收符号“1”，译4输入符号集输出符号集s个输出符号中的每一个都可以译成r

个输入符号中的任何一个，共有种译码规则可供选择．1、定义：译码规则设计一个函数，它对于每一个输出符号确定一个唯一的输入符号与其单值对应，输入符号集输出符号集s个输出符号中的每一个都可以译成r个5２、平均错误概率好的译码规则、其平均错误概率最小.译码的条件正确概率：收到符号一定译成，而发送的就是，为正确译码。条件错误概率e表示除了以外的所有输入符号的集合。２、平均错误概率好的译码规则、其平均错误概率最小.译码的条件6平均错误概率：译码后平均接收到一个符号所产生的错误大小。要使最小，应使最小，也就是使为最大。平均错误概率：译码后平均接收到一个符号所产生的错误大小。要使7如果采用这种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的平均错误概率就能最小．称“最大后验概率准则”或“最小错误概率准则”。选择译码函数且满足条件:如果采用这种译码函数，它对于每一个输出符号均译成具有最大后验8３、最大似然译码准则若先验概率等概率则选择译码函数的条件应满足此译码规则称“最大似然译码准则”３、最大似然译码准则若先验概率等概率则选择译码9根据最大似然译码准则，我们可以直接根据信道矩阵选定译码函数．即收到后，译成信道矩阵P的第j

列中最大的那个元素所对应的信源符号．当不是等概分布时，仍可采用最大似然译码准则，但不一定能使最小．根据最大似然译码准则，我们可以直接根据信道矩阵选定译码函数．104、平均错误概率的进一步推导平均正确概率4、平均错误概率的进一步推导平均正确概率11例6.1已知信道矩阵，制定译码规则，求出错误概率．解：根据最大似然译码准则(1)另选择译码规则例6.1已知信道矩阵，制定译码规则，求出错误概率．解：12由最大似然译码准则，仍选第(1)组要使最小，使用最小错误概率准则当输入不是等概率分布译码函数为：输入不是等概分布时，最大似然译码准则的平均错误概率不是最小的．由最大似然译码准则，仍选第(1)组要使最小，使用最小错136.2错误概率与编码方法6.2.1简单重复编码的错误概率6.2.2简单重复编码的信息传输率6.2.4最小距离译码准则6.2.3不同编码的错误概率6.2.5用汉明距离计算

6.2错误概率与编码方法6.2.1简单重复编码的错误概146.2.1简单重复编码的错误概率1、输入码字为单符号“0”,“1”选择最佳译码规则通信系统一般要求如何提高6.2.1简单重复编码的错误概率1、输入码字为单符号“0152、消息重复发送3遍——“000”，“111”二元对称信道的三次扩展信道二元对称信道的三次扩展信道根据最大似然译码准则，确定译码函数2、消息重复发送3遍——“000”，“111”二元对称信道的163、当时当时当时当时3、当时当时当176.2.2简单重复编码的信息传输率(1)n=1(无重复),M=2,设t=1秒(2)当n=3,M=2

结论:

简单重复编码方法,在使降低的同时,也使信息传输率R降低很多.M是输入消息的个数,logM等概率时的信息量6.2.2简单重复编码的信息传输率(1)n=1(186.2.3不同编码的错误概率1、二元对称信道的三次扩展信道错误概率增大到单符号时的三倍!但6.2.3不同编码的错误概率1、二元对称信道的三次扩展信192、在三次扩展信道的输入取M=4方案Ⅰ：2、在三次扩展信道的输入取M=4方案Ⅰ：20方案Ⅱ：方案Ⅱ：216.2.4最小距离译码准则1、码字距离——汉明距离长度为n的两个符号序列(码字)和之间的距离是指和之间对应位置上不同码元的个数，用符号表示。这种码字距离称为汉明距离。6.2.4最小距离译码准则1、码字距离——汉明距离长度为222、最小距离在某一码书中，任意两个码字的汉明距离的最小值称为该码C的最小距离。2、最小距离在某一码书中，任意两个码字的汉明距离的最小值称为23方案Ⅰ：方案Ⅱ：结论：码C的最小码距越大，越小方案Ⅰ：方案Ⅱ：结论：24传输过程中传输到有个位置发生了错误，个位置没有错误.设二元对称信道单个符号传输错误概率为p,则编码后信道的传递概率3、最小距离译码准则(1)最大似然译码准则满足信道扩展矩阵列元素中最大元素对应越小,越大.传输过程中传输到有个位25用汉明距离表示最大似然译码准则:满足在二元对称信道中，最小距离译码准则＝最大似然译码准则在任意信道中，也可采用最小距离译码准则，但它不一定等于最大似然译码准则。用汉明距离表示最大似然译码准则:满足在二元对称信道中，在266.2.5用汉明距离计算

——二元对称无记忆信道,输入等概分布6.2.5用汉明距离计算27总结：编码方法：使选取的M个码字中任意两两不同码字的距离尽量大。译码方法：把译成与它最邻近的那个发送码字，即使尽量小。总结：编码方法：使选取的M个码字中任意译码方法：把286.3联合典型序列6.3.1定义联合典型序列6.3.2三个定理6.3联合典型序列6.3.1定义联合典型序296.3.1定义联合典型序列无记忆n次扩展信道单符号离散信道6.3.1定义联合典型序列无记忆n次扩展信道单符30定义：n长的序列对满足(1)是典型序列;(2)是典型序列;(3)对于任意小的正数，存在n使称序列对为联合典型序列。的典型序列集表示为的典型序列集表示为的联合典型序列集表示为定义：n长的序列对满足(1)是31信息论第六章课件326.3.2三个定理定理6.1（联合渐进等分割性）对于任意小的正数,当n足够大时,则6.3.2三个定理定理6.1（联合渐进等分割性）33定理6.1表明(1)两个随机变量情况下，信源和联合信源都具有渐进等分割性。随着n的增大，典型序列集出现的概率增大，且趋于等概分布。(2)典型序列是扩展信道输入端高概率出现的序列；典型序列是扩展信道输出端高概率出现的序列；联合典型序列对是那些信道输入和输出间密切关联，经常出现的序列对。定理6.1表明(1)两个随机变量情况下，信源34定理6.2对于任意小的正数足够大(1)(2)定理6.2表明(1)已知典型序列条件下，与构成联合典型序列的的集合为,即左上角每一列中至多有个黑点。(2)同理，已知典型序列条件下，其对应行在图左上角至多个黑点。定理6.2对于任意小的正数足够大(35定理6.3若和统计独立并与有相同的边缘分布，则定理6.3表明（1）随机选择序列对是统计独立的联合典型序列对的概率约等于。（2）对某一典型序列，与它统计独立的联合典型序列对可能有个。定理6.3若和统计独立并与36整体分析（三个定理）结论(2)输出端的典型序列数共约(3)选择码字的原则是，其对应的典型序列互不重叠。(4)输入端可选取的最多码字数(1)发送某一典型序列，一定高概率地传送到与它构成联合典型序列的那些序列上,共有个对应的典型序列。整体分析（三个定理）结论(2)输出端的典型序列数共约376.4有噪信道编码定理定理6.4（有噪信道编码定理）设离散无记忆信道，为其信道传递概率，其信道容量为C。当信息传输率R<C时；只要码长n足够长，总可以在输入符号集中找到个码字组成的一组码和相应的译码规则，使译码的错误概率任意小。当码长n增大时，如果M数不变，显然可使减小，因为可增大。6.4有噪信道编码定理定理6.4（有噪信道编码定理38设离散无记忆信道,其信道容量为C。当信息传输率R>C,则无论码长n多长，总也找不到一种编码，使译码错误概率任意小。定理6.5有噪信道编码逆定理设离散无记忆信道39定理6.6（有噪连续信道编码定理）对于限带高斯白噪声加性信道，噪声功率为Pn，带宽为W，信号平均功率受限为Ps，则（1）当，总可以找到一种信道编码在信道中以信息传输率R传输信息，而使错误概率任意小。（2）当，找不到一种信道编码，在信道中以R传输信息而使错误概率任意小。定理6.6（有噪连续信道编码定理）（2）当406.5联合信源信道编码定理1、第一部分：信源编码(2)信源压缩编码只与信源有关，不依赖于信道。(3)形成了其一个理论分支——数据压缩理论与技术。针对各自信源的不同特点，进行不同的数据压缩，用最有效的二元码来表达这些不同的信源。6.5联合信源信道编码定理1、第一部分：信源编码(2)412、第二部分：信道编码(1)信道编码只需针对信道特性进行，不用考虑不同信源的不同特性，其输入端只是接收一系列二元码，编码与信源无关。(2)形成了一个理论分支——纠错码理论3、这种分两步编码的处理方法，可以大大降低通信系统的复杂度。2、第二部分：信道编码(1)信道编码只需针对信道特性进行，42检错和纠错的规则：1、要发现(检测)e个随机错误，要求码的最小距离2、要纠正e个随机错误，则要求3、要纠正e个随机错误同时检测个错误，则要求检错和纠错的规则：1、要发现(检测)e个随机错误，要求码243第6章有噪信道编码定理6.1错误概率和译码规则6.2错误概率与编码方法6.3*联合典型序列6.4有噪信道编码定理6.5联合信源信道编码定理第6章有噪信道编码定理6.1错误概率和译码规则6.2446.1错误概率和译码规则通信过程并不是在信道输出端就结束了,要经过译码过程才到达消息的终端，因此译码过程和译码规则对系统的错误概率影响很大.例如：已知二元信道(1)发送符号“0”,接收到符号仍为“0”的概率是(2)译码时，收到符号“0”时，若译码器译为符号“0”，则正确译码的概率是(3)发送“0”收到“1”,译成“1”，概率为6.1错误概率和译码规则通信过程并不是在信道输45此译码规则下，平均错误概率发送“0”，译成“1”的概率发送“1”,译成“0”的概率译对概率此译码规则下，平均错误概率发送“0”，译成“1”的概率发送“46新译码规则：接收符号“0”，译成符号“1”接收符号“1”，译成符号“0”结论：错误概率既与信道的统计特性有关，也与译码规则有关．新译码规则：接收符号“0”，译成符号“1”接收符号“1”，译47输入符号集输出符号集s个输出符号中的每一个都可以译成r

个输入符号中的任何一个，共有种译码规则可供选择．1、定义：译码规则设计一个函数，它对于每一个输出符号确定一个唯一的输入符号与其单值对应，输入符号集输出符号集s个输出符号中的每一个都可以译成r个48２、平均错误概率好的译码规则、其平均错误概率最小.译码的条件正确概率：收到符号一定译成，而发送的就是，为正确译码。条件错误概率e表示除了以外的所有输入符号的集合。２、平均错误概率好的译码规则、其平均错误概率最小.译码的条件49平均错误概率：译码后平均接收到一个符号所产生的错误大小。要使最小，应使最小，也就是使为最大。平均错误概率：译码后平均接收到一个符号所产生的错误大小。要使50如果采用这种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的平均错误概率就能最小．称“最大后验概率准则”或“最小错误概率准则”。选择译码函数且满足条件:如果采用这种译码函数，它对于每一个输出符号均译成具有最大后验51３、最大似然译码准则若先验概率等概率则选择译码函数的条件应满足此译码规则称“最大似然译码准则”３、最大似然译码准则若先验概率等概率则选择译码52根据最大似然译码准则，我们可以直接根据信道矩阵选定译码函数．即收到后，译成信道矩阵P的第j

列中最大的那个元素所对应的信源符号．当不是等概分布时，仍可采用最大似然译码准则，但不一定能使最小．根据最大似然译码准则，我们可以直接根据信道矩阵选定译码函数．534、平均错误概率的进一步推导平均正确概率4、平均错误概率的进一步推导平均正确概率54例6.1已知信道矩阵，制定译码规则，求出错误概率．解：根据最大似然译码准则(1)另选择译码规则例6.1已知信道矩阵，制定译码规则，求出错误概率．解：55由最大似然译码准则，仍选第(1)组要使最小，使用最小错误概率准则当输入不是等概率分布译码函数为：输入不是等概分布时，最大似然译码准则的平均错误概率不是最小的．由最大似然译码准则，仍选第(1)组要使最小，使用最小错566.2错误概率与编码方法6.2.1简单重复编码的错误概率6.2.2简单重复编码的信息传输率6.2.4最小距离译码准则6.2.3不同编码的错误概率6.2.5用汉明距离计算

6.2错误概率与编码方法6.2.1简单重复编码的错误概576.2.1简单重复编码的错误概率1、输入码字为单符号“0”,“1”选择最佳译码规则通信系统一般要求如何提高6.2.1简单重复编码的错误概率1、输入码字为单符号“0582、消息重复发送3遍——“000”，“111”二元对称信道的三次扩展信道二元对称信道的三次扩展信道根据最大似然译码准则，确定译码函数2、消息重复发送3遍——“000”，“111”二元对称信道的593、当时当时当时当时3、当时当时当606.2.2简单重复编码的信息传输率(1)n=1(无重复),M=2,设t=1秒(2)当n=3,M=2

结论:

简单重复编码方法,在使降低的同时,也使信息传输率R降低很多.M是输入消息的个数,logM等概率时的信息量6.2.2简单重复编码的信息传输率(1)n=1(616.2.3不同编码的错误概率1、二元对称信道的三次扩展信道错误概率增大到单符号时的三倍!但6.2.3不同编码的错误概率1、二元对称信道的三次扩展信622、在三次扩展信道的输入取M=4方案Ⅰ：2、在三次扩展信道的输入取M=4方案Ⅰ：63方案Ⅱ：方案Ⅱ：646.2.4最小距离译码准则1、码字距离——汉明距离长度为n的两个符号序列(码字)和之间的距离是指和之间对应位置上不同码元的个数，用符号表示。这种码字距离称为汉明距离。6.2.4最小距离译码准则1、码字距离——汉明距离长度为652、最小距离在某一码书中，任意两个码字的汉明距离的最小值称为该码C的最小距离。2、最小距离在某一码书中，任意两个码字的汉明距离的最小值称为66方案Ⅰ：方案Ⅱ：结论：码C的最小码距越大，越小方案Ⅰ：方案Ⅱ：结论：67传输过程中传输到有个位置发生了错误，个位置没有错误.设二元对称信道单个符号传输错误概率为p,则编码后信道的传递概率3、最小距离译码准则(1)最大似然译码准则满足信道扩展矩阵列元素中最大元素对应越小,越大.传输过程中传输到有个位68用汉明距离表示最大似然译码准则:满足在二元对称信道中，最小距离译码准则＝最大似然译码准则在任意信道中，也可采用最小距离译码准则，但它不一定等于最大似然译码准则。用汉明距离表示最大似然译码准则:满足在二元对称信道中，在696.2.5用汉明距离计算

——二元对称无记忆信道,输入等概分布6.2.5用汉明距离计算70总结：编码方法：使选取的M个码字中任意两两不同码字的距离尽量大。译码方法：把译成与它最邻近的那个发送码字，即使尽量小。总结：编码方法：使选取的M个码字中任意译码方法：把716.3联合典型序列6.3.1定义联合典型序列6.3.2三个定理6.3联合典型序列6.3.1定义联合典型序726.3.1定义联合典型序列无记忆n次扩展信道单符号离散信道6.3.1定义联合典型序列无记忆n次扩展信道单符73定义：n长的序列对满足(1)是典型序列;(2)是典型序列;(3)对于任意小的正数，存在n使称序列对为联合典型序列。的典型序列集表示为的典型序列集表示为的联合典型序列集表示为定义：n长的序列对满足(1)是74信息论第六章课件756.3.2三个定理定理6.1（联合渐进等分割性）对于任意小的正数,当n足够大时,则6.3.2三个定理定理6.1（联合渐进等分割性）76定理6.1表明(1)两个随机变量情况下，信源和联合信源都具有渐进等分割性。随着n的增大，典型序列集出现的概率增大，且趋于等概分布。(2)典型序列是扩展信道输入端高概率出现的序列；典型序列是扩展信道输出端高概率出现的序列；联合典型序列对是那些信道输入和输出间密切关联，经常出现的序列对。定理6.1表明(1)两个随机变量情况下，信源77定理6.2对于任意小的正数足够大(1)(2)定理6.2表明(1)已知典型序列条件下，与构成联合典型序列的的集合为,即左上角每一列中至多有个黑点。(2)同理，已知典型序列条件下，其对应行在图左上角至多个黑点。定理6.2对于任意小的正数足够大(78定理6.3若和统计独立并与有相同的边缘分布，则定理6.3表明（1）随机选择序列对是统计独立的联合典型序列对的概率约等于。（2）对某一典型序列，与它统计独立的联合典型序列对可能有个。定理6.3若和统计独立并与79整体分析（三个定理）结论(2)输出端的典型序列数共约(3)选择码字的原则是，其对应的典型序列互不重叠。(4)输入端可选取的最多码字数(1)发送某一典型序列，一定高概率地传送到与它构成联合典型序列的那些序列上,共有个对应的典型序列。整体分析（三个定理）结论(2)输出端的典型序列数共约806.4有噪信道编码定理定理6.4（有噪信道编码定理）设离散