第6章-有噪信道编码课件

信息论基础

尹洪胜主讲

中国矿业大学信电学院SchoolofInformationandElectricalEngineering,CUMT,信息论基础中国矿业大学信电学院第六章有噪信道编码

6.1信道编码的相关概念6.2有噪信道编码定理6.3纠错编码（自学）*6.4几种重要的纠错码（自学）中国矿业大学信电学院第六章有噪信道编码中国矿业大学信电学院6.1信道编码的相关概念信道编码又称为数据传输码或差错控制码，虽然和信源编码一样都是一种编码，但信源编码的作用是压缩冗余度以得到信息的有效表示，提高传输时的信息传输率。而信道编码的作用是提高信息传输时的抗干扰能力以增加信息传输的可靠性。在研究信道编码时，信源编码器和信源译码器分别归于信源和信宿。等效通信系统模型如图6.1所示。下面研究编码信道中的信道编码和译码。图6.1等效通信系统模型中国矿业大学信电学院6.1信道编码的相关概念信道编码又称为数据传输码6.1信道编码的相关概念有噪信道编码定理由香农在1948年给出，但没有进行严格的数学证明。在1955-1965包括香农本人在内，多人给出多种不同的数学证明。1、编码信道模型1）信源编码中国矿业大学信电学院6.1信道编码的相关概念有噪信道编码定理由香农在19486.1信道编码的相关概念2）编码信道模型（1）信道特征：P（Y|X）描述（2）编码对象：数字序列M，又称信息序列中国矿业大学信电学院6.1信道编码的相关概念2）编码信道模型（1）信道特征：（3）编码器：按一定的规则给数字序列M增加一些多余的码元，使不具有规律性的信息序列M变换为具有某种规律性的数字序列C，又称为码序列。信息序列M与多余码元之间具有相关性。（4）译码器：利用预知的编码规则译码，能够检验接受的数字序列Ĉ中是否有错，或者纠正其中的差错，将附加多余码元去掉，输出给信源译码器。6.1信道编码的相关概念中国矿业大学信电学院（3）编码器：按一定的规则给数字序列M增加一些多余的码元，使2、错误概率和译码规则1）错误概率PE和信道统计特性、译码过程、译码规则有关。例二元对称信道译码规则：6.1信道编码的相关概念中国矿业大学信电学院2、错误概率和译码规则译码规则：6.1信道编码的相关概6.1信道编码的相关概念2)译码规则：设信道输入符号集X={x1,x2,….,xr}，输出符号集Y={y1，y2，…，ys}。若对每一个输出符号yj都有一个确定的函数F（yj），使yj对应于唯一的一个输入符号xi，则称这样的函数为译码规则。记为：F（yj）=xi（i=1，2，…，r；j=1，2，….，s）显然，总的译码规则共有rs种，并不是每一种译码规则都是合理的。中国矿业大学信电学院6.1信道编码的相关概念2)译码规则：设信道输入符号集X6.1信道编码的相关概念例题：设有一信道，信道矩阵译码函数为F，可设计为：A：F(y1)=x1,F(y2)=x2,F(y3)=x3B:F(y1)=x1,F(y2)=x3,F(y3)=x2C：F(y1)=x1,F(y2)=x2,F(y3)=x1…………中国矿业大学信电学院6.1信道编码的相关概念例题：设有一信道，信道矩阵译码函3）错误概率：在确定译码规则F（yj）=xi*下，信道输出端接收到yj，则一定译成xi*。此时如果发送端发送的就是xi*，表明译码正确；否则就是译码错误。那么：正确译码概率：p（F(yj)|yj)=p(xi*|yj)错误译码概率：p（e|yj)=1-p(xi*|yj)平均错误概率：Pe=E[p（e|yj)]=∑p(yj)p（e|yj)经过译码后，平均接受到一个符号所产生错误的大小。6.1信道编码的相关概念中国矿业大学信电学院3）错误概率：在确定译码规则F（yj）=xi*下，信道输出4）最佳译码规则（1）总体原则：使平均错误概率Pe最小。（2）最大后验概率准则：选择译码函数F（yj）=x*，使之满足条件P(x*|yj)>=p(xi|yj)，对任意i含义：它是选择这样一种译码函数，对于每一个输出符号yj均译成具有最大后验概率的那个符号x*，此时具有Pe最小值6.1信道编码的相关概念中国矿业大学信电学院4）最佳译码规则6.1信道编码的相关概念中国矿业大学信电举例：信源，信道矩阵求最大后验概率准则下的译码方案。解：利用贝叶斯公式：1收到y1:P(x1|y1)=2/3,P(x2|y1)=1/3,P(x3|y1)=0所以F(y1)=x12收到y2:F(y2)=x33收到y3:F(y3)=x36.1信道编码的相关概念中国矿业大学信电学院举例：信源（3）最大联合概率准则：选择译码函数F（yj）=x*，使之满足条件P(x*yj)>=p(xiyj)，对任意i举例：同上例解：利用乘法公式1收到y1:P(x1y1)=1/2,P(x2y1)=1/4,P(x3y1)=0所以F(y1)=x12收到y2:F(y2)=x33收到y3:F(y3)=x36.1信道编码的相关概念中国矿业大学信电学院（3）最大联合概率准则：选择译码函数F（yj）=x*，使之满（4）最大似然译码准则：选择译码函数F（yj）=x*，使之满足条件P(yj|x*)>=p(yj|xi)，对任i举例：同上例解：通过观察可得：1F(y1)=x1F(y2)=x3F(y3)=x32F(y1)=x2F(y2)=x3F(y3)=x36.1信道编码的相关概念中国矿业大学信电学院（4）最大似然译码准则：选择译码函数F（yj）=x*，使之满（5）平均错误概率Pe6.1信道编码的相关概念中国矿业大学信电学院（5）平均错误概率Pe6.1信道编码的相关概念中国矿业大1）问题提出传输信息的2个主要要求：（1）信息传输率尽可能快（效率）（2）平均错误概率尽可能低（可靠性）例反复传送提高通信的可靠性。以BSC信道为例，设信源输出符号只有0和1，信道矩阵a)信源输出0或1不重复传送：信源传1位，信道传1位此时：R=1bit/符号，Pe=0.016.2有噪信道编码定理中国矿业大学信电学院1）问题提出a)信源输出0或1不重复传送：信源传1位，信道b)信源输出0或1重复传送3次：信源传1位，信道传3位此时：R=1/3bit/符号，10-4c)进一步增大重传次数n=5R=1/5bit/符号，Pe=10-5

n=7R=1/7bit/符号，Pe=4

10-7n=9R=1/9bit/符号，Pe=10-8n=11R=1/11bit/符号，Pe=5

10-106.2有噪信道编码定理中国矿业大学信电学院b)信源输出0或1重复传送3次：信源传1位，信道传3位6.2）离散信道的编码定理用文字叙述其内涵：只要传信率小于信道容量C，总存在一种信道编码，可以以所要求的任意小的差错概率实现可靠通信-(香农第二编码定理)信道编码的逆定理：信道容量是可靠通信系统传信率的上边界，如果R>C就不可能有任何一种编码使差错概率任意小。以上两个定理常被写在一起统称为有扰信道的信道编码定理。3）说明a)该定理只解决了什么是理论极限，并指出在一定范围内与R、C有关，Pe随N增大而降低；b)在任何信道中，信道容量是可进行可靠传输的最大信息传输率；c)推动了编码理论的发展，实际的编码系统可根据该定理加以评价6.2有噪信道编码定理