第六章-有噪信道编码课件

第六章有噪信道编码

第六章有噪信道编码

内容提要：本章介绍了信道编码和译码的基本概念，介绍了两种常用的译码准则：最大后验概率译码准则和极大似然译码准则,还介绍了在这两种译码准则下错误概率的计算方法。本章还介绍了信道编码定理及信道编码逆定理，以及信息论中的一个重要不等式——Fano不等式。

本章重点：1.信道编码的基本概念；2.几种典型的译码规则。6.1信道编码的基本概念

将信道用图6-1所示的模型表示。信道编码器信道信道译码器uxy图6-1信道模型

信源输出序列u，经信道编码器编成码字x=f(u)并输入信道，由于干扰，信道输出y，信道译码器对y估值得

=F(y)。

我们要尽可能的提高信息传输率，并控制传输误差。信源编码以提高传输效率作为主要考虑因素，信道编码以提高传输可靠性作为主要考虑因素。这一章讨论信道编码的一些基本概念及信道编码定理。【例6.3】逆重复码离散无记忆二进制对称信道，固有误码率为p(p<0.5)，信源输出序列为三位二进制数字。编码规则：为提高传输效率，仅向信道发送一位，预先将信源输出序列进行择多编码:图6-3逆重复编码传输示意图译码规则：将接收的一位符号重复三次译出，即若接收到1就译码为111，即若接收到0就译码为000。信源输出的三位符号中有两位或3位是1，信源序列编码为1，若三位符号中有两位或3位是0，就将此信源序列编码为0。计算差错概率pe：分二步进行：（1）先设p=0，计算这种编码方法带来的固有错误p1信道输入符号集X={000,001,010,011,100,101,110,111}判决输出符号集Y={000,111}译码规则因为后验概率则出错概率

假设8组输入序列是等概发送的，由于信道的对称性，两个估值序列也是等概分布的，则每个序列的平均错误概率为，误比特率。（2）再设p≠0，计算由于信道噪声引起的错误概率p2因为每个序列有三位二进制数字，但只发送一位，这一位的出错概率为p，故序列差错概率为p，误比特率。（3）总差错概率（误比特率）：

【例6.4】奇偶校验码在信息序列后面加上一位校验位，使之模2和等于1，这样的编码称为奇校验码；若使模2和等于0，这样的编码就称为偶校验码，即每个码矢中1的个数固定为奇数或偶数。6.2译码规则及错误概率信道总不可避免会搀杂噪声，所以信息在信道传输过程中，差错是不可避免的。选择合适的译码规则可以弥补信道的不足。1．最大后验概率译码准则发送码矢xk，其发送概率为q(xk)，通过信道转移概率为p(y︱xk)的信道传输，接收到矢量y，信道译码器输出通信过程可用图6-5所示框图表示。下面介绍两种典型的译码规则：{}信源信道编码器信道信道译码器信宿干扰{xk}{y}图6-5通信过程框图当估值≠xk

时，就产生了误码，用（x︱y）表示后验概率，则收到y估错的概率为

（6-2）

通信总希望错误概率最小，由式(6-2)可看出错误概率pe

(xk)最小等同于后验概率（xk︱y）最大，这就是最大后验概率译码准则。

根据概率关系式

（6-3）

根据式（6-3）后验概率（x︱y）最的就意味着p（x

y）全概率最大，因此最大后验概率译码准则也称为最大联合概率译码准则。【例6.5】信源分布，信道转移概率矩阵，信道输出符号Y={y1,y2,

y3}，按最大后验概率准则译码。(1)根据p(xy)=p(y︱x)q(x)算出全概率，用矩阵表示

(2)根据，算出[（y）]=[0.380.340.28]

(3)再由算出后验概率，用矩阵表示(4)按最大后验概率准则译码，在后验概率矩阵中，每列选一最大值（矩阵中带下划线的值），译为(5)若按最大联合概率译码准则译码，在全概率矩阵[p(xy)]中每列选一最大值（矩阵中带下划线的值），也可译出实际应用中，一般用最大信道转移概率来确定估值，即在收到矢量y后，在所有的xm(m=1,2,…,M)中,选一个转移概率p(y︱xm)最大的xm值，作为对y的估值=xk，这一译码规则称为极大似然译码规则。

2．极大似然译码准则

3．平均错误概率【例6.6】计算[例6.5]的平均错误概率，若信源等概分布，对其译码，并求平均错误概率。

（6-4）()å==Mjjejepp1)(yywååå-=yxyyxxy)()(kpp（1）求平均错误概率pe根据式（6-4）得=0.01+0.12+0.07+0.12+0.1+0.02=0.44

(2)当信源等概分布，按最大似然函数译码准则译码，[例6.5]已给出信道转移概率矩阵在矩阵的每列中选一最大值(矩阵中带下划线的值)，译码为平均错误概率6.3信道编码定理定理6.1

对于任何离散无记忆信道DMC，存在信息传输率为R，长为n的码，当n→∞时，平均差错概率pe<exp{-nE

(R)}→0，式中E(R)为可靠性函数，E(R)在0<R<C的范围内为正。定理6.1说明：信道容量C是保证无差错传输时，信息传输率R的极限值，对于固定信道，C是一定的，它是衡量信道质量的一个重要物理量。

上述定理也称有噪信道编码定理，即香农第二定理。

6.4费诺引理及信道编码逆定理6.4.1费诺不等式

Fano不等式的物理意义：进行一次判决后，关于X的疑义度可分成两项：设信道输入符号X和输出符号Y取自同一符号集A={a1,a2,…,ak

}，则传输过程中的错误概率pe和信道疑义度H(X︱Y)之间满足下列关系式：H(X︱Y)

H2(pe)+pe

log(k-1)(6-18)上式就是著名的Fano不等式。(1)是否判对，疑义度为H2(pe)(2)如果判决出错（概率为pe）,错在k-1个符号中的哪一个，疑义度不会超log(k-1)。

将费诺不等式推广到L维矢量情况：设x=x1,…,xl,…,xL

,y=y1,…,yl,…,yL,皆为L维矢量，xl,

yl∈A={a1,a2,…,ak

}，记pe为错误概率，则

H(X︱Y)

L[H2(pe)+pe

log(k-1)]

（6-24）6.4.2信道编码逆定理

引理6.1设u=u1,…,ul

,…,uL为L维随机矢量，ul

取自同一符号集{U}，则（6-25）式中H(U)表示L维熵，H(U)表示一维熵。H(U)=H(U1L-1,UL)=H(U1L-1)+H(UL︱U1L-1)

(6-26)式中U1L–1=U1U2…UL-1

(6-27)另一方面根据熵的链规则有H(U)=H(U1)+H(U2︱U1)+H(U3︱U1U2)+…+H(UL︱U1U2…UL-1)

H(U1︱U1U2…UL-1)+H(U2︱U1U2…UL-1)+…+H(UL︱U1U2…UL-1)=LH(UL︱U1L–1)因ul

取自同一符号集将式（6－27）代入式（6－26），得

(6-28)

考虑图6－6所示的通信过程，矢量u、x、y、中的所有元素都取自同一符号集A={a1,a2,…,ak

}。图6-6通信过程信源信道编码器信道信道译码器信宿uxy干扰由图6－6可见,对于离散无记忆信道，根据定理5.1有Cn

nC,则

Cn

nC

（6－29）

另一方面︱)(6-30)

将Fano不等式的矢量式（6－24）及式（6－29）代入式（6－30）得H(U)-nC

L[H2(pe)+pe

log(k-1)](6-31)考虑到式（6－25），在L→∞条件下，H(U)=LH(U)，代入到式（6－31）并整理得

H2(pe)+pe

log(k-1)

H(U)/L即：H2(pe)+pe

log(k-1)（6-32）式中为信息传输率。定理6.2信道编码逆定理

信道容量C是可靠通