第四章-信道(2-1)quan

1、第四章第四章 信道信道(2)(2)3、 准对称准对称DMC信道信道若若P P(y(yj j/x/xi i) )不满足对称条件，但是不满足对称条件，但是P P 可以分解为可以分解为s s个子个子阵，阵， 其中其中r=1,2sr=1,2s。 且所有子阵且所有子阵P Pr r满足对称性条件，则称满足对称性条件，则称P P为准对称信道。为准对称信道。例：例： )(1srPPPP211212122112121221 - 1 1 - 1 1PPP显然子阵显然子阵P P1 1, ,P P2 2满足对称性（行，列）满足对称性（行，列）求求“准对称信道容量准对称信道容量”有两种方法有两种方法1.利用导数求函数极

2、值利用导数求函数极值 信道的输入消息集合中只有两个消息的情况信道的输入消息集合中只有两个消息的情况 信道的消息集合信道的消息集合X X中只有中只有X1和和X2两个消息，并设它们的概率为两个消息，并设它们的概率为P(P(X1) )，P(P(X2) )1 1。根据给定的信道传输概率集合或信道矩阵，可求得各个联合概根据给定的信道传输概率集合或信道矩阵，可求得各个联合概率率P(P(xy) )和各个信宿消息的概率和各个信宿消息的概率P(P(y) ) ,它们都以它们都以为参变量的函数为参变量的函数 然后用公式然后用公式I(XI(X；Y)Y)H(Y)H(Y)H(Y|X)H(Y|X) C C是是I(XI(X；

3、Y)Y)对某个信源概率矢量对某个信源概率矢量P P(P(P(X1), P(), P(X2)的极大值的极大值, ,故可用偏导故可用偏导为零的方法为零的方法, ,即即 ，得出，得出I(XI(X；Y)Y)极大值时的极大值时的值，代入值，代入I(XI(X；Y)Y)中，可得中，可得 C C R Rmax max I(XI(X；Y)Y)maxmax0);( YXI0.2ln(0.30.2 )0.20.2ln(0.50.2 )0.203/16/13/16/16/16/13/13/11P可以分解成可以分解成6/16/1,3/13/1,3/16/16/13/17 . 01 . 02 . 02 . 01 . 07

4、 . 02P1 . 01 . 0,7 . 02 . 02 . 07 . 0可以分解成可以分解成2.将转移概率矩阵划分成多个互不相交的对称子集将转移概率矩阵划分成多个互不相交的对称子集当输入等概率时达到信道容量当输入等概率时达到信道容量C=lognH(p1,p2,ps) NrlogMrr=1S其中其中n为输入符号集个数；为输入符号集个数； p1,p2,ps为转移概率矩阵为转移概率矩阵P中某一行的元素；中某一行的元素；Nr为第为第r个子矩阵中某行元素之和；个子矩阵中某行元素之和；Mr为第为第r个子矩阵中某列元素之和；个子矩阵中某列元素之和；s为子集个数。为子集个数。H(p1,p2,ps)=H(Y|

5、xi)例：已知信道转移概率矩阵为例：已知信道转移概率矩阵为P0.5 0.3 0.20.3 0.5 0.2求其信道容量求其信道容量。0.5 0.3 0.3 0.5 0.20.2分解成：分解成：C=lognH(p1,p2,ps)NrlogMrr=1sn=2, N1=0.5+0.3=0.8, M1=0.5+0.3=0.8N2=0.2, M2=0.2+0.2=0.4s=24.4.二元对称删除信道二元对称删除信道12121221 -1 1P5. 具有可逆矩阵信道具有可逆矩阵信道其特点是：其特点是：P一定为方阵，存在逆阵一定为方阵，存在逆阵该信道的容量为：该信道的容量为：jjjijiPPClog expl

6、n具有可逆矩阵信道的信道容量也可以先给出信源的概率具有可逆矩阵信道的信道容量也可以先给出信源的概率分布，利用对平均互信息量求导的方法来计算。分布，利用对平均互信息量求导的方法来计算。 串联信道和并联信道的信道容量串联信道和并联信道的信道容量 串联信道（级联信道）串联信道（级联信道） 串联信道的信道矩阵串联信道的信道矩阵为信道为信道1 1的信道矩阵的信道矩阵1 1与信道与信道2 2的信道矩阵的信道矩阵2 2的乘的乘积，即积，即 1 12 2 根据矩阵乘法，根据矩阵乘法，中的中的i i行第行第k k列的元素列的元素P(P(zk|xi) )为为 对多个信道串联，可先计算第一、二信道相串联，再把这结果

7、与第三信道串联，以对多个信道串联，可先计算第一、二信道相串联，再把这结果与第三信道串联，以此类推。此类推。信道1P(y|x)信道2P(z|y)等效信道P(z|x)xyzxz JjkijikyzPxyPxzP)|()|()|(例：两个交叉传输概率为例：两个交叉传输概率为的二进制对称信道相串联，求这串联信道的信道矩的二进制对称信道相串联，求这串联信道的信道矩阵及信道上传输的平均信息量阵及信道上传输的平均信息量 解：由题意有解：由题意有 串联信道的等效信道仍为对称信道，但交叉传输概率变成了串联信道的等效信道仍为对称信道，但交叉传输概率变成了2 2(1-(1-) )，等效信，等效信道的信道容量为道的信

8、道容量为 1121222221)1()1(2)1(2)1(1111)1log()1()1(2log)1(21loglog)|()(22221max LjjijiiPPLxYHYHC 并联信道并联信道 当各信道相互独立时，联合条件概率为：当各信道相互独立时，联合条件概率为： 平均联合互信息量为：平均联合互信息量为： 一般来说，当一般来说，当N N个相互独立的信道并联时，其总信道容量个相互独立的信道并联时，其总信道容量 C C为：为： 当并联的各个信道相同时，当并联的各个信道相同时， 等号成立条件是信源的各消等号成立条件是信源的各消息符号之间无记忆。息符号之间无记忆。信道1信道2xxxxyyyy)

9、|()|()|(xyPxyPxxyyP YYXXYYXXyyPxyPxyPxyPxyPxxPyyPxxyyPyyxxPYYXXI)()|()|(log)|()|()()()|(log)() ; ( NiiCC1iNCC 4.3.4 译码方案译码方案译码时所用的准则译码时所用的准则 在一般的信息传输系统中，信宿收到的集合在一般的信息传输系统中，信宿收到的集合Y Y不一定与信源发出的信息集合不一定与信源发出的信息集合X X相同，而信宿需要知道此时信源发出的是哪一个消息，故需要把信宿收到的相同，而信宿需要知道此时信源发出的是哪一个消息，故需要把信宿收到的消息恢复成相对应的信源消息。这个消息恢复过程称

10、为译码，用公式表示为消息恢复成相对应的信源消息。这个消息恢复过程称为译码，用公式表示为XXg(Y)g(Y) 通常采用的译码方案是通常采用的译码方案是最大后验准则最大后验准则：把信道输出符号消息：把信道输出符号消息yj译成具有最译成具有最大后验概率大后验概率P(P(x* *| |yj) )的那个信道输入符号消息的那个信道输入符号消息x* *12MXxxx信道12LYyyy译码器12( )MXg Yxxx 用数学公式表示：若用数学公式表示：若 P(P(x* *| |yj) P() P(xi| |yj) ) ，对所有的，对所有的i i1 1，2 2，M(M(但但除掉除掉x* *所对应的下标所对应的下

11、标i)i)，则把，则把yj译成译成x* *，此准则使消息的错误传输概率最小，此准则使消息的错误传输概率最小例：已知一个信源的概率空间为例：已知一个信源的概率空间为所使用信道的信道矩阵所使用信道的信道矩阵 。找出能使错误传输概率最小的译码。找出能使错误传输概率最小的译码方案，并求出错误传输概率方案，并求出错误传输概率 解：信道传输特性如图解：信道传输特性如图X X，P(X )=P(X )=X1， X2， X31/21/2， 1/41/4， 1/41/421210001001 由公式由公式 P(P(xy) )P(P(x)P()P(y/x) )可得矩阵形式表示的联合概率分布可得矩阵形式表示的联合概率

12、分布P(xy):P(xy): 再由公式再由公式 可得行矩阵形式表示的可得行矩阵形式表示的Y Y中三个消息的概率分布：中三个消息的概率分布： 再由公式再由公式 可得矩阵形式表示的后验概率分布可得矩阵形式表示的后验概率分布: :8181000410021 XxyPyP)()(818143)()()|(yPxyPyxP 11000310032 收到收到y1后对后对x1，x2，x3的后验概率分布为：的后验概率分布为： P(P(x1| |y1) )2/3 P(2/3 P(x2| |y1) )1/3 P(1/3 P(x3| |y1) )0 0 比较大小后，按最大后验概率准则，应把信宿收到的比较大小后，按最

13、大后验概率准则，应把信宿收到的y1译成译成x1 同理，信宿收到同理，信宿收到y2后对后对x1，x2，x3中以中以P(P(x3| |y2) )最大，应把最大，应把y2译成译成x3 信宿收到信宿收到y3后对后对x1，x2，x3中以中以P(P(x3| |y3) )最大，应把最大，应把y3译成译成x3 所以此准则的译码方案为：所以此准则的译码方案为：g(g(y1) )x1 g(g(y2) )x3 g(g(y3) )x3 总的来说，各个消息的传输和译码过程如下：总的来说，各个消息的传输和译码过程如下：信源发出消息信源发出消息x1，信宿收到，信宿收到y1，译码器译成，译码器译成x1 ( (正确传输正确传输

14、) )信源发出消息信源发出消息x2，信宿收到，信宿收到y1，译码器译成，译码器译成x1 （不正确传输）（不正确传输）信源发出消息信源发出消息x3，信宿收到，信宿收到y2或或y3，译码器译成，译码器译成x3 ( (正确传输正确传输) ) 采用此准则的译码方案后，这个消息传输系统的正确传输概率采用此准则的译码方案后，这个消息传输系统的正确传输概率P PC C为：为： P PC C P(P(x1)+ P()+ P(x3) )1/2 + 1/41/2 + 1/43/43/4 错误传输概率错误传输概率P PE E为为: : P PE E P(P(x2) )1/41/4 译码中两种特殊情况：译码中两种特殊

15、情况： 若信道的输入消息以等概率分布，即若信道的输入消息以等概率分布，即P(P(xi) )1/M1/M，这时对于某个收到的消，这时对于某个收到的消息息yj而言，当信道的传输概率而言，当信道的传输概率P(P(yj| |xi) )为最大时，其相应的后验概率为最大时，其相应的后验概率P(P(xi| |yj) )也是最大。所以在信道输入消息以等概率分布的条件下，可以从最大信道传输也是最大。所以在信道输入消息以等概率分布的条件下，可以从最大信道传输概率概率P(P(yj| |x* *) )直接判定此时信源发出的消息是直接判定此时信源发出的消息是x* *。这称为最大似然译码准则。这称为最大似然译码准则。当信

16、源当信源X X概率空间未知时，可用此准则概率空间未知时，可用此准则. . 若传输信道对同一个输出消息若传输信道对同一个输出消息yj的各个的各个P(P(xi| |yj)()(其中其中i i1 1，2 2，M)M)都都相等，但存在某个输入消息相等，但存在某个输入消息x* *的出现概率的出现概率P(P(x* *) )为最大，这样就可以把为最大，这样就可以把yj直接直接译成译成x* * 对于对于K K重符号序列消息的译码方案与单符号消息类似重符号序列消息的译码方案与单符号消息类似信道编码定理信道编码定理定理定理 对离散平稳无记忆信道，其容量为对离散平稳无记忆信道，其容量为C，输入序列长度为，输入序列长

17、度为L。则，只要实际信息率则，只要实际信息率RC，就必可找到一种编码：当，就必可找到一种编码：当L足够长足够长时，有时，有PeC，则对任何编码，则对任何编码， Pe必大于零必大于零说明说明 前者为正定理，后者为逆定理前者为正定理，后者为逆定理 给出了信息传输率的极限给出了信息传输率的极限 只要只要RC，必为有失真传输，必为有失真传输 存在性定理存在性定理连续信道及其容量连续信道及其容量 （一）连续单消息信道及其容量（一）连续单消息信道及其容量 仅讨论两类情况仅讨论两类情况 加性高斯白噪声信道加性高斯白噪声信道 一般线性迭加干扰信道一般线性迭加干扰信道 1 1 高斯信道高斯信道 回顾：回顾：高斯

18、分布信源高斯分布信源 结论结论 熵值熵值 只与方差有关，与只与方差有关，与m无关。无关。22()221( )2x mp xe222( )() ()( )mE Xxp x dxE Xmxmp x dx221()log (2)2cHXe )( )/()(xypxyPnpN),0(2N其中：其中： I(X;Y)=HI(X;Y)=HC C(Y)-H(Y)-HC C(Y/X) (Y/X) 112()()(/) log(/)1()(/)()2log2CNNRRCNCeYp xyxPyx dxdyHPYyxYeHHH1 1 高斯信道高斯信道 （续）（续）2()1max(;)max()2log2Cep xCI

19、 X YYeH根据平均功率最大熵定理：只有当信道输出根据平均功率最大熵定理：只有当信道输出Y正态分布时熵最正态分布时熵最大，其概率密度函数为：大，其概率密度函数为： pY(y)=N(0,P)由于信道输入由于信道输入X与噪声独立，且与噪声独立，且y=x+n功率可以相加，得：功率可以相加，得：P=S+2S为信道输入的平均功率值。为信道输入的平均功率值。2()22221max(;)max()2log2111log 2log 2log2221log(1),(2Cep xCI X YYeHPePeSPS其 中迭 加 性 ）pY(y)=N(0,P) pn(n)=N(0, 2)y=x+n所以：所以：pX(x

20、)= N(0,S) 即当信道输入是均值为即当信道输入是均值为0，方差为，方差为S的高斯分布随的高斯分布随机变量时，信息传输速率达到最大值。机变量时，信息传输速率达到最大值。2 2 一般迭加性干扰信道一般迭加性干扰信道 雷电、工业干扰、其它脉冲干扰属迭加性干扰，它们是非高斯型雷电、工业干扰、其它脉冲干扰属迭加性干扰，它们是非高斯型分布。有以下定理：分布。有以下定理：定理：对迭加性连续信道，受到平均功率（方差）为定理：对迭加性连续信道，受到平均功率（方差）为2 2的非高斯的非高斯干扰影响时，当信道输出平均功率干扰影响时，当信道输出平均功率P P一定时，信道容量上下界为：一定时，信道容量上下界为：

21、)(2log21)1log(212nHePCS（一）连续单消息信道及其容量（一）连续单消息信道及其容量 （续）（续）结论：高斯信道容量是一切平均功率受限的迭加性非高斯结论：高斯信道容量是一切平均功率受限的迭加性非高斯信道容量的下限值。其它分布的容量都比高斯容量大，因信道容量的下限值。其它分布的容量都比高斯容量大，因此高斯容量是一切分布容量值最保守的估计值。此高斯容量是一切分布容量值最保守的估计值。 一般信道的频带宽度总是有限的，设频带宽度为F，在这样的波形信道中，满足限频、限时、限功率的条件约束，所以可通过采样将输入和输出信号转化为L维的随机序列： 12(,.,)Lxx xx12(,.,)Ly

22、y yyyxn和而在频带内的高斯噪声是彼此独立的，从而有 按照采样定理，在0，T范围内要求序列长度这是多维无记忆加性高斯信道，其信道容量为这是多维无记忆加性高斯信道，其信道容量为： -这是重要的这是重要的香农公式香农公式。当信道输入信号是平均功率受。当信道输入信号是平均功率受限的高斯白噪声信号时，信息传输率才达到此信道容量。限的高斯白噪声信号时，信息传输率才达到此信道容量。（二）广义平稳的限频（二）广义平稳的限频( (F F) )、限时、限时( (T T) )、限功率、限功率( (P P) )白色白色高斯信道及其容量高斯信道及其容量C C。 L=2FT)1log()1log(21212SFTSCLiii香农（香农（ShannonShannon）公式的物理意义与用途：公式的物理意义与用途： （二）广义平稳的限频（二）广义平稳的限频( (F F) )、限时、限时( (T T) )、限功率、限功率( (P P) )白色白色高斯信道及其容量高斯信道及其容量C C。（续）。（续） 2S)1log(2STtFf)1log(2SFTC它给出了决定信道容量它给出了决定信道容量C C的是三个信号物理参量：的是三个信号物理参量：F F、T T、 之间的辩证关系。之间的辩证关系。 2log(1)S