第3章信道容量

第3章信道容量信道的主要任务：以信号的形式传输和存储信息。问题：在什么条件下，通过信道的信息量最大,即信道容量的问题。§3.1单符号离散信道的数学模型信道的数学模型和分类信道的数学模型：{X

P(Y/X)Y}输入与输出之间一般不是确定的函数关系，而是统计依赖关系。P(Y/X)XY信宿信道信源

通信系统的简化模型噪声信道的分类连续信道信道的分类根据输入、输出随机信号的特点，分为：信道的分类单符号信道多符号信道根据输入、输出随机变量的个数，分为：信道的分类单用户信道多用户信道根据输入和输出的个数，分为：信道的分类无干扰信道有干扰信道根据信道上有无噪声(干扰)，分为：信道的分类有记忆信道无记忆信道根据信道有无记忆特性，分为：§3.2.1信道容量的定义§3.2单符号离散信道的信道容量离散信道的数学模型设离散信道的输入空间为输出空间为概率分布为概率分布为并有条件概率条件概率被称为信道的传递概率或转移概率。

XY将所有转移概率以矩阵方式列出，得：其中该矩阵完全描述了信道在干扰作用下的统计特性，称为信道矩阵(n行m列)。反信道矩阵（m行n列）其中含义：①给定信道时，对应各种信源分布，求取最大平均互信息；②给定信道时，理论上能传输的最大信息量，表征信道传送信息的最大能力。平均互信息I(X;Y)是信源分布p(ai)的上凸函数，因此总存在一种信源，使传输每个符号平均获得的信息量I(X;Y)最大。信道的信息传输率信息传输速率Rt:

单位时间内平均传输的信息量信息传输率R:信道中平均每个符号所能传送的信息量。由于平均互信息I(X;Y)的含义是接收到符号Y后，平均每个符号获得的关于X的信息量，因此信道信息传输率就是平均互信息，即I(X;Y)是p(ai)和p(bj/ai)的二元函数。当信道特性p(bj/ai)固定后，I(X;Y)随信源概率分布p(ai)变化。信道容量：信道中最大的传输率，记为C，

单位：比特/信道符号最大信息传输速率Ct，单位：比特/秒

信道容量信道矩阵：单位阵a1a2a3

anb1b2b3

bn………§3.2.2几种特殊离散信道的信道容量一、离散无噪信道的信道容量1、一一对应的无噪信道(无损确定信道)（n=m）a1b1a2b2an-1bn-1anbn……损失熵

H(X/Y)=0噪声熵

H(Y/X)=0I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)H(X)=

H(Y)2.具有扩展性能的无噪信道：一对多（n＜m）信道矩阵：每列只有一个非0元素，不全是0、1a1a2a3b1b2b3b4b5信道疑义度（损失熵）

H(X/Y)=0噪声熵

H(Y/X)>0I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)H(X)＜H(Y)3.具有归并性能的无噪信道：多对一（n>m）信道矩阵：每行只有一个元素“1”，其它全是0b1b2b3a1a2a3a4a5损失熵

H(X/Y)>0噪声熵

H(Y/X)=0I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(Y)H(X)＞H(Y)信道特点信道输入、输出均为n元每符号正确传输概率均为其他符号错误传输概率为p/(n-1)矩阵特点

(1)n×n阶对称阵

(2)每行和为1,每列和为1二、强对称(均匀)离散信道的信道容量每行、每列都是同一集合各元素的不同排列固定X＝ai，对Y求和，即选定某一行，对各元素自信息量加权求和。ai不同时，只是求和顺序不同，结果完全一样，所以Hni与X无关，是常数。信道容量可以看出，当输出等概分布时，即H(Y)=log2n时达到信道容量。那么，在什么样的信源输入情况下，信道输出能等概分布呢？可以证明，输入等概分布时，离散对称信道的输出也为等概分布结论：当输入等概率分布时，强对称离散信道能够传输最大的平均信息量，达到信道容量。信道容量只与信道的输出符号n及信道矩阵的某一行矢量有关。二进制对称信道(n=2)00.51p1C行可排列——矩阵每行各元素都来自同一集合Q

Q∈{q1,q2,…,qm}(排列可不同)列可排列——矩阵每列各元素都来自同一集合P

P∈{p1,p2,…,pn}(排列可不同)矩阵可排列——矩阵的行、列皆可排列对称信道——信道矩阵可排列离散对称信道三、对称离散信道的信道容量

(1)m=n时，Q、P为同一集合

m≠n时，Q、P中，一个必为另一个的子集

(2)输入等概→输出等概离散输入对称信道如果一个离散无记忆信道的信道矩阵中，每一行都是其他行的同一组元素的不同排列，则称此类信道为离散输入对称信道。离散输出对称信道如果一个离散无记忆信道的信道矩阵中，每一列都是其他列的同一组元素的不同排列，则称此类信道为离散输出对称信道。离散对称信道如果一个离散无记忆信道的信道矩阵中，每一行都是其他行的同一组元素的不同排列，并且每一列都是其他列的同一组元素的不同排列，则称此类信道为离散对称信道。练习：判断下列矩阵表示的信道是否是对称信道√√对称离散信道的信道容量可以看出，当输出等概分布时，即H(Y)=log2m时达到信道容量。由于对称信道的特点，输入等概率分布输出等概率分布。强对称信道与对称信道比较：强对称

对称n=mn与m未必相等矩阵对称

矩阵未必对称P=QP与Q未必相等行之和，列之和均为1(n=m)行之和为1(n<m)行之和为1(n>m)四、准对称离散信道的信道容量准对称离散信道信道矩阵的行可排列，列不可排列。但把该矩阵在水平方向上分割，则各子矩阵皆具可排列性

[例]

假设此时将矩阵的列分为S个子集，每个子集的元素个数分别是m1，m2，……，ms。§3.2.3离散信道容量的一般计算方法对于固定的信道，平均互信息I(X;Y)是信源概率分布p(xi)的上凸函数,所以极大值一定存在。

I(X;Y)是n个变量p(ai)(i=1,2,…,n)的多元函数，并满足所以可以用拉格朗日乘子法计算条件极值:其中，为拉格朗日乘子一般离散信道容量的求解步骤：(1)(2)(3)(4)需要确认所有的，所求的C才存在。例：可列方程组：解之得：§3.3.1多符号离散信道的数学模型§3.3多符号离散信道的信道容量P(Y/X)或{p(bj/ai)}X=X1X2…Xk….XNY=Y1Y2…Yk….YN

多符号离散信源X=X1X2…Xk….XN在N个不同时刻分别通过单符号离散信道，在输出端出现Y=Y1Y2…Yk….YN，形成一个新的信道，此即多符号离散信道。由于新信道相当于单符号离散信道在N个不同的时刻连续运用了N次，也称为单符号离散信道的N次扩展信道。Xk取值:

a1,a2,…,an,则X共有nN种,i=1～nNYk取值:

b1,b2,…,bm,则Y共有mN种

,j=1～mNP(Y/X)或{p(bj/ai)}X=X1X2…Xk….XNY=Y1Y2…Yk….YN

多符号离散信道的数学模型

信道矩阵每行元素之和等于1§3.3.2离散无记忆扩展信道的信道容量X=X1X2…Xk….XNY=Y1Y2…Yk….YN

P(Y1/X1)P(Y1/X1)P(Y1/X1)X1Y1X2Y2XN

YN把多符号离散信道理解成单符号离散信道在每一个单位时间传递一个随机变量的时候，需要考虑k时刻的输出变量Yk与k时刻之前的输入变量X1X2…Xk-1和输出变量Y1Y2…Yk-1之间有无依赖关系。

若多符号离散信道的转移概率满足

则称之为离散无记忆信道的N次扩展信道。[说明]扩展信道的转移概率=各时刻单符号信道转移概率的连乘

无记忆性——k时刻输出Yk只与k

时刻输入Xk有关,

与k时刻之前输入X1X2…Xk-1无关

无预感性——k时刻之前输出Y1Y2…Yk-1只与k时刻之前输入X1X2…Xk-1有关，与Xk无关[结论]离散无记忆N次扩展信道——无记忆，无预感互信息和信道容量离散无记忆N次扩展信道两端的平均互信息I(X;Y)=H(Y)-H(Y|X)

由于信道无记忆当第k个随机变量Xk单独通过单符号离散信道时，在输出端得到的关于Xk的平均互信息量相减可得离散无记忆信道的N次扩展信道的平均互信息，不大于N个随机变量X1X2…XN单独通过信道{XP(Y|X)Y}的平均互信息之和。当且仅当信源X=X1X2…XN无记忆,或信源X是离散无记忆信源X的N次扩展信源时，等号成立。

原因：

离散无记忆信道的N次扩展信道，当输入端的N个输入随机变量统计独立时，信道的总平均互信息等于这N个变量单独通过信道的平均互信息之和。

对于离散无记忆信源的N次扩展信源

通过同一个离散无记忆信道信{XP(Y|X)Y}在信道输出端，随机变量序列Y=Y1Y2…YN中的随机变量Yk

离散无记忆信道的N次扩展信道，如果信源也是离散无记忆信源的N次扩展信源，则信道总的平均互信息量是单符号离散无记忆信道的平均互信息量的N倍。含义

信道输入序列的各随机变量取值于不同符号集;信道输出序列的各随机变量亦取值于不同符号集;也称为独立并列信道、独立平行信道或积信道。信道容量§3.3.3独立并联信道的信道容量当N个输入随机变量之间统计独立，并且每个输入随机变量Xk的概率分布为达到各自信道容量Ck的最佳分布时，CN达到最大值N个独立并联信道的信道容量等于各个信道容量之和§3.4.1多址接入信道多入单出信道信源1信源2编码器1编码器2信道译码二址接入信道模型§3.4网络信息理论R2

C20

C1

C12C1+C2R1§3.4.2广播信道广播信道具有单个输入和多个输出的信道。信源1编码器