信息率与编码3-1

第三章信道容量信道容量的概念特殊信道的信道容量对称信道的信道容量准对称信道的信道容量非对称信道的信道容量多符号离散信道§3.1信道的数学模型和分类信道传输信息的能力→信道容量一、信道的数学模型设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y。规定一个离散信道应有三个参数：输入符号集：X={x1，x2，…，xn}输出符号集：Y={y1，y2，…，ym}信道转移概率：P(Y/X)={p(y1/x1),p(y2/x1),…p(ym/x1),……p(ym/xn)}P(Y/X)XYN§3.1信道的数学模型和分类二、信道的分类（自阅）§3.2单符号离散信道的信道容量一、信道的表示法⒈信道的矩阵表示法一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y]来描述。其中，每一行表示一个输入xi;行矢之和为1。每一列表示一个输出yj§3.2单符号离散信道的信道容量⒉信道的图示法用于输入，输出符号较少的场合。如：二元信道0101§3.2单符号离散信道的信道容量⒊信息传输率（信息率）信息传输率R：信道中平均每个符号所传送的信息量。平均互信息I(X;Y)是接收到符号Y后平均获得的关于X的信息量。所以

R=I（X;Y）bit/符号设平均传输一个符号需要t秒，则信道每秒钟平均传输的信息量为信息传输速率：§3.2单符号离散信道的信道容量⒋信道容量由于平均互信息量I(X;Y)是信源概率分布P(X)的型凸函数，所以对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。信源与信道匹配最佳分布§3.2单符号离散信道的信道容量二、几种特殊离散信道的信道容量⒈离散无噪信道的信道容量特点：输入与输出之间具有一一对应的关系。信道容量：C=lognbit/信道符号n为信道的输入符号数。

最佳分布：输入为均匀分布。⒉具有扩展性能的无噪信道特点：一个输入对应多个互不相交的输出。信道容量：C=lognbit/信道符号n为信道的输入符号数。

最佳分布：输入为均匀分布。⒊具有归并性能的无噪信道特点：一个输出对应多个互不相交的输入。信道容量：C=logmbit/信道符号m为信道的输出符号数。

最佳分布：使输出为均匀分布的输入分布。3.2.1无干扰离散信道（1）n=m具有一一对应关系的无噪信道

——一对一，无噪无损信道信道矩阵——单位阵：元素为0、1损失熵H(X/Y)=0噪声熵H(Y/X)=0互信息

I(X;Y)=H(X)=H(Y)x1x2x3

xny1y2y3

yn………H(X)I(X;Y)H(Y)（2）n＞m具有归并性的无噪信道

——多对一，无噪有损信道信道矩阵——每行只有一个非0元元素为0、1损失熵H(X/Y)≠0噪声熵H(Y/X)=0

H(X)＞H(Y)输入分布非唯一y1y2y3x1x2x3x4x5H(X)I(X;Y)H(Y)H(X/Y)

注意：不是这种情况因为信道矩阵不满足——每行只有一个非0元素元素为0、1本质：有噪信道（3）n＜m具有扩展性的无噪信道

——一对多，有噪无损信道信道矩阵——每列只有一个非0元素,

元素不全是0、1损失熵H(X/Y)=0噪声熵H(Y/X)≠0

H(X)＜H(Y)x1x2x3y1y2y3y4y5H(X)I(X;Y)H(Y)H(Y/X)

§3.2单符号离散信道的信道容量二、几种特殊离散信道的信道容量⒈离散无噪信道的信道容量特点：输入与输出之间具有一一对应的关系。信道容量：C=lognbit/信道符号n为信道的输入符号数。

最佳分布：输入为均匀分布。⒉具有扩展性能的无噪信道特点：一个输入对应多个互不相交的输出。信道容量：C=lognbit/信道符号n为信道的输入符号数。

最佳分布：输入为均匀分布。⒊具有归并性能的无噪信道特点：一个输出对应多个互不相交的输入。信道容量：C=logmbit/信道符号m为信道的输出符号数。

最佳分布：使输出为均匀分布的输入分布。§3.2单符号离散信道的信道容量三、对称信道的信道容量⒈对称信道的信道容量⑴对称信道的定义关于行可排列的若信道转移阵的每一行都是同一集合Q∈{q1,q2,…qm}

中诸元素的不同排列，则该转移阵是行可排列的。关于列可排列的若信道转移阵的每一列都是同一集合p∈{p1,p2,…pn}

中诸元素的不同排列，则该转移阵是列可排列的。

对称信道的定义若一个信道的转移阵行列都是可排列的，则该信道是一对称信道。（不一定有m=n）§3.2单符号离散信道的信道容量例：

例：对称信道识别?§3.2单符号离散信道的信道容量⑵对称信道的信道容量由信道容量的定义式得：C=I(X;Y)=H(Y)-H(Y/X)又：而由于对称信道定义，我们知道，此值是一个与x无关的一个常数，即所以有：将转移阵中的任一行看作一个信源集→熵对于行可排列情况，Hmi与i

无关§3.2单符号离散信道的信道容量⑶达到对称信道容量时的最佳分布当输入为等概分布时对称信道达到信道容量C。例1：求下述信道的信道容量：解：

例：对于二元对称信道这个式子很重要。bit/符号§3.2单符号离散信道的信道容量⒉强对称信道的信道容量⑴强对称信道的定义强对称信道是对称信道的一个特例。除了满足对称信道的条件之外，还满足：输入符号数等于输出符号数（n=m）。信道中总的错误概率为p，对称地均匀地分给n-1个输出符号。转移阵中各列之和也为1。

矩阵特点n×n阶对称阵二值矩阵每行和为1,每列和为1§3.2单符号离散信道的信道容量⑵

强对称信道的信道容量由于强对称信道是对称信道的一个特例，所以将强对称信道的特性因素代入对称信道的信道容量公式有：⑶强对称信道的最佳分布与对称信道一样，当输入分布满足均匀分布时，使强对称信道达到信道容量。

[意义]logn为输入的信息H(X),实际传送的信息是C,

H(1-p,p/n-1,…p/n-1)是丢失的信息（干扰）对于二元对称信道00.51p1C二进制对称信道(n=2)

（BSC）X={0,1};Y={0,1};p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;01-p0pp11-p11-pp1p1-p010[P]=在实际通信系统中，信号往往要通过几个环节的传输，或多步处理，这些传输和处理都可以看成是信道（串联）

H(X)≥I(X;Y)≥I(X;Z)≥…P(Y/X)P(Z/Y)XYZ串联的信道越多，其信道容量可能会越小，当串联的信道数无限大时，信道容量就有可能会趋于零．例３－３

§3.2单符号离散信道的信道容量四、准对称信道的信道容量⒈准对称信道的定义信道转移阵满足行可排列的。信道转移阵列不可排列，但矩阵中的m列可分成互不相交的s个子集，由子集组成的子阵则是行和列都是可排列的。⒉准对称信道的信道容量定理：实现准对称离散无记忆信道容量的输入分布是等概分布。根据上述定理有：

可以证明，达到信道容量的输入分布是等概分布，也可计算准对称信道的信道容量为：其中n是输入符号集的个数，q1,q2,…,qm

为矩阵中的行元素:是第k个子矩阵中的行元素之和例：可分成：:是第k个子矩阵中的列元素之和例题3-7§3.2单符号离散信道的信道容量

任取一行输入为均匀分布→前提P(yj)§3.2单符号离散信道的信道容量例如：下列各信道即为准对称信道。§3.2单符号离散信道的信道容量例2：求所给信道的信道容量：解：该信道为准对称信道（判,略）⑴先求p(yj)：p(y0)=1/2×(0.7+0.2)=0.45=P(y2)P(y1)=1/2×(0.1+0.1)=0.1§3.2单符号离散信道的信道容量例3：求所给信道的信道容量：解：该信道为准对称信道（判,略）⑴先求p(yj)：p(y0)=1/2×(1/2+1/4)=3/8=P(y1)P(y2)=1/2×(1/8+1/8)=1/8=P(y3)∴§3.2单符号离散信道的信道容量五、离散信道容量的一般计算方法若一个信道的信道转移阵满足非奇异阵，则可用下列方法求得。令所有的输入符号xk有：则有：再令看作未知数，连立K个方程解之得：

§3.2单符号离散信道的信道容量有约束条件得：

至此，解题并未结束，还必须由C求得p(y)，再最终求得p(x),仅当所有的p(x)>0，其所解得的C才是正确的，否则，须令某个p(x)=0，重新再解，直至所有的p(x)>0，为止。例4：求左图之信道容量

0011223/43/41/31/41/31/31/4课间休息§3.2单符号离散信道的信道容量解：由图得信道的转移阵：并由公式得：3/4log3/4+1/4log1/4+0=3/4[C+logω0]+1/4[C+logω1]1/3log1/3+1/3log1/3+1/3log1/3=1/3[C+logω0]+1/3[C+logω1]+1/3[C+logω2]1/4log1/4+3/4log3/4+0=1/4[C+logω1]+3/4[C+logω2]令有，并用行列式法解之：3/4log3/4+1/4log1/4+0=3/4β0+1/4β11/3log1/3+1/3log1/3+1/3log1/3=1/3β0+1/3β1+1/3β2

1/4log1/4+3/4log3/4+0=1/4β1+3/4β2

§3.2单符号离散信道的信道容量∴β0=Δβ0/

Δ=-4H(3/4,1/4)-1/3log1/3=0.454488(Hat)

β1=9log1/3+8H(3/4,1/4)=-2.340339(Hat)

β2=β0=0.454488(Hat)∴C+logω0=C+logω2=0.454488

C+logω1=-2.340339

ω0+

ω1+ω2=1§3.2单符号离散信道的信道容量∴10-c[100.454488×2+10-2.340339]=1

∴C=lg5.7000=0.755874(Hat/符号)

由C+logωi=βi

得：ω0=ω2=0.49960ω1=0.0008013求p(xi):ω0=p(0)p(0/0)+p(1)p(0/1)=0.49960;ω1=p(0)p(1/0)+p(1)p(1/1)+p(2)p(1/2)=0.0008013;ω2=p(1)p(2/1)+p(2)p(2/2)=0.49960;得：p(1)<0∴原解不合，令p(1)=0

原信道变为删除信道。

§3.2单符号离散信道的信道容量令：输入为均匀分布，解之得：C=0.75比特/信道符号

0011E定理一般离散信道达到信道容量的充要条件是输入概率分布满足

该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息（零概率除外）。3.2.4一般离散无记忆信道及信道容量可以利用该定理对一些特殊信道求得它的信道容量例：输入符号集为:{0,1,2}假设P(0)=P(2)=1/2，P(1)=0，则：所以：§3.3多符号离散信道一、多符号离散信道的数学模型设：信道的输入信源为：X=x1x2…xN,其中xk(k=1,2,…N)

取自于X={x1x2…xn}，则信源X共有nN

个不同的元素ai(i=1,2,…nN)ai=(xi1xi2…xin),xi1,xi2,…xin∈{x1,x2,…xn}i1,i2,…,iN=1,2,…n;i=1,2,…nN同理在输出端有：bj=(yj1yj2…yjN),yj1,yy2,…yjN∈{y1,y2,…ym}j1,j2,…,jN=1,2,…m;j=1,2,…mN

XYp(yj|xi)§3.3多符号离散信道在矩阵中我们若用ai,bj来表示则有：3.3.1多符号离散信道的数学模型一、含义多符号离散信源X=X1X2…Xk….XN在N个不同时刻分别通过单符号离散信道

{X

P(Y/X)Y}在输出端出现Y=Y1Y2…Yk….YN此即多符号离散信道，或单符号离散信道的N次扩展信道3.3多符号离散信道二、模型Xk取值：x1,x2,…,xn，则X共有nN种ai，i=1～nNYk取值：y1,y2,…,ym，则Y共有mN种bj，j=1～mN三、转移概率矩阵3.3.1多符号离散信道的数学模型(续)P(Y/X)或{p(bj/ai)}X=X1X2…Xk….XNY=Y1Y2…Yk….YN

§3.3多符号离散信道

二、离散无记忆信道和独立并联信道的信道容量若多符号离散信道的传递概率满足：则称该信道为离散无记忆信道的N次扩展。例、二元对称信道的二次扩展信道(错误概率为P)解：二次扩展信道的输入、输出序列的每一个随机变量均取值于{0,1}，输入共有个取值，输出共有个取值。根据

§3.3多符号离散信道可求出§3.3多符号离散信道同理可求出其他的转移概率

，得到信道矩阵：

§3.3多符号离散信道2.互信息和信道容量

(1)若信源X的N个变量Xk(k=1~N)之间相互统计独立互信息

(2)若信源X是N次扩展信源时互信息I(X;Y)=NI(X