信道容量的计算_第1页
信道容量的计算_第2页
信道容量的计算_第3页
信道容量的计算_第4页
信道容量的计算_第5页
已阅读5页,还剩6页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

§信道容量的计算这里,我们介绍普通离散信道的信道容量计算办法,根据信道容量的定义,就是在固定信道的条件下,对全部可能的输入概率分布求平均互信息的极大值。前面已知是输入概率分布的上凸函数,因此极大值一定存在。而是个变量的多元函数。并且满足。因此可用拉格朗日乘子法来计算这个条件极值。引入一种函数:解方程组()能够先解出达成极值的概率分布和拉格朗日乘子的值,然后在解出信道容量。由于而,因此。解()式有(对都成立)又由于因此式方程组能够转化为假设使得平均互信息达成极值的输入概率分布这样有从而上式左边即为信道容量,得现在令式中,是输出端接受到Y后获得有关的信息量,即是信源符号对输出端Y平均提供的互信息。普通来讲,值与有关。根据()式和()式,因此对于普通离散信道有以下定理。定理普通离散信道的平均互信息达成极大值(即等于信道容量)的充要条件是输入概率分充满足对全部的对全部的这时C就是所求的信道容量。对于离散信道来说,其实信道容量尚有一种解法:迭代解法。定理设信道的向前转移概率矩阵为,是任给的输入字母的一种初始概率分布,其全部分量。按照下式不停地对概率分布进行迭代,更新:其中由此所得的序列收敛于信道容量C。我们还能够将上述过程写成算法方便编制程序实现(如图)开始开始图信道容量的迭代算法对于某些特殊的离散信道,我们有方便的办法计算其信道容量。定义设X和Y分别表达输入信源与输出信源,则我们称为损失熵,为信道噪声熵。如果信道的损失熵,则次信道容量为(bit/符号)这里输入信源X的信源符号个数为。如果信道的噪声熵,则此信道容量为(bit/符号)这里输出信源符Y的符号个数为s.定义一种信道Q称为对称离散信道,如果它满足下面的性质:信道Q矩阵中每一行是另一行的置换;每一列式另一列的置换。例如,信道矩阵和满足对称性,因此对应信道是对称离散信道。定义对称离散信道的信道容量为(bit/符号)上式只与対称信道矩阵中行矢量和输出符号集的个数s有关。证明而由于信道的对称性,因此与无关,为一常熟,即接着举一种例子加以阐明。例某对称离散信倒的信道矩阵为用公式计算信道容量(bit/符号)定义若信道矩阵Q的列能够划分成若干互不相交的子集矩阵,即且。由为列构成的矩阵是对称矩阵,则称信道矩阵Q所对应的信道为准对称信道。例如,信道矩阵都是准对称信道,在信道矩阵中,Y能够划分为三个子集,由子集的列构成的矩阵为,,它们满足对称性,因此对应的信道是准对称信道。同理可划分为,这两个矩阵也满足对称性。下面,我们给出准对称离散信道的信道容量计算公式其中,是输入符号集的个数,为准对称信道矩阵中的行矢量。设矩阵可划分为个互不相交的子集。是第个子矩阵中行元素之和,是第个子矩阵中列元素之和,即并且能够证明达成准对称离散信道容量的输入分布式等概分布,我们将推导作为习题留给读者。001-p-q001-p-qqpp2q1-p-q11可表达成如图所示,计算其信道容量根据上面计算公式可得则有图下面我们举某些其它信道容量的例子例设离散信道如图所示,输入符号集为,输出符号集为,信道矩阵为图由于输入符号传递到和是等概率的,因此能够省去。并且与,都分别传递到和,因此可只取和,因此设输入概率分布,,能够计算得,由定理得可见,此假设分充满足定理,因此,信道容量(bit/符号)最佳分布是若设输入分布为。同理可得,根据定理有从而,输入分布也是最佳分布,可见,信道最佳输入分布不是唯一的。对于普通的离散信道,我们很难运用特殊计算办法,因此只能采用解方程组式()的办法。我们将()式的前r个方程组改写成移项后得令,代入上式得化为矩阵形式为这是含有个未知数个方程的非齐次线性方程组。如果设,信道矩阵为非奇异矩阵,则此方程组有解,并且能够求出的数值,然后根据求得信道容量(bit/符号)由这个值可解得对应的输出概论分布。再根据即可解出达成信道容量的最佳输入分布。下面给出一例。例设离散无记忆信道输入的符号集为,输出的符号集为,如图所示。其信道矩阵为1/2 1/41/4111/41/41/2我们才用上面所讲的办法来计算信道容量:解方程组得信道容量(bit/符号)又求得输出分布因此能够求得最佳输入分布为例设有两个独立并联信道如图,计算它的信道容量。信道1信道1信道2信道2解根据定理有即联合平均互信息不不不大于各自信道的平均互信息之和,因此得到独立并联信道的信道容量为,是个独立信道的信道容量。只有当输入符号互相独立,且输入符号的概率分布达成各子信道容量的概率分布时,独立并联信道的信道容量才等于各信道容量之和,即这个办法推广到N个独立并联信道容量的计算,即有对于信道Ⅰ和Ⅱ,我们将它串联起来构成新的信道(如图)信道Ⅰ信道Ⅰ信道Ⅱ图则此信道容量为例设有两个离散二元对称信道(BSC信道),其串联信道如图,并设第一种信道输入符号集的概率空间为二元对称信道Ⅰ二元对称信道Ⅰ二元对称信道ⅡXY

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论