信息论基础信道容量的计算

信息论基础信道容量的计算第一页，共四十页，编辑于2023年，星期六对称离散信道的信道容量I(X;Y)=H(Y)-H(Y/X)而H(Y/X=x)是对矩阵的行求和，是与x无关的一个常数，即因此当输出等概分布时，即H(Y)=logs时信道容量才能达到。离散无记忆信道和信道容量2第二页，共四十页，编辑于2023年，星期六那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，输入等概分布时，输出也等概分布离散无记忆信道和信道容量3第三页，共四十页，编辑于2023年，星期六Eg.求信道容量离散无记忆信道和信道容量4第四页，共四十页，编辑于2023年，星期六我们首先从一个例子开始例：二元无记忆对称信道得二次扩展信道。二元记忆对称信道为离散无记忆信道和信道容量5第五页，共四十页，编辑于2023年，星期六可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就称为了扩展信道。则它的二次扩展信道为：离散无记忆信道和信道容量6第六页，共四十页，编辑于2023年，星期六因此，如果信源、信道都是无记忆的这就是离散无记忆信道序列的信道容量，该信道容量在信源是无记忆信源且每一个输入变量Xi达到最大入口分布时达到。离散无记忆信道和信道容量7第七页，共四十页，编辑于2023年，星期六数据可靠传输和信道编码4.1离散无记忆信道和信道容量

4.2

信道容量的计算

4.3信道编码理论4.4带反馈的信道模型4.5联合信源-信道编码定理4.6线性分组码习题四8第八页，共四十页，编辑于2023年，星期六9第九页，共四十页，编辑于2023年，星期六接入信道容量的分析与寻呼信道不一样，寻呼信道用于前向链路，容量的分析主要在于对寻呼信道占用率的计算，而接入信道用于反向链路，对CDMA系统来说，反向链路容量主要用于干扰的分析。即使采用时隙化的随机接入协议，接入信道也可能有较高的通过量，大量的接入业务会在反向链路中产生无法接受的干扰。如前所述，第一个接入试探失败后，下一个接入试探将增加一定量的功率，最终的结果将导致小区接收功率的增加以及反向链路容量的减少。为了保证话音业务信道的容量，应设计一个合适的接入信道，以限制接入对反向链路容量的干扰。一般情况下，我们保持接入信道干扰余量在业务信道负载的10%以下,业务信道负载定义如下：对某个用户来说，CDMA系统中的其他用户都是干扰，这种干扰提高了接收机的噪声基底，降低了接收机的灵敏度。10第十页，共四十页，编辑于2023年，星期六

CDMA是码分多址的英文缩写(CodeDivisionMultipleAccess)，它是在数字技术的分支--扩频通信技术上发展起来的一种崭新而成熟的无线通信技术。CDMA技术的原理是基于扩频技术，即将需传送的具有一定信号带宽信息数据，用一个带宽远大于信号带宽的高速伪随机码进行调制，使原数据信号的带宽被扩展，再经载波调制并发送出去。接收端使用完全相同的伪随机码，与接收的带宽信号作相关处理，把宽带信号换成原信息数据的窄带信号即解扩，以实现信息通信。

11第十一页，共四十页，编辑于2023年，星期六移动通讯技术的分类

移动通信系统有多种分类方法。例如按信号性质分，可分为模拟、数字；按调制方式分，可分为调频、调相、调幅；按多址连接方式分，可分为

频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)。

目前中国联通、中国移动所使用的GSM移动电话网采用的便是FDMA和TDMA两种方式的结合。GSM比模拟移动电话有很大的优势，但是，在频谱效率上仅是模拟系统的3倍，容量有限；在话音质量上也很难达到有线电话水平；TDMA终端接入速率最高也只能达到9.6kbit/s；TDMA系统无软切换功能，因而容易掉话，影响服务质量。因此，TDMA并不是现代蜂窝移动通信的最佳无线接入，而CDMA多址技术完全适合现代移动通信网所要求的大容量、高质量、综合业务、软切换等，正受到越来越多的运营商和用户的青睐。

12第十二页，共四十页，编辑于2023年，星期六CDMA的机理相关。CDMA是一个自扰系统，所有移动用户都占用相同带宽和频率，打个比方，将带宽想像成一个大房子，所有的人将进入惟一的大房子。如果他们使用完全不同的语言，他们就可以清楚地听到同伴的声音而只受到一些来自别人谈话的干扰。在这里，屋里的空气可以被想像成宽带的载波，而不同的语言即被当作编码，我们可以不断地增加用户直到整个背景噪音限制住了我们。如果能控制住用户的信号强度，在保持高质量通话的同时，我们就可以容纳更多的用户。数据可靠传输和信道编码13第十三页，共四十页，编辑于2023年，星期六①互信息I(X；Y）是输入信源的概率分布p(x)的上凸函数；——每个固定信道都有一个最大的信息传输率，即信道容量C.信道容量的计算—知识回顾14第十四页，共四十页，编辑于2023年，星期六②最佳入口分布不一定是唯一的，但是最佳输出分布是唯一的；——单位时间内信道的最大信息传输率，即信道容量的计算15第十五页，共四十页，编辑于2023年，星期六③常见信道的信道容量C：——无噪信道信道容量的计算16第十六页，共四十页，编辑于2023年，星期六③常见信道的信道容量C：——离散对称信道信道容量的计算17第十七页，共四十页，编辑于2023年，星期六1信道容量的计算原理C是选择不同的输入概率分布p(x),在满足∑p(x)=1条件下，求互信息的极大值：信道容量的计算Lagrange乘子法18第十八页，共四十页，编辑于2023年，星期六例1、设某二进制数字传输系统接收判决器的输入信号电平、噪声密度分布及判决电平如下图所示.试求：(1)信道模型；(2)平均互信息；(3)信道容量.信道容量的计算19第十九页，共四十页，编辑于2023年，星期六解2）令，则Y的概率分布为信道容量的计算所以，20第二十页，共四十页，编辑于2023年，星期六3）为求信道容量，对平均互信息求驻点：信道容量的计算令，解得p=3/5，这时互信息达最大值.将p=3/5代入（2），得到信道容为:C=0.32bit/sym.21第二十一页，共四十页，编辑于2023年，星期六2达到信道容量输入分布的充要条件信道容量的计算令定理4.2.2

一般离散信道的互信息I(X；Y)达到极大值（即等于信道容量）的充要条件是输入概率分布p(x)满足22第二十二页，共四十页，编辑于2023年，星期六结论：当信道互信息达到信道容量时，输入信源符号集中每一个信源符号对输出端y提供相同的互信息，只是概率为零的符号除外.这个结论和直观概念是一致的：在某给定的输入分布下，若有一个输入符号xi对输出y所提供的互信息比其他输入符号所提供的互信息大，那么，我们就可以更多地使用这一符号来增大互信息.但是，这就会改变输入符号的概率分布，必然使这个符号的互信息减小，而其他符号对应的互信息增加。所以，经过不断调整输入符号的概率分布，就可使每个概率不为零的输入符号对输出Y提供相同的互信息.信道容量的计算23第二十三页，共四十页，编辑于2023年，星期六例2

一个信道的信道矩阵为信道容量的计算求信道容量.24第二十四页，共四十页，编辑于2023年，星期六解：由x＝0和x＝2时信道的对称性以及x＝1时的不可靠传输，可以假定最佳输入概率分布为信道容量的计算这时，因为能够满足信道容量定理：25第二十五页，共四十页，编辑于2023年，星期六所以假定的输入分布确实是最佳输入分布，这时信道容量为信道容量的计算26第二十六页，共四十页，编辑于2023年，星期六习题1：求下述信道的信道容量.信道容量的计算C=1p(0)=p(2)=1/2,p(1)=027第二十七页，共四十页，编辑于2023年，星期六习题2：求下述信道的信道容量.信道容量的计算分析：由于a3到b1、b2是等概的，可略；a1、a2均到b1，a4、a5均到b2，所以可只取a1、a5.设输入分布：p(a1)=p(a5)=1/2，p(ai)=0p(a1)=p(a2)=p(a4)=p(a5)=1/4，p(ai)=0C=128第二十八页，共四十页，编辑于2023年，星期六Z信道Z信道的信道矩阵：设入口概率分布为：则，输出符号的概率分布：从而，29第二十九页，共四十页，编辑于2023年，星期六可得：注：这时要找某个使得I(U;V)达到最大值，困难!定理求法Z信道30第三十页，共四十页，编辑于2023年，星期六定理4.2.2

一般离散信道达到信道容量的充要条件是入口概率分布满足

该定理表明，当信道平均互信息达到信道容量时，输入信源符号集中每一个符号对输出端提供相同的互信息；只是概率为零的符号除外.31第三十一页，共四十页，编辑于2023年，星期六可得：注：这时要找某个使得I(U;V)达到最大值，困难!定理求法即32第三十二页，共四十页，编辑于2023年，星期六可整理为：从而，即，解得：Z信道33第三十三页，共四十页，编辑于2023年，星期六解方程组，求信道容量由定理4.2.2可得：即令34第三十四页，共四十页，编辑于2023年，星期六可得（*）由于两边求和，得从而，对应的输出概率分布为：从而可得最大入口分布！解方程组，求信道容量35第三十五页，共四十页，编辑于2023年，星期六例：可列方程组：解方程组，求信道容量36第三十六页，共四十页，编辑于2023年，星期六解之得：解方程组，求信道容量信道容量最佳入口分布37第三十七页，共四十页，编辑于2023年，星期六信源与信道的匹配

信道的信道容量是固定的，如果某一信源通过该信道传输时，信息传输率达到了信道容量，我们认为信源与信道达到匹配，否则，我们认为有剩余.

定义：信道剩余度＝C-I(X;Y)

信道的相对剩余度＝38第三十八页，共四十页，编辑于2023年，星期六如何才能做到匹配呢？一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率.这就是香农无失真信源编码理论，也就是无失真数据压缩理论.

无失真信源编码就是将信源输出的消息变换成