信道与信道容量

信道与信道容量第一页，共四十七页，2022年，8月28日信道模型和信道容量信道传送信息的载体，信号通过的通道。任务是以信号方式传输信息、存储信息。研究信道就是研究信道中理论上能够传输或存储的最大信息量，即信道的容量问题。信息论不研究信号在信道中传输的物理过程。信道研究方法抽象地将信道问题归结为输入、输出和转移概率矩阵三个要素来描述。信道输入X输出YP(Y/X)2023/1/182第二页，共四十七页，2022年，8月28日信道分类按信道的用户数量来划分单用户信道：即只有一个输入端和一个输出端的单向通信信道。多用户信道：即在输入端或输出端中至少有一端存在两个以上的用户，并且还可以双向通信的信道。按输入/输出之间的关系来划分无反馈信道：信道的输出端信号不反馈到输入端，即输出信号对输入信号没有影响。反馈信道：信道的输出信号通过一定途径反馈到输入端，使输入端的信号发生变化。2023/1/183第三页，共四十七页，2022年，8月28日信道分类按信道参数与时间的关系来划分固定参数信道：即信道的统计特性不随时间而变化，如光纤、电缆信道。时变参数信道：即信道的统计特性随时间而变化，如无线信道。按信道中的噪声种类来划分随机差错信道：指噪声随机地影响每个传输码元，如以高斯白噪声为主体的信道。突发差错信道：指噪声、干扰的影响是前后相关的，错误成串出现，如脉冲干扰或闪电等。2023/1/184第四页，共四十七页，2022年，8月28日信道分类按输入/输出信号在幅度和时间上的取值划分离散信道：输入和输出的信号在时间和幅度上均为离散的信道。连续信道：信号的幅度连续，时间离散。半离散半连续信道：输入变量取值离散而输出变量取值连续。输入变量取值连续而输出变量取值离散。波形信道：信道的输入和输出信号在时间和幅度上均连续，一般可用随机过程来描述。单用户、无反馈、固定参数的离散信道2023/1/185第五页，共四十七页，2022年，8月28日信道模型信道转移概率矩阵p(Y/X)描述输入/输出的统计依赖关系，反映信道统计关系。信道的输入X=(X1,X2,…,Xi,…)输入符号集：Xi={a1,a2,…,an}信道的输出Y=(Y1,Y2,…,Yj,…)输出符号集：Yj={b1,b2,…,bm}信道输入X输出Yp(Y/X)2023/1/186第六页，共四十七页，2022年，8月28日根据干扰和记忆性分类无干扰（无噪声）信道信道的输出信号Y与输入信号X之间有确定的关系Y=f(X)有干扰无记忆信道每个输出信号只与当前输入信号之间有转移概率关系，与其他时刻的输入（出）信号无关。有干扰有记忆信道一般情况下，信道存在码间干扰，输入信号不但与当前输入信号有关，还与以前的输入信号有关。将记忆很强的L个符号当作矢量符号，各矢量符号之间认为是无记忆的。将转移概率看成马尔可夫链的形式。2023/1/187第七页，共四十七页，2022年，8月28日信道模型二进制离散信道：BSC信道输入符号X取值{0,1}输出符号Y取值{0,1}信道转移概率

p(0/0)=1－p

p(0/1)=p

p(1/1)=1－p

p(1/0)=p0101pp1-p1-p输入输出无错传输概率有错传输概率2023/1/188第八页，共四十七页，2022年，8月28日信道模型离散无记忆信道：DMC信道输入符号集：X={a1,a2,…,an}输出符号集：Y={b1,b2,…,bm}输入－输出特性p(Y=bj/X=ai)≡p(bj/ai)=pij转移概率矩阵各行概率之和为12023/1/189第九页，共四十七页，2022年，8月28日信道模型离散输入、连续输出信道输入符号集：X={a1,a2,…,an}输出未经量化，即Y={-∞,∞}输出特性由离散输入X、连续输出Y以及一组条件概率密度函数p(y/X=ai)

来决定。加性高斯白噪声（AWGN）信道式中，G是均值为零、方差为σ2的高斯随机变量当X给定，Y是一个均值为ai、方差为σ2的高斯随机变量有限、离散Y＝X＋G无限、连续2023/1/1810第十页，共四十七页，2022年，8月28日信道模型波形信道输入是模拟波形，输出也是模拟波形连续无记忆信道和连续有记忆信道任一时刻输出变量与以前时刻的输入输出是否有关根据噪声对信道中信号的作用不同，可将噪声分为：加性噪声和乘性噪声假设输入该信道的带限信号x(t)，相应的输出是y(t)，n(t)代表加性噪声过程的一个样本函数，则y(t)＝x(t)＋n(t)加性高斯白噪声2023/1/1811第十一页，共四十七页，2022年，8月28日信道容量的定义信道传输率R信道中平均每个符号能传送的信息量R＝I(X;Y)bit/符号信息传输速率Rt若平均传输一个符号所需时间为t则Rt＝I(X;Y)/t

bit/s当信道确定时，p(bj/ai)确定。互信息是关于p(ai)的函数。2023/1/1812第十二页，共四十七页，2022年，8月28日信道容量的定义定理：给定转移概率矩阵P后，平均互信息I(X;Y)是概率矢量Px的上凸函数。概率矢量Px＝[p(a1),p(a2),…p(an)]用I(Px)表示I是Px的函数，则在I(Px)曲线的上凸点对应的输入符号概率矢量Px上，I(Px)取得极大值。这个值就是信道容量。2023/1/1813第十三页，共四十七页，2022年，8月28日信道容量的定义信道容量信道容量C的单位是信道上每传送一个符号所能携带的比特数，即比特/符号。如果以e为底，即取自然对数时，信道容量的单位是奈特/符号。如果已知符号传送周期是T秒，信道容量Ct=C/T，单位为bit/s或nat/s。2023/1/1814第十四页，共四十七页，2022年，8月28日第3章信道与信道容量3.1 信道的基本概念3.2 离散单个符号信道及其容量3.3 离散序列信道及其容量3.4连续信道及其容量3.5信源与信道的匹配2023/1/1815第十五页，共四十七页，2022年，8月28日离散单符号信道离散单个符号信道无干扰离散信道有扰离散信道对称DMC信道准对称DMC信道一般DMC信道无噪无损信道无噪有损信道有噪无损信道2023/1/1816第十六页，共四十七页，2022年，8月28日无干扰离散信道信道输入X={a1,a2,…,an}，信道输出Y={b1,b2,…,bm}无噪无损信道输入和输出符号之间有确定的一一对应关系。H(Y/X)=0，H(X/Y)=0，I(X;Y)=H(X)=H(Y)C=maxI(X;Y)=logn输入符号等概率分布2023/1/1817第十七页，共四十七页，2022年，8月28日无干扰离散信道无噪有损信道多个输入变成一个输出。H(Y/X)=0，H(X/Y)≠0，H(X)＞H(Y)C=maxI(X;Y)=maxH(Y)2023/1/1818第十八页，共四十七页，2022年，8月28日无干扰离散信道有噪无损信道一个输入对应多个输出。H(Y/X)≠0，H(X/Y)=0，H(X)＜H(Y)C=maxI(X;Y)=maxH(X)2023/1/1819第十九页，共四十七页，2022年，8月28日对称DMC信道对称DMC信道的定义输入对称矩阵：转移概率矩阵P的每一行都是第一行的置换（包含同样元素）。输出对称矩阵：转移概率矩阵P的每一列都是第一列的置换（包含同样元素）。如果输入、输出都对称，则称该DMC为对称DMC信道2023/1/1820第二十页，共四十七页，2022年，8月28日对称DMC信道有扰对称DMC信道具有如下性质：对称信道的条件熵H(Y/X)与信道输入符号的概率分布无关。如果信道输入符号等概率分布，则信道输出符号也等概率分布；反之，若信道输出符号等概率分布时，信道输入符号也是等概率分布。2023/1/1821第二十一页，共四十七页，2022年，8月28日对称DMC信道当信道输入符号等概率分布时，对称DMC信道达到其信道容量。2023/1/1822第二十二页，共四十七页，2022年，8月28日对称DMC信道例：信道转移概率矩阵为求：信道容量解：n=2时，为BSC信道ε=0时无差错，信道容量最大ε=1/2时，信道容量为02023/1/1823第二十三页，共四十七页，2022年，8月28日对称DMC信道实际通信系统中，信号往往要通过几个环节的传输或多步的处理。若将这些传输和处理看成信道，则串接成为一个串联信道。信道1信道2信道m…XYZW根据信息不增性：串接的信道越多，其信道容量可能会越小；串接信道数量无限多时，信道容量趋于零。2023/1/1824第二十四页，共四十七页，2022年，8月28日对称DMC信道例：设有两个离散BSC信道，其转移矩阵为串联信道的转移矩阵为：m为串接信道的个数2023/1/1825第二十五页，共四十七页，2022年，8月28日准对称DMC信道如果转移概率矩阵P的输入对称而输出不对称，即P的每一行都包含相同的元素而各列的元素不同，则称该信道是准对称DMC信道。准对称DMC信道的容量2023/1/1826第二十六页，共四十七页，2022年，8月28日准对称DMC信道例：已知信道转移矩阵为求该信道容量。解：设输入符号概率为p(a1)=α，p(a2)=1－α

联合概率矩阵输入符号等概率分布时，准对称DMC信道达到其信道容量C2023/1/1827第二十七页，共四十七页，2022年，8月28日准对称DMC信道例：设信道转移概率矩阵为： 求该信道的容量。解：当输入符号等概率分布时， 达到信道的容量，即2023/1/1828第二十八页，共四十七页，2022年，8月28日准对称DMC信道矩阵分解法将转移概率矩阵划分成若干个互不相交的对称子矩阵。当输入分布为等概率时，达到信道容量为n为输入符号集个数p1′…

ps′是转移概率矩阵中一行的元素Nk是第k个子矩阵中行元素之和Mk是第k个子矩阵中列元素之和2023/1/1829第二十九页，共四十七页，2022年，8月28日一般DMC信道以输入符号概率矢量Px为自变量的函数I(Px)的极大值，即信道容量。为了使I(X;Y)最大化，即求取信道容量的值，输入符号概率集{p(ai)}必须满足的充分必要条件是：I(ai;Y)＝C，对于所有满足p(ai)＞0条件的iI(ai;Y)≤C，对于所有满足p(ai)＝0条件的i此结论只给出了达到信道容量C时输入符号概率分布的充要条件，并未给出具体值，所以C没有具体可求的公式。2023/1/1830第三十页，共四十七页，2022年，8月28日第3章信道与信道容量3.1 信道的基本概念3.2 离散单个符号信道及其容量3.3 离散序列信道及其容量3.4连续信道及其容量3.5信源与信道的匹配2023/1/1831第三十一页，共四十七页，2022年，8月28日离散序列信道及其容量信道输入X输出Yp(Y/X)X=(X1,X2,…,XL)Xl={a1,a2,…,an}Y=(Y1,Y2,…,YL)Yl={b1,b2,…,bm}无记忆离散序列信道的转移概率为：若信道是平稳的，则：2023/1/1832第三十二页，共四十七页，2022年，8月28日离散序列信道及其容量平均互信息的两个性质：如果信道无记忆如果输入矢量X中 各个分量相互独立独立、无记忆且平稳2023/1/1833第三十三页，共四十七页，2022年，8月28日离散序列信道及其容量例：求BSC二次扩展信道的信道容量。解：0101pp1-p1-p输入输出p=0.1时，C1=0.53bit/符号 C2=1.06bit/序列C2=2C12023/1/1834第三十四页，共四十七页，2022年，8月28日离散序列信道及其容量独立并联信道L个相互独立的信道，每个信道的输出只与本信道的输入有关。信道XYp(Y/X)2023/1/1835第三十五页，共四十七页，2022年，8月28日第3章信道与信道容量3.1 信道的基本概念3.2 离散单个符号信道及其容量3.3 离散序列信道及其容量3.4连续信道及其容量3.5信源与信道的匹配2023/1/1836第三十六页，共四十七页，2022年，8月28日连续信道及其容量连续单符号加性信道信道的输入和输出都是取值连续的一维随机变量，加入信道的噪声是均值为零、方差为σ2的加性高斯噪声。非高斯噪声信道的容量要大于高斯噪声信道的容量2023/1/1837第三十七页，共四十七页，2022年，8月28日连续信道及其容量多维无记忆加性连续信道多维无记忆加性连续信道可等价成L个独立的并联高斯加性信道2023/1/1838第三十八页，共四十七页，2022年，8月28日连续信道及其容量注水法某些单元时刻的噪声太大，使子信道信号功率pl出现负值。置pl=0，重新调整信号功率的分配，直至pl不再出现负值。噪声小的子信道分配到的输入功率大，传输的比特数多。2023/1/1839第三十九页，共四十七页，2022年，8月28日连续信道及其容量受加性高斯白噪声干扰的带限波形信道输入x(t)、输出y(t)和噪声n(t)：模拟波形带限AWGN波形信道在平均功率受限条件下信道容量的基本公式为W：频带宽度，简称带宽SNR(信噪比)：表示信号功率与噪声功率的比值PS：信号的平均功率加性白噪声的功率谱密度为N0/2香农公式bit/s2023/1/1840第四十页，共四十七页，2022年，8月28日连续信道及其容量香农公式的讨论带宽W一定时，信道容量C

随信噪比SNR的增加而单调增加，因此增大信号功率、减小信道噪声可以增加信道容量。信道容量C一定时，带宽W增大，信噪比SNR可降低，即二者可以互换。如果输入信号功率PS固定，信道容量C

随带宽W的增加而增加。但到一定阶段后，增加变得缓慢。2023/1/1841第四十一页，共四十七页，2022年，8月28日连续信道及其容量香农限每传输1比特信息所需的能量。当归一化的信噪比小于香农限（-1.6dB）时，归一化信道容量为零，即信道完全丧失通信能力。频带利用率归一化信道容量单位频带的信息传输率。2023/1/1842第四十二页，共四十七页，2022年，8月28日连续信道及其容量例：电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR＝100，计算该信道的信道容量。解：实际电话信道的容量只有19.2kbit/s理论计算没有考虑串音、回波等干扰因素2023/1/1843第四十三页，共四十七页，2022年，8月28日第3章信道与信道容量3.1 信道的基本概念3.2 离散单个符