信息与编码第4章-信道及信道容量2课件

第4章信道及信道容量第4章信道及信道容量1主要学习内容一、信道的概念与分类二、离散单符号信道与信道容量的概念三、几种特殊信道及其信道容量的求法四、一般离散信道的信道容量求法五、信道容量定理及其应用六、离散多符号信道的概念及其信道容量七、组合信道的概念及其信道容量主要学习内容一、信道的概念与分类21、离散单符号信道的含义定义：信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道就是离散单符号信道。地位：它是最简单的信道，也是实际信道的基本组成单元。含义：每次传输一个符号作为一个消息。1、离散单符号信道的含义定义：信道的输入、输出都取值于离散符3图形表示图形表示42、离散单符号信道的数学模型实质上就是在输入随机变量（符号集）X的条件下输出随机变量（符号集）Y的条件概率分布。2、离散单符号信道的数学模型实质上就是在输入随机变量（符号集5输入随机变量（符号集）X的概率空间输入随机变量（符号集）X的概率空间6信道的数学模型（条件概率分布）信道矩阵（传递概率矩阵）信道的数学模型（条件概率分布）信道矩阵（传递概率矩阵）7简单表示简单表示为：简单表示简单表示为：8输出随机变量（符号集）Y的概率空间输出随机变量（符号集）Y的概率空间9三者的关系三者的关系10二元对称信道BSC(BinarySymmetricChannel)传递概率图为：信道矩阵为：

p为错误概率二元对称信道BSC(BinarySymmetricCha11相关名词前向概率：p(yj/xi)后向概率:p(xi/yj)输入符号的先验概率:p(xi)输入符号的后验概率:p(xi/yj)相关名词前向概率：p(yj/xi)12概率知识回顾条件概率公式概率知识回顾条件概率公式13全概率公式全概率公式14贝叶斯公式贝叶斯公式153、平均互信息I(X;Y)的含义在统计平均的意义上，由Y中的一个符号，能得到X中一个符号的信息量。3、平均互信息I(X;Y)的含义在统计平均的意义16在信道中的含义（信息传输率）当X为信源、Y表示信宿时，I(X;Y)表示在平均的意义上信源每发出一个符号流经信道到达信宿时，由信宿的每个符号所能得到的关于信源每个符号的信息量，亦即信源每发出一个符号流经信道的信息量。称为：信息传输率，单位是：比特/符号。若信道平均每传输一个符号用t秒，令则Rt

表示信道平均每秒传输的信息量，称为：信息传输速率，单位是：比特/秒。在信道中的含义（信息传输率）当X为信源、Y表示信宿时，17信道疑义度由:I(X;Y)=H(X)-H(X/Y)得到：H(X/Y)=H(X)-I(X;Y)H(X）表示：信源本来平均每个符号具有的信息量（不确定性）；I(X;Y)表示：信宿接收到符号后，由其每个符号所能得到信源每个符号的信息量；H(X/Y)表示：信宿接收到符号后，信源的每个符号还剩余的信息量（不确定性），产生的原因是因为信道有干扰，故称H(X/Y)为信道疑义度。信道疑义度由:I(X;Y)=H(X)-H18平均互信息I(X;Y)的性质课本中第22页，性质5：凸函数性；定理2.1当条件概率分布{p(yj/xi)}给定时，平均互信息I（X；Y）是输入分布{p(xi)}的上凸函数。定理2.2对于固定的输入分布{p(xi)}，平均互信息量I（X；Y）是条件概率分布{p(yj/xi)}的下凸函数。平均互信息I(X;Y)的性质课本中第22页，性质19一个例题设二元对称信道中，错误概率p=3/4，当输入分布分别为(1/2,1/2)和(1/4,3/4)时，分别求相应的平均互信息I(X;Y).一个例题设二元对称信道中，错误概率p=3/4，当输入分布20方法：利用平均互信息的如下公式输入分布PX

与条件概率分布PY/X（信道矩阵）已知，而PY=PX*PY/X,p(xiyj)=p(xi)*p(yj/xi),所以由输入分布和条件概率分布可以求出平均互信息。方法：利用平均互信息的如下公式21I(X;Y)的求解1I(X;Y)的求解122信息与编码第4章-信道及信道容量2课件23I(X;Y)的求解2I(X;Y)的求解224信息与编码第4章-信道及信道容量2课件25说明信道固定时（条件概率转移矩阵固定时），不同的输入分布对应着不同的平均互信息。说明信道固定时（条件概率转移矩阵固定时），不同的输入分布对应26最佳输入分布因为条件概率分布即表示信道，由定理2.1知：当信道固定时，存在一种输入分布，使得平均互信息I（X;Y）在该输入分布下达到最大值，称此时的输入分布为：最佳输入分布。最佳输入分布因为条件概率分布即表示信道，由定理2.1知：当信274、信道容量的定义定义4.1信道容量为平均互信息对于输入概率分布的最大值：单位依所用的对数不同可以是：比特/符号，奈特/符号，等。相应的输入概率分布被称为最佳输入分布。4、信道容量的定义定义4.1信道容量为平均互信息对于输入概28例4.1二元对称信道

（BSC：binarysymmetricchannel）0101信道概率转移图输入符号集X={0,1},输入概率分布为输出符号集Y={0,1}，即r＝s＝2．传递概率：

例4.1二元对称信道

（BSC：binarysymme29解I(X;Y)=H(Y)-H(Y/X)注意：上两个式子是如何得到的？表示什么意思？解I(X;Y)=H(Y)-H(Y/X)30总结1、离散单符号信道的含义2、离散单符号信道的数学模型3、平均互信息I(X;Y)的含义4、信道容量的含义总结1、离散单符号信道的含义31第4章信道及信道容量第4章信道及信道容量32主要学习内容一、信道的概念与分类二、离散单符号信道与信道容量的概念三、几种特殊信道及其信道容量的求法四、一般离散信道的信道容量求法五、信道容量定理及其应用六、离散多符号信道的概念及其信道容量七、组合信道的概念及其信道容量主要学习内容一、信道的概念与分类331、离散单符号信道的含义定义：信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道就是离散单符号信道。地位：它是最简单的信道，也是实际信道的基本组成单元。含义：每次传输一个符号作为一个消息。1、离散单符号信道的含义定义：信道的输入、输出都取值于离散符34图形表示图形表示352、离散单符号信道的数学模型实质上就是在输入随机变量（符号集）X的条件下输出随机变量（符号集）Y的条件概率分布。2、离散单符号信道的数学模型实质上就是在输入随机变量（符号集36输入随机变量（符号集）X的概率空间输入随机变量（符号集）X的概率空间37信道的数学模型（条件概率分布）信道矩阵（传递概率矩阵）信道的数学模型（条件概率分布）信道矩阵（传递概率矩阵）38简单表示简单表示为：简单表示简单表示为：39输出随机变量（符号集）Y的概率空间输出随机变量（符号集）Y的概率空间40三者的关系三者的关系41二元对称信道BSC(BinarySymmetricChannel)传递概率图为：信道矩阵为：

p为错误概率二元对称信道BSC(BinarySymmetricCha42相关名词前向概率：p(yj/xi)后向概率:p(xi/yj)输入符号的先验概率:p(xi)输入符号的后验概率:p(xi/yj)相关名词前向概率：p(yj/xi)43概率知识回顾条件概率公式概率知识回顾条件概率公式44全概率公式全概率公式45贝叶斯公式贝叶斯公式463、平均互信息I(X;Y)的含义在统计平均的意义上，由Y中的一个符号，能得到X中一个符号的信息量。3、平均互信息I(X;Y)的含义在统计平均的意义47在信道中的含义（信息传输率）当X为信源、Y表示信宿时，I(X;Y)表示在平均的意义上信源每发出一个符号流经信道到达信宿时，由信宿的每个符号所能得到的关于信源每个符号的信息量，亦即信源每发出一个符号流经信道的信息量。称为：信息传输率，单位是：比特/符号。若信道平均每传输一个符号用t秒，令则Rt

表示信道平均每秒传输的信息量，称为：信息传输速率，单位是：比特/秒。在信道中的含义（信息传输率）当X为信源、Y表示信宿时，48信道疑义度由:I(X;Y)=H(X)-H(X/Y)得到：H(X/Y)=H(X)-I(X;Y)H(X）表示：信源本来平均每个符号具有的信息量（不确定性）；I(X;Y)表示：信宿接收到符号后，由其每个符号所能得到信源每个符号的信息量；H(X/Y)表示：信宿接收到符号后，信源的每个符号还剩余的信息量（不确定性），产生的原因是因为信道有干扰，故称H(X/Y)为信道疑义度。信道疑义度由:I(X;Y)=H(X)-H49平均互信息I(X;Y)的性质课本中第22页，性质5：凸函数性；定理2.1当条件概率分布{p(yj/xi)}给定时，平均互信息I（X；Y）是输入分布{p(xi)}的上凸函数。定理2.2对于固定的输入分布{p(xi)}，平均互信息量I（X；Y）是条件概率分布{p(yj/xi)}的下凸函数。平均互信息I(X;Y)的性质课本中第22页，性质50一个例题设二元对称信道中，错误概率p=3/4，当输入分布分别为(1/2,1/2)和(1/4,3/4)时，分别求相应的平均互信息I(X;Y).一个例题设二元对称信道中，错误概率p=3/4，当输入分布51方法：利用平均互信息的如下公式输入分布PX

与条件概率分布PY/X（信道矩阵）已知，而PY=PX*PY/X,p(xiyj)=p(xi)*p(yj/xi),所以由输入分布和条件概率分布可以求出平均互信息。方法：利用平均互信息的如下公式52I(X;Y)的求解1I(X;Y)的求解153信息与编码第4章-信道及信道容量2课件54I(X;Y)的求解2I(X;Y)的求解255信息与编码第4章-信道及信道容量2课件56说明信道固定时（条件概率转移矩阵固定时），不同的输入分布对应着不同的平均互信息。说明信道固定时（条件概率转移矩阵固定时），不同的输入分布对