信息论与编码课件第三章

信息论与编码课件第三章第一页，共四十三页，2022年，8月28日3.1信道分类和表示参数3.2离散单个符号信道及其容量3.3离散序列信道及其容量3.4连续信道及其容量内容第二页，共四十三页，2022年，8月28日23.1信道分类和表示参数第三页，共四十三页，2022年，8月28日3信道信道：信息传输的通道在通信中,信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。信息论不研究信号在信道中传输的物理过程,并假定信道的传输特性已知,这样信息论就可以抽象地将信道用下图所示的模型来描述。信道输入量X(随机过程)输出量Y(随机过程)第四页，共四十三页，2022年，8月28日43.1.1信道分类

按输入/输出信号在幅度和时间上的取值分类:1、离散信道：输入和输出的随机序列取值都是离散的信道2、连续信道：输入和输出的随机序列取值都是连续的信道3、半离散(半连续)信道：输入变量取值离散而输出变量取值连续输入变量取值连续而输出变量取值离散4、波形信道：信道的输入和输出在时间上，取值上都连续的随机信号。第五页，共四十三页，2022年，8月28日5信道分类按输入/输出之间关系的记忆性来分类：

1、无记忆信道：信道的输出只与信道该时刻的输入有关,而与其他时刻的输入无关2、有记忆信道：信道的输出不但与信道现时的输入有关而且还与以前时刻的输入有关第六页，共四十三页，2022年，8月28日6信道分类按输入／输出信号之间的关系是否是确定关系1、无干扰信道：输入/输出符号之间有确定的一一对应关系。2、有干扰信道：输入/输出之间关系是一种统计依存的关系--输入/输出的统计关系：用符号条件概率矩阵p(Y|X)来描述。第七页，共四十三页，2022年，8月28日73.1.2信道参数设信道的输入X=(X1,X2…Xi,…),Xi∈{a1…an}

输出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道转移概率矩阵p(Y|X)：描述输入/输出的统计依赖关系,反映信道统计关系信道XYp(Y|X)第八页，共四十三页，2022年，8月28日8无干扰(无噪声)信道1、无干扰(无噪声)信道信道的输出信号Y与输入信号X之间有确定的关系Y=f(X),已知X后就确知Y转移概率:第九页，共四十三页，2022年，8月28日9有干扰无记忆信道2、有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:有干扰无记忆信道可分为:(1)离散无记忆信道(2)二进制离散信道(3)离散输入、连续输出信道(4)波形信道(不学）3、有干扰有记忆信道第十页，共四十三页，2022年，8月28日10(1)离散无记忆信道DMC信道输入是n元符号

X∈{a1,a2,…,an}信道输出是m元符号Y∈{b1,b2,…,bm}转移矩阵a1a2anb1b2bm::::::p11p12p21p22pnmpij=p(bj|ai)第十一页，共四十三页，2022年，8月28日11P:转移概率矩阵已知X,信道输出Y表现出来的统计特性完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率转移概率矩阵第十二页，共四十三页，2022年，8月28日12反信道转移概率矩阵

已知Y,信道输入X表现出来的统计特性p(ai|bj):后向概率已知信道输出端接收到符号bj但发送的输入符号为ai的概率。第十三页，共四十三页，2022年，8月28日13(2)二进制离散信道BSC二进制离散对称信道BSC输入符号X取值{0,1}；输出符号Y取值{0,1}很重要的一种特殊信道信道转移概率：p(0|0)=1－pp(1|1)=1－pp(0|1)=pp(1|0)=p0101pp1-p1-p无错误传输的概率传输发生错误的概率第十四页，共四十三页，2022年，8月28日14(3)二元删除信道BEC二元删除信道BEC输入符号X取值{0,1}；输出符号Y取值{0,1,2}转移矩阵02101p1-pq1-q第十五页，共四十三页，2022年，8月28日15

3.1.3信道容量我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R平均互信息I(X;Y)：接收到符号Y后平均每个符号获得的关于X的信息量。信道的信息传输率就是平均互信息第十六页，共四十三页，2022年，8月28日16信道容量信道容量C：（信道中平均每个符号所携带的最大信息量）(bit/符号)最大的信息传输率单位时间的信道容量：(信道中平均每秒所携带的最大信息量）(bit/秒)其中为信源X的概率分布,即选择使得平均互信息最大的信源得到的最大信息传输率，即为信道容量。第十七页，共四十三页，2022年，8月28日173.2离散单个符号信道及其容量第十八页，共四十三页，2022年，8月28日18三种特殊无记忆离散信道及容量设信道的输入X∈A={a1…an},输出Y∈B={b1…bm}无嗓无损信道输入和输出符号之间有确定的一一对应关系Xa1b1Ya2

b2a3

b3111第十九页，共四十三页，2022年，8月28日19无噪无损离散信道无嗓无损信道Xa1b1Ya2

b2an-1bn-1an

bn11第二十页，共四十三页，2022年，8月28日20无噪无损离散信道无嗓无损信道由计算得：噪声熵H(Y|X)=0损失熵（疑义度）H(X|Y)=0第二十一页，共四十三页，2022年，8月28日21无噪有损离散信道无嗓有损信道多个输入变成一个输出(n＞m)Xa1Ya2

b1a3a4b2a511111输出Y是输入X的确定函数,但不是一一对应,而是多一对应关系。第二十二页，共四十三页，2022年，8月28日22无噪有损离散信道无嗓有损信道多个输入变成一个输出(n＞m)发送X符号后,对接受的符号Y是完全确定的。噪声熵H(Y|X)＝0损失熵(疑义度)H(X|Y)≠0第二十三页，共四十三页，2022年，8月28日23有噪无损离散信道有嗓无损信道一个输入对应多个输出(n＜m)X

b1Ya1b2b3a2b4b51/31/31/31/43/4计算得同理由第二十四页，共四十三页，2022年，8月28日24有躁无损离散信道有嗓无损信道一个输入对应多个输出(n＜m)接收到符号Y后,对发送的X符号是完全确定的。噪声熵H(Y|X)≠0损失熵(疑义度)

H(X|Y)=0第二十五页，共四十三页，2022年，8月28日253.2.2对称DMC信道对称离散无记忆信道：对称性:（同时满足行置换，列置换）每一行都是由同一集合{p1,p2,…pm}

的诸元素不同排列组成——输入对称（行置换）每一列都是由{q1,q2,…qn}集合的诸元素不同排列组成——输出对称（列置换）满足对称性,所对应的信道是对称离散信道。第二十六页，共四十三页，2022年，8月28日26非对称DMC信道反例：若信道矩阵为以下形式不具有对称性,因而所对应的信道不是对称离散信道。第二十七页，共四十三页，2022年，8月28日27对称DMC信道对称离散信道的平均互信息为第二十八页，共四十三页，2022年，8月28日28对称DMC信道对称DMC信道的容量：上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量{p1,p2,…pm}和输出符号集的个数m有关。第二十九页，共四十三页，2022年，8月28日29例某对称离散信道的信道矩阵为信道容量为第三十页，共四十三页，2022年，8月28日30强对称DMC信道若输入符号和输出符号个数相同,都等于n,且信道矩阵为此信道称为强对称信道

(均匀信道)信道矩阵中各列之和也等于1第三十一页，共四十三页，2022年，8月28日31BSC信道容量

二元离散无记忆信道：设二进制对称信道的输入概率空间信道矩阵：第三十二页，共四十三页，2022年，8月28日32第三十三页，共四十三页，2022年，8月28日33当信道矩阵p固定时,I(X,Y)是ω的型上凸函数。I(XY)ωBSC信道容量1-H(p)I(X,Y)对ω存在一个极大值。BSC信道容量第三十四页，共四十三页，2022年，8月28日34pC当固定信源的概率分布ω时,I(X,Y)是p的型下凸函数。信道无噪声当p=0,C=1－0=1bit=H(X)当p=1/2,

信道强噪声BSC信道容量BSC信道容量第三十五页，共四十三页，2022年，8月28日35信道容量定理：给定转移概率矩阵P后,平均互信息I(X;Y)是输入信源的概率分布p(ai)的型上凸函数。定理：给定信源的概率分布p(ai)，平均互信息I(X;Y)是信道传递概率p(bj|ai)的型下凸函数。信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量。第三十六页，共四十三页，2022年，8月28日36当信源输入符号的速率为rs(符/秒),（最大信息传输率）BSC信道容量实际信息传输速率Rt为

进入信道输入端的信息速率

第三十七页，共四十三页，2022年，8月28日37例BSC信道如图,rs=1000符号/秒,错误传递概率p=0.1求:¼0Y0.9¾10.1输入符号等概时有最大信息传输速率信道实际信息传输速率第三十八页，共四