第4章单符号离散信道

第4章单符号离散信道离散信道的数学模型条件信息量及平均条件信息量其它相关信息量交互信息量条件交互信息量平均交互信息量平均交互信息量非负性平均交互信息量的极值性信道容量的一般计算方法几种无噪声信道的信道容量几种对称信道的信道容量1)转移概率模型信道确定，则转移概率确定。反之，转移概率确定，则信道确定。第1节离散信道的数学模型1、平稳无记忆离散信道的数学模型2)转移概率矩阵模型信道确定，则转移概率矩阵确定。反之，转移概率矩阵确定，则信道确定。第1节离散信道的数学模型3)状态转移图模型信道确定，则状态转移图确定。反之，状态转移图确定，则信道确定。第1节离散信道的数学模型例：在通信工程，通常使用二进制删除信道。(输入符号集{0,1}，输出符号集{0,?,1})1)转移概率模型第1节离散信道的数学模型3)状态转移图模型p1-p1-pp2)转移概率矩阵模型第1节离散信道的数学模型例：在通信工程，通常使用二进制对称信道。(输入符号集{0,1}，输出符号集{0,1})1)转移概率模型第1节离散信道的数学模型3)状态转移图模型2)转移概率矩阵模型第1节离散信道的数学模型p1-p1-pp第1节离散信道的数学模型2、平稳马尔可夫信道的数学模型平稳就是与什么时候传输没有关系，无记忆就是与前面传输的符号没有关系。而马尔可夫信道是有记忆的，只是记忆长度很短。例如有这样一个信道，信源发送的符号集{0，1}，010101010101011、几种概率及其关系第2节条件自信量及平均条件自信量信宿符号的概率分布信源符号的概率分布，也称作先验概率信道的转移概率联合概率分布后验概率第2节条件自信量及平均条件自信量第2节条件自信量及平均条件自信量A已知接收为有yj的条件下，对发送为xi的不确定性。2、条件自信量1)、定义2)、物理意义例：某一无记忆信源的符号集为{0,1}，已知，。信道转移概率矩阵为第2节条件自信量及平均条件自信量第2节条件自信量及平均条件自信量分析：第2节条件自信量及平均条件自信量第2节条件自信量及平均条件自信量第2节条件自信量及平均条件自信量第2节条件自信量及平均条件自信量第2节条件自信量及平均条件自信量3、平均条件自信量1)、定义信源平均条件自信量疑义度equivocation信源的条件熵例：P166T1求(1)信源X中的符号a1和a2分别含有多少信息量通过一个信道，信道的输出随机变量Y的符号集为，信道的矩阵设信源第2节条件自信量及平均条件自信量(2)信源X和信宿Y的信息熵第2节条件自信量及平均条件自信量信道疑义度H(X/Y)和噪声熵H(Y/X)第2节条件自信量及平均条件自信量第2节条件自信量及平均条件自信量第3节其它相关信息量第3节其它相关信息量第3节其它相关信息量第3节其它相关信息量1、信源、信道及信宿1)信源2)信道

第4节平稳无记忆信道的交互信息量3)信宿

第4节平稳无记忆信道的交互信息量2、交互信息量的定义

第4节平稳无记忆信道的交互信息量物理意义：接收到yj前后信源发符号xi的不确定性的改变

yj中包含的关于xi的信息量

第4节平稳无记忆信道的交互信息量4、交互信息量的三种数学表述

第4节平稳无记忆信道的交互信息量5、互信量与条件自信量、自信量的关系及互信量的意义

第4节平稳无记忆信道的交互信息量含义：1)从yj中获取的关于xi的信息量从xi中获取的关于yj的信息量

第4节平稳无记忆信道的交互信息量

第4节平稳无记忆信道的交互信息量6、讨论:1)如果xi和yj统计无关,即P(xi|yj)=P(xi)则有：I(xi;yj)=02)如果xi由yj唯一确定,即P(xi|yj)=1,则有I(xi;yj)=I(xi)3)当0P(xi|yj)<P(xi)时,则有I(xi;yj)<04)当1P(xi|yj)>P(xi),则有I(xi;yj)>0

第4节平稳无记忆信道的交互信息量设信源通过一个信道，信道的输出随机变量Y的符号集为，信道的矩阵求收到消息后获取关于a1,a2的交互信息量

第4节平稳无记忆信道的交互信息量方法一：

第4节平稳无记忆信道的交互信息量

第4节平稳无记忆信道的交互信息量

第4节平稳无记忆信道的交互信息量方法二：

第4节平稳无记忆信道的交互信息量

第4节平稳无记忆信道的交互信息量已知从符号B中获取关于符号A的信息量是1比特，当符号A的先验概率(priorprobability)P(A)为下列各值时，分别计算收到B后推测A的后验概率(posteriorprobability)应是多少。

第4节平稳无记忆信道的交互信息量1、串接信道模型

第5节条件交互信息量设信道1的输入符号集为输出符号集为设信道2的输入符号集为输出符号集为信道信道1信道2输入符号

第5节条件交互信息量2、概率关系1)边缘分布关系

第5节条件交互信息量2)条件概率分布关系

第5节条件交互信息量

第5节条件交互信息量3、条件互信量1)定义

第5节条件交互信息量

第5节条件交互信息量2)同理：

第5节条件交互信息量P？例：已知无失真信源编码信源消息、消息编码及每一消息对应的码字如下表所示信源消息a1a2a3a4a5a6a7a8码字000001010011100101110111消息概率1/41/41/81/81/161/161/161/16求接收消息a4的码字中第一、二、三符号后分别接收到的信息量

第5节条件交互信息量

第5节条件交互信息量1)、从第一个符号0中获取的关于消息a4的信息量

第5节条件交互信息量2)、在已知第一个符号为0的条件下，从第二个符号1中获取的关于消息a4的信息量

第5节条件交互信息量3)、在已知第一个符号为0且第二个符号为1的条件下，从第三个符号1中获取的关于消息a4的信息量所以从三个符号中得到的关于a4的信息量的和为：

第5节条件交互信息量4、条件交互信息量

第5节条件交互信息量

第5节条件交互信息量1、定义意义：信道平均每传递一个符号所传递的信息量。单位：比特/传递一个符号第6节平均交互信息量2、平均交互信息量的三种表达形式第6节平均交互信息量第6节平均交互信息量第6节平均交互信息量平均交互信息量信宿平均条件自信量信宿的条件熵反向疑义度噪声熵信源熵信源平均自信量信宿平均自信量信宿熵后验共熵第6节平均交互信息量信源信道信源熵H(X)：代表平均每个信源符号所携带的信息量平均互信量I(X;Y)：代表信道平均每传输一个符号所传递的信息量信源条件熵H(X/Y)：代表信道平均每传输一个符号所损失的信息量3、意义第6节平均交互信息量信源信道反向信道信源熵H(Y)：代表平均每个信源符号所携带的信息量反向信道平均互信量I(X;Y)：代表信道平均每传输一个符号所传递的信息量反向信道信源条件熵H(Y/X)：代表反向信道平均每传输一个符号所损失的信息量第6节平均交互信息量1、非负性证明第7节平均交互信息量的非负性第7节平均交互信息量的非负性2、I(X;Y)＝0的条件当X与Y统计独立时，I(X;Y)＝0验证：第7节平均交互信息量的非负性若：X与Y统计独立，即即则有第7节平均交互信息量的非负性第7节平均交互信息量的非负性设信源通过一个信道，信道的输出随机变量Y的符号集为，信道的矩阵(2)收到消息后获取关于a1,a2的交互信息量求(1)信源X中的符号a1和a2分别含有多少信息量第7节平均交互信息量的非负性(3)信源X和信宿Y的信息熵(4)信道疑义度H(X/Y)和噪声熵H(Y/X)(5)接收到消息Y后获得的平均交互信息量第7节平均交互信息量的非负性第7节平均交互信息量的非负性第7节平均交互信息量的非负性第7节平均交互信息量的非负性第7节平均交互信息量的非负性第8节平均交互信息量的极值性第8节平均交互信息量的极值性第8节平均交互信息量的极值性第8节平均交互信息量的极值性如果转移概率矩阵中每一列只有一个非零元素，疑义度等于0第8节平均交互信息量的极值性发散性无噪声信道第8节平均交互信息量的极值性第8节平均交互信息量的极值性若转移概率矩阵中每行只有一个非零元素1,则噪声熵为0第8节平均交互信息量的极值性归并性无噪声信道第8节平均交互信息量的极值性一般无噪声信道第8节平均交互信息量的极值性设输入符号集为：X={x1,x2,…xr}

输出符号集为：Y={y1,y2,…ys}.

信道转移概率：P(yj|xi).1、基本条件2、平均交互信息量第9节信道容量及其一般算法说明：1)平均交互信息量代表信道平均每传递一个符号所传递的信息量2)平均交互信息量是信源(先验概率)和信道(转移概率)的函数。如果信道固定，则平均交互信息量由先验概率唯一确定。3、信道容量的定义及物理意义在信道指定的条件下，平均互信量的最大值称为该信道的容量。记做：第9节信道容量及其一般算法意义：信道平均每传递一个符号最多传递多少信息量说明：满足信道容量的信源概率分布可能不唯一。其中：4、单位第9节信道容量及其一般算法5、计算信道容量的一般方法假设第9节信道容量及其一般算法时信道达到其容量，则构造拉哥朗日函数：第9节信道容量及其一般算法第9节信道容量及其一般算法对上式进一步化简需要先求平均互信量对pi的偏导。在求信道容量时，信道确定，即转移概率确定，因此将其作为常量。所以因为第9节信道容量及其一般算法第9节信道容量及其一般算法即第9节信道容量及其一般算法定义公式化简得到比较有用的公式11）在公式1中，转移概率已知，需要求出p1,p2,…,pr和λ共r+1个量，等式一共有r+1个。若这些等式相互独立，则有唯一的一组解，即只有概率满足此条件时平均互信量才达到最大值。若有部分等式相关，则有很多组解，此时说明达到信道容量的信源概率可以有很多种分布。第9节信道容量及其一般算法说明：2）将可行的一组信源概率分布代入到平均互信量公式，即可得到信道容量。3）实际计算时还是比较复杂，尝试进一步简化在公式1中，将前一个等式的两边同时乘以pi并对i求和因为左式＝右式，所以公式1可以表示为：第9节信道容量及其一般算法等式可化简为：第9节信道容量及其一般算法令：讨论：第9节信道容量及其一般算法如果第一次计算结果不满足，怎么办？？？？1一般无噪声信道第10节几种无噪声信道的信道容量2发散性无噪声信道信道容量3归并性无噪声信道信道容量第10节几种无噪声信道的信道容量1、强对称信道的信道容量1)强对称信道的定义若单符号离散信道的输入符号集为:X={a1,a2,…,ar}，输出符号集为:Y={a1,a2,…,ar}。且信道转移概率为第11节几种对称信道的信道容量信源符号与信道符号集相同，发送符号与接收符号相同的概率为1－ε，出错的概率为ε，且各种出错情况的概率同。第11节几种对称信道的信道容量2)强对称信道的噪声熵第11节几种对称信道的信道容量第11节几种对称信道的信道容量3)强对称信道