信息论与编码基础教学

信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础离散信道根据输入、输出信号的时间特性和取值特性离散信道连续信道半离散或半连续信道波形信道信道的分类数字信道根据信道的用户多少单用户信道多用户信道一对多、多对一多对多信息论与编码基础离散信道根据信道转移概率的性质无扰信道有扰信道实际的通信信道几乎都是有扰信道无记忆信道有记忆信道实际信道一般都是有记忆的，信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感或电容、无线信道中电波传播的衰落现象等。按信道统计特性恒参信道变参信道卫星信道短波信道根据信道噪声的性质高斯噪声信道非高斯噪声信道信道的分类信息论与编码基础离散信道离散信道的数学模型信道无扰（无噪）信道有扰信道无记忆信道有记忆信道信息论与编码基础离散信道信道单符号离散信道例1BSC信道BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错误的概率信息论与编码基础离散信道条件转移概率转移矩阵转移概率图XY0101pp1-p1-pXYa0arb0bsP(bj|ai)信息论与编码基础离散信道单符号离散信道一定比例的bit被删除，并且接收者知道是那些bit已经被删除。例2二进制删除信道信息论与编码基础离散信道单符号离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础离散信道先验熵后验熵若信道中存在干扰时信道疑义度0≤H(X|Y)≤H(X)损失熵信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础离散信道互信息自信息条件自信息由于条件引入获得的信息量1）对称性I(ai;bj)=I(bj;ai)2）事件统计独立时I(ai;bj)=03）可正、可负4）I(ai;bj)≤I(ai)信息论与编码基础离散信道信息论与编码基础绪论练习：令随机变量x表示随机抽取人群中的性别，x＝0为男性，x＝1为女性。随机变量y表示随机抽取人是否抽烟，y＝0表示抽烟，y＝1表示不抽烟。（1）若（x，y）的联合概率分布如表1－1所示，求“已知抽取人为男性”，对“该人抽烟”提供的信息量。（2）若（x，y）的联合概率分布如表1－2所示，求“已知抽取人为男性”，对“该人抽烟”提供的信息量。

本课小结2、信道疑义度、互信息信息论与编码基础离散信道1、信道模型BSC,BEC信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础离散信道互信息由于条件引入获得的信息量1）对称性I(ai;bj)=I(bj;ai)2）事件统计独立时I(ai;bj)=03）可正、可负4）I(ai;bj)≤I(ai)信息论与编码基础离散信道平均互信息定义令为信道输入X与输出Y之间的平均互信息接收到每个输出符号后获得的关于X的平均信息量bit/sig互信息信息论与编码基础离散信道信息传输率不确定性消除的多少获得信息量的大小平均互信息是互信息的统计平均值。信息论与编码基础离散信道平均互信息1、非负性利用詹森不等式信源加密信道解密信宿密钥源全损信道信息论与编码基础离散信道2、极值性接收者通过信道获得的信息量不可能超过信源本身固有的信息量。0≤I(X;Y)≤H(X)信息论与编码基础离散信道3、对称性发出X后获得的关于Y的平均信息量信息论与编码基础离散信道4、与各类熵的关系损失熵噪声熵散布度：表示信道输入信号由于干扰作用在输出端表现的散布范围。H(X|Y)H(Y|X)I(X;Y)H(XY)H(X)H(Y)信息论与编码基础离散信道5、的凸函数性于是信息论与编码基础离散信道例1设二元对称信道的输入概率空间为其信道特性如图，求平均互信息。定理在信道转移概率给定的条件下，平均互信息是输入信源概率分布的型凸函数。XY0101pp1-p1-p00.51ωI(X;Y)1-H(p)00.51ωH(ω)1信源熵信息论与编码基础离散信道定理在输入信源概率分布给定的条件下，平均互信息是信道转移概率分布的型凸函数。例1（续）当p=0时当p=1时当p=1/2时00.51pI(X;Y)H(ω)信息论与编码基础离散信道思考题令X,Y1,Y2为二进制随机变量，1）如果I(X;Y1)=0且I(X;Y2)=0，可否推出I(X;Y1,Y2)=0?试举例说明。2）如果I(X;Y1)=0且I(X;Y2)=0，是否可推出

I(Y1;Y2)=0?请说明。

信息论与编码基础离散信道若三个离散随机变量，又如下关系其中X和Y相互统计独立。试证明：信息论与编码基础离散信道综合例题信息论与编码基础离散信道一、信道疑义度与平均互信息三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式二、信道容量信息论与编码基础离散信道一、信道疑义度与平均互信息三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式二、信道容量信息论与编码基础离散信道平均互信息I(X;Y)代表了接收到每个输出符号后获得的关于X的平均信息量，又叫做信道的信息传输率。I(X;Y)能说明一个信道的好、坏吗？定理在信道转移概率给定的条件下，平均互信息是输入信源概率分布的型凸函数。定义一个平稳离散无记忆信道的容量C为输入与输出平均互信息的最大值。说明：bit/sig1）信道给定后，p(y|x)就固定，C仅与p(y|x)有关，而与P(x)无关2）Ct是信道最大传输速率。Ct=C/tbit/s信源分布最佳时，信道容量最大。信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式信息论与编码基础离散信道信道1、无噪无损信道I(X;Y)=H(X)-H(X|Y)信息论与编码基础离散信道2、有噪无损信道I(X;Y)=H(X)-H(X|Y)信息论与编码基础离散信道3、有损无噪信道I(X;Y)=H(Y)-H(Y|X)信息论与编码基础离散信道总结：1）若严格区分，凡损失熵等于0的信道称为无损信道；凡噪声熵等于0的信道称为无噪信道。2）无损信道3）无噪信道信息论与编码基础离散信道例求BEC的信道容量信息论与编码基础离散信道信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式？对称信道信息论与编码基础离散信道？信息论与编码基础离散信道例强对称信道信息论与编码基础离散信道有噪声的打字机信道考虑26个键的打字机1）如果每敲击一个键，它就准确地输出相应的字符，那么该容量C是多少？2）如果假设敲击一个键都会导致输出该键对应的字母或者下一个字母等概率出现，即敲A可能输出A或B，…敲Z可能输出Z或A。那么此时的容量如何？信息论与编码基础离散信道本课小结2、平均互信息性质非负性、极值性、对称性、凸函数特性信息论与编码基础离散信道1、平均互信息概念3、信道容量及其计算信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式？对称信道信息论与编码基础离散信道？信息论与编码基础离散信道例强对称信道信息论与编码基础离散信道有噪声的打字机信道考虑26个键的打字机1）如果每敲击一个键，它就准确地输出相应的字符，那么该容量C是多少？2）如果假设敲击一个键都会导致输出该键对应的字母或者下一个字母等概率出现，即敲A可能输出A或B，…敲Z可能输出Z或A。那么此时的容量如何？信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式信息论与编码基础离散信道信息论与编码基础离散信道信道信道离散无记忆N次扩展信道模型1、信道模型信道转移矩阵其中1、信道模型BSC的二次扩展信道信息论与编码基础离散信道2、平均互信息bit/N-sig信息论与编码基础离散信道矢量形式定理对于离散无记忆信道，有证明：信息论与编码基础离散信道熵的链式法则熵的独立界2、平均互信息信息论与编码基础离散信道例DMC的输入为，输出为且有。其中X的熵为H,计算和信息论与编码基础离散信道定理对于无记忆信源，则证明：2、平均互信息信息论与编码基础离散信道例

设无记忆信源X的熵为H，X的5次扩展源为信道为如下面矩阵所示的置换信道1234532514计算达到的条件：只有当信源无记忆时，每一输入变量Xi的分布P(x)各自达到最佳分布时。3、信道容量信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式信息论与编码基础离散信道1、连续消息的信息度量连续信源的可能取值数是无限多个，若设取值是等概率分布，那么，信源的不确定为无限大。连续信源的熵1）与离散信源的熵在形式上统一；2）实际问题中常常讨论熵之间差值问题。相对熵、差熵、微分熵信息论与编码基础离散信道高斯分布情况2、高斯信道的信道容量I(X;Y)=h(y)–h(y|x)=h(y)-h(z)xiyizixi:样值，正态分布yi:样值，正态分布yi=xi+zi:正态分布xi、zi统计独立高斯信道通信模型信息论与编码基础离散信道信道的输出功率为E{y2}=E{(x+z)2}=E{x2}+0+E{z2}=S+N根据最大熵定理平均功率受限条件下信源的最大熵定理若某信源输出信号的平均功率和均值被限定，则当其输出信号幅度的概率密度函数p(x)是高斯分布时，信源达到最大熵值。信息论与编码基础离散信道2、高斯信道的信道容量3、带限信道的信道容量对于带限信号，采样定理指出，若信号的有效带宽为B，采样频率为f