香农三大定理【高级课件】

1、信息论与编码基础,香农三大定理 简介,一、香农第一定理,二、香农第二定理,三、香农第三定理,无失真信源编码,有噪离散信道编码,保真度准则下的信源编码,1,信息论与编码基础,香农三大定理 简介,一、香农第一定理,二、香农第二定理,三、香农第三定理,2,信息论与编码基础,香农三大定理 简介,1、信源编码器,a、模型,单符号信源无失真编码器,码符号,码字,码长,3,信息论与编码基础,香农三大定理 简介,N次扩展信源无失真编码器,1、信源编码器,a、模型,4,信息论与编码基础,香农三大定理 简介,b、举例,1）ASCII信源编码器,1、信源编码器,5,信息论与编码基础,香农三大定理 简介,1、信源编码

2、器,2）摩尔斯电码,b、举例,6,信息论与编码基础,香农三大定理 简介,3）中文电报信源编码器,“中”,“0022”,“01101 01101 11001 11001”,1、信源编码器,b、举例,7,信息论与编码基础,香农三大定理 简介,c、分类,等长码,变长码,中文电报,莫尔斯电码,有失真编码,无失真编码,I(S;C) H(S)，就存在惟一可译变长编码；若RC，则不可能找到一种编码，使输出端错误概率任意小。,信息论与编码基础,香农三大定理 简介,3、香农第二定理（有噪信道编码定理）,29,信息论与编码基础,香农三大定理 简介,说明：,1、定理纠正了人们传统固有的可靠性和有效性矛盾的观点， 为

3、信道编码理论和技术的研究指明了方向。,2、定理仅指出编码的存在性，未给出编码的具体方法。,3、定理指出：RC是可靠传输的必要条件，但并未指出编码 序列无限长是可靠传输的必要条件。,3、香农第二定理（有噪信道编码定理）,AWGN 1)Turbo码：1/2码率，BPSK，65536随机交织， 18次迭代，Pe=10-5, Eb/N0 = 0.7dB 2)非规则LDPC码：N = 107, 1/2码率， Pe=10-5, Eb/N0 = 0.0045dB,4、香农进一步证明：R=C时，任意小的差错概率也是可以达 到的。,证明基本条件：1）随机编码 2）码长 3）最大似然译码,30,信息论与编码基础,

4、香农三大定理 简介,一、香农第一定理,三、香农第三定理,二、香农第二定理,31,不大于一定编码速率的条件下，使平均失真限 制到最小；,在平均失真不大于某个值的条件下，使编码 速率限制到最小,信息论与编码基础,香农三大定理 简介,信息率失真理论,32,1、失真度与信息率失真函数,a、系统模型,信息论与编码基础,香农三大定理 简介,33,b、失真测度,1）单符号失真测度,设,定义失真矩阵,信息论与编码基础,香农三大定理 简介,1、失真度与信息率失真函数,34,如果规定,，那么失真矩阵为,N=3时，失真度如图,信息论与编码基础,香农三大定理 简介,1、失真度与信息率失真函数,b、失真测度,35,2)

5、序列失真测度,设序列,定义序列失真测度为,信息论与编码基础,香农三大定理 简介,1、失真度与信息率失真函数,b、失真测度,36,3)平均失真,单符号平均失真,序列平均失真,信息论与编码基础,香农三大定理 简介,1、失真度与信息率失真函数,b、失真测度,37,c、信息率失真函数,信息论与编码基础,香农三大定理 简介,1、失真度与信息率失真函数,38,信息论与编码基础,香农三大定理 简介,39,信息论与编码基础,香农三大定理 简介,信息率失真函数性质,1）当D Dmax时,R(D)=0,3）R(0)=H(X),4）在0D Dmax范围内,R(D)是正的、连续的下凸函数,40,二、香农第三定理（保真度准则下的信源编码定理）,信息论与编码基础,香农三大定理 简介,41,表述二：,信息论与编码基础,香农三大定理 简介,二、香农第三定理（保真度准则下的信源编码定理）,42,几点讨论,1）R(D)确定是保真度准则条件下，信源信息率压缩的下限。,2）R(D)在实际工程中可以作为衡量各种压缩编码方法性能 优劣的一种标尺。,3）是一种存在定理，其实际应用有待于进一步研究：,a)如何计算符合实际信源的信息率失真函数R(D)？,b)如何寻找最佳编码方法才能达到信息压缩的极限值R(D)？,二、香农第三定理（保真度准则下的信源编码定理）,信息论与编码基础,香农三大定理 简介,43,信息论与编码基础,香农三