信息论期末复习课件

信息论期末复习幽默来自智慧，恶语来自无能信息论期末复习幽默来自智慧，恶语来自无能1信息论期末复习●●●●●●●●●●●●●●●●●●●●●●●●●信息论期末复习2●●●●●第一章概述●0●0●0●0●信息论的创始人:美国科学家香农1948年发表“通信的数学理论”,标志着信息论的诞生信息论是人们在长期通信工程的实践中,由通信技术与概率论、随机过程和数理统计相结合而逐渐发展起来的一门学科。通常人们公认信息论的奠基人是当代伟大的数学家、美国贝尔实验室杰出的科学家香农C.E.Shannon),他在1948年发表了著名的论文<<通信的数学理论》>,为信息论奠定了理论基础。●●●3●信息的概念●●●●●●0●01.信息、情报、知识、消息及信号间的区别与联系●2.信息是事物运动状态或存在方式的不确定性的描述。这就是香农信息的定义。●3.香农信息定义的优点首先,它是一个科学的定义,有明确的数学模型和定量计算其次,它与日常用语中的信息的含意是一致的再者,它排除了对信息一词某些主观上的含义香农信息定义的缺陷4.首先,只考虑概率引发的不确定性其次,这个定义和度量没有考虑收信者的主观特性和主观意义,信息的具体含意、具体用途、重要程度和引起后果等因素。而信息是有很强的主观性和实用性的●信息的概念4●信息论的研究对象●●●命●信源编码器信道译码器信宿消息信号消息天扰信号+干扰噪声源图1.3通信系统模型信息论研究的对象正是这种统一的通信系统模型,这个模型主要分成五部分:信息源(简称信源);编码器;信道:译码器;信宿●信息论的研究目的信息论研究的目的就是要找到信息传输过程的共同规律,以提高信息传输的可靠性、有效性、保密性和认证性,使信息传输系统达到最优化。●信息论的研究对象5信息的一些重要性质●●●●●●0●0●●存在的普遍性可压缩性0●0有序性>可替代性相对性可扩散性D可度量性D>可共享性>可扩充性时效性可存储、传输与携带性信息的独有性质信息的一些重要性质6信息论的研究范围●●●●经典信息论(狭义信息论、香农信息论)●0●0●0●0主要研究信息的测度、信道容量、信息率失真函数与这三个概念相对应的香农三定理以及信源和信道编码一般信息论主要是研究信息传输和处理问题。除了香农基本理论之外,还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容以美国科学家维纳(NWiener)为代表。广义信息论概括说来,凡是能够用广义通信系统模型描述的过程或系统,都能用信息基本理论来研究。信息论的研究范围7●●●第二章离散信源及其信息测度●●●0●0●0●0●信源的数学模型及分类高源:可能轴出的消总是有限成可歌的每『x抛女分物出的幕息性轼量:可能着出的息数是无的或不可款的,每欢只出一个润息2]11[21]:非平肯推述价源输出刹息的险机学引x是非平监机一写细可夫物出的煎机序死中各量之间做美关系。但记长庄有限,并足马尔可大健的件式[28〔时空向离离做平哪伯;出的机到xX万放的魔机序列中↓量x1,2.取值是高平健温推信测验出息的机的并且机安量置的各分布不时输出的平菌机序到x中各随机变量序判K是平的筐机乳闻平葶面或变吏定为离放无记忆x的N扩限你温,机式(29)则为烛平裁箱B的机x中各验机变耻之机(潮罩(脑凯惧抓憮产就平供源:轴出围前机序列X(X题信输幽的消息是时间〔成空刺中每个机变量X,2,“,M攻值基续为限记忆信源并且机免量x的各晶率密度函数不随时●●●8自信息1ax)=lg●●●P(a)●●●0●0(a)代表两种含义当事件a,发生以前,表示事件a发生的不确定性;当事件a,发生以后,表示事件a所含有(或所提供)的信息量。自信息采用的单位取决于对数所选取的底比特奈特哈特●信息熵自信息的数学期望为信源的平均自信息量,即H()=ELogP(a,1=∑P(a)logP(a1)信息熵具有以下三种物理含义第一,信息熵H(X)是表示信源输出后,每个消息(或符号)所提供的平均信息量第二,信息熵H(X)是表示信源输出前,信源的平均不确定性第三,用信息熵H(X)来表征变量Y的随机性。自信息1ax)=lg9·条件熵H(X/Y)=E(a1/b)●●●●●●0●0●∑∑p(anb,)logp(a1/b)0●0j=1i=1H(Y/X)=EL/(b,ai)∑∑pab)gp(b/a)·联合熵H(XY)=∑∑p(ab)(ab)∑∑p(ab/)ogp(ab)·条件熵H(X/Y)=E(a1/b)10信息熵的基本性质●●●●●●●0●H(=∑P()lgP()=∑plgn=H(2P2;,P2)=B(P●0●0H(P是概率矢量P的函数,我们称H(P为熵函数具有下列性质:1.对称性H(P1P2…P)=H(P2P3…PB)=…=团(P2P…P21)2.确定性H(1,0)=H(1,0,0)=…=H(1,0,…,0)=03.非负性H(P)=H(2P2;…P)=∑plogp20扩展性mH:(12P2…,P-6,)=H2(1,P2;…,P45.可加性(1)=B(X)+H()6.强可加性(X7)=H()+l(信息熵的基本性质11信息论期末复习课件12信息论期末复习课件13信息论期末复习课件14信息论期末复习课件15信息论期末复习课件16信息论期末复习课件17信息论期末复习课件18信息论期末复习课件19信息论期末复习课件20信息论期末复习课件21信息论期末复习课件22信息论期末复习课件23信息论期末复习课件24信息论期末复习课件25信息论期末复习课件26信息论期末复习课件27信息论期末复习课件28信息论期末复习课件29信息论期末复习课件30信息论期末复习课件31信息论期末复习课件32信息论期末复习课件33信息论期末复习课件34信息论期末复习课件35信息论期末复习课件36信息论期末复习课件37信息论期末复习课件38信息论期末复习课件39信息论期末复习课件40信息论期末复习课件41信息论期末复习课件42信息论期末复习课件43信息论期末复习课件44信息论期末复习课件45信息论期末复习课件46信息论期末复习课件47信息论期末复习课件48信息论期末复习课件49信息论期末复习课件50信息论期末复习课件51信息论期末复习课件52信息论期末复习课件53信息论期末复习课件54信息论期末复习课件55信息论期末复习课件56信息论期末复习课件57信息论期末复习课件58信息论期末复习课件59信息论期末复习课件60信息论期末复习课件6131、只有永远躺在泥坑里的人，才不会再掉进坑里。——黑格尔

32、希望的灯一旦熄灭，生活刹那间变成了一片黑暗。——普列姆昌德

33、希望是人生的乳母。——科策布

34、形成天才的决定因素应该是勤奋。——郭沫若

35、学到很多东西的诀窍，就是一下子不要学很多。——洛克31、只有永远躺在泥坑里的人，才不会再掉进坑里62信息论期末复习幽默来自智慧，恶语来自无能信息论期末复习幽默来自智慧，恶语来自无能63信息论期末复习●●●●●●●●●●●●●●●●●●●●●●●●●信息论期末复习64●●●●●第一章概述●0●0●0●0●信息论的创始人:美国科学家香农1948年发表“通信的数学理论”,标志着信息论的诞生信息论是人们在长期通信工程的实践中,由通信技术与概率论、随机过程和数理统计相结合而逐渐发展起来的一门学科。通常人们公认信息论的奠基人是当代伟大的数学家、美国贝尔实验室杰出的科学家香农C.E.Shannon),他在1948年发表了著名的论文<<通信的数学理论》>,为信息论奠定了理论基础。●●●65●信息的概念●●●●●●0●01.信息、情报、知识、消息及信号间的区别与联系●2.信息是事物运动状态或存在方式的不确定性的描述。这就是香农信息的定义。●3.香农信息定义的优点首先,它是一个科学的定义,有明确的数学模型和定量计算其次,它与日常用语中的信息的含意是一致的再者,它排除了对信息一词某些主观上的含义香农信息定义的缺陷4.首先,只考虑概率引发的不确定性其次,这个定义和度量没有考虑收信者的主观特性和主观意义,信息的具体含意、具体用途、重要程度和引起后果等因素。而信息是有很强的主观性和实用性的●信息的概念66●信息论的研究对象●●●命●信源编码器信道译码器信宿消息信号消息天扰信号+干扰噪声源图1.3通信系统模型信息论研究的对象正是这种统一的通信系统模型,这个模型主要分成五部分:信息源(简称信源);编码器;信道:译码器;信宿●信息论的研究目的信息论研究的目的就是要找到信息传输过程的共同规律,以提高信息传输的可靠性、有效性、保密性和认证性,使信息传输系统达到最优化。●信息论的研究对象67信息的一些重要性质●●●●●●0●0●●存在的普遍性可压缩性0●0有序性>可替代性相对性可扩散性D可度量性D>可共享性>可扩充性时效性可存储、传输与携带性信息的独有性质信息的一些重要性质68信息论的研究范围●●●●经典信息论(狭义信息论、香农信息论)●0●0●0●0主要研究信息的测度、信道容量、信息率失真函数与这三个概念相对应的香农三定理以及信源和信道编码一般信息论主要是研究信息传输和处理问题。除了香农基本理论之外,还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容以美国科学家维纳(NWiener)为代表。广义信息论概括说来,凡是能够用广义通信系统模型描述的过程或系统,都能用信息基本理论来研究。信息论的研究范围69●●●第二章离散信源及其信息测度●●●0●0●0●0●信源的数学模型及分类高源:可能轴出的消总是有限成可歌的每『x抛女分物出的幕息性轼量:可能着出的息数是无的或不可款的,每欢只出一个润息2]11[21]:非平肯推述价源输出刹息的险机学引x是非平监机一写细可夫物出的煎机序死中各量之间做美关系。但记长庄有限,并足马尔可大健的件式[28〔时空向离离做平哪伯;出的机到xX万放的魔机序列中↓量x1,2.取值是高平健温推信测验出息的机的并且机安量置的各分布不时输出的平菌机序到x中各随机变量序判K是平的筐机乳闻平葶面或变吏定为离放无记忆x的N扩限你温,机式(29)则为烛平裁箱B的机x中各验机变耻之机(潮罩(脑凯惧抓憮产就平供源:轴出围前机序列X(X题信输幽的消息是时间〔成空刺中每个机变量X,2,“,M攻值基续为限记忆信源并且机免量x的各晶率密度函数不随时●●●70自信息1ax)=lg●●●P(a)●●●0●0(a)代表两种含义当事件a,发生以前,表示事件a发生的不确定性;当事件a,发生以后,表示事件a所含有(或所提供)的信息量。自信息采用的单位取决于对数所选取的底比特奈特哈特●信息熵自信息的数学期望为信源的平均自信息量,即H()=ELogP(a,1=∑P(a)logP(a1)信息熵具有以下三种物理含义第一,信息熵H(X)是表示信源输出后,每个消息(或符号)所提供的平均信息量第二,信息熵H(X)是表示信源输出前,信源的平均不确定性第三,用信息熵H(X)来表征变量Y的随机性。自信息1ax)=lg71·条件熵H(X/Y)=E(a1/b)●●●●●●0●0●∑∑p(anb,)logp(a1/b)0●0j=1i=1H(Y/X)=EL/(b,ai)∑∑pab)gp(b/a)·联合熵H(XY)=∑∑p(ab)(ab)∑∑p(ab/)ogp(ab)·条件熵H(X/Y)=E(a1/b)72信息熵的基本性质●●●●●●●0●H(=∑P()lgP()=∑plgn=H(2P2;,P2)=B(P●0●0H(P是概率矢量P的函数,我们称H(P为熵函数具有下列性质:1.对称性H(P1P2…P)=H(P2P3…PB)=…=团(P2P…P21)2.确定性H(1,0)=H(1,0,0)=…=H(1,0,…,0)=03.非负性H(P)=H(2P2;…P)=∑plogp20扩展性mH:(12P2…,P-6,)=H2(1,P2;…,P45.可加性(1)=B(X)+H()6.强可加性(X7)=H()+l(信息熵的基本性质73信息论期末复习课件74信息论期末复习课件75信息论期末复习课件76信息论期末复习课件77信息论期末复习课件78信息论期末复习课件79信息论期末复习课件80信息论期末复习课件81信息论期末复习课件82信息论期末复习课件83信息论期末复习课件84信息论期末复习课件85信息论期末复习课件86信息论期末复习课件87信息论期末复习课件88信息论期末复习课件89信息论期末复习课件90信息论期末复习课件91信息论期末复