信息论的形成和发展.ppt

1、信息论与编码Information Theory 语言的统计特性：语音的统计特性及可压缩性; 图象的统计特性：图象的处理,图象的压缩格式; 二元信源的统计特性：二元信息的压缩算法。,有效性编码：压缩信源的冗余,从而提高信息 的传输效率,主要是针对信源的 统计性进行编码,故也称为信源 编码。,2、 编码理论与技术,抗干扰编码：一般增加信源的冗余,有以提高信 息传输的可靠性, 主要是针对信道 的统计性进行编码,故也称为信道编码;,安全性编码：将信源的明文编码成密文，提高通 信的安全性。,另: 3、信息的传输效率和利用率，扩频、频带压缩、 码分复用、宽带高速信道； 4、抗干扰理论及相关技术调幅、调频

2、； 5、噪声中信号检测理论及技术； 6、生物感官特性，听觉特性，视觉特性 脑思维特性的研究； 7、与其它学科有关的，研究生物医学的关 系、光学的关系等。,五、 信息、消息、信号、数据及其区别,1）信息：（香农）信息是事物运动状态或存在方式 的不确定性的描述。 2）消息：用文字、符号、数据、语言、音符、图片、图象等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。消息是信息的载体 。但不是物理的。,3）信号：把消息换成适合信道传输的物理量（如：电信号，光信号，声信号，生物信号 等）。这种物理量称为信号。是消息的载 体。 4）数据：载有信息的可观测、可传输、可存

3、储、 可处理的信号。,六、信息的特征,1、它的内容是不知道的；,2、信息是能使认识主体对某一事物的未知性或 不确定性减少的有用知识；,3、信息可以产生，也可以消失；同时信息也可以 被携带，储存及处理；,4、信息可以度量。,按信息的性质分类：语法信息，语义信息和语 用信息;,七、信息的分类,按观察过程分类：实在信息，先验信息和实得信息,按信息的地位分类：客观信息（效果信息、环 境 信息）和主观信息（决策信 息，指令、控制和目标信息）,按信息的作用分类：有用信息、无用信息和干扰信息；,按信息的逻辑意义分类：真实信息、虚假信息和不定信息；,按信息的传递方向分类：前馈信息和反馈信息；,按信息的生成领域

4、分类：宇宙信息、自然信息、 思维信息和社会信息；,按信息的信息源性质分类:语言信息、图像信息、数 据信息、计算信息和文字信息；,按信息的信号形成分类：连续信息、离散信息和半连 续信息。,还可以按按信息的应用部门、载体性质等分类。,1.2通信系统的模型,1）基本的通信系统模型,1.1信息论的形成和发展,2）一般的通信系统模型,通信系统各部分的作用 信源：信源是产生消息的源，消息是信息的载体； 信源输出的消息要多于一种，何时输出何种 消息是不确定的、随机的，但却是有规律 的。 信宿：信宿是消息传送的对象。 信道：信道是信号从信源传送到信宿的通路。 干扰源：整个通信系统中各种干扰的集中反映 （理想化

5、的干扰源）。,信源编码：将信源的原始信息按一定的理论或工程要 求编成另一种消息形态（代码）。其作用是压缩 冗余度，提高通信系统传输消息的效率。 信道编码：在信源的代码上有目的地增加一些监督码 元，以达到检查或纠正信息传输过程中产生的错 误，提高信息传输的可靠性。 加密编码：并将信源的明文编码成密文，提高通信的 安全性。 解码（译码）：是编码的逆过程，译码有信源译码、 信道译码、解密译码。,3)信息论与编码与其他学科的关系：,信息论和编码所须的基础知识: 概率论、数理统计、随机过程、矩阵论、近世代数、数论、电子、计算机基础知识. 需要信息论和编码知识的课程 通信原理、数字移动通信、计算机技术、计

6、算机网络通信、数字图像处理,第二章 信 源 及 信 源 熵,第二章信源及信源熵,2.1信源的描述和分类,一、信源的描述,信源：是发出消息的源，是信息的来源。,1、连续信源指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源。,二、信源的分类,如：语言、图像、视频等。,第二章信源及信源熵,按信源发出的消息在时间上和幅度上的分布情况分为两大类：,其又分为离散无记忆信源,离散有记忆信源,离散无记忆信源：发出单个符号的无记忆信 源（只发出一个符号代表一个消息） 发出符号序列的无记忆信源 （每次发出一组含量个以上的符 号序列代表一个消息）,2、离散信源指发出在时间和幅度上都是 离散分布的离散消息

7、的信源。,如：文字、数字、数据、字母等。,离散有记忆信源：发出单个符号的有记忆信源 发出符号序列的马尔可夫信源,第二章信源及信源熵,无记忆：发出的各个符号是相互独立的；各符 号序列中的各个符号之间是没有统计 关联的关系。各个符号的出现概率是 它自身的先验概率。,有记忆：发出的各个符号是相关联的。表述起 来很困难。,当记忆长度为m+1时称这种记忆信源为m阶马尔可夫信源，即信源每次发出的符号与前m个符号有关，与更前面的符号无关。假设m阶马尔可夫信源输出的随机序列为X=X1 X2Xi-1Xi XN。在这序列中某i时刻的随机变量X取什么符号只与前m个随机变量Xi-1 Xi-2 Xi-m取什么符号有关，

8、与其更前面的随机变量以及后面的随机变量取什么符号都无关。这样就可以用马尔可夫链来描述此信源。,第二章信源及信源熵,定义一个离散无记忆信源是由n个符号消息组成的集合: X= x1，x2 xn ，,从概率的角度看，可以将符号消息xi 看一个随机事 件。因此xi 具有不确定性。,这n个符号消息的概率分布是：,称为符号xi 的先验概率,散信源数学模型表示为：,三、信源的数学模型,例：掷一颗质地均匀的色子研究其下落后朝上一面的点数，每次实验结果必然是1，2，6点中的某一个面朝上。这种信源输出的消息是“朝上面是一点”，“朝上面是两点”，“朝上面是六点”，六个不同的消息。每次实验只能出现一种消息，出现哪一种

9、是随机的，但必是六种情况中的一种。用符号表示为ai,i=1,6来表示这些消息，得到这信源的样本空间为符号集 A=a1,a2,a3,a4,a5,a6.,第二章信源及信源熵,实验证明各消息都是等概率出现的，都等于1/6，因此可用一个离散型随机变量X来描述这个信源的输出的消息。这个随机量X的样本空间就是符号集A，而X的概率分布就是各消息出现的先验概率为： p(a1)=p(a2)=p(a3)=p(a4)=p(a5)=p(a6)=1/6, 信源的数学模型为：,并满足： =1 上式表示信源的概率空间必定是一个完备集。信源输出的消息只可能是符号集 A=a1,a2,a3,a4,a5,a6中的任何一个，且每次必定选取其中一个。我们称由信源空间 A,P(a)描述的信源A为离散无记忆信源，此信源在不同时刻发出的符号之间是无依赖的，彼此统计独立。,三、信息的定义,一、信息论的形成和发展,二、研究信息的目的,四、信息工程的研究范畴,五、 信息、消息、信号、数据及其区别,六、信息的特征,七、信息的分类,第一章 绪论1.1