信息论第一章

西安邮电大学通信与信息工程学院2012年8月信息论与编码李大湘153-5370798135108809@课程概述◆《信息论与编码》先修课程：通信原理，概率论，数理统计，线性代数◆以概率论与随机过程为主要数学工具，用一系列具体的符号(码)来表示抽象的信息，研究信息在存储和传递过程中具有的高效性和可靠性这两大核心问题。本课程包括信息论基础和编码两大部分。◆

使用的教材：《信息论基础与编码》王军选

人民邮电出版社（全价32.8元）卓越网23元左右课程概述当今的时代是一个信息的时代，信息处理技术的不断进步极大的影响了我们的生活，使我们的生活质量得到很大提高。本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成。学习方法◆

学习时把注意力集中到概念的理解上，不要过分地追求数学细节的推导。◆

注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习◆提倡独立思考，独立完成作业，注重思考在学习中的重要性。◆

看其他相关教材，如：《信息论—基础理论与应用》,傅祖芸,电子工业出版社考试与要求◆此课程共3个学分，为选修课◆共48个学时，平均每周3小节课◆授课内容：前6章+第7章部分内容◆考试方式：系考，闭卷期未考试成绩占70%,平时成绩占30%

缺交作业每次扣3分，迟到每次扣2分，无故旷课每次扣5分，早退每次扣2分◆交作业：单周的星期二，3号试验楼131◆各班班长在下次课时交一份本班同学名单第1章概论《信息论与编码B》

2012年8月目录2.12.2信息论研究的对象与内容2.3信息论的发展2.12.32.22.31.12.21.31.2信息的基本概念学习目标◆了解信息的定义◆了解信息的性质◆掌握信息、消息、信号的三者之间的关系◆掌握通信系统框图◆了解信息论的研究对象与内容◆了解信息论的发展简史奠基人：美国数学家香农（C.E.Shannon）

□

1948年“通信的数学理论”

□

1949年“噪声下的通信”■

这二篇论文成为信息论的奠基性著作

给出了通信系统的模型，提出信源熵的数据表达式；

解决了信道容量，信源编码，信道编码等一系列基本问题。信息论涉及的课程□

通信技术□

概率论□

随机过程□

数理统计

克劳德·艾尔伍德·香农(ClaudeElwoodShannon)

1916-20011.1信息的概念信息是信息论中最基本、最重要的概念，既抽象又复杂信息在日常生活中被认为是“消息”、“知识”、“情报”等“信息”不同于消息（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质；“信息”不同于情报，情报的含义比“信息”窄的多，一般只限于特殊的领域（军事），是一类特殊的信息；信息不同于信号，信号是承载消息的物理量；信息不同于知识，知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。消息：用文字等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。

知识：一种具有普遍和概括性质的高层次的信息

，以实践为基础，通过抽象思维，对客观事物规律性的概括。情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识。□它们之间有着密切联系，但不等同，信息的含义更深刻、广泛●就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：①离散(数字)消息：一组未知量，可用随机序列来描述：

X=(X1…Xi…Xn)②连续(模拟)消息：未知量，它可用随机过程来描述：X(t,ω)信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。

■信息、消息和信号是既有区别又有联系的三个不同的概念

消息中包含信息，是信息的载体。信号携带着消息，它是消息的运载工具。信息可认为是由具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述。同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。信号、消息、信息之间的关系例1：张三给李四发送一条短信，报告了一条新闻“美国某沿海地区发生大海啸”，李四看过之后非常吃惊.说明：这个例子涉及到信号、消息、信息三个概念（1）短信首先被手机编码成无线电波发送过去，则无线电波就是短信的载体，是实际存在的电磁波“信号”。（2）李四的手机收到信号之后，在屏幕上显示“美国某沿海地区发生大海啸”，这就是一条“消息”（文字形式）

(3)李四年到消息之后，会在大脑中形成自己的理解，有自己的感受，这就是”信息“。◆信号是消息的表现形式，是物理的（可以测量），如电信号，光信号等。◆消息是信息载体，是信号的具体内容，不是物理的，但又比较具体，如文字，语音，图像等。◆信息包含在消息之中，是通信系统中要传送的对象，消息被人的大脑所理解就产生了信息。信号、消息、信息之间的关系关于信息的科学定义，到目前为止，国内外已有不下百余种流行的说法，它们都是从不同的侧面和不同的层次来揭示信息的本质的。1928年，哈特莱(R．V．LHartley)

在《信息传输》一文中提出：发信者所发出的信息，就是他在通信符号表中选择符号的具体方式局限性：定义不涉及到信息的价值和具体内容，只考虑选择的方式。(太阳围绕地球转)即使考虑选择的方法，但没有考虑各种可能选择方法的统计特性。信息的不同定义方式1948年，维纳(N．Wiener)

□

在《控制论--动物和机器中通信与控制问题》一书中，指出：“信息就是信息，不是物质，也不是能量”。将“信息”上升到“最基本概念”的位置。□后来，维纳在《人有人的用处》一书中提出：“信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行交换的内容的名称。”□局限性：把信息与物质、能量混同起来。所以，维纳关于信息的定义是不确切的。构成宇宙的三要素：物质、能量、信息1948年，香农（C.E.Shannon）发表了一篇著名的论文，“通信的数学理论”。他从研究通信系统传输的实质出发，对信息作了科学的定义，并对信息进行了定性和定量的描述。信息是事物运动状态或存在方式的不确定性的描述。

（1）信息是无形的信息看不见，摸不着，不具有实体性（2）信息是可以共享的信息易于复制，便于快速传播，是一种可以共享的社会资源。信息交流不但不会使双方失去原来的信息，还可以获得新的信息。（3）信息是可以度量的信息论中的一个重要问题就是要解决信息的度量与质量问题。在香农关于信息的定义中，信息量与事件的不确定性有关。（就是一个关于概率的函数）1.1.2信息的性质：□按照香农的定义：信息是对事物不确定性的描述。也就是说，信息是与事物的不确定性有关的。用数学的语言来讲，不确定就是随机性，可运用研究随机事件的数学工具----概率论和随机过程来测度不确定性的大小。

□影响不确定性的因素：①该事物可能出现的不同状态数目;②各状态概率。□结论：既然不确定性的大小能够度量，所以信息是可以测度的。

香农信息的度量:信息能不能度量？例1：信息与不确定性的关系而乙袋中取出红球的概率小，不确定性大，故信息量大。从这个例子可以得出：不确定性的大小与可能发生的消息数目及各消息发生的概率有关。举例说明不确定性的大小，如右图甲袋中取出红球的概率大，不确定性小，因此信息量小；信息的直观认识香农信息的度量信息量——设事件a发生的概率是p(a),则●信息论是关于信息的本质和传输规律的科学理论。●信息论是一门应用概率论、随机过程、数理统计、近世代数和矩阵理论的方法，来研究信息的计量、发送、传递、交换、接收和存储的一般规律的学科。1.2信息论研究的对象与内容通信系统模型通信系统模型主要分成以下五部分：1、信源：产生消息和消息序列的源。它可以是人、生物、机器或其他事物，人的大脑思维活动也是一种信源；信源发出的消息有语音、图像、文字等；信源的输出是消息，消息是具体的，但它不是信息本身。它是事物各种运动状态或存在状态的集合，可能出现的状态(即信源输出的消息)是随机的、不确定的，但又有一定的规律性。2、编码器：将信源发出的消息变换成适合信道传送的信号的设备，包括以下三个部分：信源编码，为了提高信息传输的效率对信源输出的消息进行适当的变换和处理，把信息变换成信号，又称信源压缩编码；信道编码，是为了提高信息传输的可靠性而对消息进行的变换和处理，又称信道纠错编码，如奇偶监督码、重复码、线性分组码等；保密编码，是为保证信息的安全性和证实性。3、信道：通信系统中把载荷消息的信号从甲地传输到乙地的媒介或通道。实际信道有明线、电缆、波导、光纤、无线电波传播空间等传输电磁波能量的信道；信道除传送信号以外，还有存储信号的作用，如磁带、光盘或书写通信方式；在信道中还存在噪声和干扰。为分析方便，把干扰和噪声都等效地折合成信道干扰，看成是由噪声源产生。由于干扰或噪声往往具有随机性，所以信道特性可用概率空间描述。4、译码：就是把信道输出的编码信号（已迭加了干扰）进行反变换，一般认为这种变换是可逆的。从受干扰的信号中最大限度地提取出信源输出消息的信息，并尽可能地复现信源的输出。译码器也分成三种：信源译码器；信道译码器；解密译码器。5、信宿：是消息传送过程中的接收者，即接收消息的人或机器。

◆通信的目的：就是消除或者部分消除不确定性，从而获得信息。◆信息论就是通过对系统中消息的传输和处理的研究来找出信息的传输与处理的共同规律，提高信息传输的可靠性、有效性、保密性，以达到信息传输系统的最优化。◆具体到通信系统，就是研究通信系统的有效性、安全性与可靠性等环节。通信系统的指标通信系统的基本问题：在某一点精确或近似地恢复另一点发送的信息。信息论的研究内容信息论的研究内容研究内容信息论研究内容的三种理解：1、狭义信息论，也称为香农信息论。A.信息的测度 B.信道容量C.信源和信道编码理论2、一般信息论。也称为工程信息论，主要也是研究信息传输和处理问题。除香农信息论之外，还包括：A..噪声理论B.信号滤波和预测 C.统计检测与估计理论D.调制理论 E.信息处理理论3、广义信息论,也称为信息科学。除了上述两个方面内容，还包括所有与信息有关的领域，如A.模式识别 B.计算机翻译 C.心理学D.遗传学 E.神经生理学 F.语言学G.语义学信息论的分支电磁理论和电子学理论对通信理论技术发展起重要的促进作用1820－1830年，法拉第发现电磁感应莫尔斯1832－1835建立电报系统。1876年Bell发明电话1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论1895年马可尼发明了无线电通信微波电子管导致微波通信系统，微波雷达系统激光技术使通信进入光通信时代量子力学使通信进入量子通信领域

1.3信息论发展简史与现状

信息论发展简史1832年莫尔斯电码对shannon编码理论的启发1885年凯尔文研究了一条电缆的极限传信速率1922年卡逊对调幅信号的频谱结构进行研究1924年奈奎斯特证明了信号传输速率和带宽成正比1928年Hartley提出信息量定义为可能消息量的对数1939年Dudley发明声码器1940维纳将随机过程和数理统计引入通信与控制系统1946年柯切尔尼柯夫的学位论文“起伏噪声下的潜在抗干扰理论”，根据最小错误概率准则和最小均方误差准则研究了离散和连续信道的最佳接收问题信息论发展简史1948年shannon信息论奠基1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明1957，Wolfowitz，1961Fano，1968Gallager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1972年Arimoto和Blahut发明了信道容量的迭代算法1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976Rissanen算术编码，1977，78Ziv和Lempel的LZ算法信息论发展简史1950年汉明码，19