第一章绪论-信息论基础2015

信息论

-基础理论与应用

肇庆学院数学与统计学院邹小林QQ邮箱：120962985@手机移动短号：623504课程计划1、计划学时54，全部为讲课学时2、每周或每章结束交一次作业。3、总成绩由两部分组成：

平时成绩占30％，考试成绩占70％4、计划讲授教材的一至七章(除第四章)教学计划第1章绪论2学时第2章离散信源及其信息测度10学时第3章离散信道及其信道容量10学时第4章波形信源和波形信道6学时*第5章无失真信源编码10学时第6章有噪信道编码8学时第7章保真度准则下的信源编码8学时打*号内容，若时间有限可不讲。

课程—重视、努力努力有时候真的无法超越天赋，但努力能让有天赋的人看得起你。-----------------------------------------------龚伟杰宁波中一学校长的开学致辞——“天将降大任于斯人也，必先卸其QQ，封其微博，删其微信，去其贴吧，收其电脑，夺其手机，摔其ipad，断其wifi，剪其网线，使其百无聊赖，然后静坐、喝茶、思过、锻炼、读书、弹琴、练字、明智、开悟、精进，而后必成大器也。”

课程考核标准总成绩=平时考核+期末考试平时考核：占总成绩的30%100分=作业成绩加半期考试成绩的平均成绩-考勤扣分期末考试：占总成绩的70%100分=闭卷笔试作业和考勤的说明根据做题步骤思路是否清晰，字迹是否工整等评阅作业全对，评阅分在95-100之间。作业对3/4以上，评阅分在90-94之间。作业对2/3以上，评阅分在85-89之间。作业对1/2以上，评阅分在80-84之间。作业对1/4以上，评阅分在70-79之间。作业对1/4以下，评阅分在60-69之间。作业全错，评阅分为50分。作业和考勤的说明缺交作业的成绩记0分。迟交作业算缺交作业。如有特殊情况，请及时出示请假条。有请假条，补交作业只登记，补交的作业前要有说明理由。考勤缺席一次，扣6分。如有特殊情况，请及时出示请假条。根据此标准，请期末学习委员帮忙计算或校对最终平时成绩。回答问题，登记次数，最后在平时总成绩上加分。教学内容掌握要求掌握内容考试占70%~80%理解内容考试占20%~30%了解内容考试占0%~10%其他约定不得迟到、早退、缺课，有事请假。上课时请关闭手机。作业不得用纸片、信纸、笔记本之类，必须使用作业本，否则视为没有交作业。上课之前交作业。信息论对现代社会有哪些影响?了解信息论对现代社会有哪些影响?了解1、在理论研究方面2、在技术应用方面3、

在社会经济领域4、在个人生活方面5、在思维方式方面

信息论对现代社会的影响1、在理论研究方面

信息与物质、能量并列为宇宙中的三个基本要素。了解信息论对现代社会的影响2、在技术应用方面

信息科学与材料科学、能源科学一起成为现代高新技术领域的三大关键技术。没有信息论的指导,就不会有现代的无线电技术,电视接收系统,不会有现代的移动通信和卫星导航定位系统,更不会有“英特网”和“信息高速公路”的出现。了解

当代文明的三大支柱

信息科学、材料科学和能源科学一起被称为当代文明的“三大支柱”。是科学历史上三个最重要的基本概念。

没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界；

了解信息论对现代社会的影响3、

在社会经济领域信息科学的迅速发展和信息高速公路的出现,

有利于国际性的合作和交往,有利于市场经济中资源的有效配置。

信息科学的发展促进了光纤制造业、信息传输、交换设备生产企业、计算机软、硬件生产以及电信等行业的繁荣。

电子商务的迅速崛起,构成了这个时代的新特征,并在促进经济增长,方便人们生活方面发挥出了巨大的作用。了解信息论对现代社会的影响4、在个人生活方面

互联网使整个世界联为一体,人们似乎生活在一个地球村中。互联网的普及，深刻地改变人们生活方式,给人们的学习和生活带来极大的便利,“居家购物”、“居家上班”、“居家上学”和“居家就医”等已不再是遥远的未来。

通过英特网免费享受重点高校甚至国外高校提供的一流的课程和教育。了解信息论对现代社会的影响5、在思维方式方面互联网的开通大大加快了人们接受新思想、新信息的速度,促进了不同生活方式和思维模式的溶合,使得那些原来遥不可及的事情变得唾手可得,原来不可思议的新事物变得司空见惯,原来不可接受的生活方式、思维模式和文化传统变得争相仿效。了解什么是信息论？信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论的分支：光学信息论、量子信息论、生物信息论、生物信息学等重要分支。了解什么是信息科学？信息科学是研究信息运动规律和应用方法的科学，是由信息论、控制论、计算机理论、人工智能理论和系统论相互渗透、相互结合而成的一门新兴综合性科学。其支柱为信息论、系统论和控制论。

了解

第1章绪论

第1节信息的概念第2节信息论研究的对象、目的和内容第3节信息论的发展简史与信息科学1.1信息的概念古时候，对信息传递的方法有哪些？

“旗帜”、“狼烟”、“飞鸽传书”、“书信传递”、“信号弹”、“快马”、“暗号”、“手语”

了解1.1信息的概念现在，对信息传递的方法有哪些？

电报、书信、电话、电子邮件、MSN、QQ、短信息、GPRS、电视、手机、广播、报刊、飞机、火车、轮船、微信、微博、雷达、遥测等

了解1.1信息的概念承载信息的形式有哪些？

文字、符号、数据、语言、音符、图片、活动图像等

了解1.1信息的概念信息这个词平时在哪些地方使用？那么什么叫信息？

了解信息的概念之一——通俗概念

信息常常被认为是

“消息”、“信号”、“知识”、“情报”等。这些概念并不准确。如“对敌方情况的报告”

“对于最新情况的报道”等称为情报。情报学中定义：

情报是人们对于某个特定对象所见、所闻、所理解而产生的知识。

情报是一类特定的信息，不是信息的全体。信息不等于情报理解知识是人们从自然界收集得来的数据中，整理、概括、提取得到有价值的、人们所需的信息。如公式E=mc2c2=a2+b2知识只是人类社会中客观存在的部分信息信息不等于知识理解把客观物质运动和主观思维活动的状态表达出来就成为消息。例如获得同学结婚消息。例如获得炒股消息。消息的形式：文字、符号、数据、语言、音符、图片、活动图像等消息中包含信息，消息是信息的载体。得到了消息，就获得了信息。信息不等于消息理解平时在哪些场合用到消息？平时见到的信号有哪些？(如电信号，光倍号，声信号，生物信号等等)。把消息变换成适合信道传输的物理量，这种物理量称为信号

信号携带着消息，它是消息的运载工具。例拍电报一般，需先将汉字变换为莫尔斯码，再转换成脉冲电信号，然后经过调制变成高频调制电信号，才能在信道中传输。信息不等于信号理解信息的主要特征信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在；信息来源于精神世界，但又不局限于精神领域；信息与能量息息相关，但又与能量有本质的区别；信息具有知识的本性，但又比知识的内涵更广泛；信息可以被主体获取和利用。了解

“信息”是当代使用频率很高的一个概念，也是很难说清楚的一个概念。据不完全统计，信息的定义有100多种，它们都从不同的侧面、不同的层次揭示了信息的某些特征和性质，但至今仍没有统一的、能为各界普遍认同的定义。信息的定义了解信息是由物质和能量在时间和空间上的不均匀分布产生的。信息是可以用文字、符号、数据、语言、音符、图片、图像等人类可感知的消息来表达的。信息是无形的、可共享的、无限的、可度量的。信息是事物运动状态或存在方式的不确定性的描述。信息是与物质和能量一样重要的基本概念。信息的定义了解信息：是事物运动状态或存在方式的不确定性的描述。什么是不确定性？举例：电报“母病愈”袋子里摸球A：10红，10白；B：10红，20白3.香农信息的定义理解收到电报，消除了不确定性。消除多少不确定性，就获得多少信息量。不确定性就是随机性，具有不确定性的事件就是随机事件。随机事件可以计算事件发生的概率因此不确定性是可以度量的，于是信息是可以度量的。天气预报广东下雪4香农信息的度量理解概率理论引用到信息论(1)样本空间每一个消息是一个元素(2)概率测度每一个消息指定一个概率(3)概率空间先验概率理解随机事件的自信息量定义为该事件发生概率的对数的负值。事件的概率为，则它的自信息定义为：

代表两种含义：当事件发生以前，等于事件发生的不确定性的大小；当事件发生以后，表示事件所含有或所能提供的信息量。自信息量(4)自信息掌握(5)互信息

一个事件所给出关于另一个事件的信息定义为互信息，用表示。

互信息是已知事件后所消除的关于事件的不确定性，它等于事件本身的不确定性减去已知事件后对仍然存在的不确定性。

互信息的引出，使信息得到了定量的表示，是信息论发展的一个重要的里程碑。

掌握设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用来表示晴天，以来表示雨天，则我们的信源模型如下：例题（1）掌握例题（2）设有12枚同值硬币，其中有一枚为假币，且只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现采用天平比较左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？

（用信息论方法证明）理解设“在12枚同值硬币中，某一枚为假币’这事件为a。其出现的概率为设“假币重量比真币重量重，或轻’这事件为b。其出现的概率为

事件a,b的不确定性为

要发现某假币并知其比真币重还是轻所需的信息量是消除这两事件的不确定性。这两事件是统计独立事件．所以所需获得的信息量

例题（2）--解答理解而在天平上称一次能判断出三钟情况：重、轻和相等。这三种情况是等概率的

所以，天平测一次能获得的信息量(即消除的不确定性)为则至少必须称的次数为例题（2）--解答理解1.2.1信息论研究的目的可靠性有效性保密性认证性理解1.2.2信息论研究的内容1、狭义信息论（香农信息论）信息的测度、信道容量、信源和信道编码理论2、一般信息论主要研究信息传输和处理问题。包括噪声、滤波与预测、估计、保密等3、