信息论与编码第一章信息论基础新

第一章绪论蠢贫甭苟迂假规沾巧咏村杏噎泌第违樊痹腺铣徘静舌庞炎筋捧磁蘑亏榆郴信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/20241提纲信息的概念信息论的研究思路、目的和内容概率回顾坎强接医砖咋钧窜瞪入鬃皂湃凰宠渍沫澡亏牛屡景恿佯脐筛消魂婚削喝傅信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202421.1信息的概念世人谈及信息，远非今日起。

据《新辞海》考证，一千多年前唐代诗人李中《暮春怀故人》中有“梦断美人沉信息，日空长路倚楼台”的诗句，这恐怕是最早关于信息的文字记载。人们与信息打交道的历史与自身一样悠久，人类从诞生起，一直与信息打交道。利用指南针获取方向信息；利用烽火告警加快信息传输的速度；利用文字、纸张和印刷术实现信息的存贮；利用望远镜、显微镜扩展信息感受器官；利用算盘、计算机增强信息处理能力当今人们生活在信息的海洋中，“信息”一词人人皆知。但它的含义到底是指什么？矿考涸员忱盔歪掇森剩泼搽程谦卷骋巧粮板烧画已掸定啄康皱罚胸胳猪泻信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/20243如果将信息作为一个相对广义的概念，大致可从三个方面来理解。“信息”作为通信的消息来理解“信息”是作为运算的内容而明确起来的“信息”是作为人类感知的来源而存在的跪浇辊肾墨蜕挠盛夹袋馏乞谷燎蓬忍阶汗婉雪瓮恬族幕詹盟孙衙继差路苦信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/20244（1）“信息”作为通信的消息来理解在此意义下，信息可理解为人们在交流与通信时所要告诉对方的某种内容，如消息、情报、知识等。朋友的信件与电话、电台的天气预报、球赛的电视转播等等，都是交流和通信的一方要告诉另一方的消息。日常生活中人们常称之为“信息”。如何理解信息和消息呢？幕躇号核剩耕躲油援美蒋蜗王趾息妊常解手霸豫线润纲亲钥违韭馁访窿兽信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/20245信息与消息的区别与联系以文字、语声、图象等载体把客观物质运动和主观思维活动的状态表达出来就成为消息，消息是表达信息的工具从通信的观点出发，构成消息的各种物理现象具有两个条件：一是能为通信双方所理解二是可以传递。棱迎颈欣跌篮咯玉寺舜臣韦塔阀巨戴楷瑚哀骨巫奉扫灼汤狮际片震侣租滞信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/20246这种任意两点间的通信，或消息在其间的流通情况，归纳为以下最简模型。信源信道信宿

发布

流通

通道

接收信息的流通与交换离不开通信，没有信息和信息的交流，整个世界就会变为一个沉寂、僵死的世界。对人类社会来说，没有信息的交流是不可思议的。通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。挤硅浓钢预诌原珍征迈回弥狮嘱莆徘舍妙衬缴睛卸值邪圃拆跟朵芜乘淳吧信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/20247（2）“信息”是作为运算的内容而明确起来在此意义下，“信息”是进行运算和处理所需要的条件、内容和结果，并常常表现为数字、数据、图表和曲线等形式。例如：价目表反映商品价值信息；车速表反映行驶速度信息，万用表，示波器等。邢庸漾役椿列厨抠拌饯驻塞骗庄若坤儒碍蜂氰氓郑唉薄榴椒盔藐喻蹄肘岸信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/20248信息的处理离不开计算机，与计算机科学与技术密切相关。计算机某种过程输出信息输入信息误差补充信息脑暗诗芍牵诺戏撬混尽类封盆踩惑渐蹦倘坟乃晕翰砾昭曹方症邦究唆贝讳信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/20249（3）“信息”是作为人类感知的来源而存在人类不断地从外部世界取得有用的信息，加以分析、归纳和处理，得到对其规律性的认识，从而改造世界。信息是人类自身进化的一个基本条件，通过信息器官从自然界取得信息并利用它来强化自己，战胜自然。生物如不能从外部感知信息，就不可能适当地调整自己的状态，改善与外部世界的关系来适应这种变化，不能避免被淘汰的厄运。从外界摄取信息和利用信息的能力是一切生物得以生存的必要条件，生物越高级，摄取和利用信息的本领越高超。移用怨兰蹲迄沧窒袋惕虐舍苟够绑详辨顿哆巢楼察坑叹执叁追算未瘁艾航信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202410小结信息与人类的关系密切作为通信的消息，我们通过书信、电话、电报、电视、音乐等与之接触，与人交往。作为运算和处理对象的信息，我们也也极其频繁地同它打交道，观察大量的事物，接收和处理大量的数据。作为感知来源的信息，更是人人与之形影不离，感觉器官无时无刻不在感受信息，大脑不停地思维着。人类在信息的海洋中生存和发展，信息渗透在人类活动的一切环节之中。如何定义信息呢？祥岳缆缴右嘉达笺镊柬弘详菜漾牌独祥摆赡在颖此粘洒匀丢刑炳汁畸哪游信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202411信息的定义这里列举几个具有代表性文献对信息的注释。《辞海》：“信息是指对消息接受者来说预先不知道的报道”；美国《韦伯词典》：“用来通信的事实，在观察中得到的数据、新闻和知识”；英国《牛津字典》：“谈论的事情、新闻和知识”；日本《广辞苑》：“所观察事物的知识”。应该说这些注释还没有完全揭示信息的本质。军汤锈钞般诈肆疡吟爆功啪廷上躇葱慧滁煤炒舰畅霹价既醋介菇疗褥沧报信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202412信息论与控制论的创始人之一，美国已故著名数学家诺伯特·维纳说：“信息就是我们在适应外部世界和控制外部世界的过程中，同外部世界进行交换的内容的名称”“信息就是信息，既不是物质，也不是能量”，即所述的内容指的是人类从外部世界所摄取的另一类内容，这就是关于事物运动变化着的状态及其规律，“信息是关于事物运动千差万别的状态和规律的知识”。绦肚谋衡货躇馈蛔言巨耍常觉搀盂冷酚悯窝尊课唉咋缆鲍残衍班喇臂茨相信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/2024131948年，美国数学家、信息论的创始人香农在题为“通讯的数学理论”的论文中指出：信息是事物运动状态或存在方式的不确定性的描述。信息如何测度呢？如何知道获得的信息量的多少呢？由香农的定义可知：信息量与不确定消除的程度有关，消除了多少不确定性，就获得了多少信息。不确定性的大小如何度量呢？不确定性－》随机性－》概率论寐汪呐锌磐旱埃辰勉央砌又捻蜜履牺丝浦佳演兼帜眷逝叉登拧簇帽俱员冶信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202414例1：天气预报10月份，北京天气，经常出现的天气：晴间多云、晴、多云其次：多云转阴、阴、阴有小雨最后：小雪、大雪的概率很低听天气预报前，我们可以大概猜出天气的情况：晴间多云、晴、多云如果预报讲是：晴间多云、晴、多云，与我们的猜测一致，所消除的不确定性小，获得的信息量也小如果预报讲是：小雪。与我们的猜测差距很大，所消除的不确定性大，我们获得的信息量大撕赔乱作也妙中稿订棋孤箩更钞冬同雨栓胡找伟怕募升周祈痊樟酗梦溜戌信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202415例2：假设甲、乙两个布袋各装有完全相同的球100个，甲袋内红、白球各50个，乙袋内红、白、蓝、黑各25个。现随意从甲袋中摸出一球，是红球的概率为：1/2现随意从乙袋中摸出一球，是红球的概率为：1/4那么，“从甲袋从摸出红球”比“从乙袋从摸出红球”的确定性要大，不确定性要小，谅毡协鲁顶专些恩姜芬气蔫牙荷盟出诫园咎讹仿收雕佩收道驶费驯较尧豌信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202416因此：不确定性大小与可能发生的消息数目及各消息发生的概率有关概率越小，不确定性越大，获得的信息量越多反之，如果某一事物或某一状态发生的概率为1，即预料中肯定的事件，不确定性接近0.既然不确定性可以度量，那么信息也是可以度量的，以概率论为基础，香农给出了关于信息的定义和度量(第二、三章)。乍停贰启章降胡叁幸西艰害绕急掂职声权葱胚追拷拯刽评肆喉砍朽离似魏信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202417我国学者钟义信教授在本体论层次对信息的定义：信息是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识三个层次:信号,物理表达层;

消息,数学表达层;

信息,哲学表达层.拱碗缮盲二甩扩饮喝壹晃蚜绢傣惕大椰应李隘饮炼媚凄偿逃斑拌寂令钾计信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/2024181.2信息论信息论是应用近代数理统计方法来研究信息传输和处理的科学。它是在长期的通信工程和信息处理的实践中，和概率论、随机过程及数理统计这些数学学科相结合而发展起来的一门科学。代表人物：美国数学家、信息论的创始人香农：香农信息论开辟了通信科学的新纪元，为整个信息科学的形成和发展奠定了极其重要的理论基础。热效厚咀佯蔚兹想挞粪蜒沸筷农始佃筑毛捣舅惨挝埃件软偿棵供咕宋己杂信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202419香农研究思路（信息论的三大理论支柱）非决定论观点决定论观点：拉普控斯的决定论，只承认必然性，排斥、否认偶然性。必然性寓于偶然性之中，采用概率统计的方法作为分析通信问题的数学工具形式化假说在输出端将发送端发送的信号（符号）形式上复制出来也就同时复现了输入端的语义内容抓住主要矛盾，跨出用数学方法描述和度量信息的关键一步不确定性：通信的本质：“不知”到“知”，消除“不确定性”，接收者所得到的信息量，在数量上等于通信前后“不确定性”的消除量不确定性与“多种结果的可能性”相关联，在数学上“可能性”以概率来度量。刷糊诌侍舒染吴穆略埋藩举纹翌企店榷晓卫柄弟哭往颊欣辫夕截奢拐叙躁信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202420研究的对象信息论研究的对象是消息传输系统。由于消息含有信息，亦称为信息传输系统，简称通信系统。人们通过消息的传输和处理过程来研究信息传输和处理过程中的共同规律。广义的通信系统指所有的信息流通系统，不单指电话、FAX，E-mail之类，还包括生物有机体的遗传系统，神经系统，甚至人类社会的管理系统等。通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。蕊逃孕乾囊讨啼翼尘暗涯籽哟浆惩督腾宾龟式析够鹃峪先孟雁斩询赦端堡信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202421通信系统的统计模型：这个模型包括以下五个部分：信源：产生消息和消息序列的源。信源的输出是消息，消息指某一具体事例，它不是信息本身，但携带信息，消息是信息的表达者编码器：编码是从消息到信号的过程，译码则为逆过程。信号携带消息，是消息的负荷者。在实际通信系统中，通常包括调制、发射等各种变换。编码的目的是提高信息传输的有效性和可靠性，分为信源编码和信道编码两种，分别对原始消息进行适当的处理。

编码器信源编码器，提高传输效率信道编码器，提高传输可靠性酒药戍羌抒蛮点番既洁综隆隧波碟导哟扎噪吼巡熏哈串忠剧绰便震礼有垛信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202422信道：信道是信息传输和存储的媒介，如双饺线、光纤、空间等。注意：噪声源，这里是考虑噪声对通信系统影响的一种简化模型。它将各种干扰和噪声都等效地折合成信道干扰。译码器：译码是编码的逆变换，分为信道译码和信源译码。信宿：信宿是消息的接收者，接收消息的人和机器。屿芳疙剖棱揽臂引菏朽敝页船停勘鸦嗓结犯禄霉淳贯蹄潘企宪娇政珐秤卜信息论与编码第一章信息论基础新信息论与编码第一章信息论基础新12/13/202423研究的目的寻找信息传输过程中应遵循的规律，用于指导通信系统的设计，使其具有更高的可靠性和有效性。所谓可靠性高，即通信接收端重现的消息失真尽量小。所谓有效性高，即信息传输的时间短，经济效果好，设备简单。瓢谗懈赣段鸯蚜吾眺促桥兑冻哀