第1章-信息论基础

不定时点到自学！！提问，平时成绩计分方式最后期终考试成绩占70％平时成绩占20％作业：一次不交扣1分，无故缺席一次扣1分，迟到一次扣0.5分手机声响扣1分严重违反课堂纪律，视情节轻重扣分课程实验占10%第1章信息论基础

第1章信息论基础

内容提要信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用学科。本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。主要内容1、信息的概念，信息论的研究对象，目的，内容，形成与发展。2、信源及其数学模型3、信道及其数学模型1.1信息的概念人类从产生那天起，就生活在信息的海洋之中。人类社会的生存和发展，一时一刻都离不开接受信息、传递信息、处理信息、提取和利用信息。结绳记事，烽火告警等。那么，什么是信息呢？信息不等于消息。人们常常错误地把信息等同于消息，认为得到了消息，就是得到了信息。消息：用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。香农在1948年发表了著名的论文：AMathematicalTheoryofCommunication——通信的数学理论。他从研究通信系统传输的实质出发，对信息做了科学的定义，并进行了定性和定量的描述。香农简介：香农简介

（ClaudeElwoodShannon，1916.4.30-2001.2.26）

1938年香农获得电气工程硕士学位，硕士1940年获得数学博士学位，博士论文却是关于人类遗传学

。之后就职于贝尔实验室。1948年发表《通信的数学原理》，1949发表《噪声下的通信》。香农博士于2001年2月26日去世，享年84岁尊崇香农为信息论及数字通信时代的奠基人。

美国AlfredNoble协会美国工程师奖1940年

MorrisLiebmann无线电工程师协会Memorial奖章1949年耶鲁大学(首席科学家)1954年

StuartBallantine弗兰克林协会奖章1955年研究合作奖1956年密歇根大学,荣誉博士1961年莱斯大学荣誉奖章1962年普林斯顿大学,荣誉博士1962年

MarvinJ.KellyAward1962年爱丁堡大学荣誉博士1964年匹兹堡大学荣誉博士1964年电子电气工程师协会荣誉奖章1966年美国国家科学奖章1966年,由前总统LyndonB.约翰逊颁发

GoldenPlateAward1967年美国西北大学,荣誉博士1970年

HarveyPrize,theTechnionofHaifa,以色列1972年牛津大学荣誉博士1978年

JosephJacquard奖1978年

HaroldPender奖1978年东英格伦大学,荣誉博士1982年卡内基梅隆大学荣誉博士1984年美国声频技术协会金奖1985年

KyotoPrize1985年塔夫斯大学荣誉博士1987年宾西法尼亚大学荣誉博士1991年

EduardRheinPrize1991年香农信息的定义信息是事物运动状态或存在方式的不确定性的描述。香农将各种通信系统概括成如图1.1所示的框图。在各种通信系统中，其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又不十分引人注意的特点是：（1）收信者在收到消息以前是不知道消息的具体内容的。在收到消息以前，收信者无法判断发送者将会发来描述何种事物运动状态的具体消息；他也更无法判断是描述这种状态还是那种状态。（2）即使收到消息，由于干扰的存在，他也不能确定所得到的消息是否正确和可靠。图1.1总之，收信者存在着“不知”，“不确定”，“疑问”。通过消息的传递，收信者知道了消息的内容，原先的不知，不确定和疑问消除或部分消除了。因此，对于收信者来说，消息的传递过程是一个从不知到知的过程，或是从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。所以，通信过程是一种消除不确定性的过程。不确定性的消除，就获得了信息。原先的不确定性消除的越多，获得的信息就越多。如果原先的不确定性全部消除了，就获得了全部的信息；若消除了部分不确定性，就获得了部分消息；若原先不确定性没有任何消除，就没有获得任何的信息。由此可见信息是事物运动状态或存在方式的不确定性的描述。天气预报孙丽华教授书上对信息的定义钟义信教授的定义钟义信简介钟义信1940年2月出生,汉族，

北京邮电大学教授、博士生导师、副校长、校学术委员会主席。长期从事通信理论、信息理论、信息科学、人工智能、神经网络、决策学、信息经济学领域的研究和教学工作，在上述领域先后出版学术著作16部，在国内外学术刊物和学术会议上发表学术论文380多篇。代表性学术论著包括《信息科学原理》（1988年）、《信息技术通论》（1994）、《智能理论与技术—人工智能与神经网络》（1992）、《伪随机编码通信：原理与应用》（1978）等。具有重要创新意义的学术贡献主要包括“知识论”、“全信息理论”、“意识机模型”、“信息科学原理与信息科学方法论”、“信息基础结构理论模型”等。

1989年国务院人事部授予“有突出贡献中青年专家”称号

1989年国家教委授予“全国优秀教师”称号，

1991年国务院人事部和国家教委联合授予“有突出贡献的归国留学人员”称号，享受国务院特殊津帖，

1994年国际神经网络学会（InternationalNeuralNetworkSociety,INNS）授予“国际优秀学术带头人”证书

2002年获得亚太神经网络联合会（Asian-PacificNeuralNetworkAssembly,APNNA）“主席奖”。曾任IEEETransactionsonNeuralNetworks副主编（1993-2005）国务院信息化工作领导小组办公室专家委员会常务委员（1993-2001）

国家863计划通信主题首届首席专家（1992-1994）国家863计划信息领域战略研究负责人。现在是中国人工智能学会理事长'教育部全国工程教育专业认证专家委员会副主任'

《电子学报》副主编，

《中兴新通讯》杂志主编，

《20世纪中国学术大典—信息科学与通信工程卷》主编，

IEEETransactionsonNeuralNetworks杂志副主编，

IEEE北京分部执行委员，IEEE美国纽约科学院院士。1988年，我国信息论专家钟义信教授在《信息科学原理》给出信息的定义语法信息是事物运动状态和状态改变的方式的本身。所以它不涉及这些状态的含义和效用，是最抽象最基本的层次。它只研究事物运动各种可能出现的状态，以及状态之间的关系。香农的信息定义正是属于这个层次，是从概率统计角度来研究事物运动各种可能出现的状态及状态间的关系，因此是概率性的语法信息。它能较好地解决通信工程这样一类信息传递的问题。语法信息，语义信息，语用信息语义信息是事物运动状态和方式的具体含义。这是研究各种状态和实体间的关系，即研究信息的具体含义的。语用信息是事物运动状态和方式及其含义对观察者的效用，或者是相对于某种目的的效用。这是研究事物运动状态和方式与使用者的关系，即研究信息的主观价值。EXAMPLE我闻西方大士，为人了却凡心。秋来明月照蓬门，香满禅房幽径。

屈指灵山会后，居然紫竹成林。童男童女拜观音，仆仆何嫌荣顿？从第一个字到最后一个字每句话的第一个字所包含的意义第一字联系在一起——“我为秋香，屈居童仆”信息的概念-小结信息是事物运动状态或存在方式的不确定性的描述。通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的学科。

思考：信息与情报、知识、信号之间的关系？物质世界的三大要素？信息，物质，能量信息是信息论中最基本、最重要的概念，既抽象又复杂信息在日常生活中被认为是“消息”、“知识”、“情报”等“信息”不同于消息（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质；“信息”不同于情报，情报的含义比“信息”窄的多，一般只限于特殊的领域，是一类特殊的信息；信息不同于信号，信号是承载消息的物理量；信息不同于知识，知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。1.2信息论的研究对象--通信系统模型

通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。各种通信系统，一般可概括为图1.1所示的基本模型：

干扰源

信道信道译码器信道编码器信源译码器信源编码器信宿信源等效信源等效信宿等效无干扰信道-研究信息传输的有效性图1-1通信系统模型

通信系统模型主要包括五个部分1.信源信源是产生消息和消息序列的源。它可以是人、生物、机器或其他的事物。它是事物各种运动状态或存在状态的集合。例如，篮球比赛的实况，各种气象状态等客观存在是信源。人的大脑活动也是一种信源。2.编码器2.编码器编码是把消息变换成信号的措施，而译码就是编码的反变换。编码器输出的是适合信道传输的信号，信号携带者消息，它是信息的载荷者。编码器可分为两种：即信源编码器和信道编码器。信源编码实际上是对信源的原始符号按一定的数学规则进行的一种代码变换，目的是为了提高信息传输的效率。而信道编码是为了提高信息传输的可靠性而对消息进行的变化和处理。

3.信道3.信道信道是指通信系统把载荷消息的信号从甲地传输到乙地的媒介。如，光纤，电缆，无线电波，磁盘，书籍等。信道上不可避免地存在各种干扰，比如来源于无线发射机的无线电干扰，电气设备的工业干扰，以及宇宙射线的天电干扰及电子器件的内部干扰等。为了分析方便，我们将系统其它部分产生的各种干扰都等效地折合成信道干扰。信道输出的已是叠加了干扰的信号。由于干扰或噪声往往具有随机性，所以信道的特性也可以用概率空间来描述。4.译码器4.译码器译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。要从受干扰的编码信号中最大限度地提取出有关信源输出的信息。译码器也可分为信源译码器和信道译码器。信源译码器就是将信道中传输的各种信号还原成收信者能感知的消息。信道译码就是从受干扰的信号中尽可能地纠正其中的错误，再现信源编码器的输出。5.信宿5.信宿信宿是消息传送的对象，消息的接受者，即接受消息的人或机器。信源和信宿可处于不同地点和不同时刻。模型五个部分概括：3.信道信道是信息传输和存储的媒介。4.译码器译码是编码的逆变换，分为信道译码和信源译码。5.信宿信宿是消息的接收者。2.编码器编码器是将消息变成适合于信道传送的信号的设备。1.信源信源是产生消息的源。编码器信源编码器，提高传输效率信道编码器，提高传输可靠性2信息论的研究目的研究概括性强的通信系统，其目的：要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，使达到信息传输系统最优化。有效性：所谓有效性高，就是经济效益好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。可靠性：所谓可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地不失真地再现在接收端。有效性和可靠性两者往往相互矛盾，要提高有效性，就要减少信源的冗余度，缩短每个数据码元所占的时间，这样势必使波形变窄，能量减少，从而使受到干扰后产生错误的可能性增加，传递消息的可靠性降低；若要求可靠，就要增加纠错检错码元，这样增加了信道的冗余度，从而使传递消息的效率变慢。例如上例中，若发电报“奥运会”，当我们收到电报“X运会”时，无法判断所发电报是“奥运会”、“亚运会”，还是“农运会”等，可见，所发电文虽然冗余度很小，但容错能力较差；而如果发电报“奥林匹克运动会”，当收到电报“X林匹克运动会”时，我们很容易纠正电文的错误.前面已讲了有效性和可靠性保密性：所谓保密性就是隐藏和保护通信系统中传送的消息，使它只能被授权接受者获取，而不能被未授权者接收和理解。传送的消息只被预定的接收者获取；认证性：所谓认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。正确判断所接收消息是预定发送者发送的。根据信息传输的要求不同，信息传输系统模型不是不变的。研究有效性，可只考虑信源和信宿之间的信源编(译)码，将信道编码器、信道译码器和信道组合起来，等效为一个无干扰信道，这样信源编码器的研究只和信源、信宿有关；研究可靠性，在研究信息传输的可靠性时，可将信源译码器和信宿等效为信宿，将信源和信源编码器等效为一个对于信道编码器而言的信源，这样信道编码的研究只和信道有关，与信源、信宿无关。研究保密性和认证性，将信源和信源编码等效成一信源；将信道编码、信道、噪声源和信道译码等效成一无干扰信道；而将信源译码和信宿等效为一信宿。1.4.信息论的研究内容目前，对信息论研究的内容一般有以下三种理解。1、狭义信息论，也称经典信息论它主要研究信息的测度，信道容量及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。2.一般信息论也称工程信息论它主要是研究信息传输和处理问题。除了香农理论以外，还包括编码理论、噪声理论、信号滤波和预测理论，统计检测与估计理论、调制理论，信息处理理论及保密理论等。后一部分内容是以美国科学家维纳为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫。3.广义信息论它是一门综合性的新兴学科，它不仅包括上述两方面的内容，而且包括所有与信息有关的自然科学和社会科学领域，如模式识别，计算机翻译，心理学，遗传学，生物学，神经生理学，语言学，语义学，甚至包括社会学，人文学和经济学中有关信息的问题，它也是新兴的信息科学理论。

综上所述，信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的学科；它主要目的是提高信息系统的可靠性、有效性、保密性和认证性，以便达到系统最优化；它主要内容（或分支）包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码学理论等。由于信息论研究的内容极为广泛，而各分支又有一定的相对独立性，因此本书仅论述信息论的基础理论即香农信息理论及编码理论的基本内容。信息论的研究小结：广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。1.5信息论的形成与发展1.5.1电信系统的形成与发展一、有线通信系统二、无线电通信系统三、微波通信系统（波长在0.1mm---1m）四、光纤通信系统（波长在0.8μm---1.8μm）1.5.2通信理论的发展一、信息理论二、信号检测与估计理论三、信源编码理论四、信道编码理论一、有线通信系统

1831年英国法拉第(Faraday)发现电磁感应的基本规律。1844年美国莫尔斯(Morse)建立起了电报系统(数据)。1875年苏格兰青年亚历山大·贝尔(Bell)发明了世界上第一台电话机(语音)。二、无线电通信系统1864年英国麦克斯韦(Maxwell)预言了电磁波的存在。1888年德国赫兹(Hertz)用实验证明了电磁波存在这一预言。1895年意大利的马可尼(Marconi)发明了无线电通信，通信距离近百米。1901年马可尼成功地进行了跨越大西洋的远距离无线电通信。1904年英国工程师弗莱明(Fleming)发明了真空二极管。具有更高的性能和灵敏度，大大提高了无线电通信的功能。1906年美国福雷斯特(Forest)制成了世界上第一只真空三极管。起到放大电信号的作用,大大提高了无线电通信的距离和可靠性。1925-1927,大功率超高频电子管发明以后,电视系统(图像)建立起来了。1925年苏格兰人贝尔德(Baird)和美国人斯福罗金(Zworykin)发明了电视系统（图像）。前者称做机械式，后者称为电子式电视。三、微波通信系统（波长在0.1mm---1m）微波电子管是随着微波波段的开发利用而发展起来的，它的应用领域已扩展到微波中继通信、卫星通信、地面电视广播、卫星电视广播、导航、能量传输、工业和民用加热、科学研究等方面。五十年代后期发明了量子放大器，微波放大的装置,这种放大器是噪声最低的一种微波放大器,而且工作稳定、线性度好。四、光纤通信系统（波长在0.8μm---1.8μm）世界上第一台激光器诞生于1960年，我国于1961年研制出第一台激光器,使人类进入了光纤通信的时代。1966年，英籍华人高锟最先提出用玻璃纤维进行远距离激光通信的设想。1973年，美国康宁公司制成每千米传输损耗只有20分贝的光纤。同年，美国贝尔实验室研制出能在常温下连续工作的半导体激光器。这两项技术突破为光纤通信的实现铺平了道路。1976年，美国在芝加哥两个相距7千米的电话局间首次进行了光纤通信试验,实现了一根光纤能够同时容纳8000对人通话。1.5.2通信理论的发展一、信息理论1885年凯尔文(Kelvin)曾经研究过一条电缆的极限传信率问题。

1922年卡逊(Carson)研究了调幅信号频谱结构，提出了边带概念。

1924年奈奎斯特(Nyquist)和屈夫缪勒(Küpfmüller)解释了信号带宽和信息率之间的关系。

1928年哈特莱(Hartley)提出信息量等于可能消息数的对数。1936年阿姆斯特朗(Armstrong)提出在传输过程中增大带宽可以增强抑制干扰的能力。1939年，瑞弗(Reeve)提出了具有强干扰能力的脉冲调制。上述理论工作的一个主要弱点：是把消息看成是一个确定性的过程，这与许多实际情况不相符合。所依靠的数学工具主要是经典的傅里叶分析方法，这是有局限性的。

1945年莱斯(Rice)对噪声进行了全面研究总结,抗干扰取代了抗失真。1948年香农在贝尔系统技术杂志上发表了两篇有关“通信的数学理论”的文章。香农第一定理：变长无失真信源编码定理香农第二定理：有噪信道编码定理195l年美国IRE成立了信息论组，1955年出版了汇刊。此间，范恩斯坦(Foinstein)等科学家论证和推广了香农理论。1959年香农发表了“保真度准则下的离散信源编码定理(香农第三定理)”，系统地提出了信息率失真理论。1961年香农论文“双路通信信道”开拓了多用户信息论研究。二、信号检测与估计理论1942年维纳(Wiener)建立了最少均方误差准则的维纳滤波理论；1943年诺思(North)提出了最大输出信噪比准则的匹配滤波器理论。1946年科捷利尼科夫(Kotelnikov)提出了最大后验概率准则(或称最小错误概率)的理想接收机。1950年伍德沃德(Woodword)将信息量的概念用于雷达信号检测，提出一系列综合最优雷达系统的新概念。1953年米德尔登(Middleten)等人用最小平均风险准则(贝叶斯准则)来处理最佳接收问题，并使各种准则统一于风险(比错误更广泛的概念)理论。五十年代末卡庞(Capon)提出了采用非参数统计判断方法。六十年代初卡尔曼(Kalman)和布西(Bucy)提出了卡尔曼滤波理论。1965年以来信号估计广泛采用自适应滤波器。70年代以后卡拉思(Kailath)等人发展了新息过程理论。

信号检测参数检测法非参数检测法鲁棒检测法自适应检测法信号估计维纳滤波器卡尔曼-布什滤波器自适应滤波器相关估计法无偏估计法三、信源编码理论1832年莫尔斯系统使用莫尔斯电码。1939年达得利(Dudley)发明了声码器(参数编码)。1948年香农给出了简单的编码方法(香农编码)。1952年费诺(Fano)提出了一种费诺码。同年霍夫曼(Huffman)构造了一种霍夫曼编码方法，并证明了它是最佳码。1968年前后，埃利斯(P.Elias)发展了香农―费诺码，提出了算术编码的初步思路。而里斯桑内(J.Rissanen)在1976年给出和发展了算术编码，1982年他和兰登(G.G.Langdon)一起将算术编码系统化，并省去了乘法运算，使其更为简化、易于实现。

四、信道编码理论与此同时，另外一部分科学家从事寻找最佳编码（纠错码）的研究工作。早在五十年代初，汉明码出现后，人们把代数方法引入到纠错码的研究，形成了代数编码理论。由此找到了大量可纠正多个错误的好码，而且提出了可实现的编、译码方法。于六十年代提出了卷积码和概率译码，并逐步形成了一系列概率译码理论。尤其，以维特比(Viterbi)译码为代表的译码方法被美国卫星通信系统所采用，使香农理论成为真正具有实用意义的科学理论。纠错码在工程方面的应用将随着微电子学的进展而得到迅速发展。近期，人们提出一种纠错码——篱码（Trelliscode），它是将编码器和调制器结合在一起考虑的最优码。寻找最优码的方法仍是有待今后继续研究的课题。2信源及其数学模型正如前面所述，在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说，用一个样本空间及其概率测度—概率空间来描述信源。1、样本空间X某事物所有可能出现的不同状态(或不同消息)的集合。2、概率测度P对于每个可能选择的消息指定一个概率。3、消息概率空间[X,P]：消息的样本空间X和它的概率测度P。离散情况下概率空间为概率论基础无条件概率、条件概率、联合概率的性质和关系⑴⑵⑶概率论基础无条件概率、条件概率、联合概率的性质和关系⑷⑸⑹

单符号离散信源的数学模型

(1)信源的描述方法(2)单符号离散信源(3)单符号离散信源数学模型

（1）信源的描述方法

信源是信息的来源，是产生消息或消息序列的源泉。在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的。①离散信源：输出的消息常常是以一个个符号形式出现，这些符号的取值是有限的或可数的。单符号离散信源：只涉及一个随机事件，可用随机变量描述。多符号离散信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且一般前后符号之间是有依赖关系的。可用随机矢量描述。②连续信源：输出连续消息，可用随机过程描述。（2）单符号离散信源如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。单符号离散信源的实例掷骰子每次只能是1,2,3,4,5,6中的某一个；天气预报可能是晴、阴、雨、雪、风、冰雹…中的一种；二进制通信中传输的只是1、0两个数字；投硬币等等。这种符号或数字都可以看作某一集合中的事件，每个符号或数字（事件）都是信源中的元素，它们的出现往往具有一定的概率。因此，信源又可以看作是具有一定概率分布的某一符号集合。若信源的输出是随机事件X，其出现概率为P(X)，则它们所构成的集合，称为信源的概率空间或简称为信源空间。(3)单符号离散信源数学模型

单符号离散信源的数学模型就是离散型的概率空间：X代表随机变量，指的是信源整体xi代表随机事件的某一结果或信源的某个元素p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的概率。n是有限正整数或可数无限大信源分类根据样本空间X取值分布的不同情况，信源可分为以下类型。离散信源：消息集X为离散集合。即时间和幅度取值都离散的信源。连续信源：时间离散而幅度取值连续的信源，如温度，压力等；波形信源：时间和幅度取值连续的信源，如语言、图像信源等。连续信源和波形信源输出的消息都可以经过抽样和量化分别处理成时间和幅度取值都离散的消息，因此，本书中主要讨论离散信源的情况。--像数学中的sin，cos

根据信源的统计特性，信源又可分为两种类型无记忆信源：X各时刻的取值相互独立。有记忆信源：X各时刻的取值互相有关联，如中文句子中前后文字的出现是有依赖性的。英文字，T后面出现H，R的可能性较大，出现J，K，L，M，N的可能性极小，而根本不会出现字母Q，F，X。有记忆信源的数学模型通常采用联合概率空间来描述。2.1离散无记忆信源

1.离散无记忆信源(DiscreteMemorylessSource，简记为DMS)，其输出的是单个符号的消息，不同时刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即：

p(ai)：信源输出符号消息ai的先验概率;满足：0

p(ai)1，1

iq

例子1.二进制对称信源只能输出符号0或1，输出0的概率为p，输出1的概率为1-p，其概率空间可描述为2.随机掷一个无偏骰子，可能出现的点数与其概率分布为实际情况下，信源输出的消息往往不是单个符号，而是由许多不同时刻发出的符号所组成的符号序列。设序列由N个符号组成，若这N个符号取自同一符号集{

a1,a2,…,aq}，并且先后发出的符号彼此间统计独立，我们将这样的信源称作离散无记忆的N维扩展信源。其数学模型为N维概率空间：

每个符号是对应于某一有N个ai组成的序列（各种长为N的符号序列），x

=x1x2…xN

，xi

{a1,a2,…,ak

}，1

i

N，序列集X={a1a1…a1,a1a1…a2,…,akak…ak

}，共有kN种序列，x

X。

序列的概率q(x)=q(x1x2

…xN)=2.离散无记忆的扩展信源例子书上例子P72.2

离散有记忆信源

汉字或英文字母组合成中、英文句子时，往往要受到语法、习惯用语、修辞等的制约，因此中、英文句子中前后出现的汉字、字母往往是有依赖性的。如英文字母T后面最常出现H和R，而根本不会出现Q，F，X。这种依赖性我们称作有记忆。用联合概率空间{X,q(X

)}来描述离散有记忆信源的输出。信源在i时刻发出什么符号与i时刻以前信源所发出的符号有关，即由条件概率p(xixi-1

xi-2…)确定。多数有记忆信源的记忆长度是有限的，即某一时刻信源发出的符号只与前面已发出的若干个符号有关。为了描述这种有限的记忆关系，常引入“状态”的概念。

这样，信源发出的符号与信源的所处的状态有关。1.3.2马尔可夫信源马尔可夫信源一类相对简单的离散平稳信源该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。条件概率马氏链的基本概念一阶马尔可夫信源：若把有限个字母记作一个状态S，则信源发出某一字母的概率除与该字母有关外，只与该时刻信源所处的状态有关。信源将来的状态及其送出的字母将只与信源现在的状态有关，而与信源过去的状态无关。马氏链的基本概念令si

=(xi1,

xi2,

…xim)xi1,,xi2,

…xim

∈(a1,

a2,

…an)状态集S={s1,s2,…,sQ}Q=nm信源输出的随机符号序列为：x1,x2,…xi-1,xi…信源所处的随机状态序列为：s1,s2,…si-1,si,…例：二元序列为…01011100…考虑m=2，Q=nm=22=4s1=00s2=01s3=10s4=11变换成对应的状态序列为

…s2s3s2s4s4s3s1…马尔可夫信源设信源在时刻m处于si状态,它在下一时刻(m+1)状态转移到sj的转移概率为：

pij(m)=p{Sm+1=sj|Sm=si}=p{sj|si}pij(m)：基本转移概率（一步转移概率）若pij(m)与m的取值无关,则称为齐次马尔可夫链

pij=p{Sm+1=sj|Sm=si}=p{S2=sj|S1=si}pij具有下列性质：

pij≥0若信源处于某一状态si,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。系统在任一时刻可处于状态空间S={s1,s2,…,sQ}中的任意一个状态,状态转移时,转移概率矩阵符号条件概率矩阵例2-1，如图所示是一个相对码编码器,输入的码Xr(r=1,2,…)是相互独立的，取值0或1，且已知P(X=0)=p,P(X=1)=1－p=q，输出的码是Yr，显然TXrYrYr-1+Yr是一个马氏链,Yr确定后,Yr+1概率分布只与Yr有关,与Yr-1

、Yr-2…等无关,且知Yr序列的条件概率sos1pqqpp00=P(Y2=0/Y1=0)=P(X=0)=pp01=P(Y2=1/Y1=0)=P(X=1)=qp10=P(Y2=0/Y1=1)=P(X=1)=qp11=P(Y2=1/Y1=1)=P(X=0)=p

马尔可夫信源状态转移图齐次马尔可夫链可以用其状态转移图(香农线图)表示每个圆圈代表一种状态

状态之间的有向线代表某一状态向另一状态的转移有向线一侧的符号和数字分别代表发出的符号和条件概率sos11/0.60/0.30/0.4s21/0.20/0.81/0.7时齐马尔可夫信源它是满足方程组的唯一解；Wj

：马尔可夫链的一个平稳分布，

Wj[p(sj)]就是系统此时处于状态sj的概率。sos11/0.60/0.30/0.4s21/0.20/0.81/0.7例1例2：有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率：p(0|00)=1/2p(1|00)=1/2p(0|01)=1/3p(1|01)=2/3p(0|10)=1/4p(1|10)=3/4p(0|11)=1/5p(1|11)=4/5求：⑴信源全部状态及状态转移概率⑵画出完整的二阶马尔可夫信源状态转移图。⑶求平稳分布概率

状态转移概率矩阵符号条件概率矩阵(1)1/2(0)1/2(0)1/3(1)2/300011110s2s1s4s3(1)3/4(0)1/4(0)1/5(1)4/5稳态分布概率稳态后的符号概率分布2.2.3波形信源

波形信源输出的消息在时间和幅度取值上都是连续的，如语音、图像信号。对于这种信源输出的消息，可用随机过程来描述。常见的波形信源输出的消息是时间上或频率上有限的随机过程，对于这种随机过程，可通过取样、量化将其变换成时间、取值都离散的离散信号，这样波形信源就可转换成离散信源来处理。连续信源的数学模型是连续型的概率空间，即满足

信源的分类及其数学模型-小结T3信道及其数学模型信道是信息传输的通道，如图3-1，信道可看作一个变换器，它将输入消息x变换成输出消息y，以信道转移概率p(yx)来描述信道的统计特性。

信道p(y

x)xy图3-1信道模型

无记忆信道信道的输出y只与当前时刻的输入x有关。有记忆信道信道的输出y不仅与当前时刻的输入有关，还与以前的输入有统计关系

。信道可以按不同的特性进行分类，根据输入和输出信号的特点可分为：波形信道信道的输入和输出都是时间上连续，并且取值也连续的随机信号。

半连续信道输入序列和输出序列一个是离散的，而另一个是连续的。连续信道信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道离散信道信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。根据统计特性，即转移概率p(yx)的不同，信道又可分类为：

根据信道的用户多少，可以分为（1）两端（单用户）信道。它是只有一个输入端和一个输出端的单向通信的信道，如图所示。它是多用户信道的基础。（2）多段（多用户）信道。它是在输入端或输出端中至少有一端有两个以上的用户，并且还可以双向通信的信道。实际通信系统，如计算机通信，卫星通信，广播通信，移动通信等，这些系统中的信道都属于多用户信道。根据信道输入端和输出端的关联，可以分为（1）无反馈信道。信道输出端无信号反馈到输入端，即输出端信号对输入端信号无影响、无作用。（2）反馈信道。信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化。根据信道的统计特性是否随时间变化分为：①恒参信道（平稳信道）：信道的统计特性不随时间变化。卫星通信信道在某种意义下可以近似为恒参信道。②随参信道（非平稳信道）：信道的统计特性随时间变化。如短波通信中，其信道可看成随参信道。按输入/输出信号之间的关系是否确定关系分为有噪声信道和无噪声信道。3.1离散无记忆信道（DMC）

离散无记忆信道的输入和输出消息都是离散无记忆的单个符号，输入符号xi

{a1,a2,…,ak}，1

i

k，输出符号yj

{b1,b2,…,bD

}，1

j

D，信道的特性可表示为转移概率矩阵：p(yjxi

)表示已知输入符号为xi，而输出符号为yj时的信道转移概率，满足0

p(yjxi

)1，且

信道矩阵的每一行之和等于1将信道特性表示成图3-2所示的线状图形式：

p(y1

x1)x1x2y1y2xkyDp(yD

xk

)图3-2单符号离散无记忆信道1.二元对称信道(BinarySymmetricChannel，简记为BSC)这是一种很重要的信道，它的输入符号x{0,1}，输出符号y{0,1}，转移概率p(yx)如图3-3所示信道特性可表示为信道矩阵，其中p称作信道错误概率。下面列举几种常见的离散无记忆信道：图3-3二进制对称信道1-p0

p

1011-p

p

图3-4无干扰信道2100111122.无干扰信道这是一种最理想的信道，也称作无噪信道，信道的输入和输出符号间有确定的一一对应关系，p(yx)=如图3-4三元无干扰信道中，x,y{0,1,2}，对应信道矩阵是单位矩阵

3.二元删除信道

对于接收符号不能作出肯定或否定判决时，引入删除符号，表示对该符号存有疑问，作为有误或等待得到更多信息时再作判决。二元删除信道如图3-5所示，输入符号x{0,1}，输出符号y{0,e,1}，转移概率矩阵为4.二元Z信道

二元Z信道如图3-6所示，信道输入符号x{0,1}，输出符号y{0,1}转移概率矩阵为

101011-p

p1-p0

p1011-p

p

e图3-5二元删除信道

图3-6二元Z信道

3.2离散无记忆的扩展信道

N维离散扩展信道的输入和输出都是长为N的消息