通信原理信息PPT课件

1、1Review 通信归根到底是点对点的通信 通信系统第1页/共41页2Review第2页/共41页3Review 数字通信系统 信源编码：提高传输的有效性 信道编码：提高传输的可靠性第3页/共41页4Review 通信系统的性能指标第4页/共41页5单元概述 通信系统通的是什么信？ 什么是信息？ 信息怎么计算？ 信息度量有什么意义？第5页/共41页6 消息（MESSAGEMESSAGE） 信号（SINGNALSINGNAL） 信息（INFORMATIONINFORMATION）第6页/共41页7 消息（MESSAGEMESSAGE）声音、文字或者图像等等这种人能够感知的描述。 信号（SINGN

2、ALSINGNAL）消息的载体形式。 信息（INFORMATIONINFORMATION）：抽象的、本质的。是消息的有效内容。第7页/共41页8（1）杀敌时的鼓声就是一个信号，他要传达的信息是冲锋陷阵、奋勇杀敌。（2）仗打得差不多的时候的锣声也是一个信号，传达的信息是鸣金收兵，咱不打了。（3）灯塔上的灯光是信号，它要传达的信息可能是此处有暗礁，请绕行！（4）航海用的旗语是信号，它要传达的信息因旗语的不同而异。（5）无线电报用滴答的代码传递消息，无线电传输的是无线电信号。（6）电话将声音信号转换为电信号在电缆中传送。 信息=信号？消息？ 第8页/共41页9 “信息”(information)既不

3、等于消息(message)，也不等同于信号！信息可被理解为消息中包含的有意义的内容消息可以有各种各样的形式，但消息的内容可统一用信息来表述传输信息的多少可直观地使用“信息量”进行衡量第9页/共41页10 例如，在情人节那天甲对乙说：“我爱你”， 在愚人节那天甲对乙说：“我爱你”， 前一消息包含的信息显然要比后者少些。同样，当你听说“有人被狗咬了”并不会感到惊奇，但若有人告诉你“一条狗被人咬了”你一定非常吃惊。 对接收者来说，事件愈不可能发生，愈会使人感到意外和惊奇，则信息量就愈大 量度消息中所含的信息量值，必须能够用来估计任何消息的信息量，且与消息种类无关 消息中所含信息的多少也应和消息的重要

4、程度无关第10页/共41页11 用相同的消息量来表达的信息量是不一样的。对于一个通信系统，若用相同长度的二进制信号，能传输的信息量越大，说明其通信能力越强。第11页/共41页12 铁路系统运送货物量多少采用“货运量”（不管运送什么货物）来度量 通信系统中传输信息的多少采用“信息量”来度量。 注意：信息量的大小实际上与内容无关 一个消息对于接收者很有价值（即信息量大）在于这个消息是他不知道的事情或觉得不可能发生的事情（即小概率事件）。第12页/共41页13信息与信息量: : 第13页/共41页14 （1）第14页/共41页15P=1时 I=0P=0时 I= 第15页/共41页16第16页/共41

5、页17 什么函数能满足以上3个要求？ 对数！)(log)(1logxPxPIaaa=2 单位为比特(bit，或b)a=e 单位为奈特(nat，或n)a=10 单位为笛特(Det)或称为十进制单位a=r 单位称为r进制单位 第17页/共41页18 课本P16 比特信息量的单位，但工程上习惯把它作为信号的单位 通信中的基本问题，就是在一点再生另一点的信息 在实际的通信系统中，消息往往是指发送的某些符号。这些符号能携带多少信息量，与这些符号发生的概率有关，而对于接收端来说，接收到的这些符号的概率是一定的。第18页/共41页19【例2.1】 试计算二进制符号等概率和多进制(M进制)等概率时每个符号的信

6、息量。解：二进制等概率时，即P(1)=P(0)=1/2(bit)121log)0() 1 (2 IIM进制等概率时，有 P(1)=P(2)=P(M)=1/M 11log)()2() 1 (MMIIIM(M进制单位) =log2M (bit) 第19页/共41页20【例2.22.2】 试计算二进制符号不等概率时的信息量( (设P P(1)=(1)=P P) )。 解 P(1)=P， 故P(0)=1-P，则 )bit( )(1log)0(log)0()bit(log) 1 (log) 1 (2222PPIPPI可见, 不等概率时， 每个符号的信息量不同第20页/共41页21例题例题 一个信息源由0

7、、1、2共3个符号组成，3个符号出现的概率分别是1/8、1/4和1/2，且每个符号出现都是独立的。如果消息序列长为18，其中0出现8次，1和2各出现5次。试求消息序列所包含的信息量。 0符号所携带的信息量：-log2(1/8)=3bit 1符号所携带的信息量：-log2(1/4)=2bit 2符号所携带的信息量：-log2(1/2)=1bit 消息序列的总信息量：I=3*8+2*5+1*5=39bit第21页/共41页22例题（顺便引出“信息熵”的概念） 某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1/8 求： （1）晴、多云、阴、雨的各自所含信息量

8、 （2）信息串“晴-多云-阴-晴-晴-晴-多云-雨”所含的总信息量 （3）此信源的每个消息的平均信息量（称为“信息熵”）第22页/共41页23例题（顺便引出“信息熵”的概念）)( 121log)(log ) 1 (22bitPI晴晴)(241log)(log22bitPI多云多云)(381log)(log22bitPI阴阴)(381log)(log22bitPI雨雨某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1/8求：（1）晴、多云、阴、雨的各自所含信息量第23页/共41页24例题（顺便引出“信息熵”的概念）)()(2)(4)( )2(雨阴天多云晴总

9、IIIIIbitbitbitbit332241)(14 bit某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1/8求：（2）信息串“晴-多云-阴-晴-晴-晴-多云-雨”所含的总信息量第24页/共41页25例题（顺便引出“信息熵”的概念）)/(75. 1814)3(符号符号数平均信息量总bitII称为信息熵，因为其通用公式为)(log)()(2iiixpxpxH这个公式与物理热力学中的熵很相似。但热力学中的熵总是增加的，而信息熵在通信过程中则总是减小的。请注意其量纲某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1

10、/8求：（3）此信源的每个消息的平均信息量（称为“信息熵”）第25页/共41页26平均信息量平均信息量 平均信息量等于各个符号的信息量乘以各自出现的概率之和 二进制时)0(log)0() 1 (log) 1 (22PPPPI把P(1)=P代入，则 符号）/()1 (log) 1(log)1 (log)1 (log2222bitPPPPPPPPI第26页/共41页27平均信息量平均信息量下面计算多个信息符号的平均信息量。设各符号出现的概率为 niinnxPxPxPxPxxx121211)()(),(),(,且则每个符号所含信息的平均值(平均信息量)为 )(log)()(log)()(log)()

11、(log)(122222121niiinnxPxPxPxPxPxPxPxPI第27页/共41页28【例2.3】 设由5个符号组成的信息源， 其相应概率为 161161814121EDCBA试求信源的平均信息量I。 解 符号）/(875. 116416483212116log16116log1618log814log412log2122222bitI5个符号等概率出现时 )/(322. 25loglog22max符号bitNI第28页/共41页29【例2.4】 一信息源由4个符号A、B、C、D组成，它们出现的概率为3/8、1/4、1/4、1/8，且每个符号的出现都是独立的。试求信息源输出为CAB

12、ACABDACBDAABDCACBABAADCBABAACDBACAACABADBCADCBAABCACBA的信息量。解：信源输出的信息序列中，A出现23次，B出现14次，C出现13次，D出现7次，共有57个。则出现A的信息量为 )bit(11.302357log232第29页/共41页30出现B的信息量为 )bit(35.281457log142出现C的信息量为 )bit(72.271357log132出现D的信息量为 )bit(18.21757log72第30页/共41页31该信息源总的信息量为 I=30.11+28.35+27.72+21.18=107.36 (bit)每一个符号的平均信

13、息量为 )/bit(88. 15736.107符号符号总数II上面计算中，我们没有利用每个符号出现的概率来计算，而是用每个符号在5757个符号中出现的次数(频度)来计算的 第31页/共41页32实际上，用平均信息量公式直接计算可得 )/bit(90. 18log814log24138log83222符号I总的信息量为 I=571.90=108.30 (bit) 可以看出，本例中两种方法的计算结果是有差异的，原因就是前一种方法中把频度视为概率来计算。当信源中符号出现的数目m时，则上两种计算方法结果一样。 当57个符号等概率出现时 )/(bi833. 557loglog22max符号tNI第32页

14、/共41页33通信中要寻求解决的问题通信中要寻求解决的问题 通信系统的目的是信息传输，接收端（信宿）要能最大的获取发送端（信源）的信息。要解决以下问题：1、发送信号的概率如何分布才能的到最大熵？2、最大熵是多少？第33页/共41页34 当离散信源中每个符号等概出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。此时最大熵Hmax= - NiNNN1log1log1第34页/共41页35图 2-1 熵与概率的关系第35页/共41页36 对于三元离散信源，当概率P1=P2=P3=1/3时信源最大熵H(X)max=1.585(bit),此结论可以推广到N元离散信源。 第36页/共41页37小结小结信息是消息中包含的有意义的内容消息发生的概率越小信息量越大信息量的定义I=-loga(P(x)平均信息量的计算第37页/共41页38信息对学习通信原理的意义信息对学习通信原理的意义 信息这个概念贯穿了所有的通信原理，香农的信息论被认为是20世纪最重要的科学理论之一，也是高层次技术人才必不可少的基础知识 我们要学习的通信技术，想要了解