通信概论与信息度量

通信概论与信息度量2024/5/31任课教师及助教任课教师金德鹏中央主楼901C62781409jindp@助教孙光：sung08@,中央主楼901C第2页,共54页，2024年2月25日，星期天作业及答疑作业随堂布置，第二周上课交课堂收取、发放作业答疑每周五下午3：30～4：30，中央主楼901C平时可随时联系老师答疑不限于课程，推研、出国、考研、就业…欢迎大家到办公室聊天期中期末集中答疑第3页,共54页，2024年2月25日，星期天课程安排（1）通信概论与信息度量模拟调制模拟信号数字化及压缩编码时分多路复用数字信号基带传输数字信号载波传输差错控制编码卷积码多址技术第4页,共54页，2024年2月25日，星期天课程安排（2）教材现代通信原理，清华大学出版社，曹志刚、钱亚生讲义每周周一左右上传到网络学堂参考书英文参考书：E1.《Introductiontodigitalcommunication》RodgerE.ZiemerE2.《Principleofcommunicationengineering》Wozencraft&JacobsE3.《Communicationsystemsengineering》Proakis&Salehi中文参考书：C1.《数字通信－基础与应用（第二版）》，BernardSklarC2.《数字微波中继通信工程》，姚彦、梅顺良、高葆新，人民邮电出版社C3.《通信原理》（1980,1984），樊昌信，国防工业出版社C4.《现代通信理论基础（上册）》，樊平毅，冯重熙，清华大学出版社课程成绩平时成绩（作业，随堂测验）期中考试期末考试第5页,共54页，2024年2月25日，星期天第一讲通信概论与信息度量主要内容通信的定义通信的发展简史通信系统及其分类信息的度量香农定理通信的核心问题是什么？通信系统的的基本框架是怎样的？从信息论的角度如何看通信？通信的理论极限是什么？第6页,共54页，2024年2月25日，星期天通信的定义通信（communication）信息的传输和交换，信息的传递消息（message)通信系统要传送的内容，包括语音、图像、数据、文字等，消息由信源产生信号（signal）消息的载体，包括电信号、光信号等信息（information）消息中包含的新的、有意义且可被理解的、不可压缩的东西消息是信息与某种冗余成分之和，是信息的载体本课程着重讨论信息的传输问题，重点在点对点数字通信系统基本原理和基本技术！第7页,共54页，2024年2月25日，星期天通信的基本问题一个例子烽火台通信的基本问题有效的通信－在资源受限条件下把信息准确无误地传送到目的地传输的速率更高占用的带宽更窄传输的延时更小使用更小的功率设备的成本更低可靠的通信复杂恶劣的环境：噪声、干扰、衰落对抗条件下的通信：人为的干扰尽量减少信息传递所消耗的资源！在给定资源条件下传送尽可能多的信息！降低信息传输的差错率！第8页,共54页，2024年2月25日，星期天通信的发展简史（1）通信起源人类社会活动中需要互通消息早期的通信以物示意：烽火台邮政通信：驿站、驿邮电信1837年，摩尔斯发明有线电报1864年，麦克思韦预言电磁波的存在1876年，贝尔发明有线电话1887年，赫兹用实验证明电磁波的存在1893年，史端乔发明步进式电话交换机1897年，马可尼发明无线电报1918年，调幅无线电广播商用第9页,共54页，2024年2月25日，星期天通信的发展简史（2）1928年，奈奎斯特提出抽样定理1936年，发明调频技术1937年，提出PCM技术1938年，黑白电视广播系统商用1944－1947年，统计通信理论形成1948－1950年，香农信息论形成，纠错码出现1948－1951年，晶体管发明1950年，贝尔实验室研制出PCM数字通信设备，TDM技术应用于电话1953年，彩色电视出现1956年，第一条跨越大洋电缆建成，可提供36个话路1960年，发明激光器1961年，集成电路开始商业生产第10页,共54页，2024年2月25日，星期天通信的发展简史（3）1962年，第一颗人造卫星上天1962－1966年，数据传输业务商用1964年，第一台程控交换机投入应用1966－1975年，有线电视、商用卫星中继、光纤链路投入应用1972年，Motorola开发蜂窝电话系统，第一次跨越大西洋的卫星电视直播成功1977年，光纤通信系统投入商用1978年，模拟蜂窝移动通信系统投入商用1989年，跨大西洋及太平洋的光缆用于通信1991年，GSM移动通信系统投入商用1995年，窄带CDMA移动通信系统在香港投入商用1995年，Foschini提出了多天线无线传输系统1997年，IEEE提出802.11无线局域网标准1998年，Alamouti提出空时编码1998年，数字电视业务在美国开通2001年，NTT试运行WCMDA服务，IEEE提出802.16标准2003年，Li、Yeung、Cai提出了线性网络编码…第11页,共54页，2024年2月25日，星期天通信的发展简史（4）通信的发展趋势数字化：最后一公里的接入网络、电视网络等综合化：电信网、计算机网、电视网三网合一智能化：软交换、ASON、下一代网络移动化：移动电话、移动卫星、WLAN、WiMAX宽带化：PON、宽带无线接入、4G、100G系统个人化：5W（whoever、whenever、wherever、whatever、whoever）第12页,共54页，2024年2月25日，星期天通信系统完成通信这一过程的全部设备和传输媒介通信系统基本框图通信系统（1）第13页,共54页，2024年2月25日，星期天通信系统（2）模拟通信系统在信道中传输的是模拟信号的通信系统模拟通信的缺点抗噪声和干扰能力差，传输中模拟信号会越来越弱放大器的引入带来信噪比的恶化第14页,共54页，2024年2月25日，星期天通信系统（3）数字通信系统在信道中传输的是数字信号的通信系统数字通信的优缺点抗噪声、抗干扰能力强：再生、体制差错可控：纠错码易加密：数字信号适应性强占用频带宽系统和设备复杂数字化是通信发展的主流和趋势！第15页,共54页，2024年2月25日，星期天通信系统（4）典型数字通信系统框图信源编码和译码：压缩冗余，去除次要信息信道编码和译码：增加冗余，提高传输可靠性数字调制和解调同步：载波同步、时钟同步、字同步第16页,共54页，2024年2月25日，星期天通信系统（5）一个更完整的数字通信系统框图第17页,共54页，2024年2月25日，星期天通信系统（6）通信系统的其它形式从系统构成看任何一个系统可以看成一个单发单收系统的组合系统。在多发多收系统中，除了涉及到上述描述的传输系统外，还包括信息的交换：即如何有效利用现有的通信资源，最大效率地进行信息地传送，从而派生出通信网络的概念。由此引入了交换技术，网络管理等技术。本课程的重点侧重于传输系统中涉及的关键技术与基本原理.第18页,共54页，2024年2月25日，星期天通信系统（7）通信系统的分类按消息的物理特征分类：文字----电报系统语音----电话系统数字----数据通信系统图象----图象通信系统第19页,共54页，2024年2月25日，星期天通信系统（8）按调制方式分类：基带传输：实现简便，用于近距离传输，不需考虑频带利用率问题，干扰较小，可靠性高。不适用于长距离传输。调制传输：实现较复杂，用于长距离传输，需将信息转换成便于传输的形式，增强了抗干扰能力，有效地利用频带。第20页,共54页，2024年2月25日，星期天通信系统（9）按传输信号的特征分模拟通信采用原始的信源信号，如语音，图像信号等；实现相对简单在长距离中继通信中抗干扰能力差.信息交换实现较复杂短距离传输保真度高数字通信采用数字采样、量化信源在长距离中继通信中，抗干扰能力强易于数字化处理设备集成度高信号的传输与交换易于融合便于多路复用第21页,共54页，2024年2月25日，星期天通信系统（10）按复用方式分频分复用FDM时分复用TDM码分复用CDM波分复用WDM空分复用SDM按传输媒介分有线通信系统：有线电视、光纤通信系统…无线通信系统：移动电话系统、无线局域网系统…第22页,共54页，2024年2月25日，星期天通信方式单工、半双工和全双工通信单工通信：消息只能从一点沿一个方向传输给另一点，不能沿反方向传输。半双工通信：通信的两点间能够在两个方向上传输信息，但在某一时刻信道中只能有一个方向的信号在传输。全双工通信：通信的两点间可以同时双向地传输信息并行传输和串行传输并行传输：数字信号码元序列分割成两路以上的码元序列在信道中传输串行传输：数字信号的码元序列按照时间顺序一个一个地在信道中传输第23页,共54页，2024年2月25日，星期天信道（1）信道信号传输的媒介或途径信道的分类有线信道架空明线双绞线同轴电缆光纤第24页,共54页，2024年2月25日，星期天信道（2）无线信道地波传播：2MHz以下的无线电波沿地球表面传输天波传播：经电离层反射视距（空间波）传播：直接从发射点传到接收点无线电视距中继信道卫星中继信道对流层散射信道流星余迹散射信道恒参信道与变参信道信道中的噪声第25页,共54页，2024年2月25日，星期天

通信技术的新进展（1）

有线：电缆：HDSL，VDSLPON：APON，EPON，GPON光纤DWDM技术光交叉连接，几十GHz（千兆）带宽ROF无线微波中继卫星通信WLANUWBWSNFSO第26页,共54页，2024年2月25日，星期天移动通信2G，GSM，CDMAIS-95技术2.5G，GPRS,EDGES3G,CDMA2000,WCDMA,TD-SCDMA4GMC-CDMA?OFDM?MIMO？认知无线电软件无线电认知无线电

通信技术的新进展（2）

第27页,共54页，2024年2月25日，星期天信息的度量信息新的、有意义且可被理解的、不可压缩的东西能够消除不确定性事件的随机性带来不确定性不确定的方式由随机变量给出——概率分布信息度量的特性信息应该是非负的；信息应该与消息的概率有关：出现的概率越低，包含的信息量越大；信息应该与消息的长度有关：若干独立消息之和的信息应该是每个消息携带信息的线性叠加；可能的消息数目是指数增长的，但信息是线性的第28页,共54页，2024年2月25日，星期天离散信源的信息量消息出现的概率的对数测度作为离散消息的信息度量。为的概率为与同时出现的概率离散信源的信息量联合信源的信息量联合消息出现的概率的对数测度作为联合信源的信息度量。第29页,共54页，2024年2月25日，星期天离散信源的互信息量反映两个随机事件之间的统计关联程度由一个随机实验的结果所帮助消除的另一个随机变量的不确定性当与统计独立时，互信息量为0当后验概率为1时，互信息量等于的信息量离散信源的互信息量第30页,共54页，2024年2月25日，星期天互信息的物理含义观测到Y以后，从Y所能获取的关于X的信息，其本质是信息的传递——通信条件概率是对一切信道的一致性和本征性描述！互信息描述了可靠传输信息的量通信的目标：追求最大的互信息可观测的结果希望了解的内容信息通道互信息的物理意义第31页,共54页，2024年2月25日，星期天熵的定义熵的性质熵非负熵的值与对数底有关取2为底，则熵的单位是比特（Bit）取自然对数e为底，则熵的单位是奈特（Nat）取10为底，则熵的单位是哈特（Hartely）熵为零，当且仅当熵的物理含义对应于描述信源所需的最少字符数量－信源压缩的极限所需字符集合的大小为所取对数的底离散信源的平均信息量－熵确定了通信系统所要传递的信息量的大小或信息速率！第32页,共54页，2024年2月25日，星期天联合熵多个随机变量的不确定性测度条件熵消除了一个随机变量的不确定性后，另一个随机变量残留的不确定性离散信源联合熵与条件熵第33页,共54页，2024年2月25日，星期天物理意义两个随机变量的联合不确定性，等于一个随机变量的不确定性，加上知道这个随机变量后另一个随机变量残余的不确定性

证明：熵、联合熵及条件熵的关系第34页,共54页，2024年2月25日，星期天平均互信息量通信的目标：最大化平均互信息量第35页,共54页，2024年2月25日，星期天平均信息量的不等式基本不等式：对于，如下不等式成立证明：令，求导函数可得第36页,共54页，2024年2月25日，星期天熵与条件熵的不等式熵不小于条件熵：证明：第37页,共54页，2024年2月25日，星期天熵、条件熵与联合熵的不等式联合熵不小于条件熵： 证明： 而，因此联合熵大于任何一个随机变量的熵：证明：

第38页,共54页，2024年2月25日，星期天联合熵不大于两个随机变量熵之和证明：离散随机变量在均匀分布时取得最大熵证明：熵与联合熵的不等式拉格朗日乘数法第39页,共54页，2024年2月25日，星期天

抽样定理如果一个连续信号的频带限制在（0，W）内，则它完全可用间隔为的采样序列无失真地表示。每个抽样点的平均信息量即连续信源的平均信息量连续消息采用了近似于定积分的讨论方法：连续消息信号在每个抽样点上的取值是一个连续的随机变量，其一元概率密度函数为。将随机变量的取值范围分成2N段，取值落在小段内的概率可近似表示为

连续信源的信息度量

第40页,共54页，2024年2月25日，星期天令得：直接引用离散信源熵的定义

连续信源的熵

连续消息的平均信息量是一个相对的概念，对不同的一一对应变换，它的值发生变化，因此，连续消息的平均信息量只能提供一个相对的比较量。绝对熵：相对熵：第41页,共54页，2024年2月25日，星期天一连续信源，其输出信号在（-1，+1）内取值，服从均匀分布，求该连续消息的平均信息量。如将输出信号放大2倍，其平均信息量为多少？解：（1）

（2）信号放大后主要原因在于

连续信源的例子

第42页,共54页，2024年2月25日，星期天

连续信源的条件熵与互熵

条件熵：互熵思考题：离散信源各种熵之间的等式和不等式都适用于连续信源吗？请证明。第43页,共54页，2024年2月25日，星期天连续信源熵的性质平移不改变微分熵放缩改变微分熵证明：第44页,共54页，2024年2月25日，星期天离散信源当其所有符号等概率输出时，其平均信息量最大。连续信源与概率密度函数有关功率受限信源峰值受限信源

熵最大的条件

第45页,共54页，2024年2月25日，星期天

功率受限连续信源最大熵分布

已知条件：求：为最大值时,相应的概率密度函数.第46页,共54页，2024年2月25日，星期天利用拉格朗日乘数法,定义一个新的函数令：可得则：此时最大熵为

功率受限连续信源最大熵分布

第47页,共5