信息论与编码

信息论基础

第1章引言韩宇辉2/3/20231教材信息论理论基础（第3版）—贾世楼，电子工业出版社参考书信息理论与编码

—姜丹，中国科技大学出版社信息论基础理论与应用

—傅祖芸，电子工业出版社纠错码与差错控制

—王新梅，人民邮电出版社2/3/20232第1章引言1.1通信系统的基本模型1.2信息论的研究范畴2/3/202331.1通信系统的基本模型2/3/202341.1.1通信基本模型2/3/20235信源：信息的发出者

离散信源连续信源信宿：信息的接收者信道：信息传输的通道

有线信道和无线信道恒参信道和变参信道离散信道和连续信道2/3/20236变换和反变换：使信息适合在信道中传输能量变换模数变换和数模变换编码与译码提高传输的有效性和可靠性

调制与解调频谱搬移2/3/202371.1.2对通信的基本要求有效性：尽量用较少的资源传输较多的信息。可靠性：由于受到干扰和噪声的影响所产生的畸变和错误越小越好。

模拟通信系统：SNR

数字通信系统：SER、BER其它要求：适应性、经济性、实用性。2/3/202381.1.3通信理论的研究方法信源的状态是随机的，信息传输过程中受到的噪声和干扰也是随机的。需要用概率论和随机过程等统计数学工具来描述和分析通信的问题。2/3/202391.2信息论的研究范畴2/3/2023101.2.1信息论的研究内容1.信息论研究的内容(1)通信的统计理论的研究利用统计数学工具分析信息和信息传输的统计规律。信息的度量信息速率与熵信道容量2/3/202311(2)信源的统计特性文字、字母统计特性语音的参数分析和统计特性图片和活动图像的统计特性其他信源的统计特性(3)收信者接收器官的研究与生物学、生理学、心理学密切相关。

人的听觉和视觉器官的特性人的大脑感受和记忆能力的模拟2/3/202312(4)编码理论与技术的研究有效性编码（信源编码）可靠性编码（信道编码）(5)提高信息传输效率的研究

功率的节约频带的压缩传输时间的压缩2/3/202313(6)抗干扰理论与技术的研究

各种调制制度的抗干扰性理想接收机的实现(7)噪声中信号检测理论与技术的研究

信号检测的最佳准则信号最佳检测的实现2/3/2023142.信息论的研究范畴狭义信息论也称为基本信息论，主要研究信息度量、信道容量、信源编码等。一般信息论主要研究一般的通信理论，包括信号与噪声理论、信号过滤与检测、调制制度、信道编码、信息处理等问题。广义信息论不仅包括上述两个方面，还包括与信息有关的其他领域，如生理学、生物学、遗传工程学等。2/3/2023151.2.2信息论的发展简史1924年奈奎斯特发表了“影响电报速率因素的确定”，证明了通信系统的信息传输能力与带宽成正比。1928年哈特莱发表了“信息传输”，给出了信息度量的方法。1946年柯契尔尼科夫发表了“起伏噪声下的潜在抗干扰理论”，根据最小错误概率准则和最小均方误差准则研究信号的过滤问题。2/3/2023161848年山农发表了“通信中的数学理论”；1949年他又发表了“噪声中通信”。这两篇文章给出了通信系统的模型，讨论了信源和信道的统计特性以及信道容量，并给出了信源编码定