信息论与编码

SWUN1信息论与编码教师：向强手机_mail:xqiang_0426@163.com西南民族大学电信学院主要参考文献2《信息理论与编码》姜丹、钱玉美编著 中国科技大学出版社1992版《信息论—基础理论与应用》傅祖芸编 著电子工业出版社2001年版《信息论与编码方法》西南交通大学勒 蕃教授著《信息论与编码》陈运、周亮、陈新编 著电子工业出版社需具备的相关数学知识：概率与统计理论矩阵理论需了解的相关通信方面知识：通信原理3第一章引言4第一节信息的一般含义信息的重要性：当代文明的“三大支柱” 信息科学、材料科学、能源科学信息的认识1928年美国数学家哈特莱（Hartley）在《贝尔系统电话杂志》发表题为“信息

传输”的论文，认为“信息是选择的自由度”。1948年，美国数学家香农（C.E.Shannon）在《贝尔系统电话杂

志》发表题为“通信的数学理论”的长篇论文，认为“信息就是一种消息”。美国数学家、控制论的主要奠基人维纳 (Winner)在1950年出版的《控制论与社会 》一书中认为“信息是人与外界相互作用 的过程中所交换的内容的名称》。以上对信息的认识都不够准确，具有局限性。信息的含义：“信息”是作为通信的消息来理解的5信源6信道信宿图1.1通信的简化模型2.信息是作为运算内容而明确起来的7输入信息 输出信息计算机补充信息某种过程图1.2计算机的运算或控制机理3.信息是作为人类感知的来源存在的第二节信息论的基本思路信息论的建立作为人类活动中最为普遍的现象之一，人们希望信息的传递与交换能够又多、又快、又好、又经济，希望对信息进行定量分析。1924年奈奎斯特在着手进行影响电报传 递速度时，就察觉到信息传输速度与频 带宽度有关系。81928年，哈特莱用概率的观点来分析信 息传输问题，他指出，如果用D个不同 符号构成字，每个字数包括N个符号时， 共可以组成个不同的字，则信息的数量。1948年，仙农发表了一篇《通信的数学 理论》，标志着信息论的正式诞生。第 一次提出了信息量的定义，并在离散信 道的信息传输容量的研究方面做出了卓 越的贡献维纳提出的统计理论、滤波理论成为信 息论的一个重要分支。92.狭义信息论（香农信息论）101948年C.E.Shannon香农（信息论奠基人）发表了题为“通信的数学理论”的论文。运用通信技术与概率论、随机过程、数理统计的方法系统讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论：阐明通信系统传递的对象就是信息对信息给予科学的定量描述提出了信息熵的概念1.形式化假说11“消息”与“信息”消息：以文字、语言、图象、图表等形式，对客观物质运动状态、人的思维状态的表述。形式、语义、语用通信的功能：精确表述信息—“通信的消息”—形式2.非决定论观点12通信对象的一般特性概率论与数理统计统计特性数学工具3.不确定性通信的原因：①对方不知道②本人有疑问“不知道”、“有疑问”→知识上的“不确定性”信息：数量上等于通信前后“不确定性”的消除量（减少量）。“不确定性”→“多种结果的可能性→”用概率来度量“不确定性”是概率的某一函数f(p(x))13“狭义信息量”（I(x)“不确定性”的消除量）也一定可以用概率的某一形式表示：I(x)=f(p(x))第三节信息论研究的对象、目的和内容141.通信系统的一般模型信号+干扰信道译码器信号信源编码器信源干扰噪声源图1.3通信系统模型由于互联网的建立和发展，对安全和保密的要求15信源信源编码信道编码 信道译码信源译码信

信道

宿加密编码加密译码噪声源图1.4信息传输系统模型实际上数字信息传输系统或存储系统的模型

P3-图1—3及其各部分的作用和特点（P3—P5有各个部分的解释）16信息论的研究目的可靠性有效性保密性信息论的研究内容狭义信息论：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。17香农信息论传输理论压缩理论保密理论有噪声网络信道有失真信源编码率失真理论无失真信源编码保密系统的信息理论信道编码理论网络信息理论变长编码定理等长编码定理最优码构成Huffman码Fano码码构成纠错码网络最佳码压缩编码保密码卷积码代数编码图1.5香农信息论的科学体系18一般信息论：主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。194.信息论与编码理论的关系信息论的发展和编码理论的发展始终是相互依赖、相互促进的，实际上，在信息技术的各个环节----提取，采集，发送，传递，接收，检测，量度，变换，存储，显示和处理中，都有不同形式和不同用途的编码方法。20第四节模拟信号的数字化以及数字信号的类型21模拟信号：又称连续信号，其特点是信号电压（电流）的取值是连续的时间函数。如话音信号，摄像管发出的图象信号等，不适合于在数字式计算机系统中进行处理和存储。数字信号：只能有有限个离散上的取值，如电报符号和遥控指令。模拟信号转化数字化的方法：脉冲编码调制

pcm,增量调制△m，差分脉码调制△cm等。模拟信号数字化的基本原理及步骤：以应用很广的PCM方式为例：P5图1-4（包括抽样、量化和编码三个过程）奈奎斯特抽样定理：当抽样周期ts=1/2w 时，抽样的样值脉冲序列包含有连续信号f（t）的全部信息，Ts-----奈奎斯特抽样间隔。例：CCITT规定，语音信号包括保护频 带在内共4000HZ，所以语音抽样频率定 为8000HZ

。如：彩色电视机信号带宽

6MHZ，采样频率为13.3MHZ224、数字信号的类型（P8图1-5，P9图1-6）不回零（NRZ）信号L型：1=高电平，0=低电平M型：1=间隔开始处有跃变，0=无跃变

S型：1=无跃变，0=间隔开始处有跃变

特点：容易实现，带宽利用好，M和S型是差分码；有直流成分，无同步能力。回零（RZ）信号1=间隔的前一半有脉冲；0=无脉冲特点：信号简单，易于实现；存在直流成分，对带宽要求高。233)双相信号L型（Manchester码）：1=间隔中点有从高电平向低电平的跃变，0=间隔中点有从低电平向高电平的跃变。M型：1=间隔中点有跃变，0=间隔中点无跃变；此外，间隔开始处总有跃变。S型：1=间隔中点无跃变，0=间隔中点有跃变；此外，间隔开始处总有跃变。差分曼彻斯特型：1=间隔开始处无跃变，0=间隔开始处有跃变；此外，间隔中点处总有跃变特点：无直流成分，有利于差错检测24延迟调制信号双极性回零信号多电平信号波形5.信息传输速率每秒钟传递的信息量码元数目，单位为比特/秒。如：带宽为6MHZ？电视信

号，抽样频率为13.3MHZ，每个量化样值按9bit编码，则编成二进制码的传输速率为：13.3*9=11