《信息论与编码》-第1章-序论

《信息论与编码》_第1章_序论第一页，共29页。第一章：引论（简介）一、通信系统模型二、Shannon信息论的中心问题三、Shannon信息的概念四、概率复习内容2第二页，共29页。一、通信系统模型信源、信道、信宿信源是消息的来源，信道是消息传送媒介，信宿是消息的目的地。信源编码器信道译码器信宿干扰源第三页，共29页。通信系统模型进一步细分信源信源编码器纠错编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。研究的主要问题是消息的统计特性和产生信息的速率对信源输出进行变换，求得有效性对信源编码输出变换，提高抗干扰性将信道编码输出变成适合信道传输的方式信号从发端传到收端的介质信道的中心问题是研究信道的统计特性和传信能力，即信道容量系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要是统计特性译码器：编码器的逆变换中心问题是研究各种可实现的解调和译码方法信息的接收者第四页，共29页。信息一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素辞海：通信系统传输和处理的对象。泛指消息和信号的具体内容和意义。（通常需要分析和处理）第五页，共29页。信息定义1： 信息是指各个事物运动的状态及状态变化的方式。（人们从对周围世界的观察得到数据中获取信息）定义2： 信息是认识主体（人、生物或机器）所感受的或表达的事物运动的状态和运动状态变化的方式，是人们在适应外部世界和控制中，从外部交换的信息。第六页，共29页。信息定义钟义信：信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。第七页，共29页。信息的特征接受者在受到信息之前，对它的内容不知道，所以信息是新知识、新内容。信息是能使认识某一事物的未知性和不确定性减少的有用知识。信息可以产生，也可以消失，可以携带存储及处理信息是可以度量的，信息量有多少的差别第八页，共29页。消息和信号消息：是信息的载体，相对具体的概念，指包含消息的语言，文字，数字，图像等。在通信系统中消息是指担负着传送信息任务的单个符号或符号序列。可用不同消息（如语言、文字、图像）传递同一信息。如球赛进展情况的信息可用电视图像、广播语言、报纸文字等不同消息来表达。第九页，共29页。信号信号：是消息的物理体现，为了在信道上传输信息必须把消息加载到具有某种特征的信号上去。如：电信号的幅度，频率，相位等等。可用不同类型的信号（如声、光、电）传递同一消息，如“母病愈”这种关于母亲身体状况的信息，用汉文“母病愈”的消息来表述，然后用电报系统把汉字转化为莫尔斯码，再转化，调制成电信号进行传输。此时电信号里载荷有汉文消息“母病愈”。第十页，共29页。信息、消息和信号通信系统传输的本质是信息，发送端需要将信息表示成具体的消息，再将消息载至信号上，在通信系统中传输。第十一页，共29页。 “信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。 信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息二、Shannon信息论的中心问题第十二页，共29页。二、Shannon信息论的中心问题具体地说，就是信源编码和信道编码。以下来看所要解决的具体问题。问题一：信源消息常常不能够完全发送。（否则发送量巨大，比如：信源消息是一片无尽的天空。因此优先捡有用的发送。什么是有用的？就是信息量大的。什么是信息量大的？）问题二：信道因干扰而出现差错，必须进行检错和纠错。（否则所收到的消息无法识别。）第十三页，共29页。信息论的研究内容狭义信息论（经典信息论）即Shannon信息论研究信息测度，信道容量以及信源和信道编码理论一般信息论研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论广义信息论除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学第十四页，共29页。狭义信息论体系结构Shannon信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码第十五页，共29页。三、Shannon信息的概念第一个重要概念：信道上传送的是随机变量的值。这就是说：（1）我们在收到消息之前，并不知道将要收到的是什么消息。否则消息是没有必要发送的。（2）我们在收到消息之前，知道将要收到的可能是哪些消息，以及收到每个消息的可能性大小。换句话说，消息随机变量有一个已知的概率分布。（3）消息随机变量的一个可能取值就称为一个事件。

第十六页，共29页。三、Shannon信息的概念第二个重要概念：事件的信息量。事件发生的概率越小，此事件含有的信息量就越大。（直观含义：越是不太可能发生的事件竟然发生了，越是令人震惊）例事件A=“中国足球队3：0力克韩国足球队”，则事件A含有的信息量大。（小概率事件发生了，事件信息量大）例事件B=“中国足球队0：1负于韩国足球队”，则事件B含有的信息量小。（大概率事件发生了，事件信息量小）第十七页，共29页。三、Shannon信息的概念第三个重要概念：消息随机变量的信息量。消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。（直观含义：这种信息量的大小代表了不可预见性的大小）例消息随机变量X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。（随机性小，可预见性大，因此该消息随机变量含有的信息量小。）例消息随机变量Y=“意大利足球队与德国足球队比赛的结果”，则消息随机变量Y含有的信息量大。（随机性大，可预见性小，因此该消息随机变量含有的信息量大。）第十八页，共29页。三、Shannon信息的概念 第四个重要概念：两个事件的互信息量。两个事件越是互相肯定，它们的互信息量就越大。两个事件越是互相否定，它们的互信息量就越小。如果两个事件既不互相肯定，也不互相否定，它们的互信息量就为0。（直观含义：这种信息量的大小代表了相互肯定性的大小）例A=西安明日有雨,B=咸阳明日有雨，BC=咸阳明日无雨，C=北京明日有雨，D=纽约明日有雨。则

A与B互信息量大， A与C互信息量小得多， A与D互信息量几乎为0， A与BC互信息量小。第十九页，共29页。三、Shannon信息的概念第五个重要概念：两个消息随机变量的互信息量。两个消息随机变量的互相关性越大，它们的互信息量就越大。（直观含义：这种信息量的大小代表了相互依赖性的大小）例X=西安明日平均气温,Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则 X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0。第二十页，共29页。四、概率复习内容记号P(A)表示事件A发生的概率。P(A|B)表示在事件B发生的条件下，事件A发生的条件概率。EX表示随机变量X的数学期望。离散型随机变量离散型随机变量X的所有事件为{x1,x2,…,xK}，对应的概率为P(X=xk)=qk，k=1,2,…,K。通常将此随机变量记为{X,xk,qk,k=1~K}。又X的分布列（分布矩阵）记为：第二十一页，共29页。四、概率复习内容 另一个离散型随机变量Y的所有事件为{y1,y2,…,yJ}，对应的概率为P(Y=yj)=wj，j=1,2,…,J。通常将此随机变量记为{Y,yj,wj,j=1~J}。又Y的分布列（分布矩阵）记为：第二十二页，共29页。四、概率复习内容 两个离散型随机变量X与Y联立，得到了二维离散型随机变量(X,Y)。(X,Y)的所有事件为{(xk,yj),k=1,2,…,K;j=1,2,…,J}。对应的概率为P((X,Y)=(xk,yj))=rkj，k=1,2,…,K;j=1,2,…,J。通常将此二维随机变量记为{(X,Y),(xk,yj),rkj,k=1~K;j=1~J}。(X,Y)的联合分布列（联合分布矩阵）为：

第二十三页，共29页。四、概率复习内容联合分布、边际分布、条件分布的关系：

第二十四页，共29页。四、概率复习内容rkj=qkP(Y=yj|X=xk)=wjP(X=xk|Y=yj)。如果X与Y相互独立，则对任何k=1~K，j=1~J，都成立rkj=qkwj。换句话说，对任何k=1~K，j=1~J，都成立P(Y=yj|X=xk)=wj。P(X=xk|Y=yj)=qk。数学期望（均值）：第二十五页，共29页。四、概率复习内容连续型随机变量连续型随机变量X的所有事件x有不可列无穷多个，对应的密度函数为fX(x)，-∞<x<+∞。通常将此随机变量记为{X,fX(x)}。连续型随机变量Y的所有事件y有不可列无穷多个，对应的密度函数为fY(y)，-∞<y<+∞。通常将此随机变量记为{Y,fY(y)}。我们知道第二十六页，共29页。四、概率复习内容 两个连续型随机变量X与Y连立，得到了二维连续型随机变量(X,