信息论与编码

1、信息论与编码课件第1页，共44页，2022年，5月20日，1点18分，星期一就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。什么是信息？第2页，共44页，2022年，5月20日，1点18分，星期一 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：离散(数字)消息，一组未知量，可用随机序列来描述： X=(X1XiXn)连续(模拟)消息，未知量，它可用随机过程来描述：

2、 X(t) 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。 第3页，共44页，2022年，5月20日，1点18分，星期一信息、消息和信号是既有区别又有联系的三个不同的概念。 消息中包含信息，是信息的载体。 信号携带着消息，它是消息的运载工具。 信息可认为是由具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。 而信号则是抽象信息在物理层表达的外延； 消息则是抽象信息在数学层表达的外延。信息、消息和信号第4页，共44页，2022年，5月20日，1点18分，星期一同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表

3、达形式(比如离散或连续)来定量描述。同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。第5页，共44页，2022年，5月20日，1点18分，星期一1.1 信源特性与分类 通信的根本问题是将输出的信源在接收端尽可能精确地复现出来，所以需要讨论如何描述信源的输出，即如何计算信源产生的信息量。第6页，共44页，2022年，5月20日，1点18分，星期一信源的概念 信源信息的发源地，如人，生物，机器等等。 由于信息是十分抽象的东西，所以要通过信息载荷者，即消息来研究信源，这样信源的具体输出称作消息。 消息的形式可以是离散消息（如汉字、符号、字母）或连续消息

4、（如图像、语音）。 信源消息中的信息是一个时变的不可预知的函数，因此，描述信源消息或对信源建模，随机过程是一个有效的工具，随机过程的特性依赖于信源的特性。第7页，共44页，2022年，5月20日，1点18分，星期一离散信源和连续信源连续信源：如果信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做连续信源。 比如人发出的语音信号X(t)、模拟的电信号等等。信源的输出被抽象为一个随机变量序列（随机过程）离散信源：如果信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源。 比如平面图像X(x,y)和电报、书信、文稿等等。第8页，共44页，2

5、022年，5月20日，1点18分，星期一单符号离散信源的数学模型 u2 , , ui , , p(u2), , p(ui), , 其中p(ui)满足：注意：大写U代表随机变量，指的是整体。带下标的小写ui代表随机事件的某一结果或某个元素。第9页，共44页，2022年，5月20日，1点18分，星期一离散序列信源实际信源不可能仅发送单个符号，而是发送一组符号，即一个随机序列，如电报、数字语音、数字图像等。离散序列信源U为第l时刻的随机变量U的一个样本u可表示为u(u)第10页，共44页，2022年，5月20日，1点18分，星期一离散无记忆信源(u)（当满足无记忆条件时）（当进一步满足平稳性时）第1

6、1页，共44页，2022年，5月20日，1点18分，星期一离散有记忆信源很多实际信源是符合有限记忆模型的，数学上常采用马氏链来描述。若将离散序列信源发出的随机序列消息看作一阶马氏链，则消息序列中任一时刻的消息 仅与其前面的一个消息 有关，而与更前面的消息没有直接关系。(u)（对于马氏链）（对于齐次马氏链）（对于齐次遍历马氏链）第12页，共44页，2022年，5月20日，1点18分，星期一常用的概率论的基本概念和性质1（1）（2）（3） 无条件概率、条件概率、联合概率满足的一些性质和关系：第13页，共44页，2022年，5月20日，1点18分，星期一常用的概率论的基本概念和性质2 无条件概率、条

7、件概率、联合概率满足的一些性质和关系：（4）（5）（6） 第14页，共44页，2022年，5月20日，1点18分，星期一1.2 离散信源的信息熵信息熵和信息量的基本概念熵的数学性质第15页，共44页，2022年，5月20日，1点18分，星期一概率与信息量在事件发生前有不确定性在事件发生时有惊讶度在事件发生后有信息量当一个概率很低的随机事件发生，我们就会感到非常惊讶，并得到很大的信息量。 如：9.11事件，美国纽约世贸大厦被炸表第16页，共44页，2022年，5月20日，1点18分，星期一自信息量从信息源获取信息的过程就是其不确定性缩减的过程。随机事件包含的信息与其不确定性紧密相关。在统计分析中

8、，使用概率作为衡量不确定性的一种指标。可以推论出：随机事件包含信息的度量应是其概率的函数。表第17页，共44页，2022年，5月20日，1点18分，星期一自信息量定义定义：任意随机事件的自信息量定义为该事件发生概率的对数的负值。自信息量的单位取决于对数选取的底。单位：比特bit、奈特nat、笛特Det 。 当对数的底取2时，单位为比特bit 当以自然数e为底时，单位为奈特nat（理论推导常用） 当以10为底时，单位为笛特Det（工程计算常用）表第18页，共44页，2022年，5月20日，1点18分，星期一对数及常用公式 y=log10 x x=10y log(xy)=log x+log y y

9、=logbx x=by log(x/y)=log x-log y log(xp)=plog x log(1)=0 log(1/x)=-log x表Example: log327 log5125 log10100 log232第19页，共44页，2022年，5月20日，1点18分，星期一自信息量的性质值得注意的是： pi是一个随机量，而I(pi)是pi的函数，所以自信息量也是一个随机变量，它没有确定的值。第20页，共44页，2022年，5月20日，1点18分，星期一联合自信息量定义：两个消息ui、vj对应概率分别为pi和qj,他们同时出现的联合概率为rij： 当ui和vj相互独立时， 说明两个随

10、机事件相互独立时，同时发生得到的自信息量，等于这两个随机事件各自独立发生得到的自信息量之和。 第21页，共44页，2022年，5月20日，1点18分，星期一条件自信息量当ui和vj不相互独立时，在消息ui（或vj ）已出现的条件下，消息vj（或ui）出现的条件概率为Pji（或Qij），其自信息量定义为：第22页，共44页，2022年，5月20日，1点18分，星期一自信息量：例题1表例如：设信源只含有两个符号“正”与“反”，且它们以消息的形式向外发送时均以等概率出现， 求它们各自的信息量。解：第23页，共44页，2022年，5月20日，1点18分，星期一例如：某地某月份的气象资料如下表所列，求相

11、应事件的不确定度。这四种气候的自信息量分别为：xix1(晴)x2(阴)x3(雨)x4(雪)P(xi)0.50.250.1250.125自信息量：例题2I(x1) 1bit, I(x2)=2bit, I(x3)=3bit, I(x4)=3bit可见不同天气情况具有不同的自信息量说明自信息量具有随机变量的性质第24页，共44页，2022年，5月20日，1点18分，星期一自信息量不能作为信源的信息测度自信息量I(pi)，i=1,2,是指某一信源U发出某一信息符号ui所含有的信息量。发出的信息符号不同，它们所含有的信息量就不同。 信源发出的每个信息符号概率相同状态等概率 信源发出的每个信息符号概率不相

12、同各状态不等概率信源发出的信息符号可用随机事件来描述。第25页，共44页，2022年，5月20日，1点18分，星期一信源的概率空间描述一个信源可以用一个概率空间来描述。信源的不确定程度可以用这个概率空间的可能状态数目及其概率来描述：其中：U是信源的状态空间，为一个离散集，表示了随机事件的状态数；p(u)是随机事件各种可能状态的概率分布，且 ；各状态是相互独立的。u2 , , ui , , p(u2), , p(ui), ,第26页，共44页，2022年，5月20日，1点18分，星期一平均自信息量信息熵自信息量是一个随机变量，它反映了发出某一消息符号的不确定性。它不能用来作为整个信源的信息测度。

13、信源的不确定程度可以用信源概率空间的概率分布来描述。这样，我们引入平均自信息量，定义：随机变量I(pi)的数学期望定义为平均自信息量信源的平均自信息量又称做是信源的信息熵，简称做熵。熵H(U)是其概率分布上p1,p2,pn的函数，称为熵函数。信息熵满足对概率的递减性和可加性。第27页，共44页，2022年，5月20日，1点18分，星期一平均不确定性信源的平均自信息量表示事件出现的平均不确定性。信息熵与概率分布的关系？p1=0.25p2=0.25p3=0.25p4=0.25 H=2p1=0. 5p2=0.25p3=0.125p4=0.125 H=1.75第28页，共44页，2022年，5月20日

14、，1点18分，星期一联合熵联合熵定义为：第29页，共44页，2022年，5月20日，1点18分，星期一条件熵 定义：条件自信息量的概率加权平均值（数学期望）定义为条件熵。定义式为：上式已知ui (或vj) 的条件下， vj(或ui)的条件熵。这里要注意条件熵用联合概率rij ，而不是用条件概率Pji（或Qij）进行加权平均。第30页，共44页，2022年，5月20日，1点18分，星期一信息熵和信息量信息熵是信源平均不确定性的度量，是从统计特性上对信源的描述，可以理解为信源输出的信息量信息量一般是对接收者而言的，是指接收者从信源所获得的信息的度量。如果通信传输中没有干扰，则接收者获得的信息量就等

15、于信源的信息熵，但两者概念不同。第31页，共44页，2022年，5月20日，1点18分，星期一1.2.2 信源熵的基本性质和定理熵函数的性质：1.对称性 当概率矢量P(p1,p2,pn)中的各分量的次序任意变更时，熵值不变。该性质说明信源的熵仅与信源总体的统计特性有关。如果统计特性相同，不管其内部结构如何，其信源熵值都相同。例，A,B两地天气情况的平均自信息量为: H(A)=H(B)=1.75bit =1/2log2+1/4log4+2/8log8晴多云雨冰雹地域A1/21/41/81/8地域B1/21/81/81/4第32页，共44页，2022年，5月20日，1点18分，星期一熵函数的性质：

16、2.非负性 非负性 其中，等号成立的条件是当且仅当对某i，pi=1,其余的pk=0(k i)。即，信源U虽然有不同的输出符号，但它只有一个符号必然出现，而其它符号都不可能出现，那么，这个信源是一个确知信源，其信源熵等于零。第33页，共44页，2022年，5月20日，1点18分，星期一熵函数的性质：3.确定性 信源U中只要有一个事件为必然事件，则其余事件为不可能事件。此时，信源U中每个事件对熵的贡献都为零，因而熵必为零。第34页，共44页，2022年，5月20日，1点18分，星期一熵函数的性质：4.扩展性 证明： 所以通过熵函数的定义可以证明上式成立。含义：若信源U有n个事件，另一个信源V有n+

17、1个事件，但U和V集的差别只是多了一个概率接近于零的事件，则两个集的熵值一样。换言之，一个事件的概率与其中其它事件的概率相比很小时，它对集合的熵值的贡献可以忽略不计。第35页，共44页，2022年，5月20日，1点18分，星期一熵函数的性质：5.递推性其中证明：设p=p1+p2, q=p2/(p1+p2), 则p1=p(1-q),p2=pq含义：信源U有n个事件，可以把其中的任意两个事件合并，得到有n1个事件的集合的熵；反之亦然第36页，共44页，2022年，5月20日，1点18分，星期一熵函数的性质：6.可加性 如果有两个信源U和V，它们不是相互独立的，则联合信源的熵等于U的熵加上当U已给定

18、时V的条件概率定义的熵的统计平均值，即当U和V相互统计独立时，则有第37页，共44页，2022年，5月20日，1点18分，星期一定理1-2-2：熵函数的极值性第38页，共44页，2022年，5月20日，1点18分，星期一定理1-2-2：熵函数的极值性第39页，共44页，2022年，5月20日，1点18分，星期一定理1-2-2：熵函数的极值性 该性质表明，在离散情况下，信源U的各事件等概率发生时，熵达到极大值。这个重要结论称为最大熵定理。事件的数目n越多，信源的熵值就越大（对数函数的单调上升性）。第40页，共44页，2022年，5月20日，1点18分，星期一定理1-2-3：熵函数的上凸性 可以通过凸函数的概念证明。如：二元熵函数。严格上凸函数在定义域内的极值必为最大值。用上凸性求最大熵时，只需对熵函数求导并取极值即可0 1.0 pH(X)1.0第41页，共44页，2022年，5月20日，1点18分，星期一凸函数的概念 定义：设f(X)=f(x1,x2,xi,xn)为一多元函数。若对于任意一个小于1的正数 以及函数f(X)定义域内的任意两个矢量X，Y有：则称f(X)为定义域上的凸函数。若有：则称f(X)为定义域上的上凸函数或严格上凸函数。反之，则称f(X)为定义域上的下凸函数或严格下凸函数。若f(X)是上凸函数，则-f(X)便是下凸函数