信息论与编码复习1-2

第1章绪论重点掌握信息的特征信息、消息、信号的联系和区别通信系统的物理模型

一般了解信息论理论的形成和发展过程信息论的研究内容

8/15/20241信息的特征信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识信息可以产生，也可以消失，同时信息可以被携带、贮存及处理信息是可以量度的，信息量有多少的差别8/15/20242消息、信号和信息信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它是信息的载荷体，是信息论中主要描述形式信息是抽象的、非物理的

哲学层表达信息的物理层表达信息的数学层表达8/15/20243通信系统模型简介信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥信源编码提高通信系统的有效性信道编码提高通信系统的可靠性加密编码提高通信系统的安全性8/15/20244第2章信源及信源熵重点掌握信源的分类和数学描述自信息量、互信息离散信源熵离散序列信源的熵熵的性质一般了解连续信源熵冗余度8/15/20245信源分类离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源8/15/20246信源的数学描述单符号无记忆信源用一维离散型随机变量X来描述这些信息的输出。数学模型符号序列无记忆信源很多实际信源输出的消息往往是由一系列符号组成，这种用每次发出1组含2个以上符号的符号序列来代表一个消息的信源叫做发出符号序列的信源。设信源输出的随机序列为X， 序列中的变量8/15/20247信源的数学描述有记忆信源的联合概率表示比较复杂，需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征。8/15/20248信源的数学描述一阶马尔可夫信源m阶马尔可夫信源8/15/20249自信息量随机事件的自信息量定义为其概率对数的负值，即I(xi)

含义:当事件xi发生以前，表示事件xi发生的不确定性当事件xi发生以后，表示事件xi所含有的信息量8/15/202410自信息量的特性I(xi)是非负值当p(xi)=1时，I(xi)=0当p(xi)=0时，I(xi)=∞I(xi)是先验概率p(xi)的单调递减函数，即当p(x1)＞p(x2)时，I(x1)＜I(x2)两个独立事件的联合信息量等于它们分别的信息量之和。即：统计独立信源的信息量等于它们分别的信息量之和。8/15/202411联合自信息量两个消息xi，yj同时出现的联合自信息量当xi,yj相互独立时，有p(xi

yj)=p(xi)p(yj)，那么就有I(xi

yj)=I(xi)+I(yj)。xi

yj所包含的不确定度在数值上也等于它们的自信息量。8/15/202412条件自信息量在事件yj出现的条件下，随机事件xi发生的条件概率为p(xi/yj)，则它的条件自信息量定义为条件概率对数的负值：在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。联合自信息量、条件自信息量和自信息量8/15/202413信源熵离散信源熵为信源中各个符号不确定度的数学期望信源熵的物理含义表示信源输出前信源的平均不确定性表示信源输出后每个符号所携带的平均信息量8/15/202414条件熵在给定yj条件下，xi的条件自信息量为I(xi/yj)，X集合的条件熵在给定Y（即各个yj）条件下，X集合的条件熵在给定X（即各个xi）条件下，Y集合的条件熵条件熵是在联合符号集合XY上的条件自信息量的联合概率加权统计平均值。条件熵H(X/Y)表示已知Y后，X的不确定度。8/15/202415联合熵联合熵是联合符号集合XY上的每个元素对xiyj的自信息量的概率加权统计平均值联合熵H(XY)表示X和Y同时发生的不确定度。联合熵、信源熵和条件熵之间的关系8/15/202416互信息定义：xi的后验概率与先验概率比值的对数事件xi是否发生具有不确定性，用I(xi)度量。接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xi

/yj)度量。接收到某消息yj后获得的关于事件xi的信息量，用I(xi;yj)表示。8/15/202417平均互信息互信息量I(xi;yj)在X集合上的统计平均值为I(X;yj)在Y集合上的概率加权统计平均值平均互信息（量）8/15/202418平均互信息量的物理意义H(X/Y)：信道疑义度，损失熵信源符号通过有噪信道传输后引起的信息量损失。信源X的熵等于接收到的信息量加损失掉的信息量。

H(Y/X)：噪声熵，散布度它反映了信道中噪声源的不确定性。输出端信源Y的熵H(Y)等于接收到关于X的信息量I(X;Y)加上H(Y/X)，这完全是由信道中噪声引起的。8/15/202419熵的性质非负性H(X)＝H(x1,x2,……,xn)≥0等号在p(xi)=1时成立对称性H(x1,x2,……,xn)＝H(x2,x1,……,xn)熵函数只与随机变量的总体结构有关确定性H(0,1)＝H(1,0,0,……,0)＝0只要信源符号集中有一个符号的出现概率为1，信源熵就等于零8/15/202420熵的性质香农辅助定理对于P＝(p1,p2,……,pn)和Q＝(q1,q2,……,qn)对任意概率分布pi，它对其他概率分布qi的自信息量取数学期望时，必不小于pi本身的熵最大熵定理离散无记忆信源输出M个不同的信息符号，当且仅当各个符号出现概率时（即等概率分布），熵最大8/15/202421互信息量与熵H(X/Y)H(X)H(Y)H(XY)H(Y/X)I(X;Y)8/15/202422离散无记忆信源的序列熵设信源输出的随机序列为X

=(X1X2…Xl…XL)序列中的变量Xl∈{x1,x2,…

xn}信源的序列熵可以表示为信源序列中，平均每个符号的熵为离散无记忆信源平均每个符号的符号熵HL(X)等于单个符号信源的符号熵H(X)无记忆无记忆、平稳8/15/202423离散有记忆信源的序列熵若信源输出一个L长序列，则信源的序列熵为平均每个符号的熵为信源无记忆时满足平稳时8/15/202424离散平稳信源结论1：H(XL/XL-1)是L的单调非增函数结论2：HL

(X)≥H(XL/XL-1)结论3：HL

(X)是L的单调非增函数结论4：当L→∞时，H∞(X)称为极限熵8/15/202425马尔可夫信源若一个信源满足下面两个条件，则称为马尔可夫信源：某一时刻信源输出符号的概率只与当前所处的状态有关，而与以前的状态无关；信源的下一个状态由当前状态和下一刻的输出符号唯一确定。符号条件概率信源在某一时刻出现符号xj的概率与信源此时所处的状态si有关，用条件概率表示为p(xj

/si)。状态转移概率当信源符号xj出现后，信源所处的状态将发生变化，并转入一个新的状态。这种状态的转移可用状态转移概率p(sj

/si)表示。8/15/202426状态转移图（香农线图）齐次马尔可夫链可以用其状态转移图（香农线图）表示每个圆圈代表一种状态

状态之间的有向线代表从某一状态向另一状态的转移有向线一侧的符号和数字分别代表发出的符号和条件概率sos1x2/0.6x1/0.3x1/0.4s2x2/0.2x1/0.8x2/0.7p(x1/s2)=0.8p(s2/s2)=0.88/15/202427稳定的马尔可夫信源极限概率Wj一个不可约的、非周期的、状态有限的马尔可夫链，