信息论总复习

1、1 1 绪论绪论2 2 信源的信息量信源的信息量3 3 离散信源离散信源4 4 离散信源的无失真编码离散信源的无失真编码5 5 离散信道及其编码定理离散信道及其编码定理6 6 连续信道及其容量连续信道及其容量8 8 信息率失真理论及其应用信息率失真理论及其应用10 10 线性分组码线性分组码编码器编码器信宿信宿信道信道消息消息干扰干扰消息消息通信系统模型通信系统模型信源信源信号信号解码器解码器信号信号+干扰干扰噪声源噪声源l信息论的研究对象信息论的研究对象: :通信系统模型通信系统模型. .信源信源信道信道加密加密信源信源信道信道解密解密通信系统的基本任务要求通信系统的基本任务要求可靠可靠:

2、: 要使信源发出的消息经过传输后，尽可能准确地、要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端不失真或限定失真地再现在接收端有效有效: : 用尽可能短的时间和尽可能少的设备来传输最大的用尽可能短的时间和尽可能少的设备来传输最大的消息消息l单符号离散信源单符号离散信源l自信息量自信息量用概率测度定义信息量，设离散信源用概率测度定义信息量，设离散信源 X X，其，其概率空间为概率空间为如果知道事件如果知道事件 x xi i 已发生，则该事件所含有的已发生，则该事件所含有的自信息定义为自信息定义为)(log)(1log)(iiixpxpxI)(,),(),(,)(2121

3、nnxpxpxpxxxXPX，l联合自信息量联合自信息量l当当 X X 和和 Y Y 相互独立时，相互独立时，p(xp(xi iy yj j)=p(x)=p(xi i)p(y)p(yj j) )(log)(1log)(jijijiyxpyxpyxI)()()(jijiyIxIyxIl条件自信息量：条件自信息量：已知已知y yj j 的条件下的条件下x xi i 仍然存仍然存在的不确定度。在的不确定度。l自信息量、条件自信息量和联合自信息量之自信息量、条件自信息量和联合自信息量之间的关系间的关系)|(log)|(1log)|(jijijiyxpyxpyxI)|()()|()(1log)(ijii

4、jijixyIxIxypxpyxIl互信息量：互信息量：y yj j 对对 x xi i 的互信息量定义为的后的互信息量定义为的后验概率与先验概率比值的对数。验概率与先验概率比值的对数。)|()();()()|(log);(jiiijijijiyxIxIxyIxpyxpyxIl两个不确定度之差是不确定度被消除的部分两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。，即等于自信息量减去条件自信息量。 0);(jiyxIl平均信息量平均信息量信源熵：信源熵：自信息的数学期望。也称为自信息的数学期望。也称为信源的信息熵信源的信息熵/ /信源熵信源熵/ /无条件熵无条件熵/ /熵

5、。熵。l信息熵的意义：信息熵的意义：信源的信息熵信源的信息熵 H H 是从是从整个整个信源的信源的统计特性来考虑的。它是从统计特性来考虑的。它是从平均意义平均意义上来表征信源上来表征信源的的总体特性总体特性的。对于某特定的信源，其信息熵是唯的。对于某特定的信源，其信息熵是唯一的。不同的信源因统计特性不同，其熵也不同。一的。不同的信源因统计特性不同，其熵也不同。niiiixpxpxpEXH1)(log)()(1log)(l条件熵：条件熵：是在联合符号集合是在联合符号集合 XY XY 上的条件自信息上的条件自信息的数学期望。的数学期望。nimjijjiijxypyxpxyIEXYH11)|(1lo

6、g)()|()|(l联合熵联合熵 H(XY)H(XY)：表示输入随机变量表示输入随机变量 X X，经信道，经信道传输到达信宿，输出随机变量传输到达信宿，输出随机变量 Y Y。即收、发双。即收、发双方通信后，整个系统仍然存在的不确定度。方通信后，整个系统仍然存在的不确定度。nimjjijijiyxpyxpyxIEXYH11)(1log)()()(l信道疑义度信道疑义度H(X|Y)H(X|Y)：表示信宿在收到表示信宿在收到 Y Y 后，信后，信源源 X X 仍然存在仍然存在的不确定度。是通过有噪信道传输的不确定度。是通过有噪信道传输后引起的信息量的损失，故也可称为损失熵。后引起的信息量的损失，故也

7、可称为损失熵。l噪声熵噪声熵H(Y|X)H(Y|X)：表示在已知表示在已知 X X 的条件下，对于的条件下，对于符号集符号集 Y Y 尚存在的不确定性，这完全是由于信道尚存在的不确定性，这完全是由于信道中噪声引起的。中噪声引起的。唯一确定信道噪声所需要的平均信唯一确定信道噪声所需要的平均信息量。息量。l平均互信息量定义：平均互信息量定义：互信息量互信息量 I(xI(xi i;y;yj j) ) 在联合概在联合概率空间率空间 P(XY) P(XY) 中的统计平均值。中的统计平均值。l从一个事件获得另一个事件的平均互信息需要消除从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定

8、度，就获得了信息。不确定度，一旦消除了不确定度，就获得了信息。nimjijijijixpyxpyxpyxIEYXI11)()|(log)();();(熵熵H(X)H(X)H(X)=H(X|Y)H(X)=H(X|Y)H(X)=H(X|Y)+I(X;Y)H(X)=H(X|Y)+I(X;Y) X Y X Y条件熵条件熵H(X|Y)H(X|Y)H(X|Y)=H(XY)-H(Y)H(X|Y)=H(XY)-H(Y) =H(X)-I(X;Y) =H(X)-I(X;Y) X Y X Y联合熵联合熵H(XY)=H(YX)H(XY)=H(YX)H(XY)=H(X)+H(Y|X)H(XY)=H(X)+H(Y|X)=

9、H(X|Y)+H(Y|X)+I(X;Y)=H(X|Y)+H(Y|X)+I(X;Y) X Y X Y平均互信平均互信息息I(X;Y)=I(Y;X)I(X;Y)=I(Y;X) I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y) =H(X)+H(Y)-H(X,Y) =H(X)+H(Y)-H(X,Y) X Y X Y平均互信息和熵的关系平均互信息和熵的关系数据处理定理（信息不增原理）数据处理定理（信息不增原理）当消息通过多级处理器时当消息通过多级处理器时, ,随着处理器数目的增多随着处理器数目的增多, ,输入消息和输出消息之间的平均互信息量趋于变小。输入消息和输出消息之间的平均互

10、信息量趋于变小。信息不增信息不增I(X;Z) I(X;f(Z)=I(X;Y) H(X|Z) H(X|f(Z)=H(X|Y)l最大离散熵定理最大离散熵定理 ( (极值性极值性) ) ：离散无记忆信源输离散无记忆信源输出出 n n 个不同的信息符号，当且仅当个不同的信息符号，当且仅当各个符号出各个符号出现概率相等现概率相等时时 ( (即即p(xp(xi i)=1/n)=1/n) )，熵最大。，熵最大。Hp(xHp(x1 1),p(x),p(x2 2),),p(x,p(xn n)logn)lognl二进制信源的熵函数二进制信源的熵函数 H(p) H(p) 为为)1log()1 (log)(ppppp

11、HlBSCBSC信道的平均互信息量信道的平均互信息量l 设二进制对称信道的输入概率空间为设二进制对称信道的输入概率空间为ppXPX10)()()()|()();(qHqpqpHXYHYHYXIl连续信源的熵连续信源的熵为为RcdxxpxpXH)(log)()(定义的熵在形式上和离散信源相似。连续信源熵并不是实定义的熵在形式上和离散信源相似。连续信源熵并不是实际信源输出的信息量际信源输出的信息量(绝对熵绝对熵)； Hc(X) 也称为相对熵也称为相对熵babaiiniiinnnduupduupupupupupXH)(loglim)(log)(log)(lim)(log)(lim)(lim0连续信源

12、的连续信源的信息量为无限大信息量为无限大；Hc(X) 已不能代表信源的平均不确定度，也不能代表连续信已不能代表信源的平均不确定度，也不能代表连续信源输出的信息量。源输出的信息量。 离散信源的无失真编码实质上是一种统计匹配离散信源的无失真编码实质上是一种统计匹配编码。信息论指出信源中的统计多余度主要决定于编码。信息论指出信源中的统计多余度主要决定于以下两个主要因素：以下两个主要因素： 一是消息一是消息概率分布的非均匀性概率分布的非均匀性，另一个是，另一个是消息消息间的相关性间的相关性。对无记忆信源主要决定于概率分布的。对无记忆信源主要决定于概率分布的非均匀性，但是，对于有记忆信源，两者都起作用非

13、均匀性，但是，对于有记忆信源，两者都起作用，且后者相关性更加重要。，且后者相关性更加重要。Def. Def. 对于给定的信源和编码速率对于给定的信源和编码速率R R及及任意任意00，若存在，若存在L L0 0、( ( ) )、D(D( ) )，使当码长，使当码长LLLL0 0时，时，P Pe e H(U)RH(U)，则，则R R是是可达可达的；若的；若RH(U)R00，若有一种编，若有一种编码速率为码速率为R R 的码，在的码，在N N足够大时，能使足够大时，能使p pe e e e，就，就称称R R 是是可达可达的。的。 定理定理( (ShannonShannon信道编码定理信道编码定理) )，给定容量为，给定容量为C C的离散的离散无记忆信道无记忆信道XX，p(x|y)p(x|y)，YY，若编码速率，若编码速率RCRH(U)RH(U) ( (信源熵信源熵) )时，最优的信源编、译码存在；反时，最优的信源编、译码存在；反之，当之，当RH(U)RR(D)RR(D)（信息（信息率失真函数）时，最优的信源编、译码存在；反之，率失真函数）时，最优的信源编、译码存在；反之，