信息论重点新

1、1消息定义信息的通俗概念：消息就是信息,用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成为消息，消息中包含信息，消息是信息的载体。信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。信息的狭义概念（香农信息）:信息是对事物运动状态或存在方式的不确定性的描述。 信息的广义概念 信息是认识主体(人、生物、机器)所感受的和表达的事物运动的状态和运动状态变化的方式。Ø 语法信息(语法信息是指信息存在和运动的状态与方式。)Ø 语义信息(语义信息是指信宿接收和理解的信息的内容。)&

2、#216; 语用信息(语用信息是指信息内容对信宿的有用性。)2狭义信息论、广义信息论。狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。3.自信息 互信息 定义 性质及物理意义自信息量： 是无量纲的，一般根据对数的底

3、来定义单位：当对数底为2时，自信息量的单位为比特；对数底为e时，其单位为奈特；对数底为10时，其单位为哈特自信息量性质：I(xi)是随机量；I(xi)是非负值；I(xi)是P(xi)的单调递减函数。自信息物理意义: 1.事件发生前描述该事件发生的不确定性的大小 2.事件发生后表示该事件所含有（提供）的信息量互信息量:互信息量的性质：1) 互信息的对称性2) 互信息可为零3) 互信息可为正值或负值4) 任何两个事件之间的互信息不可能大于其中任一事件的自信息互信息物理意义: 1.表示事件 yj 出现前后关于事件xi 的不确定性减少的量 2.事件 yj 出现以后信宿获得的关于事件 xi的信息量4.平

4、均自信息性质 平均互信息性质平均自信息（信息熵/信源熵/香农熵/无条件熵/熵函数/熵）： 熵函数的数学特性包括:(1)对称性 p=(p1p2pn)各分量次序可调换(2)确定性p中只要有为1的分量，H(p)为0(3)非负性离散信源的熵满足非负性，而连续信源的熵可能为负。H(p)大于等于0(4)扩展性扩展性说明，增加一个概率接近于零的事件，信源熵保持不变。虽然小概率事件出现后，给予收信者较多的信息，但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它对于离散集的熵的贡献可以忽略不计。这也是熵的总体平均性的一种体现。(5)连续性 (6)递增性(7)极值性（最大离散熵定理）(8)上凸性H(p1

5、,p2，pn)是概率分布(p1,p2，pn)的严格上凸函数，即詹森不等式：如果f为一个上凸函数，X为一个随机变量，则: 平均互信息I(X;Y)=H(X)-H(X|Y) =H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)性质1.对称性：I(X;Y)=I(Y;X)2.非负性I(X;Y)>03.极值性I(X;Y) £ minH(X),H(Y) 5.条件熵 联合熵随机变量X和Y的条件熵定义为：条件熵表示已知一个随机变量时，对另一个随机变量的平均不确定性。 条件熵：疑义度： 噪声熵：联合熵：联合熵表示对于二维随机变量的平均不确定性。各种熵之间的关系 H(XY)=H(X)+H(Y|X

6、)=H(Y)+H(X|Y) H(X|Y)£H(X)，H(Y|X)£H(Y) H(XY)£H(X)+H(Y) 若X与Y统计独立，则H(XY)=H(X)+H(Y)6.信源概率空间通常把一个随机变量的样本空间和样本空间中的元素对应的概率称为概率空间。离散单符号信源X的概率空间：离散多符号信源可以用随机矢量/随机变量序列来描述，即X=X1X2LXnL其中每个符号取值于同一个单符号信源空间：7.信源熵信源熵：信息熵表示离散单符号信源的平均不确定性信源熵具有以下三种物理含意： 信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。 信息熵H(X)表示信源输出前,信源的

7、平均不确定性。 信息熵H(X)反映了变量X 的随机性 8.多符号与条件熵的关系1.条件熵随着N的增加是递减的 2.N给定时 平均符号熵>=条件熵3.平均符号熵随N的增加而减小4.若H（X1）< 则N次扩展信源的熵：离散平稳无记忆信源的N次扩展信源的熵等于离散单符号信源熵的N倍：离散平稳无记忆信源的熵率：9.连续信源熵单变量连续信源的数学模型定义连续信源的相对熵：。相对熵不能反映连续信源的平均不确定度。定义相对熵的目的在于在形式上与离散信源熵统一并使熵差具有信息测度的意义。两个连续随机变量的联合熵：两个连续随机变量的条件熵：均匀分布连续信源的相对熵：， Ps：（lb是log）高斯分布

8、连续信源的相对熵：， Ps：（lb是log）当均值为0时，微分熵只与平均功率有关指数分布连续信源的相对熵：，m为均值 Ps（lb是ln）微分熵 10.马尔科夫信源如果离散平稳信源发出的符号只与前面已经发出的m(<N)个符号相关，则称该信源为m阶马尔科夫信源。可将m阶马尔科夫信源发出的符号序列看成长度为m+1的一段段符号序列，m阶马尔科夫信源的数学模型：为强调m阶马尔科夫信源的长度特征，一般将其极限熵H记为Hm+1，即：马尔科夫链的各态历经定理：11. 信道分类及转移概率矩阵信道分类信道特性可以用转移概率矩阵来表示：12.信道容量的计算信道容量：Ø 与信源的概率分布无关；

9、6; 是完全描述信道特性的参量；Ø 是信道能够传输的最大信息量。信道单位时间内平均传输的最大信息量：一按损耗分1. 无损信道：有噪无损信道，一个输入对应多个输出。信道矩阵每一列只有一个非0元素 （输入等概）2. 无噪信道：无噪有损信道，一个输出对应多个输入。信道矩阵每一行只有一个非0元素 （输出等概）3. 无噪无损信道：输入、输出之间有确定的一一对应关系。 Ps：r(输入) s（输出）二按信道矩阵分1.对称信道 ：对称若信道矩阵中每行都是第一行的排列，并且每列都是第一列的排列， 则称之为对称信道。 对称信道，当信道输出概率分布为等概的情况下达到信道容量其中p1p2Lps是信道矩阵中的

10、任意一行中的元素。2.行对称信道： 若信道矩阵P中每行都是第一行的排列，则称此信道是行对称信道。3.强对称信道若r=s，且对于每一个输入符号，正确传输概率都相等，且错误传输概率 p 均匀地分配到 r-1 个符号，则称此信道为强对称信道或均匀信道。1. 矩阵中的每一行都是第一行的排列；(行对称) 矩阵中的每一列都是第一列的排列。(列对称)2. 信道输入与输出消息（符号）数相等，即 r=s。3. 错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到r-1个符号上。4. 不仅每一行元素之和为1，每一列元素之和也为1。显然，对称性的基本条件是1，而2、3、4是加强条件对于强对称信

11、道有：C=logr-plog(r-1)-H(p) 4.准对称信道。是行对称，信道矩阵可以按列分为一些对称的子阵，则称之为准对称信道。对于离散准对称信道，当信道输入概率分布为等概的情况下达到信道容量：三一般的离散信道 13.连续信源与波形信源的信道容量（1）连续信源信道容量（2）波形信源信道容量当噪声是双边功率谱密度为N0/2的高斯白噪声时14.香农公式香农公式（1）带宽一定时，信道的最大传输率是信噪比的函数。（2）信噪比确定时，信道容量与带宽成正比。此时提高最大信息传输率的方法是提高带宽15.信源编码熵率16.定长信源编码设离散平稳无记忆信源的熵为H(S), 码符号集X中有r个码符号，码长为l

12、，若对N次扩展信源 进行定长编码，则对于任意 >0，只要满足17.变长信源编码Kraft定理：即时码存在的充要条件是: r 是进制数，q 是信源符号数 l是码长。该不等式是惟一可译码存在的充要条件，而不是惟一可译码的充要条件当满足Kraft（或McMillan）不等式时，必然可以构造出即时码（或唯一可译码），否则不能构造出即时码（或唯一可译码）。McMillan定理：唯一可译码存在的充要条件是: 18.香农第一编码定理19.冗余度以提高通信有效性为目的。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数。冗余度，表示给定信源在实际发出消息时所包含的多余信息。它来

13、自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀20.编码的步骤最佳码 对于某一信源和某一码符号集来说,若有一唯一可译码,其平均码长小于所有其他唯一可译码的平均长度。 紧致码 香农（Shannon） 费诺（Fano） 哈夫曼（Huffma ） l 二进制香农码的编码步骤如下：1) 将符号元xi按概率进行降序排列2) 令p(x0)=0，计算第j-1个码字的累加概率：3) 确定第i个码字的码长ki，满足下列不等式：4) 将pa(xj)用二进制表示，取小数点后ki位作为符号元xi的码字。l 费诺编码 费诺编码属于概率匹配编码编码步骤如下：（1）将概率按从大到小的顺序排列,令p(x1) p

14、(x2) p(xn) （2）按编码进制数将概率分组,使每组概率尽可能接近或相等。如编二进制码就分成两组,编m进制码就分成m组。 （3）给每一组分配一位码元 （4）将每一分组再按同样原则划分,重复步骤2和3,直至概率不再可分为止。 哈夫曼(Huffman)编码1) 将符号元按概率进行降序排列2) 为概率最小的符号元分配一个码元1，概率次小的符号元分配一个码元03) 将概率最小的两个符号元合并成一个新的符号元，用两者概率之和作为该新符号元的概率；4) 重复以上三个步骤，直到最后合并出一个以1为概率的符号元哈弗曼码有两种排列方式，分前置和后置。采用不同排列方法编出的哈夫曼码，其码字和码长可能完全不相同，但平均码长一定是相等的，因此编码效率不会因排列方法而改变。但放在前面可以使短码得到充分