信息论与编码知识点分布

1、信息论与编码知识点分布注：（ 1）复习过程中参考如下知识点，重点复习教材与多媒体讲义中的相关内容，在理解的基础上进行针对性公式记忆。（ 2）期末考试题量较大，题型较为灵活，求解速度很重要。因此复习中对典型例题、讲义中典型习题、教材中模拟题等要熟练掌握求解方法。第二章信源与信源熵1 信源的不确定性2 单符号离散信源（1）单符号离散信源的数学模型Xx1 ,x2 ,xi ,xnP(X)p(x1 ),p(x2 ),p(xi ),p( xn )（2）单符号离散信源的信息量（自信息量、联合信息量、 条件信息量及三种信息量的关系）自信息量：I (xi )log p( xi )条件信息量：I (xi / yj

2、 )log 2 p(xi / yj )联合信息量：I (xi y j )log 2 p( xi yj )log 2 p( y j ) p(xi / y j )I (xi )I (xi / y j )I ( yj )I ( y j / xi )互信息量：p(xi / y j )I ( xi ; y j )log 2I (xi )I (xi / y j )I (xi )I ( y j )I ( xi yj )p( xi )信源熵：1nH( X ) E I ( xi )Elog 2 p( xi ) i 1p( xi ) log 2 p( xi )条件熵：mn(/Y)(xi/y j)() (xi/y

3、j)H XE Ip xi yjIj1 i 1联合熵：nmnmH( XY)p( xi yj )I ( xi y j )p( xi yj ) log 2 p( xi y j )i1 j1i1 j1熵函数的性质：非负性；对称性；最大离散熵定理；扩展性；可加性；极值性；平均互信息量：nmp( xi y j )I( X;Y)i 1j 1p(xi yj )log 2 p( xi ) p( yj )I(Y; X )各种熵之间的关系：例题：在理解的基础上求解实际问题：3 多符号离散平稳信源离散无记忆扩展信源：定义；离散无记忆信源X 的 N 次扩展信源的熵就是离散信源X 的熵的 N 倍H(XN)NH(X)离散平

4、稳信源：定义；平均符号熵与极限熵；4 马尔可夫信源：定义；信源状态转移图；各态遍历定理；熵计算第三章无失真信源编码1 信源编码的分类：2 Kraft 不等式与码树表示法；平均码长；编码效率；3 定长编码定理；变长编码定理；4 香农、费诺、 Huffman 、游程编码、 LD 编码、算数编码、 LZW 编码的编码过程。第四章限失真信源编码1 失真测度与失真矩阵；2 平均失真度与保真度准则；3 信息率失真函数 R（ D）及其定义域的确定；4 汉明失真下的的二元信源 R（ D）的定义式；5 对称失真矩阵下 n 元等概信源率失真函数的定义式；6 限失真信源编码定理及应用；7 多媒体压缩编码（了解）第五

5、章信道及信道容量1 一般信道的数学模型：p(b1 | a1 )p(b2| a1) .p(bm | a1 )p(b1| a2 )p(b2| a2 ) .p(bm | a2 )P(Y | X).p(b1| an )p(b2| an ) .p(bm | an )2 信道容量的定义：Cmax I ( X ;Y )bit/ 信道符号p ( xi )3 信道容量的计算：特殊的单符号离散信道的信道容量一一对应关系的无损信道Cmax I ( X ;Y )p( xi )max H (X )p (xi )max H (Y)p (xi )log 2nlog 2 m具有归并性能的无噪信道Cmax I ( X ;Y)p

6、( xi )max H ( X )p (xi )log 2 n具有扩展性能的无噪信道Cmax I ( X ;Y )p ( xi )max H (Y )p ( xi )log 2 m强对称离散信道的信道容量C max H (Y) H (Y / X )maxH (Y) H ni p ( xi )p( xi )log2 n p log 2 p p log 2pn 1对称离散信道的信道容量（行可排列、列可排列性）Cmax H (Y)H (Y / X )log 2 mH (q1, q2, qm )p ( xi )准对称离散信道的信道容量（行可排列，列不可排列-分割）一般离散信道的信道容量计算步骤：4 多

7、符号离散信道：离散无记忆信道的 N 次扩展信道，如果信源也是离散无记忆信源的总的平均互信息量是单符号离散无记忆信道的平均互信息量的NN 倍。次扩展信源，则信道独立并联信道（积信道与和信道）N 个独立并联信道的信道容量等于各个信道容量之和级联信道多级级联信道的总信道矩阵等于所有信道军阵的乘积。其容量用单幅号信道的信道容量计算方法即可。第六章信道编码1 检错及纠错的基本原理；2 最小汉明距离与检错纠错能力；3 奇偶校验码、重复码、等重码的校验原理；4 最大后验概率准则译码、最大似然准则译码；5 信道编码定理：对离散平稳无记忆信道，其信道容量为 C，输入序列长度为 L 。只要实际信息率 R<C ，就必可找到一种编码，当 L 足够长时，译码差错概率 Pe <a, a 为任意大于零的正数。反之，若实际信息率 R>C ，则对任何编码， Pe 必大于零。6 线性分组码定义N,K 线性分组码的设计过程（纠错