《信息处理与编码》课件第四章 信息与通信系统的优化

1、信息处理与编码主讲人 牛 凯绪论一、本课程的主要内容主要介绍通信与信息系统的设计三原则：有效性、可靠性、安全性信息论的经典应用无失真信源编码、信道编码、率失真信源编码、密码二、主要的参考数目周炯槃 信息论基础 人民邮电出版社 1983周炯槃 信源编码原理 人民邮电出版社 1983朱雪龙 应用信息论基础 清华大学出版社Thomas M. Cover Elements of Information Theory Wiley,1991Robert J. McEliece The Theory of Information and Coding Addison-Wesley,1977三、信息论与编码理

2、论学术界的大师简介1948年，Shannon创立信息论；1950年，Hamming发明汉明码；1955年，三位数学家发明BCH码；1962年，Gallager发明LDPC码；1965年，Berlekamp提出迭代BCH译码算法；1966年，Forney发明级联码；1967年，Viterbi发明Viterbi算法；1993年，Berrou发明Turbo码；Claude E. ShannonAndrew J. ViterbiJ. David Forney,Jr.Claude Berrou第四章通信系统的优化4-1 通信系统的优化模型： 信源信源编码加密信道编码信源译码信道译码信道 解密信宿密钥 源

3、噪声道 密钥 源ULVL1 信 源: u取值集合（范围）：UL=UUU(L个)输出矢量： UL =（U1U2UlUL）对应样值： uL =(u1ul uL)对应概率： P(uL)=P(u1ul uL) 一）无失真： 统计描述方法:u=UL ,P(uL)-序列（L个）信源 =U,P(u)=U,Pi-单消息信源 信源信息度量：H(U)= P(uL)log P(uL)-序列 H(U)= P(u)log P(u)-单个 二）限失真： 描述方法 ：u=UL ,P(uL) ULVL ,d(uL vL ) 限失真信息度量： 1 信 源: u（续）： 2 信 道：C 4-1 通信系统的优化模型（续）： 译码:

4、 g : Yn VL3 编译码:（f , g） 码，广义地讲，数学上可看作是一种映射，物理上则可看作是一类变换 编码: f : UL Xn其中 |U|L , |V|L , |X|n , |Y|n 均为有限.这时编译码为有限空间上的映射(变换)若 U = V = X = Y =GF (2) = 0,1 即为二元有限域，则称上述编译码为二元码。 4-1 通信系统的优化模型（续）： 在通信系统中,可将通信的主要性能指标归结为 数量指标 : 有效性 抗自然干扰:可靠性抗人为干扰:安全性质量指标则上述编译码可进一步分解为:3 编译码:（f , g） （续）f1 : UL Sm , 为有效性信源编码 ;f

5、2 : Sm Cm , 为安全性密码 ;f3 : Cm Xn , 为可靠性信道编码 ;f =则 其中： 为有效性信源编译码； 为安全性加解密码； 为可靠性信道编译码。 g3 : Yn Cm , 为可靠性信道译码 ;g2 : Cm Sm , 为安全性解密码 ;g1 : Sm VL , 为可靠性信源译码 ;g =4 通信系统: S 亦可写成 、 、 分别表示有效、安全和可靠的通信系统，且有 且 、 、 、 构成马氏链； 令 ， ， 若编、译码方式给定，即： 这时， 4 通信系统: S （续）即通信系统统计特性仅决定于信源与信道的统计特性： 与 。否则编码可分解为三个随机映射： 定义误差函数：进一步

6、可引入三类不同准则： 5 系统度量指标：无失真： ，即 或 误差准则： ，即 或 平均误差： ，即 或4-1 通信系统的优化模型（续）： C.E.Shannon 三个编码定理： 1）无失真信源编码定理：在无失真意义下实现通信系统与信源统计特性相匹配：即当系统中传信率 (信源熵)时，最优的信源编、译码存在；反之，当 时，最优信源编、译码不存在。称它为Shannon编码第一定理。 2）限失真信源编码定理：在限失真意义下，实现通信系统与信源统计特性相匹配：即当 （信息率失真函数）时，最优的信源编、译码存在；反之，当 时，最优信源编、译码不存在，称它为Shannon编码第三定理。 3）信道编码定理：在均方误差意义下，实现通信系统与信道统计特性相匹配；即当RC时，最优信道编，译码不存在；称它为Shannon编码第二定理。4) 信源信道联合编码定理点到点链