《离散信源编码》PPT课件.ppt

第5章 信源编码,本章教学内容、基本要求、重点及难点,1、教学内容 信源编码的概念、分类、在通信通信系统模型中的地位 离散信源的最佳变长信源编码定理 连续信源编码 2、基本要求 了解信源编码的概念 掌握最佳变长信源编码定理 信源编码器的性能指标、计算及其含义。 掌握连续信源的均匀量化编码和非均匀量化编码,无失真信源编码,无失真信源编码 信源编码的定义 指定能够满足信道特性（适合于信道传输）的符号序列（码序列），来代表信源输出的消息。 完成编码功能的器件成为编码器。,信源编码器,码元（信道基本符号集合）,码长,码组,信源编码器的性能指标,信源编码速率R的定义：平均传输一个信源符号所需要的码字的最大信息量。 信源编码效率：,信源编码器的性能指标,要使信源编码器的效率高，需减小编码速率，即减少平均码长。 信息率越小越好，最小能小到多少才能做到无失真译码呢？ 这些问题就是最佳变长信源编码定理的研究范畴。,信源编码,5.1 离散信源编码 5.2 连续信源编码 5.3 相关信源编码 5.4 变换编码,5.1 信源最佳变长编码,一、最佳变长编码定理：若信源有n条消息，第i条消息出现的概率为pi，且p1=p2=pn，且第i条消息对应的码长为ki，并有k1=k2=kn 即：把经常出现的消息编成短码，不经常出现的消息编成长码。这样可使平均码长最短，从而提高通信效率，代价是增加了编译码设备的复杂度。 在不等长码字组成的序列中，要正确识别每个长度不同的码字的起点就比等长编码复杂得多。,一些码的定义,非奇异码：一组码字中所有的码字均不相同。即所有信源符号映射到不同的码符号序列。 奇异码：一组码字中有相同的码字。 唯一可译码：码的任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号。,几种典型的离散信源变长编码方法,香农编码 费诺编码 哈夫曼编码方法,香农编码方法,（1）将pi从大至小排列 （2）求累加概率Pi： （3）求ki， （4）将累加概率Pi转换成二进制小数,取小数点后ki位作为第i条消息对应的二进制编码,例题,要求：对该信源进行二进制香农编码，求每条消息对应的二进制码组，并计算平均码长和编码效率。,例：单符号离散无记忆信源：,解：,将累加概率Pi转换成二进制小数： 由上向下读出得码字：,0.5（1/2） 0.25 (1/4) 0.125(1/8) 0.0625(1/16) 0.0362(1/32),香农编码与定长编码比较：,香农编码与定长信源编码比较,编码速率： 编码效率：,说明：,香农编码比定长编码的平均码长小 香农编码速率低于定长编码的速率 香浓编码效率高于定长编码的效率 对于信源编码器：同样的信源信息量，希望编码后的平均码长越小，速率越低，编码效率就越高,费诺编码方法 （二进制k进制编码）,（1）将pi从大至小排列 （2）将概率分为2组（k组），使每组概 率尽可能相等或接近 （3）给每组分配一位码元 （4）将各分组按照相同原则继续划分，重复（2） （3），直到概率不可分为止。 （5）从左至右依次读出码元形成码字。,例：对上例的信源进行二进制费诺编码，并求编码速率和效率。,费诺编码的性能指标的计算：,平均码长： 编码速率： 编码效率： 比较：费诺码有较高的编码效率，适合每次分组概率都很接近的信源,Huffman哈夫曼编码方法（二进制 ）,1、将pi从大至小排列 2、将概率最小的两个消息编成0和1，并求其概率和 3、将新求得的概率和与其他剩余消息，重新降序排列 4、重复2和3，直到和为1 5、从右至左依次读出码元形成码字。,例题,要求：对该信源进行二进制哈夫曼编码，求每条消息对应的二进制码组，并计算平均码长和编码效率。,例：单符号离散无记忆信源：,1,0.55,1,0.15,0.3,0,解：,消息,0.25,0.25,0.2,0.15,0.10,0.05,0,1,0,0,1,0.45,1,0,1结束,pi,Huffman编码的性能指标的计算：,平均码长： 编码速率： 编码效率：,思考：,1、三进制Huffman编码如何编？ 2、K进制呢？,离散无记忆信源变长编码小结,1、变长编码的优点,提高编码效率,哈夫曼编码集合不唯一，但平均码长和编码效率不变,变长编码的缺点： 需要大量缓冲设备来存储这些变长码，再以恒定的速率进行传送。 容易引起误码扩散,离散有记忆信源的变长编码,二元平稳相关信源：采用游程编码。 适用于连0或连1较多的序列。 游程：数字序列中连续出现相同符号的一段。 例：000101110010001。求其游程编码。 设二元游程总是从0开始，则游程编码序列为31132131 且由游程序列很容易恢复原始二元信源序列。 可见游程变换是一一对应的可逆变换。 游程变换减弱了原