z第五章 信源编码

第1章：概述第2章：信源熵第3章：信道容量第5章：信源编码第7章：密码体制的安全性测度信源编码信源编码是以提高通信的有效性为目的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。同样多的信息用较少的码率来传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。信源编码的基本途径有两个：使序列中的各个符号尽可能地互相独立，即解除相关性；使编码中各个符号出现的概率尽可能地相等，即概率均匀化。5.1.2香农编码设有离散无记忆信源1234香农编码方法的步骤按信源符号的概率从大到小的顺序排队不妨设例设有一单符号离散无记忆信源试对该信源编二进制香农码。编码过程（1）5.1.2费诺编码对概率按m进行分组，使每组概 率尽可能相等给每个分组分配一个码元对每个分组重复2、3步，直到不可分为止1234按信源符号的概率从大到小的顺序排队不妨设设有一单符号离散无记忆信源试对该信源编二进制费诺码。例编码过程费诺码比较适合于每次分组概率都很接近的信源。将信源符号按概率由大到小顺序排队；给两个概率最小的符号各分配一个码位，将其概率相加后合并作为一个新的符号，与剩下的符号一起，称为缩减信源；将缩减信源符号仍按概率由大到小顺序排队；重复步骤2、3直至概率和为1。21435.1.3赫夫曼编码设有一单符号离散无记忆信源试对该信源编二进制哈夫曼码。例编码过程设有离散无记忆信源用两种不同的方法对其编二进制huffman码例方法一方法二信源符号ai概率p(ai)码字Wi1码长Ki1码字Wi2码长K’i2a10.411002a20.2012102a30.20003112a40.1001040103a50.1001140113两种不同的编码方法得到的码字和码长的对比平均码长和编码效率两种编码方法编出的码字的码长方差比较结论：进行赫夫曼编码时，为得到码方差最小的码，应使合并的信源符号位于缩减信源序列尽可能高的位置上，以减少再次合并的次数，充分利用短码。

5.1.5游程编码

游程：指数字序列中连续出现相同符号的一段。在二元信源中，连续的一段‘0’称为一个‘0’游程，‘0’的个数称为此游程的长度，同样，也有‘1’游程。

游程序列：用交替出现的‘0’游程、‘1’游程的长度，来表示任意二元序列而产生的一个新序列。它和二元序列是一个一一对应的变换。000101110010001……31132131……若已知二元序列以0起始，从游程序列很容易恢复成原来的二元序列游程序列是多元序列，各长度可按赫夫曼编码或其它方法处理以达到压缩码率的目的。

游程编码只适用于二元序列，对于多元信源，一般不能直接利用游程编码

因为游程变换是一一对应的可逆变换，所以游程变换后，熵不变。组合编码可获得较高的编码效率：游程编码赫夫曼编码冗余位信源序列中不携带信息的符号。多元信源序列：冗余位上面二元1表示信息位，0表示冗余位

5.1.6冗余位编码冗余位序列游程编码信息序列赫夫曼编码

分帧传送冗余位序列的编码方法。N个符号为一帧，编成一个L-D码字，每个码字含有两个数：Q和T。Q：本帧内信息位的数目。T：信息位的位置信息。L-D编码第个信息位的位置序号。例001000000010000，N=15,编L-D码。编码。编码位数：Q的位数T的位数1T=47。、计算出00100101111译码。T=47适用：冗余位和信息位数目相差较大的情况。2§5.1离散信源编码§5.2连续信源编码

§5.3相关信源编码

§5.4变换编码5.2.1最佳标量量化5.2.2矢量量化搜索信道码书码书采样量化、编码检索预测编码：利用信号序列的时间相关性，通过预测以减少信息冗余后再进行编码；5.3相关信源编码变换编码：引入某种变换，将信号序列变换为另一个域上彼此独立或者相关程度较低的序列，同时将能量集中在部分样值上，再对这个新序列进行编码。如傅立叶变换、余弦变换、哈达玛变换、变换、小波变换等。5.4变换编码小结香农编码、费诺编码、霍夫曼编码最佳