(完整word版)信源编码的基本原理及其应用

1、信源编码的基本原理及其应用 课程名称诵信原理H 专 业通信工程 班 级 学 号 学生姓名 论文成绩 指导教师 * * * * 未 * 未未* 未 信源编码的基本原理及其应用 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香 农在他1948年的著名论文通信的数学理论所定义的，它为信息论奠定了理 论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加 深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 信息通过信道传输到信宿的过程即为通信，通信中的基本问题是如何快速、 准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失 真或允许一定的失真

2、条件下，如何提高信息传输速度(如何用尽可能少的符号来 传送信源信息)；二是在信道受到干扰的情况下，如何增加信号的抗干扰能力， 同时又使得信息传输率最大(如何尽可能地提高信息传输的可靠性)。这样就对 信源的编码有了要求，如何通过对信源的编码来实现呢？ 通常对于一个数字通信系统而言，信源编码位于从信源到信宿的整个传输链 路中的第一个环节，其基本目地就是压缩信源产生的冗余信息， 降低传递这些不 必要的信息的开销，从而提高整个传输链路的有效性。 在这个过程中，对冗余信 息的界定和处理是信源编码的核心问题，那么首先需要对这些冗余信息的来源进 行分析，接下来才能够根据这些冗余信息的不同特点设计和采取相应的

3、压缩处理 技术进行高效的信源编码。简言之，信息的冗余来自两个主要的方面：首先是信 源的相关性和记忆性。这类降低信源相关性和记忆性编码的典型例子有预测编 码、变换编码等；其次是信宿对信源失真具有一定的容忍程度。这类编码的直接 应用有很大一部分是在对模拟信源的量化上， 或连续信源的限失真编码。可以把 信源编码看成是在有效性和传递性的信息完整性(质量)之间的一种折中有段。 信源编码的基本原理： 信息论的创始人香农将信源输出的平均信息量定义为单消息(符号)离散信 源的信息熵：L H(x)=-无 p(xjlog2 p(x) i勻 香农称信源输出的一个符号所含的平均信息量为 H(x)为信源的信息熵。 通信

4、原理中对信源研究的内容包括 3个方面： (1) 信源的建模 信源输出信号的数学描述已有成熟的理论一一随机过程，一般的随机过程理 论并不涉及和讨论信号中所携带的信息，而通信原理所关心的中心内容则是信号 中携带的信息。发射器发送1和发送0的概率是不相等的，因此需要讨论发送 1 和发送0的不同概率。 (2) 信源输出信号中携带信息的效率的计算 在通信原理中，信源输出信号所携带信息的效率是用熵率或冗余度来表示 的。 (3) 信源输出信息的有效表示 一般地，信源输出信号中携带信息的效率并不很高， 如何用适当的信号有效 地表示信源输出的信息是人们感兴趣的问题，这就是信源编码的问题。 信源编码的方式： 一、

5、模数转化：脉冲编码调制和增量编码调制PCM/DM 二、离散无记忆信源编码 DMS包括有Huffman编码和等长编码 三、线性预测编码LPC将信源等效地视为在一个适当输入信号激励下的线性系 统输出。用线性系统的参数及伴随的输入激励信号进行编码。 一、脉冲编码调制 1.1低通信号的抽样定理Nyquist抽样定理(均匀采样定理) 一个带限于(0, fm) Hz内的连续时间信号f(t)，如果以Tsn 1V ； -V科 两种沟匀量化特性 在满足信噪比要求的输入信号取值范围内进行均匀量化时，信号动态范围将 受到较大的限制。因此均匀量化的缺陷十分明显。 1.2.2非均匀量化 为克服均匀量化的缺点，使小信号的

6、量化台阶减小，大信号的量化台阶增大， 而形成的量化方式为非均匀量化。即根据信号的不同区间确定间隔。 （1）方法：压扩处理，在发送端进行压缩，在接收端进行扩张。 （2）非均匀量化框图： X lb 瞬吋 压缩 均匀 编 I 1 1 解 4 f3（x） 瞬时 扩张 A1 IF 量化 码 1 i 1 1 i 码 IF 发端收端 非均匀量化 1.2.3优点 （1）当输入量化器的信号具有非均匀的概率密度时，非均匀量化器的输出端可 以得到较高的平均信噪比； （2）非均匀量化时，量化噪声功率的均方根值基本与信号抽样值成正比，从而 改善了小信号的信噪比；可以做到在不增大量化级数 N的条件下，使信号在较宽 的动态

7、范围内的（S/Nq）dB达到指标的要求。 1.3非均匀量化的生活中应用：A律13折线压扩技术（我国现在使用） 目前应用较多的是以数字电路方式实现的A律特性折线近似。 具体实现： 1. 对x轴在01（归一化）范围内以1/2递减规律分成8个不均匀段，其分段点 是 1/2，1/4，1/8，1/16，1/32，1/64 和 1/128 ; 2. 对y轴在01（归一化）范围内以均匀分段方式分成8个均匀段，其分段点是 1/8，2/8，3/8，4/8，5/8，6/8，7/8 和 1。 3. 将x轴和y轴对应的分段线在x-y平面上的相交点相连接的折线就是有 8个线 段的折线。 1.4D M增量编码调制 DM

8、:把过去的信号样值作为预测值的单纯预测编码的方式。 40年代提出的, 是脉冲编码的一种特殊形式，是模拟信号数字化的另一种基本方法。 它的编码设 备比较简单。 二、离散无记忆信源编码DMS 在DMSS码中，我们给每个符号赋予一定长度的代码表示。因此假设，信源 的输出来自一个由有限个符号组成的集合，P(Xi)表示符号出现的概率，贝U： 调整平均数据速率。L H(x) = -E p(xjlog2 p(xj 玄 logzL i丄 由此可以看出，在赋予一定长度的代码时，每个符号的二进制代码平均长度最短 不应小于信源的熵。 我们对信源编码的要求是：不仅要使传递编码序列的信息速率尽量变小，还 要从该编码序列

9、能无失真的恢复出源信号的输出符号即能正确的进行反变换或 者译码，称此信源编码为无失真离散信源编码。 2.1等长编码： 信源编码原理图为： 輸出 等长编码又称为均匀编码，即不管符号出现的概率如何，每个符号都用N位二进 制代码表示。码长为： N = log2 L或 log2 L 1 编码效率为: (X)R 它表示信源的平均每个符号的信息熵H (x)与信源平均每个符号的编码长度 R之 比值 若信源编码器用不同长度的符号来表示信源的输出符号，则称为变长编码。 变长编码的思路是根据信源输出符号出现概率的不同来选择码字，出现概率大的 用短码表示，出现概率小的用长码，使平均编码长度K最短，因而可提高编码效

10、率。变长编码可以无失真编码，无差错编码。使用变长编码可以达到相当高的编 码效率。一般，变长码所要求的信源消息序列长度 L比等长编码的小得多。 其特点是： 1. 当L为2的整数次幕且等概出现时，编码效率为 100% 2. 当符号等概出现，但L不是2的整数次幕时，编码效率下降，符号平均信息量 与码长N之间最多可相差1比特； 3. L较小时，编码效率较低，因此，可以采用扩展编码的方法，即将连续J个符 号进行统一编码，贝 即: N _ J log 2 L 取整 N 二 J log2 L1 二 一log 2 L 也就是说，每个符号所增加的1比特下降到1/J比特，编码效率增加。 2.2哈夫曼编码 在信源编

11、码的变长编码中哈夫曼编码(Huffma n)是无前缀的变长编码，它 没有一个码字是其他码字的前缀，以确保唯一可以码。它能够提供信源熵的编码 序列，其编码效率高，且能无失真的编译码。 哈夫曼编码步骤： (1) 将信源消息符号按其出现的概率大小依次排列 P1 P2 ?俟Pn。 (2) 取两个概率最小的字母分别配以 0和1两个码元，并将这两个概率相 加作为一个新的字母的概率，与未分配的二进制符号的字母重新排队。 (3) 对重排后的两个概率最小符号重复步骤(2)的过程。 (4) 不断继续上述过程，直到最后两个符号配以 0和1为止。 (5) 从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即

12、相应的码字 平均编码效率： n = H_(X) N 哈夫曼编码的主要特点： 1. 哈夫曼编码构造的码字不唯一； 2. 哈夫曼编码是变长编码，硬件实现比较困难； 3. 采用哈夫曼编码，要传送编码表，占用传送时间； 4. 哈夫曼编码是变长编码，出错时难以识别； 哈夫曼编码方法不唯一，因为编码时的0和1是任意给的，另外在两个符号 有相同概率时的编码过程不唯一，造成编码结果不同，但平均码长相同。其次： 对信源进行缩减时两个概率最小的符号合并后的概率与其他信源符号的概率相 同时，这两者在缩减信源中进行概率排序， 其位置放置次序是可以任意的，故会 得到不同的哈夫曼码此时将影响码字的长度， 一般将合并的概率

13、放在上面，这样 可以获得较小的码方差。 对于多进制哈夫曼编码，为了提高编码效率，就要使长码的符号数量尽量少、 概率尽量小，所以信源符号数最好满足r -1 n r ,其中r为进制数，n为缩 减的次数。例如，要进行三进制编码，那么最好信源有 7个符号，第1次合并后 减少2个成为5个，第2次合并后又减少2个成为3个，这样给每一步赋予三进 制符号就没有浪费了。但如果信源只有6个符号时，为了尽量减少最长码的数量， 则应该在第1次合并时添置概率为零的虚拟符号1个，事实上只合并2个概率最 小的符号，后面每次合并三个，就可以使得最长码的符号数量最少， 也就是长码 的概率最小，从而得到最高的编码效率。 哈夫曼编

14、码现已广泛应用于各类图像编码中， 然而应用最早、最为有效的则 是在传真编码中。在传真编码中应用的是游程编码，它是一类基于哈夫曼编码的 推广。 哈夫曼编码被称为最优的变长信源编码，但是这一最佳性能是建立在稳定、 确知的概率统计特性的基础上，一旦统计特性不稳定或发生变化或不完全确知， 变长编码将失去统计匹配的前提，其性能必然引起恶化，实际信源往往不可能提 供很稳定、确知的概率特性，因此人们开始研究比较稳健、 适应性比较强的准最 佳信源编码。而且哈夫曼编码仍然存在一些分组码所具有的缺点。例如概率特性 必须得到精确地测定，它若略有变化，还需要换码表，以及对于二元信源，常需 要多个符号合起来编码，才能取

15、得好的效果，但当合并的符号数不大时，编码效 率提高不多，尤其对于相关信源，不能令人满意，而合并的符号数增大时，码表 中的码字数很多，设备将越来越复杂。 当容量设定后，随着时间的增长，存储器溢出和取空的的概率都将增。当T 很大时，几乎一定会溢出或损失；由此可见，对于无线长的信息，很难采用变长 码而不出现错误。一般来说，变长码只适用于有限码的传输；即送出一段信息后， 信源就停止输出，例如传真机送出一张纸上的信息后停止。 对于长信息在实际使 用时可把长信息分段送出，也可通过检测存储器的状态调节信源输出即发现存储 器将要溢出就停止信源输出；发现存储器将要被取空就在信道上插上空闲标志， 或加快信源输出。

16、 变长码可以无失真的译码，这是理想情况。如果这种变长码是由信道输入的， 一个码子前面有一个码元错了，就可能误认为是另一个码字而断点， 结果后面一 系列的码字也会译错，这常称为差错的扩散。当然也可以采用某些措施，使码元 错了一段以后，能恢复正常的码字分离和译码，这一般要求在传输过程中差错很 少，或者加纠错用的监督码位，但是这样一来又增加了信息率。 此外，当信源有记忆时，用单个符号编码不可能是编码效率接近于1,因此 信息率只能接近一维熵H1,而H 定小于H1。此时仍需要多个符号一起编码， 才能提高编码效率。但导致码表长，存储器多。 三、线性预测编码LPC 预测编码：根据过去的信号样值预测下一个样值

17、， 并仅把预测值与当前样值之差 （预测误差）加以量化编码再传输的方式。 3.1基本思想 用一个阶梯波逼近模拟信号，只用一位二进制编码表示抽样时刻波形的变 化趋向。 3.2基本原理 首先根据信号的幅度大小和抽样频率（注意抽样频率大于等于2fm）去规定 阶梯信号的台阶，在抽样时刻ti把信号f（ti）与前一时刻的阶梯波形值进行 比较，确定该时刻的输出码字。 经过预测编码就可以解除信源的相关性，然后对信源进行编码就不再是记忆 的了。 以上就是信源编码的基本原理了，而在移动通信中的信源编码又是又是如何 呢。其实，移动通信中的信源编码与有线通信不同，它不仅需要对信息传输有效 性进行保障，还应该与其他一些系

18、统指标密切相关，例如容量、覆盖和质量。以 GSM为例说明。 以GSM系统中普通的全速率和版速率话音编码来说，其速率分别为9.6kbps 和4.8kbps，前者的话音质量好于后者，但占用的系统资源是后者的两倍左右。 当系统的覆盖不是限制因素时，使用半速率编码可以牺牲质量换取倍增的容量, 即提高系统的有效性。而当系统的容量相对固定时，可以通过使用半速率编码牺 牲质量换取覆盖的增加，因为半速率编码对于接收信号质量的要求降低了。 除此之外，移动通信中的信源编码的设计和实现还要考虑其他一些因素。由 于移动终端是由电池供电，其运算处理能力悠闲，因此信源编码就要在保证质量 的前提下尽可能地降低复杂度。另外考

19、虑到信宿处理能力的差异，编码后的数据 流量应该也包含不同质量的信息，以适应不同终端的需求。考虑到移动通信信道 的差错特性和一些话音、多媒体业务的实时性，这类业务通常要求移动通信中的 信源编码能够容忍一定的差错而无需复杂的传播。 2G/3G中的话音信源编码的基本原理是相同的，都采用了矢量量化和参数编 码的方式。 1.IS-95中的变速率码激励线性预测编码（CELP IS-95 中的CELP技术通过四个等级的变速率编码实现话音激活，即使用者 发声时进行全速率（9.6kbps ）编码，而不发声时仅仅传递八分之一（1.2kbps） 的背景噪声，以降低功耗和对其他用户的干扰。 2.GPRS/WCDM中的

20、自适应多速率编码（AMR 数字蜂窝系统自适应多码率语音传输解编码器（Adaptive MultiRate Speech Codec:AMR是欧洲电信标准化协会（ETSI）下属的SMG11（Special Mobile Group11）制定的语音编解码标准，提供了一种自适应的解决方法来跟踪快速变 化的无线信道情况和本地流量情况。AM编码器实时根据信道类型（全速率或半 速率）选择多种码率中的一种，从而达到语音编码和信道编码的最优组合以满足 瞬时的无线信道条件和本地容量需求。AM提供了从4.75kbits/s到12.2kbits/s 的多种码率选择。AM凭借其优异的性能成为UMT和ITU第三代系统的

21、语音编码方 ARM!音编码器的原理：AR编码器由多个固定速率的语音编码器、信源控制 器的速率方式、能够有效克服传输错误和丢包的错误对消器组成。多速率的语音 编码器是一种单个集成的，它有8个固定的信源速率模式，从4.75kbps到 12.2kbps,此编码器能够根据命令在每20M语音帧中改变它的速率.语音仍然是 第三代移动通信系统中最重要的业务之一，问题在于：如何在优化频谱资源的同 时增强灵活性和语音质量，尤其是在用户密集的区域。一个好的解决方案必须能 够在无噪信道条件下提供最好的质量，而且能够在干扰严重的信道条件下保持较 好的质量。WCDMA用的自适应多速率（AMR语音编解码器，能够根据通信信道 的改变而动态地在信源编码和信道编码之间调整比特分配。 3.CDMA200演进系统中的可选择模式语音编码（SMV SM用于CDMA200演进系统中，其基本原理与前述两种基本相同，它也是可变速 率的，从速率等级上看与IS-95中的CEL一样，有9.6kbps、4.8kbps、2.4kbps、 1.2kbps四种，不同的是SMV允许有四种模式供系统侧选择，即MODE0高品质模 式）、MODE1标准模式）、MODE（经济模式）、MODE3容量节省模式），不同的 模式实现不同程度的话音质量和平均速率的折中，通过调整不同等级速率所占的 比例实现不同的模式，从而调整平均数据速率。 4.3G系统中