现代通信理论第三讲 信源编码

第三

讲

信源编码现代通信理论概述：

编码理论包括3个方面的内容：提高数字信息传输、存储处理的有效性为宗旨的信源编码，即用尽可能最少的信息比特来表示信源。保证数字信号传输和处理的可靠性为目的的差错控制编码—信道编码，通过在待传信息中加入冗余比特来达到差错控制的目的。增加数字信息传输、存储处理的为目标数字加密编码。

通信的目的就是把信源产生的信息送到目的地，信源有声音、音乐、视频。将信源输出转换为数字形式的过程称为信源编码。利用信源的统计特性解除信源的相关性，去掉信源多余的冗余信息，可以达到压缩信源信息速率（在保证一定声音或图象质量）的条件下，以最小的数据率来表达和传送声音（或图象）数据。模数转换（A/D）和信源的压缩编码信源编码的两个主要过程为：数据能够压缩的可能性在于：1.原始数据中存在着大量的冗余信息(时间、空间和统计冗余）

时间冗余：在一般的情况下，声音的幅度是逐渐变化的，因而对声音波形采样后，相邻样值之间存在着很强的相关性，同样对每秒显示25幅图像的视频信号，前后相邻的图像之间一般也有很强的相关性，既表现为时间上的冗余。空间冗余:

图像的相邻像素之间也存在着相关性，相关的像素所携带的信息中存在着冗余，这通常称之为空间冗余。统计冗余：当信号中的时间和空间冗余信息完全去除后，由信息论可知只要这些离散幅值出现的概率不相等，就还有冗余（称为统计冗余）因而就存在着压缩的可能性。2.掩盖效应

视频和音频的最终接收者是人，人视觉和听觉器官都有某种不敏感性，对图象或声音的影响很小，在有些情况下甚至可以忽略不计，即：掩盖效应。时间遮盖效应:

在场景突然变化的瞬间，对新景物的分辨率很低另外人可听到的声音频率有一定的范围，人眼对过高或过低空间频率的亮度变化不能察觉。空间掩盖效应:

人眼所能观察到的亮度和色彩变化也有一定的限度，对亮度细节的分辨率比对色彩的高，在细节丰富的区域内不容易察觉噪声。

第一部分

信源的数学模型与信息度量

信源产生的输出都是随机的，因此需要用统计方法去定性描述

一、

离散信源的统计特性

[1].信源的输出是随机的；

[2].离散信源是由有限个字符集组成的序列；

[4].若信源输出符号是统计独立的，离散无记忆信源；

若信源输出符号之间有关联性，离散有记忆信源;[3].每个字符得出现都有一定概率：二、离散信息的对数度量1.信息量对接收者来说，事件愈不可能，愈使人感到意外，则信息量愈大定义

I=㏒a[1/P(x)]=－㏒aP

(x)

当a=2时，单位为bit（比特）二进制信号，若0、1等概出现，每个符号所携带的信息量为1bitM进制信号，如每个符号等概出现，每个符号所携带的信息量为2.离散信源平均信息量(熵)

若信源的各个符号是统计独立的，则：3.

条件平均信息量若信源输出的符号具有一定关联性，则：[2].当离散信源中每个符号等概出现，且各符号的出现统计独立时，该信源的平均信息量最大：[3].信源编码的任务就是减少或消除符号间的关联性，并使各符号的出现趋于等概，从而以最小的符号数传递最大的信息量.结论:[1].符号间统计独立的熵大于统计相关时的熵；三、连续信源的信息度量连续消息源的最大熵的条件取决于信息源输出值上所受到的限制把连续消息看成离散消息的极限情况，若连续消息在每个抽样点上的取值是一个连续的随即变量，其一维概率密度函数为。定义连续消息的平均信息量：均方值受限时最佳概率分布为正态分布，最大熵为:峰值受限时最佳概率分布为均匀分布，最大熵为:结论:

将连续信源的概率密度函数变换为最佳概率分布以得到最大熵，同样是信源编码所要解决的题。四、信道容量由于信道中存在着干扰，在这种信道中信息传输的最大值称为信道容量。在高斯白噪声信道中的信道容量由香农公式给出：香农公式说明，在带宽受限和信噪比受限的信道中，信息传输的最高速率也将受到限制。1)

提高信号与噪声功率之比能增加信道容量；2)

在无干扰的信道（噪声功率为0）中，信道容量为无限大；3)

增加带宽B并不能使信道容量无限制增大；4)

当信道容量一定时带宽和信噪比可以互换，即带宽换取功率。第二部分熵编码电平出现概率电平S1S2S3S4出现概率1/21/41/81/8等长码00011011霍夫曼码010110111

例如：

熵编码旨在去除信源的统计冗余信息，霍夫曼编码是最常见的熵编码方法。霍夫曼码的基本思想是：对出现概率较大的符号(电平)取较短的码，而对出现概率较小的符号取较长的码，因此它是一种变长码。原信源输出的序列：S1S2S1S3S2S1S1S4等长编码序列：

0001001001000011霍夫曼编码序列：

01001101000111

等长编码需要16bit，而霍夫曼码只要14bit①等长编码：把信源输出的符号编成码元数目相等的码字;②非定长编码：把信源输出的符号编成码元数目不相等的码字。首先是无失真的，其次要使编成的码字的平均码元数(码长)最短(最佳非定长编码)。霍夫曼编码(熵编码)：

它是基于信源符号概率的非等长编码方法。要求：(a)

把信源中出现概率大的消息符号编成短码，反之编成长码。(b)要求所编出的码字是单义可译码，即任意一个有限长的码字序列只能唯一地分割成一个码字的码(异字头码)。对(b)来说，如果所编的码字是异字头码：即所有码字集合中任何一个码字都不是另一个码字的字头，或者说任何一个码字都不是由另一个码字加上几个码位所构成，称为异字头码，它能保证译码的唯一性。霍夫曼编码举例：

方法1:0111111000000.650.350.150.050.01平均码长为，而等长编码需要3bit方法20111111000000.650.350.150.050.0101111000011001011101110111树图构成第三部分模拟信号的数字传输一、模拟信号的采样--采样定理1.低通信号的采样定理：一个频带限制在（0，）内的时间连续信号，如果对它以，或等间隔进行采样，则该信号将被所得到的抽样值完全地确定。

抽样的时域和频域描述时域频域

2.

带通型信号的抽样定理：若模拟信号m

(t)是带通信号，频率限制在f

L和fH之间，带宽B=f

H–fL,则:原因：经过采样的信号仍然是模拟信号，它的取值仍有无穷多个，因此还必须对其取值进行量化；方法：利用预先规定的有限个电平来表示模拟的抽样值；抽样是把一个时间连续信号变换成时间离散的信号，而量化则是将取值连续的抽样变成取值离散的抽样。二、模拟信号的量化1.均匀量化量化间隔最大量化误差a:

信号最小值，b:

最大值，M：量化级数不足：均匀量化时大小信号的量化信噪比不同，因此影响了满足信噪比要求的输入信号取值范围（动态范围）量化误差(量化噪声)＝抽样值－量化电平值量化性能：量化信噪比量化电平抽样值

2.非均匀量化：利用压扩技术来实现非均匀量化利用非线性函数先对抽样值进行压缩，然后再进行均匀量化，相当于对输入信号进行了非均匀量化，收端经过相反的过程－扩张，恢复信号的。μ律压缩北美、日本标准A律压缩中国、欧洲标准用13折线逼近A律压缩曲线各折线段的斜率：用15折线逼近μ律压缩曲线段落起始电平段落

1234567801632641282565121024起始电平量化间隔11248163264三、脉冲编码调制(PCM)

系统组成将模拟信号的抽样值量化并转化成相应的代码的过程。就完成了模拟信号到数字信号的转换，这种对模拟信号进行抽样、量化、编码的调制方式称为脉冲编码调制(PCM)。.抽样量化编码译码低通PCM系统组成13折线的编码的实现码型的选择：自然二进码、折叠二进码码长的选择可懂度:3~4位非线性编码清晰度:7~8位非线性编码第四部分信源压缩编码语音PCM编码的速率为：图像PCM编码，若采用8位编码（1个亮度信号，2个色差信号2个）三种方法：

1.波形编码

2.参数编码

3.变换域编码每路电话可以压缩到2.4k～4.8k，仍可保证长途质量HDTV：15～25Mbps，会议电视：128k～2048k，常规电视：1.5～12M，电视电话：9.6～64k一、

波形编码：DPCM及ADPCM提出：语音或图像信号波形具有相关性，经过取样后的几个样值仍有相关性，其中相关部分是可以预测的，它由过去的一些样值经过加权后得到，称为预测值，非相关部分是不可预测的，这时实际传送信号是样值与预测值之差值，因此只要对预测误差进行量化编码就可以大大地压缩编码速率（差值信号动态范围大大的减小），这就是DPCM的原理。

ADPCM是DPCM基础上发展起来的，主要是改进量化器和预测器，均采用自适应方式，即量化器和预测器的参数能根据输入信号的统计特性自适应于最佳或接近于最佳参数状态。DPCM系统框图数字信道量化器预测器编码解码预测器+++_++S(k)Se(k)d(k)dq(k)Sr(k)I(k)I’(k)dq(k)Se(k)Sr(k)DPCM码流编码器解码器++d

(Z)S

e(Z)Sr(Z)接收端H(Z)+_S(Z)Se(Z)d

(Z)Sr(Z)发送端++极点预测器DPCM系统发送端+_S(Z)Se(Z)d

q

(Z)量化器+_Sr(Z)d

q

(Z)H(z)接收端零点预测器：零点预测DPCM系统零点预测器极点预测器d

q

(k)Se(k)Sr(k)+_S(k)Se(k)d

q

(k)量化器极点预测器零点预测器d

(k)Sr(k)发送端接收端零极点预测器DPCM系统1.

极点系统存在不稳定，尤其在自适应预测器在系数更新时会引起系统不稳定，其次重建滤波器是无限冲击响应系统，即输出对输入的反馈，将会使误差积累；

2.

全零点预测系统不存在稳定问题，且系统是非递归的，不会产生误差积累，但是在理想信道的条件下，预测性能不如全极点预测器；

3.极零点预测系统的传输函数是无限冲击响应系统，预测器记忆长度较长，在无误码情况有利于保证语音质量，但是在有误码情况下，反而影响传输质量，但是零点的存在可减缓这一矛盾。4.在DPCM系统中，阶数高预测性能好，但过大的延时会增大影响其它样本的预测性能，零点阶数M选择6～10阶，极点阶数N选择2～4阶。预测误差：均方误差：令或根据N个线性方程，可解出预测系数使预测误差最小。极点预测算法：设信号样值序列为，k时刻的信号值用过去的N个信号的线性组合来预测：----预测系数自相关函数可通过下面估算：PCM/线性码自适应量化器自适应逆量化器自适应预测器定标因子自适应自适应速度控制++ADPCM

码输出d

q

(k)S

r

(k)S

e

(k)32KbpsADPCM编码器原理图二、参数编码：声码器提出：单独利用ADPCM进行压缩编码，对于语音信号来说只能将64kb/s降低到32kb/s。声码器是利用人的发声机理提取和传送基本参数，接收端再利用这些参数还原出语音，用2.4kb/s仍可传输高质量的语音。其产生模型如下：

此模型包括三个部分：激励源、声道模型和辐射模型。激励源分浊音和清音两个分支，按照浊音/清音开关所处的位置来决定产生的语音是浊音还是清音。浊音由准周期脉冲激励产生，其周期称为基音周期，而清音由随机噪声激励产生。在浊音情况下，激励源由一个周期脉冲发生器产生;为了使浊音的激励信号具有声门气流脉冲的实际波形，还需要使上述的冲击序列通过一个声门脉冲模型滤波器;声道模型H

(z)给出了离散时域的声道传递函数，在大多数情况下它是一个全极点函数。则H

(z)可以表示为：

声门气流、声道以及唇辐射的联合作用由此时变数字滤波器H(z)表示。

当发音时，激励和声道形状都是随时间而改变的，将预测系数、清/浊判别，基音周期和增益G做为传输函数进行编码，接收端可恢复（合成）出原始语音信号，但语音信号随时间的改变是非常缓慢的，大致可以认为在每10～30ms短时间间隔内语音信号的特性基本上是固定不变的。因此若每20ms为一帧传输一组参量，从而大大降低了比特率。

发送端一般需要提取并传送15个基本参量，基因周期P(6bit)，清浊音判决U/V(1bit)，语音增益G(5bit)，12个线性时变合成语音滤波器系数{a

i}(每个系数量化11bit)，共需144bit，对于20ms的语音帧，相当于7.2Kbps。[1].采用反射系数格型算法，可将系数量化从11bit压缩至

3～6bit；[2].采用矢量量化技术