河北科技大学多媒体通信技术基础 第三章.ppt

1、第第3章章 数据压缩的基本技术数据压缩的基本技术 数据压缩处理一般由两个过程组成：数据压缩处理一般由两个过程组成： 编码过程：对原始数据进行编码压缩，以便存储和传输；编码过程：对原始数据进行编码压缩，以便存储和传输； 解码过程：对压缩的数据进行解压，恢复成可用的数据。解码过程：对压缩的数据进行解压，恢复成可用的数据。根据解压后数据的保真度，数据压缩技术可分为根据解压后数据的保真度，数据压缩技术可分为无损压缩编码无损压缩编码：解码后的数据与原始数据完全相同，无任：解码后的数据与原始数据完全相同，无任何偏差。这种编码通常基于信息熵原理，常用的编码有何偏差。这种编码通常基于信息熵原理，常用的编码有哈

2、夫曼编码、算术编码、行程编码等。压缩比比较低，哈夫曼编码、算术编码、行程编码等。压缩比比较低，一般在一般在2:1-5:1。主要用于要求数据无损压缩存储和传输。主要用于要求数据无损压缩存储和传输的场合，如传真机的场合，如传真机有损压缩编码有损压缩编码：解码后的数据与原始数据相比有一定的偏：解码后的数据与原始数据相比有一定的偏差，但仍可保持一定的视听质量和效果。它主要是在保差，但仍可保持一定的视听质量和效果。它主要是在保持一定保真度下对数据进行压缩，其压缩比可达持一定保真度下对数据进行压缩，其压缩比可达100:1。压缩比越高，其解压缩后的视、音频质量就越低。压缩比越高，其解压缩后的视、音频质量就越

3、低。 分类：分类： a 第一代图像压缩编码方法第一代图像压缩编码方法基于香农理论，基于香农理论，80年代初趋于成熟，主要降低数据之间的相关性，年代初趋于成熟，主要降低数据之间的相关性，去除冗余。去除冗余。 b 第二代图像压缩编码方法第二代图像压缩编码方法基于人类视觉特性的压缩方法，其核心思想是力图发现人眼是根据基于人类视觉特性的压缩方法，其核心思想是力图发现人眼是根据哪些关键特征来识别图像、或图像序列的，然后根据这些特征来哪些关键特征来识别图像、或图像序列的，然后根据这些特征来构造图像模型。构造图像模型。 例如，根据人眼对物体的轮廓比对物体内部细节更为敏例如，根据人眼对物体的轮廓比对物体内部细

4、节更为敏感的特点，可以利用物体感的特点，可以利用物体(而不是像素而不是像素)的集合来表示图的集合来表示图像。像。 3.2 数据压缩的理论依据数据压缩的理论依据3.2 数据压缩的理论依据数据压缩的理论依据 数据压缩的理论基础为数据压缩的理论基础为Shannon信息论。信息论。它一方面给出了数据压缩的理论极限，另它一方面给出了数据压缩的理论极限，另一方面又指明了数据压缩的技术途径。一方面又指明了数据压缩的技术途径。 Shannon理论认为：信源中所含有的平均信息量理论认为：信源中所含有的平均信息量（熵）是进行无失真压缩编码的理论极限。（熵）是进行无失真压缩编码的理论极限。 无记忆信源：如果设计的编

5、码方法的码字平均长无记忆信源：如果设计的编码方法的码字平均长度最接近熵，则说明该编码方法是最佳的。度最接近熵，则说明该编码方法是最佳的。的下限。熵值是平均码长。稍大于最佳编码不可能；编码；时，有冗余，不是最佳NXHNXHNXHNXHN)()()()(香农三大定理是信息论的基础理论。香农三大定理是存在香农三大定理是信息论的基础理论。香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。信息的研究指明了方向。第一定理：可变长无失真信源编码定理第一定理：可变长无失真信源编码定理采用无失真最佳信源编码可使得用于每个信

6、源符号的编码采用无失真最佳信源编码可使得用于每个信源符号的编码位数尽可能的少，但它的极限是原始信号源的熵；超过了位数尽可能的少，但它的极限是原始信号源的熵；超过了这一极限就不可能实现无失真的译码。这一极限就不可能实现无失真的译码。第二定理：有噪信道编码定理第二定理：有噪信道编码定理若在信息传输率若在信息传输率R不大于信道容量不大于信道容量C时，则存在一种编码，时，则存在一种编码，当码长当码长n足够大时，它可以使信道输出端的错误概率任意小，足够大时，它可以使信道输出端的错误概率任意小，而信息传输率无限接近而信息传输率无限接近C；如果；如果RC，则不能找到一种编码，则不能找到一种编码，使输出端错误

7、概率任意小。使输出端错误概率任意小。第三定理：第三定理： 第三定理：保真度准则下的信源编码定理，或称有损信源第三定理：保真度准则下的信源编码定理，或称有损信源编码定理编码定理只要码长足够长，总可以找到一种信源编码，使编码后的只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率信息传输率R（单位：（单位：bit/信源符号）略大于率失真函数信源符号）略大于率失真函数R(D)，而码的平均失真度不大于给定的允许失真度，即，而码的平均失真度不大于给定的允许失真度，即D0,一定存在一种码一定存在一种码字个数为字个数为M2NR(D)+的信源编码，使编码后的平均失真度的信源编码，使编码后的平均失真度D

8、R(D),只要信源序列长只要信源序列长度度L足够长，一定存在一种编码方法其译码平均足够长，一定存在一种编码方法其译码平均失真小于或等于失真小于或等于D+逆定理：当逆定理：当RDQn预测器预测器 xn+ +xn xn = n + xn 几个概念：几个概念： 一维预测：被预测的样值与用作预测的样值在同一维预测：被预测的样值与用作预测的样值在同一行内一行内 二维预测：用作预测的样值位于相邻的不同行上二维预测：用作预测的样值位于相邻的不同行上 一维预测利用像素之间在水平方向上的相关性。一维预测利用像素之间在水平方向上的相关性。在水平方向亮度变化缓慢的图像，有较好的预测在水平方向亮度变化缓慢的图像，有较

9、好的预测效果。效果。 如果水平方向上亮度有突变，那么一阶的一维预如果水平方向上亮度有突变，那么一阶的一维预测经常会测经常会 给出错误的预测数值。给出错误的预测数值。在这种情况下，采用下面的二维预测，会有较好在这种情况下，采用下面的二维预测，会有较好的预测值。的预测值。 10 ()xx黑电平451122xxxx图图3-14对应于图像黑对应于图像黑白边界处的几个像素白边界处的几个像素 N阶预测器的设计问题阶预测器的设计问题 在最小均方误差下的最佳预测器。在最小均方误差下的最佳预测器。 下式表示预测误差信号下式表示预测误差信号e(n)平方值的统计平均。平方值的统计平均。 若上式最小时，表示在最小均方

10、误差意义下，预测若上式最小时，表示在最小均方误差意义下，预测最准确，此时色预测器称为在最小均方误差意义下最准确，此时色预测器称为在最小均方误差意义下的最佳预测器。的最佳预测器。 最佳预测器的系数最佳预测器的系数 ai可以通过求极小值的方法求得。可以通过求极小值的方法求得。2221( ) ( )( ) ( )()Niie nx nx nx nax n i211Nkk=1( )2( )( )0 (1,2,)( )( ) ( )()()( ) ()() ()0 (3.42)R( )-a()0(1,2,)iiNkkiNkke ne ne niNaae ne nx na x nkx niax n x n

11、iax nk x niR iR ikiN 用输入序列的自相关函数 表示： 如果对所需要压缩的某类图像的自相关函数已经作如果对所需要压缩的某类图像的自相关函数已经作过测量的话，则可通过求解上式所表示的方程组，获过测量的话，则可通过求解上式所表示的方程组，获得最佳预测器的系数值。得最佳预测器的系数值。 另一个事实另一个事实2m in12m in111()()()() ()()()()0()()()() ()()()() ()( 0 )()NkkiNkkNkkNkkenenxnaxnkenxnienenaenenxnaxnkenxnxnaxnkxnRaRk 而 由 （ 3 . 4 2 ）所 以 预测

12、误差的平均功率比原信号的功率预测误差的平均功率比原信号的功率R(0)要要小。在相同的均方量化误差下，小。在相同的均方量化误差下，e(n)比比x(n)要要求较少的量化级数，因此，传送求较少的量化级数，因此，传送e(n)比传送比传送x(n)的数据率要低。的数据率要低。 3.5.2 序列图像中运动矢量的估值序列图像中运动矢量的估值 1.运动矢量估值的必要性运动矢量估值的必要性 序列图像在时间上的冗余情况可分如下几种：序列图像在时间上的冗余情况可分如下几种： (1)对于静止不动的场景，当前帧和前一帧的图像内容对于静止不动的场景，当前帧和前一帧的图像内容是完全相同的；是完全相同的； (2)对于运动的物体

13、，只要知道其运动规律，就可以从对于运动的物体，只要知道其运动规律，就可以从前一前一 帧图像推算出它在当前帧中的位置；帧图像推算出它在当前帧中的位置； (3)摄像镜头对着场景横向移动摄像镜头对着场景横向移动(称为滑镜头称为滑镜头)、焦距变、焦距变化等操作会引起整个图像的平移、放大或缩小。对于化等操作会引起整个图像的平移、放大或缩小。对于这种情况，只要摄像机的运动规律和镜头改变的参数这种情况，只要摄像机的运动规律和镜头改变的参数已知，图像随时间所产生的变化也是可以推算出来的。已知，图像随时间所产生的变化也是可以推算出来的。 由电视图像的相关性特点，可知：由电视图像的相关性特点，可知： 发送端不一定

14、必须把每帧图像上所有的像素都传给收端，发送端不一定必须把每帧图像上所有的像素都传给收端，而只要将物体而只要将物体(或摄像机或摄像机)的运动信息告知接收端，收端的运动信息告知接收端，收端就可根据运动信息和前一帧图像的内容来更新当前帧图就可根据运动信息和前一帧图像的内容来更新当前帧图像，这比全部传送每帧图像的具体细节所需的数据量要像，这比全部传送每帧图像的具体细节所需的数据量要小得多。小得多。 首先要做的是从图像序列中提取运动物体的信息运首先要做的是从图像序列中提取运动物体的信息运动估值。动估值。 为了简单起见，做出如下假设：为了简单起见，做出如下假设： (1)物体是刚体只在与摄像机镜头的光轴垂直

15、的平面物体是刚体只在与摄像机镜头的光轴垂直的平面内移动。即：物体的形变、旋转、镜头焦距的变更等因内移动。即：物体的形变、旋转、镜头焦距的变更等因素不考虑在内；素不考虑在内； (2)无论物体移动到任何位置，照明条件都不变，即：无论物体移动到任何位置，照明条件都不变，即：同一物体在所有序列图像中亮度没有变化；同一物体在所有序列图像中亮度没有变化； (3)被物体遮挡的背景和由于物体移开而新暴露出来的被物体遮挡的背景和由于物体移开而新暴露出来的背景部分都未不作特殊考虑。背景部分都未不作特殊考虑。 t 时刻运动物体的象素值时刻运动物体的象素值 bt 可用它在时间以前的值可用它在时间以前的值b t-表示：

16、表示： 含义：含义：t时刻的图像是时刻的图像是t-时刻的图像经适当位移时刻的图像经适当位移D后的后的结果。结果。 运动估值的分类：运动估值的分类： a 块匹配方法块匹配方法 b 像素递归方法像素递归方法( )()ttb zbzD 2.块匹配方法块匹配方法 方法描述：方法描述： a.将图像划分为许多互不重叠的子块，并认为子块内所将图像划分为许多互不重叠的子块，并认为子块内所有像素的位移量都相同。（每个子块视为一个有像素的位移量都相同。（每个子块视为一个“运动物运动物体体”） b.寻找匹配块寻找匹配块假设在图像序列中，假设在图像序列中，t 时刻对应于第时刻对应于第k帧图像，帧图像，t-时刻对时刻对

17、应于应于k-1帧图像。对于帧图像。对于k帧中的一个子块，在帧中的一个子块，在k-1帧中寻帧中寻找与其找与其最相似的子块最相似的子块，称为，称为匹配块匹配块。K-1帧称为帧称为K帧的帧的参考帧参考帧 c.寻找位移矢量寻找位移矢量认为匹配块在认为匹配块在k-1帧中的位置就是帧中的位置就是k帧块位移前的位置，根帧块位移前的位置，根据据 (3-44)式则可以得到该子块的位移矢量式则可以得到该子块的位移矢量D。 块匹配方法中最重要的问题：块匹配方法中最重要的问题：(1)判别两个子块匹配的准则；判别两个子块匹配的准则；(2)寻找匹配块搜索的方法。寻找匹配块搜索的方法。准则准则a:归一化的二维互相关函数（归

18、一化的二维互相关函数（NCCF） 当当NCCF为为最大值时最大值时2个子块匹配，对应的个子块匹配，对应的 i，j 值即构值即构成位移矢量成位移矢量D。11121221211111( , )(,)( , )( , ) (,)MNkkmnMNMNkkmnmnb m n bm i njNCCF i jbm nbm i nj 准则准则b 求求2帧子块亮度的均方差值帧子块亮度的均方差值MSE： 当当MSE最小时表示最小时表示2个子块匹配个子块匹配。21111( , )( , )(,)(,)MNkkmnmmMSE i jb m nbmi njMNdi jd c. MAD准则准则 求帧间子块亮度差的绝对值的

19、均值求帧间子块亮度差的绝对值的均值MAD： 当当MAD最小时表示最小时表示2个子块匹配个子块匹配。1111( , )( , )(,)(,)MNkkmnmmMAD i jb m nbm i njMNdi jd d.计算块亮度差的绝对值和计算块亮度差的绝对值和SAD： SAD(I,j)=MN*MAD(i,j) 当当SAD最小时表示最小时表示2个子块匹配个子块匹配。 此准则较常使用。此准则较常使用。 研究结果表明，匹配判别准则的不同对匹配精度，也研究结果表明，匹配判别准则的不同对匹配精度，也即是对位移适量估值的精度影响不大。即是对位移适量估值的精度影响不大。 （2）搜索方法：为了节省计算量，在）搜索

20、方法：为了节省计算量，在k-1帧中的匹配搜帧中的匹配搜索只在一定范围内进行。假设在索只在一定范围内进行。假设在时间间隔内时间间隔内最大可能最大可能的水平和垂直位移量为的水平和垂直位移量为dm个像素，则搜索范围个像素，则搜索范围SR为为 SR（M+2 dm ）*（N+ 2dm ）1)全搜索全搜索:寻找最佳的匹配块，需要将寻找最佳的匹配块，需要将k-1帧中对应的子块在整个帧中对应的子块在整个搜索区内沿水平和垂直方向逐个像素移动，每移动一次计算一搜索区内沿水平和垂直方向逐个像素移动，每移动一次计算一次判决函数。总的移动次数次判决函数。总的移动次数Q为为 Q（2dm+1）2 此种搜索方法运算量非常大。

21、此种搜索方法运算量非常大。2)块匹配的快速搜索方法：块匹配的快速搜索方法：举例：三步法举例：三步法搜索过程：搜索过程：1）以待匹配块中心的同位像素为中心，在中心点和与其距离）以待匹配块中心的同位像素为中心，在中心点和与其距离4个个像素的像素的8个邻域上计算判决函数个邻域上计算判决函数SAD,取取SAD最小的点作为下一最小的点作为下一步搜索的中心步搜索的中心2）以该点为中心，对于中心相距）以该点为中心，对于中心相距2个像素的未搜索过的邻域点进个像素的未搜索过的邻域点进行搜索行搜索3）以上一步中）以上一步中SAD最小的点为中心，对距离中心最小的点为中心，对距离中心1个像素的未搜个像素的未搜索过的邻

22、域点进行搜索，最终找到最佳匹配位置。索过的邻域点进行搜索，最终找到最佳匹配位置。几乎所有的快速搜索算法都基于如下的假设：几乎所有的快速搜索算法都基于如下的假设：当偏离最佳匹配位置时，判决函数（匹配误差）值是当偏离最佳匹配位置时，判决函数（匹配误差）值是单调上升的。因此无需搜索所有点，只要沿着误差值单调上升的。因此无需搜索所有点，只要沿着误差值减少的方向进行搜索，就能找到最佳匹配位置。减少的方向进行搜索，就能找到最佳匹配位置。保证任何情况下找到全局极值点是困难的。保证任何情况下找到全局极值点是困难的。近几年来人们提出了许多新的快速搜索算法，这些算法的搜索近几年来人们提出了许多新的快速搜索算法，这

23、些算法的搜索策略概括如下：策略概括如下：1）运动矢量预测：）运动矢量预测：根据图像内容的连续性，相邻块的运动矢量一般是相近的。根据图像内容的连续性，相邻块的运动矢量一般是相近的。2）搜索提前中止：预先设定匹配误差阈值）搜索提前中止：预先设定匹配误差阈值3）紧凑的搜索图形）紧凑的搜索图形 3.5.3具有运动补偿的帧间预测具有运动补偿的帧间预测 1.前向预测前向预测 概念：不直接传送当前帧的像素值，而传送当前帧（即概念：不直接传送当前帧的像素值，而传送当前帧（即第第k帧）中像素帧）中像素x和前和前1帧帧(即即k-1帧帧)的同位像素的同位像素x之间的之间的差值，称为帧间预测。差值，称为帧间预测。 对

24、隔行扫描的电视信号，也可以用前一场来预测当前场对隔行扫描的电视信号，也可以用前一场来预测当前场的像素的像素(场间预测场间预测)。当图像中存在着运动物体时简单的预测不能收到好的效果。当图像中存在着运动物体时简单的预测不能收到好的效果。考虑了物体移动的帧间预测方法称为具有运动补偿的帧间预测。考虑了物体移动的帧间预测方法称为具有运动补偿的帧间预测。 基本步骤：基本步骤： (1)将图像分割成静止的背景和若干运动的物体，各个将图像分割成静止的背景和若干运动的物体，各个物体可能有不同的位移。但构成同一物体的所有像素的物体可能有不同的位移。但构成同一物体的所有像素的位移相同。通过运动估值得到每个物体的位移矢

25、量；位移相同。通过运动估值得到每个物体的位移矢量； (2)利用位移矢量计算经运动补偿后的预测值；利用位移矢量计算经运动补偿后的预测值； (3)除了对预测误差进行编码、传送以外，还需要传送除了对预测误差进行编码、传送以外，还需要传送位移矢量以及如何进行运动物体和静止背景的分割等方位移矢量以及如何进行运动物体和静止背景的分割等方面的附加信息。面的附加信息。 实际上，将图像分割成静止区域和不同的运动区域非常实际上，将图像分割成静止区域和不同的运动区域非常困难，当实时地完成时就更加困难。困难，当实时地完成时就更加困难。 方法方法 将图像分割成子块，每块看成是一个物体，按块匹配的将图像分割成子块，每块看

26、成是一个物体，按块匹配的方法估计每个子块的位移矢量，将经过位移补偿的帧间方法估计每个子块的位移矢量，将经过位移补偿的帧间预测误差预测误差DFD和位移矢量和位移矢量D传送给收端，收端就可以按传送给收端，收端就可以按下式从已经收到的前下式从已经收到的前1帧信息中恢复出该子块：帧信息中恢复出该子块： bk(z)=bk-1(z-D)+DFD(z,D)下图表示了下图表示了K帧各块及它们在帧各块及它们在k-1帧中对应的匹配块之间的关系帧中对应的匹配块之间的关系从该块的预测误差和它的位移矢量所指向的从该块的预测误差和它的位移矢量所指向的k-1帧中的匹配块，帧中的匹配块，可以恢复出可以恢复出k帧中的对应子块。

27、帧中的对应子块。 注意：注意： 当子块中的像素实际上属于位移量不同的物体时，当子块中的像素实际上属于位移量不同的物体时，这种对整个子块用同一位移量的预测就不够准这种对整个子块用同一位移量的预测就不够准确会使预测误差增加，从而影响到数据压缩比确会使预测误差增加，从而影响到数据压缩比的提高。的提高。 2.后向预测和双向预测后向预测和双向预测 概念：概念： 前向预测：前向预测： 后向预测后向预测:从后续的从后续的k+1帧图像预测前面的帧图像预测前面的k帧图像帧图像 双向预测双向预测:采用前、后两帧来预测中间帧采用前、后两帧来预测中间帧 讨论：讨论： 预测误差越小，传输的数据量就越低。预测误差越小，传

28、输的数据量就越低。 双向预测所付出的代价是，对每一个子块需要传送双向预测所付出的代价是，对每一个子块需要传送2个位个位移矢量给收端，而且移矢量给收端，而且k帧的恢复必须等到接收到帧的恢复必须等到接收到k+1帧之帧之后才能进行。后才能进行。 即：编码、解码运算的帧顺序是即：编码、解码运算的帧顺序是k-1、k+1、k，而图像显，而图像显示的顺序是示的顺序是k-1、k、k+l。 要保持处理和显示的连续性，编码端和解码端就分别需要保持处理和显示的连续性，编码端和解码端就分别需要多引入要多引入1帧的延时。帧的延时。3.6 3.6 正交变换正交变换编码编码 例例1：单一频率的正弦波：单一频率的正弦波 在时

29、域中：采样、量化、编码在时域中：采样、量化、编码 在频域中：频率、波幅、初相角在频域中：频率、波幅、初相角 时域上采样值之间存在非常强的相关性，数据冗余度时域上采样值之间存在非常强的相关性，数据冗余度大，而在变换域上三个参数相互独立，没有相关性，大，而在变换域上三个参数相互独立，没有相关性，描述信号的数据量大大减少。描述信号的数据量大大减少。将空域图像信号映射变换到另一个正交矢量空间及变换域，将图将空域图像信号映射变换到另一个正交矢量空间及变换域，将图像像素值转变成一组非相关的系数，然后对这些系数进行量化和像像素值转变成一组非相关的系数，然后对这些系数进行量化和编码。编码。目的：去除相关，压缩

30、数据。为信号找到一种最有效的表示方式。目的：去除相关，压缩数据。为信号找到一种最有效的表示方式。 例例2：由相邻两个像素组成的：由相邻两个像素组成的12子图像中，设每个子图像中，设每个像素取像素取8个灰度级（个灰度级（3bit量化），下图中量化），下图中x1轴表示第一轴表示第一个像素可能取的个像素可能取的8个灰度值，个灰度值，x2轴表示第二个像素可轴表示第二个像素可能取的能取的8个灰度值，由个灰度值，由x1,x2组成的二维坐标空间中不组成的二维坐标空间中不同坐标点对应于不同的同坐标点对应于不同的12子图像。子图像。 变换后的坐标系中，图像子块的两个像素之间的相关变换后的坐标系中，图像子块的两个

31、像素之间的相关性减弱，能量的分布向性减弱，能量的分布向x1集中。集中。3.6 3.6 正交变换正交变换编码编码3.6.1 3.6.1 最佳线性正交变换最佳线性正交变换 思路：思路： 假设：一个离散信号由假设：一个离散信号由N N个采样值组成，则可以个采样值组成，则可以认为它是一个在认为它是一个在N N维空间中的维空间中的一个列向量一个列向量XT=(x1,x2,xn)。 为了找到有效的表示方法，可以选取为了找到有效的表示方法，可以选取X X的一个正的一个正交变换，使交变换，使 YTX （3-53）YT=(y1,y2,yn)做变换的目的：做变换的目的：要寻找一个变换矩阵要寻找一个变换矩阵T，将经上

32、式变换得到的，将经上式变换得到的Y用一个由用一个由M(MN)个分量构成的子集来近似。当删去个分量构成的子集来近似。当删去Y中剩下的中剩下的(N-M)个分量，仅用含个分量，仅用含M个分量的子集来恢复个分量的子集来恢复X时，不时，不会引起明显的误差。会引起明显的误差。或者说：用或者说：用Y的只有的只有M个分量的子集来代表有个分量的子集来代表有N个分量的个分量的信号信号X，从而达到数据压缩的目的。，从而达到数据压缩的目的。 关键是：寻找变换矩阵关键是：寻找变换矩阵T，即：找到最佳正交变换。，即：找到最佳正交变换。最佳的判断标准：最佳的判断标准：使得在恢复使得在恢复X时所产生的均方误差最小。时所产生的

33、均方误差最小。 设变换矩阵具有下列形式设变换矩阵具有下列形式 TH1， 2，.， N (3-54) i是是N维列向量，并且归一化正交，即：维列向量，并且归一化正交，即： 1 （ik） iH . k (3-55) 0 （ik） i相互正交，故其线性独立。相互正交，故其线性独立。 以前的知识：以前的知识： N个线性独立的向量可以生成一个个线性独立的向量可以生成一个N维空间，这一组向维空间，这一组向量称为该空间的基，其中的每一个量称为该空间的基，其中的每一个i称为基向量。称为基向量。由（由（3-54）和（）和（3-55）知：）知： TTHI 所以所以 T的逆矩阵：的逆矩阵：T-1TH （3-56）当

34、当T为实数矩阵，且为实数矩阵，且T-1TH时，称时，称T为正交矩阵，对应的为正交矩阵，对应的变换为正交变换。变换为正交变换。 由由Y=TX和和(3-56)式，得到式，得到 XTHYy1 1+y2 2+.+yN N上式表明将上式表明将X转换到由基向量转换到由基向量i(i1，2，N)生成的生成的N维空间维空间(通常称为变换域通常称为变换域)中。中。yi代表代表X在在i上投影的大小，上投影的大小，称为变换系数。称为变换系数。因此，因此，由变换系数所构成的向量由变换系数所构成的向量Y是信号是信号X在变换域中的在变换域中的表示。表示。 假设信号假设信号X是一个均值为零的随机向量，即是一个均值为零的随机向

35、量，即=0。 若只保留若只保留M(MN)个变换系数个变换系数,将其余将其余(N-M)个系数个系数置为零，则所得到的置为零，则所得到的X的近似值的近似值XM与原信号的差值与原信号的差值X为为 XX-XM 其均方误差其均方误差MSE为为 MSE= =1Niii My*1121.(3 71)NNHikiki Mk MNii Myyy 359）由由Y=TX可知：可知： 标量的转置为其自身标量的转置为其自身，（3-59）可改写为：）可改写为：当当=0时，时，即为即为X的协方差矩阵的协方差矩阵 。可以证明得：可以证明得：iH i1的条件下，使的条件下，使MSE为最小的条件为最小的条件是是.HiiyX11N

36、NHHHiiiii Mi MMSEy yXX XXiii 上式看出上式看出i和和i分别是矩阵分别是矩阵 的本征向量和本征值。的本征向量和本征值。也就是说，以信号的协方差矩阵也就是说，以信号的协方差矩阵 的本征向量的本征向量i(il，2，N)组成的变换矩阵是均方误差准则下的最组成的变换矩阵是均方误差准则下的最佳变换矩阵，用此矩阵构成的最佳变换佳变换矩阵，用此矩阵构成的最佳变换YTX称为称为卡南洛伊夫变换卡南洛伊夫变换KLT。 XX 经经KL变换后，变换后，Y的协方差矩阵的协方差矩阵 为为 （根据根据YTX）Y12.0.0HHYXNY YTTKL变换解除了随机向量变换解除了随机向量X的分量之间的相

37、关性，的分量之间的相关性，在变换域中在变换域中Y的各分量之间是互不相关的的各分量之间是互不相关的应用的先修知识：应用的先修知识：A为为n阶实对称矩阵，则有正交矩阵阶实对称矩阵，则有正交矩阵P,使使P-1AP=min1Nii MMSE上式说明最小均方误差等于上式说明最小均方误差等于Y向量中被丢弃的分量的方向量中被丢弃的分量的方差之和。差之和。由此可知，应该选择具有较大方差的由此可知，应该选择具有较大方差的M个个Y分量所构成分量所构成的子集来恢复的子集来恢复X，以使得恢复后所产生的误差最小。，以使得恢复后所产生的误差最小。缺点：缺点：KL变换的基向量与信号的统计特性有关，变换变换的基向量与信号的统

38、计特性有关，变换矩阵不是恒定的，需要临时计算，同时也缺乏相应的快矩阵不是恒定的，需要临时计算，同时也缺乏相应的快速算法速算法 3.6.2离散余弦变换离散余弦变换 选择不同的正交基向量，可以得到不同的正交变换。选择不同的正交基向量，可以得到不同的正交变换。 从数学上可以证明，各种正交变换都能在不同程度上从数学上可以证明，各种正交变换都能在不同程度上减小随机向量的相关性。减小随机向量的相关性。 信号经过大多数正交变换后，能量会相对集中在少数信号经过大多数正交变换后，能量会相对集中在少数变换系数上，删去对信号贡献较小变换系数上，删去对信号贡献较小(方差小方差小)的系数，的系数，只利用保留下来的系数恢

39、复信号时，不会引起明显的只利用保留下来的系数恢复信号时，不会引起明显的失真。失真。 因此，不同的正交变换，例如，离散傅氏变换因此，不同的正交变换，例如，离散傅氏变换(DFT)，离散余弦变换离散余弦变换(DCT)，沃尔什，沃尔什-哈达马变换哈达马变换(WHT)等均等均在数据压缩中得到不同程度的应用，只是在均方误差在数据压缩中得到不同程度的应用，只是在均方误差准则下，性能不如准则下，性能不如KLT好。好。 余弦变换是傅立叶变换的一种特殊情况。余弦变换是傅立叶变换的一种特殊情况。 当傅立叶级数展开式中，被展开的函数是实偶函当傅立叶级数展开式中，被展开的函数是实偶函数时，傅立叶级数中只包含余弦项。余弦

40、变换的数时，傅立叶级数中只包含余弦项。余弦变换的名字由来，或称之为离散余弦变换。名字由来，或称之为离散余弦变换。 离散余弦变换在数字图像数据压缩编码技术中，离散余弦变换在数字图像数据压缩编码技术中，可与最佳变换可与最佳变换K-L变换媲美。因为变换媲美。因为DCT与与K-L变变换压缩性能和误差相接近，而换压缩性能和误差相接近，而DCT计算复杂度适计算复杂度适中又具有可分离特性还有快速算法等特点，中又具有可分离特性还有快速算法等特点，所以近年来在图像数据压缩中，采用离散余弦变所以近年来在图像数据压缩中，采用离散余弦变换编码的方案很多，特别是换编码的方案很多，特别是20世纪世纪90年代迅速崛年代迅速

41、崛起的计算机多媒体技术当中起的计算机多媒体技术当中JPEG、MPEG、R.261等压缩标准。都用到离散余弦变换编码进等压缩标准。都用到离散余弦变换编码进行数据压缩。行数据压缩。112011202(21)( ) ( )( )( )cos(0,1,2,1)22(21)( ) ( )( ) ( )cos(0,1,2,1)2( )( )010NkNnknS nC ns knNNNkns kC n S nkNNNs kS nnn 其 中为 信 号 样 值 ，为 变 换 系 数 且1C(n)=2一维的一维的DCT正变换和反变换正变换和反变换DCT变换的核函数变换的核函数一维一维8个像素时对应的基函数数据个

42、像素时对应的基函数数据 由一维由一维DCT可以直接扩展到二维，即可以直接扩展到二维，即110011002(21)(21)( , )( ) ( )( , )coscos22(0,1,2,1;0,1,2,1)2(21)(21)( , )( ) ( ) ( , )coscos22(0,1,2,1;0,1,2,1)( )NNjkNNuvjukvS u vC n C vs j kNNNuNvNjnkvs j kC u C v S u vNNNjNkNs k 其中为信号样值， ( )01010S nuuvv为变换系数且1C(u)=21C(v)=2u由此可以看出：由此可以看出：DCT将能量将能量集中于频率平

43、面的左上角集中于频率平面的左上角DCT变换后信号能量主要集中于左上角变换后信号能量主要集中于左上角44二维二维DCT的基图像的基图像N=8时的变换矩阵时的变换矩阵T课后课后14题题b图对应的图像块图对应的图像块A：以下代码产生变换矩阵以下代码产生变换矩阵jihanshujuzhen,并按矩阵运算进行并按矩阵运算进行DCT变变换，最后将变换结果与换，最后将变换结果与Matlab中的二维中的二维DCT变换函数变换函数DCT2（）进（）进行比较行比较1010101010101010),(),(2) 12(cos2) 12(cos),()()(2),( :IDCT),(),(2) 12(cos2) 1

44、2(cos),()()(2, :FDCTNuNvNuNvNiNjNiNjvujiqvuFNvjNuivuFvCuCNjifvujipjifNvjNuijifvCuCNv)F(u在以变换系数在以变换系数F(u,v)作加权的情况下，由正交变换的基作加权的情况下，由正交变换的基图像的组合，可以重新得到原始图像图像的组合，可以重新得到原始图像 基于基于DFT的快速的快速DCT算法算法K-1nkKk=0exp(2 / )KDFTF(n)=s(k)W(0,1,1)N( ),0,1,1,1,21,kWjknKs k kNkN NN令则 个点的可表示为若有一个 点的实数序列定义一与该序列相对应于(2N-1)/

45、2点为偶对称的序列,即s(2N-k-1)=s(k),N-12N-1nknkKKk=0k=N2NKN-1N-1nk-n(i+1)KKk=0i=0n/2Kn/2nkn/2-n(k+1)KKKKK2NDFTs(k)Ws()WW1(K2N),s(k)Ws(i)Wki,W/2,Ws(k)W .W/2s(k)W.i则整个点序列的可表示为F(n)=2N-k-1设2N-k-1,并注意到因为上式变为F(n)=用 代替 并在等式两边同乘得1F(n)=2N-1N-1n/2Kk=0k=0N-1k=0W/2(2k+1)ns(k)cos(3 87)2N (3-75) 为了进一步简化上述关系，注意到，由于上式右端是为了进一

46、步简化上述关系，注意到，由于上式右端是实数，因此左端也应为实数。用实数，因此左端也应为实数。用An和和Bn分别表示分别表示F(n)的实数和虚数部分，则有的实数和虚数部分，则有 令上式的虚部为零则令上式的虚部为零则 将Bn代入(3-88)得到2( )()(cossin) (3 88)22nKnnF n WAnjBnjNN()2nBnAntgN (3-76)(3-76)2( )sec()Re( ) sec()(3 90)22nKnnF n WAnF nNN(3-78)代入代入(3-75)得得N-12k=01(2k+1)n1( )s(k)cosRe( ) sec()22N22nKnF n WF nN

47、结论；一个函数的结论；一个函数的DCT系数可以由该函数对应的偶函数的系数可以由该函数对应的偶函数的DFT系数的实部得到。系数的实部得到。 (3-78) 讨论讨论: (1)先前知识，二维信号的傅氏变换的系数代表它所对先前知识，二维信号的傅氏变换的系数代表它所对应的空间频率分量的复振幅。应的空间频率分量的复振幅。 (3-79)式表明，虽然式表明，虽然DCT系数并不与空间频率分量的复系数并不与空间频率分量的复振幅严格相等，但有一定的对应关系。振幅严格相等，但有一定的对应关系。 特别是特别是n0时的时的DCT系数与系数与DFT的零频分量一样，代的零频分量一样，代表空间域内信号的均值；表空间域内信号的均

48、值； (2)一个函数的一个函数的DCT系数可以通过与该函数对应的偶函系数可以通过与该函数对应的偶函数的数的DFT系数得到。系数得到。 由于偶函数的对称性减小了由于偶函数的对称性减小了DFT中由于周期延拓而产中由于周期延拓而产生的空间域中边缘的不连续性，从而使能量在频率域生的空间域中边缘的不连续性，从而使能量在频率域内更为集中。内更为集中。 因此在数据压缩应用中因此在数据压缩应用中DCT比比DFT具有更好的性能具有更好的性能. 3.4取样频率的转换取样频率的转换 几个概念几个概念 a 抽取抽取(下取样）下取样） 由高取样率的样值去推算低取样率样点上的数值的技术由高取样率的样值去推算低取样率样点上

49、的数值的技术 b 内插（上取样）内插（上取样） 由低取样率的样值去估计在原来较高频率的取样点上的由低取样率的样值去估计在原来较高频率的取样点上的样值，这种技术称为内插。样值，这种技术称为内插。应用：应用：1）通过取样频率的转换，可以使传送数据量增多）通过取样频率的转换，可以使传送数据量增多或减少，实现传送图像高低分辨率的转换。或减少，实现传送图像高低分辨率的转换。2）当需要将数字信号与一些特殊系统的时钟同步时，可）当需要将数字信号与一些特殊系统的时钟同步时，可能需要进行采样率的转换；能需要进行采样率的转换；3）一个数字电话系统，通过该系统传输的既有语音信号，）一个数字电话系统，通过该系统传输的

50、既有语音信号，也有传真（也有传真（FAX）信号，甚至有视频信号，这些信号的）信号，甚至有视频信号，这些信号的频率成分相差甚远。因此，该系统应具有多种抽样频率频率成分相差甚远。因此，该系统应具有多种抽样频率并自动地完成采样率的转换并自动地完成采样率的转换3.4.1下取样下取样(亚取样）亚取样） 取样频率取样频率f1略高于奈氏频率；略高于奈氏频率； 用用f2 f1/n ( f2小于奈氏频率小于奈氏频率 )作为取样频率直接对源信号抽样，作为取样频率直接对源信号抽样，发生频谱混叠情形。发生频谱混叠情形。 取样频率为取样频率为f1/2时发生时发生频谱混叠部分频谱混叠部分 为避免混叠失真，可先用一个低通滤

51、波器将图为避免混叠失真，可先用一个低通滤波器将图(a)所示所示的频谱的基带部分取出，恢复出原来的模拟信号，然后的频谱的基带部分取出，恢复出原来的模拟信号，然后用另一低通滤波器将此模拟信号的频带限制到用另一低通滤波器将此模拟信号的频带限制到f22，再重新取样，便可得到取样频率为再重新取样，便可得到取样频率为f2的样值。的样值。含义：将信号含义：将信号x(n)作作M倍的抽取后得到的倍的抽取后得到的y(n)频谱等于原信号的频谱先做频谱等于原信号的频谱先做M倍的扩展，再在倍的扩展，再在w轴上作轴上作2k的移位，幅度降为原来的的移位，幅度降为原来的1/M后再后再叠加叠加以下以下2页为证明过程页为证明过程

52、利用周期序列的离散傅里叶级数利用周期序列的离散傅里叶级数DFS反变换：反变换：kMnknMjMkknMjkMnnpenpkPekPMnp为一脉冲串数为离散傅里叶级数的系其中)()(1)()()(1)(102102 102102102102102)(1)(1)(1)(11)()()()()()()()(MkMkwjMknMnknMjMknnMkwjMknMnknMjMnnMkknMjnMnmmmmeXMzenxMenxMzenxMzeMnxznxzMmxzmyZYMmxMmxmy3.4.2 3.4.2 上取样上取样 线性内插线性内插 是一种广泛的内插方法，它利用两相邻是一种广泛的内插方法，它利用

53、两相邻样值得加权和内插出二者之间任意位置样值得加权和内插出二者之间任意位置上的数值，每个样值与该值到内插位置上的数值，每个样值与该值到内插位置的距离成反比。的距离成反比。 3.7 3.7 子带编码子带编码 3.7.13.7.1子带编码工作原理子带编码工作原理 在子带编码中，如图在子带编码中，如图3-243-24所示所示. . 首先用一组带通滤波器将输入信号分成若干个在不同频首先用一组带通滤波器将输入信号分成若干个在不同频段上的子带信号段上的子带信号; ; 然后将这些子带信号经过频率搬移转变成基带信号，再然后将这些子带信号经过频率搬移转变成基带信号，再对它们在奈氏频率上分别取样。取样后的信号经过

54、量化、对它们在奈氏频率上分别取样。取样后的信号经过量化、编码，并合成成一个总的码流传送给接收端。编码，并合成成一个总的码流传送给接收端。 在接收端，首先把码流分成与原来的各子带信号相对应在接收端，首先把码流分成与原来的各子带信号相对应的子带码流，然后解码、将频谱搬移至原来的位置，最的子带码流，然后解码、将频谱搬移至原来的位置，最后经带通滤波、相加得到重建的信号。后经带通滤波、相加得到重建的信号。 在子带编码中，若各子带的带宽在子带编码中，若各子带的带宽Wk是相同的，是相同的，则称为则称为等带宽子带编码等带宽子带编码；若；若Wk是互不相同的，是互不相同的，则称为则称为变带宽子带编码变带宽子带编码

55、。 子带编码的压缩数据的原因和优点：子带编码的压缩数据的原因和优点： (1)可以利用人耳可以利用人耳(或人眼或人眼)对不同频率信号的对不同频率信号的感知灵敏度不同的特性，在人的听觉感知灵敏度不同的特性，在人的听觉(或视觉或视觉)不敏感的频段采用较租糙的量化，从而达到数不敏感的频段采用较租糙的量化，从而达到数据压缩的目的；据压缩的目的； (2)各子带的量化噪声都束缚在本子带内，这各子带的量化噪声都束缚在本子带内，这就可以避免能量较小的频带内的信号被其它频就可以避免能量较小的频带内的信号被其它频段中的量化噪声所掩盖。段中的量化噪声所掩盖。 子带编码的关键部件讨论：子带编码的关键部件讨论： 带通滤波

56、器组是子带编码的重要部件，它影响到子带带通滤波器组是子带编码的重要部件，它影响到子带编码的复杂程度和性能。编码的复杂程度和性能。 问题问题1，注意到，如果各子带的下截止频率，注意到，如果各子带的下截止频率f1k恰好是恰好是该子带宽度的整数倍，即该子带宽度的整数倍，即 f1knWk （k1，2，M） （3-92） (其中其中n是一非负整数，是一非负整数，M为子带的个数为子带的个数)，则可以不必，则可以不必将带通信号搬移到基带上，就直接以取样频率将带通信号搬移到基带上，就直接以取样频率fsk2Wk对子带信号取样，而不会产生混叠失真。对子带信号取样，而不会产生混叠失真。 满足上式条件的子带滤波器组称

57、为整数子带滤波器组。满足上式条件的子带滤波器组称为整数子带滤波器组。 以以M4的变带宽子带为例：的变带宽子带为例： 图图3-25给出了第给出了第3个子带的取样过程。图中个子带的取样过程。图中(a)是输入信号是输入信号的频谱；的频谱；(b)是第是第3个子带信号的频谱，其下截止频率个子带信号的频谱，其下截止频率f132W3 ；(c)是以是以fs32W3 的频率对的频率对(b)取样后，所得到取样后，所得到的信号的频谱。的信号的频谱。 采用整数子带滤波器组的优点：采用整数子带滤波器组的优点： 采用整数于带滤波器组省去了进行频谱搬移所需要的调采用整数于带滤波器组省去了进行频谱搬移所需要的调制器和解调器，

58、使系统得以简化。制器和解调器，使系统得以简化。 输入信号的总带宽输入信号的总带宽W ，按下式计算：，按下式计算：1MkkWW 例子：下图给出使用抽取和内插的且例子：下图给出使用抽取和内插的且M2的子带编码的子带编码和解码的原理方框图。和解码的原理方框图。 此时，系统的输入和输出看成是已在奈氏频率下取样的此时，系统的输入和输出看成是已在奈氏频率下取样的离散信号，图离散信号，图(b)给出了它对应的频谱。假设用带通滤给出了它对应的频谱。假设用带通滤波器取出图波器取出图(b)中斜线所示的上子带经中斜线所示的上子带经2：1抽取后的抽取后的上子带的频谱如图上子带的频谱如图(c)所示。在接收端，再用所示。在

59、接收端，再用1：2的内插的内插器，将频谱恢复到原来的位置。器，将频谱恢复到原来的位置。 在采用整数子带滤波器的系统中，总的传输速率在采用整数子带滤波器的系统中，总的传输速率I为为 式中，式中，Rk为第为第K个子带中每个样值量化的比特数。个子带中每个样值量化的比特数。 问题问题2，滤波器的具体实现不可能是理想的带通，其幅，滤波器的具体实现不可能是理想的带通，其幅度响应不可避免地带有有限的滚降。因此在划分子带时，度响应不可避免地带有有限的滚降。因此在划分子带时，有两种情况：有两种情况： a子带间有交叠，如图所示；子带间有交叠，如图所示；112MMskkKkkkIf RW R b：子带之间有一定的间

60、隙，如图：子带之间有一定的间隙，如图 (b)所示。所示。 在在(a)的情况下按奈氏频率取样将会产生混叠失真；的情况下按奈氏频率取样将会产生混叠失真； 在在(b)的情况下，由于原有信号的部分频带经滤波而损的情况下，由于原有信号的部分频带经滤波而损 失掉了重建的信号会有失真，例如以话音为例，重建失掉了重建的信号会有失真，例如以话音为例，重建的语音会产生混响的主观感觉。的语音会产生混响的主观感觉。 解决方法：解决方法： 正交镜像滤波器正交镜像滤波器比较好地解决了混叠失真的问比较好地解决了混叠失真的问题，从而降低了对滤波器滚降特性的要求，简题，从而降低了对滤波器滚降特性的要求，简化了滤波器的复杂性，成