图像变换编码

1、数字图像处理DIGITAL IMAGE PROCESSING郑州轻工业学院计算机与通信工程学院主讲人：蒋斌第3单元图像编码u 第8章 图像编码基础u 第9章 图像变换编码u 第10章其他图像编码方法 图像处理的目的除了改善图像的视觉效果外，还希望在保证一定视觉质量的前提下减少数据量，从而减少图像传输所需的时间。第9章授课大纲 9.1 可分离和正交图像变换 9.2 离散余弦变换 9.3 正交变换编码 9.4 小波变换 9.5 小波变换编码1-D可分离变换正变换反变换 1 , , 1 , 0),()()(10NuuxhxfuTNx正向变换核1 , , 1 , 0),()()(10NxuxkuTxf

2、Nu反向变换核9.1 可分离和正交图像变换2-D可分离变换（傅里叶变换是一个例子） 1010),(),( ),(NxNyvuyxhyxfvuT 1010),(),( ),(NuNvvuyxkvuTyxf反向变换核正向变换核变换核与原始函数及变换后函数无关9.1 可分离和正交图像变换可分离1个2-D变换分成2个1-D变换对称 (h1与h2的函数形式一样),(),(),(21vyhuxhvuyxh),(),(),(11vyhuxhvuyxh102),(),(),(NyvyhyxfvxT101),(),(),(NxuxhvxTvuT9.1 可分离和正交图像变换可分离且对称 AFAT BAFABBTB

3、 图像矩阵对称变换矩阵反变换矩阵变换结果BTBF BAFABF 1 AB1 AB反变换反变换9.1 可分离和正交图像变换正交考虑变换矩阵： 酉矩阵（*代表共轭 ）：如果A为实矩阵，且： 则A为正交矩阵，此时变换为正交变换对 BTBF 1 AB*1AAT1AA9.1 可分离和正交图像变换一种可分离、正交、对称的变换见教材见教材350页页JPEG编码编码1-D离散余弦变换（DCT）1 , , 2 , 1201)(NuNuNua当当1 , , 1 , 02) 12( cos)()()(10NuNuxxfuauCNx1 , , 1 , 02) 12( cos)()()(10NxNuxuCuaxfNu9

4、.2 离散余弦变换2-D离散余弦变换（DCT） 10102) 12( cos 2) 12( cos),()()( ),(NuNvNvyNuxvuCvauayxf 10102) 12( cos 2) 12( cos),( )()(),(NxNyNvyNuxyxfvauavuC9.2 离散余弦变换2-D离散余弦变换示例9.2 离散余弦变换9.3 正交变换编码 9.3.1 正交变换编码系统 9.3.2 子图像尺寸选择 9.3.3 变换选择 9.3.4 比特分配9.3.1 正交变换编码系统o 图像分解：减少变换的计算复杂度o 图像变换：解除每个子图像内部像素之间的相关性，或者说将尽可能多的信息集中到尽

5、可能少的变换系数上压缩不是在变换中而是在量化变换系数时取得的9.3.2 子图像尺寸选择o 影响变换编码误差和计算复杂度（压缩量和计算复杂度都随子图像尺寸的增加而增加）o 两个条件/考虑：n 相邻子图像之间的相关（冗余）减少到某个可接受的水平；n 子图像的长和宽都是2的整数次幂o 最常用的子图像尺寸： 88和16169.3.4 比特分配o 比特分配：对变换子图像的系数截断、量化和编码的全过程o 截断误差n 截除的变换系数的数量和相对重要性n 用来表示所保留系数的精度（量化）o 保留系数的2个准则n 最大方差准则，称为分区编码n 最大幅度准则，称为阈值编码9.3.4 比特分配1. 分区编码 具有最

6、大方差的变换系数带有最多的图像信息。事先确定模板并保留一定的系数，即分区9.3.4 比特分配2. 阈值编码根据子图像特性，自适应选择保留系数将系数排队，与阈值比较确定取舍（游程/变长码）9.3.4 比特分配2. 阈值编码 随子图像不同而保留不同位置的变换系数常用三种对变换子图像取阈值（即产生式(9.3.3)所示模板函数）的方法： (1) 对所有子图像用一个全局阈值，压缩的程度随（不同）子图像而异 (2) 对各个子图像分别用不同的阈值，舍去同数量系数，码率是个常数9.3.4 比特分配2. 阈值编码 (3) 根据子图像中系数的位置选取阈值，将取阈值和量化结合起来9.4 小波变换 9.4.1 小波变

7、换基础 9.4.2 1-D小波变换 9.4.3 快速小波变换 9.4.4 2-D小波变换9.4.1 小波变换基础9.4.1 小波变换基础1. 序列展开 基：展开函数的集合 uk (x ) 函数空间：由所有函数 f (x ) 构成双正交基：（几何矢量解释，例9.4.1）例：双正交基 u1 = 2 0T， u2 = 1 1T对偶基为u1 = 1/2 1/2T， u2 = 0 1T数学概念o 内积o 对偶 对任意对象对任意对象A和和B，若存在一个函数，若存在一个函数f, 使得使得 f(A) = B 并且并且 f(B) = A，那么就称，那么就称A为为f下下B的对偶，的对偶，B为为f下下A的对偶的对偶

8、, 并称并称f为为A和和B的对偶函数或对偶运算的对偶函数或对偶运算 数学概念o 正交n 在线性代数中，若内积空间中两向量的内积为0，则它们正交n 一个内积空间的正交基是元素两两正交的基。称基中的元素为基向量。假若，一个正交基的基向量的模长都是单位长度1，则称这正交基为标准正交基或规范正交基n 在矩阵论中，矩阵Q的转置矩阵QT为其逆矩阵Q-1，则Q为正交矩阵QT = Q-1给定一个向量空间V, V的一组基是指可线性生成V的一个线性无关的子集，基的元素称为基向量9.4.1 小波变换基础2.缩放函数 用展开函数作为缩放函数，并对其进行平移和2进制缩放k 确定了uj,k (x ) 沿X-轴的位置， j

9、确定了uj,k(x ) 沿X-轴的宽度（所以u (x ) 也称为尺度函数），系数2 j/2控制uj,k(x ) 的幅度给定一个初始 j（下面常取为0），就可确定一个缩放函数空间Uj， Uj 的尺寸随 j 的增减而增减9.4.1 小波变换基础2. 缩放函数 各个缩放函数空间Uj， j = , , 0, 1, , 是嵌套的，即Uj Uj+1，Uj 中的展开函数可以表示成Uj+1中展开函数的加权和用hu (k )表示缩放函数系数，因为u (x ) = u0,0 (x )多分辨率细化方程 任何一个子空间的展开函数都可用其下一个分辨率（1/2分辨率）的子空间的展开函数来构建9.4.1 小波变换基础3.

10、小波函数 用v (x )表示小波函数 与vj,k (x )对应的空间为Vj空间Uj，Uj+1 和Vj 有如下关系（ 表示空间的并）在Uj+1 中， Uj 的补是Vj9.4.1 小波变换基础3. 小波函数 每一个Vj 空间是与其同一级的Uj 空间和上一级的Uj+1 空间的差 如果考虑把 j 取到趋近，则有可能仅用小波函数，而完全不用缩放函数来表达所有的f (x ) Uj 中所有uj,k (x) 与Vj 中所有vj,k (x) 是正交的9.4.1 小波变换基础4. 缩放函数和小波函数示例9.4.1 小波变换基础4.缩放函数和小波函数示例随着 j 的增加，缩放函数变窄变高图9.4.4：仅用 j =0

11、的缩放函数不够，还需要 j =1的缩放函数f (x )是属于U1 的，而不是属于U0 的9.4.1 小波变换基础4. 缩放函数和小波函数示例 哈尔小波函数9.4.2 1-D小波变换 见教材例9.4.3，212页9.4.2 1-D小波变换9.4.3 快速小波变换o 在尺度 j 上的系数Wu ( j, k )和Wv ( j, k )都可用在尺度 j+1的近似系数Wu ( j+1, k )分别与缩放矢量hu 和小波矢量hv 卷积再进行亚抽样得到9.4.4 2-D小波变换1. 2-D变换函数 需要1个2-D缩放函数u(x, y)和3个2-D小波函数vH (x, y )， vV (x, y )， vD

12、(x, y )，每一个都是1-D缩放函数和对应的小波函数的乘积可分离的缩放函数水平边缘垂直边缘沿对角线的变化9.4.4 2-D小波变换9.5 小波变换编码o 在JPEG-2000及MPEG-4和H.264中都得到了应用 9.5.1 小波变换编解码系统 9.5.2 基于提升小波的编码9.5.1 小波变换编解码系统o 小波变换编码也是一种变换编码方式o 与采用正交变换（如DCT）的编解码系统不同，小波变换编解码系统中没有图像分块的模块o 小波变换的计算效率很高，且本质上具有局部性o 小波变换编码不会产生使用DCT变换在高压缩比时出现的块效应9.5.1 小波变换编解码系统o 小波变换编码需考虑的几个

13、因素1. 小波选择 如：哈尔小波、双正交小波2. 分解层数选择 影响小波编码计算的复杂度和重建误差3. 量化设计 对小波编码压缩和重建误差影响最大需在不同尺度间调整量化间隔 例： P.3279.5.2 基于提升小波的编码o 可以在当前位置实现整数到整数的变换，运算速度快且节约内存。它包括三个步骤：1. 分裂（split）将图像数据分解成偶数部分和奇数部分9.5.2 基于提升小波的编码2. 预测（predict） 保持偶数部分不变并用偶数部分来预测奇数 部分，然后用奇数 部分与预测值的差 （称为细节系数） 替代奇数部分9.5.2 基于提升小波的编码3. 更新（update）构造一个作用于细节函数

14、的算子U，并叠加到偶数部分上以获得近似图像，这里要保持原始图像的一些特性9.5.2 基于提升小波的编码o 重建过程三个运算：（M 合并）实验课复习 傅里叶变换p 2-D傅里叶变换 p 傅里叶变换定理 p 快速傅里叶变换1-D正变换对1个连续函数 f (x ) 等间隔采样20( )f x13101525450575685790 x10/j2exp)(1)()(NxNuxxfNuFxfF2-D傅里叶变换 1-D反变换 变换表达频谱（幅度）相位角101/j2exp)()()(NuNuxuFxfuFF)( j exp )( )(j)()(uuFuIuRuF21 22)()( )( uIuRuF)()(

15、arctan)( uRuIu 2-D傅里叶变换 2-D傅里叶变换 变换对公式频谱（幅度）相位角功率谱 1010/ )(j2exp),( 1),(NuNvNvyuxvuFNyxf21 22 ),(),( ),( vuIvuRvuF),(),(arctan),(vuRvuIvu 1010/ )(j2exp),( 1),(NxNyNvyuxyxfNvuF),(),( ),( ),(222 vuIvuRvuFvuP112001,NNxyfxyfxyN 1010,10,0NxNyyxfNF1,0, 0fx yFN图像平均灰度： ，傅立叶变换域中原点的频谱分量： F(0,0)与图像均值的关系 2-D图像傅

16、里叶变换图示2-D傅立叶变换分离性质 1次2-D 2次1-D (0,0)XV(0,0)XY(0,0)UV列变换乘以行变换f (x, y)F(x, v)F(u, v)N(N 1)(N 1)-(N 1)-(N 1)-(N 1)-(N 1)-10/xj2exp),(1),(NxNuvxFNvuF10/j2exp),(1),(NyNvyyxfNNvxF傅里叶变换定理 1、平移定理 ),(/ )(j2exp),(dvcuFNdycxyxf傅里叶变换定理 )( ),(/ )()(j2exp),( 1/ )(j2exp/ )(j2exp),( 1/ )(j2exp),(10101010dvcuFNydvxc

17、uyxfNNvyuxNdycxyxfNNdycxyxfNxNyNxNy F),(),(vuFyxf 傅里叶变换以变换域的原点(0,0)为中心，由傅里叶变换的周期性和共轭对称性可知，变换域中的能量对称于原点集中分布。为了在 内得到一个完整的频谱，需要将频谱的原点移至（N/2,N/2）处。 1, 0Nv 1, 0Nu2D傅里叶变换的频谱平移 利用平移性质，当 200NuyxyxjeNyvxuj12exp002,21,NvNuFyxfyx),()(2exp),(0000vvuuFNyvxujyxf2D傅里叶变换的频谱平移f(x,y)F(u,v)F(u-N/2,v-N/2)通过简单的变换域平移 将F(

18、u,v) 的原点移动到变换域方阵的中心，使低频能量集中在变换域的中心部分。 2D傅里叶变换的频谱平移2,21,NvNuFyxfyx2. 旋转性 借助极坐标变换： 将其带入到傅里叶变换式中可以得到 将f(x,y)旋转对应于F(u,v)也旋转，反之亦然sincossincosvuryrx),(),(00Frf傅里叶变换定理 ),(),(vuaFyxafbvauFabbyaxf,1),(傅里叶变换定理 4、剪切定理（水平方向）纯剪切 （垂直方向）纯剪切 byxxyy ),(),(buvuFybyxfxx ydxy ),(),(vduuFydxxf傅里叶变换定理 5、组合剪切定理平移旋转尺度 水平剪切及垂直剪切 垂直剪切 bdvbubddvuFbdydxbyxf1,111),(xx11db101b101d傅里叶变换定理 6、仿射定理bdaeedba傅里叶变换定理 7、卷积定理 2-D ),(),(),(),(vuGvuFyxgyxf),(),(),(),(vuGvuFyxgyxf)()()()(uGuFxgxf)()()()(uGuFxgxf -dd),(),( ),(),(qpqypxgqpfyxgyxf傅里叶变换定理 8、相关定理互相关：f (x) g(x) 自相关：f (x)