图像去噪及增强

1、图像去噪及增强图像去噪及增强 1 图像处理中所用到的图像往往含有噪声，需要用图像滤波的方法去除噪声。 噪声图像滤除噪声图像 直方图是一个二维坐标系，横轴表示整幅图像上灰度值的变化范围，纵轴 表示每个灰度值的统计个数。 直方图能够反映灰度图像的灰度分布特征。 原始图像 直方图 r s r s 灰度直方图反映图像的灰度分布特征 直方图均衡算法可以有效地提高图像视觉的对比度 直方图均衡算法不增加图像的灰度分辨率 直方图均衡算法可能丢失图像细节 直方图均衡算法用于图像处理流程的显示环节 自动处理/分析过程中不使用直方图均衡算法 原始图像 平滑图像 原始图像平滑图像 线性平滑滤波线性平滑滤波邻域平均邻域

2、平均 邻域平均 每个像素点用它邻域像素的平均值作为平滑结果 33模板： 邻域平均，平滑滤波确实会将噪声点减弱，但是同时也是整个图像的跟为模糊，可视的 细节逐渐减少，而且运算量也非常大。 有关模板与图像的运算涉及到图像卷积，接下来介绍一下图像卷积的原理。 111 111 111 图像卷积图像卷积 图像平滑中，有关模板的运算都用到了图像卷积的 概念。 卷积模板中的各个位置对应的是权重系数，例如： a1a9可以根据具体需要来确定数值。 卷积就是将模板的中心a5对应好所处理的当前像素 点，系数与图像上的灰度值一一对应相乘，得到的 数值作为所处理像素点的新的灰度值。 a1a2a3 a4a5a6 a7a8

3、a9 噪声图像 2 x 2 3 x 3 4 x 4 33 55 单帧8帧迭加16帧迭加 64帧迭加128帧迭加 加权平均加权平均 同一尺寸的模板，不同位置的系数不同； 距离模板中心越近的像素点的权重越大，同理越远 的越小； 为了减少计算量，将模板系数最小值设为1，其他的 按等比数列递增，中心系数最大； 121 242 121 根据高斯分布确定模板系数根据高斯分布确定模板系数 高斯函数： 代表邻域像素点距离中心像素点的距离，可以用欧几里德距离来表示。 可以通过调整 ，来控制平滑效果的程度。 高斯系数跟距离成反比。 22 1 ( )exp(/ 2) 2 f ii i 噪声图像2 x 2 3 x 3

4、4 x 4 非线性滤波非线性滤波 线性滤波平滑噪声的同时，也损坏了非噪声区域的信号；采用非线性滤波可以保留信号的同时，滤除噪声。 非线性滤波的典型方法是：中值滤波。 中值滤波中值滤波 一维中值滤波 模板尺寸为 ， 1 ,.,., jj rj rjj r gmedianffff M21Mr 原始数据 中值滤波 均值滤波 二维中值滤波二维中值滤波 公式： 二维中值滤波更加广泛的应用于图像滤波当中 ( , )( , ) ( , )( , ) median s tN x y gx ymedianf s t 排序取中值 二维中值滤波 中值滤波的步骤 将模板在图中漫游，并将模板中心与图中某个像素位置 重合

5、； 读取模板下各对应像素的灰度值； 将这些灰度值从小到大排成一列； 找出这些值的中间值； 将这个值赋给对应模板中心位置的像素。 噪声图像 中值滤波3x3 平均滤波与中值滤波比平均滤波与中值滤波比 较较 噪声图像 均值滤波中值滤波 均值滤波和中值滤波都采用的是2x2 的模板 红外图像的特点 场景温度动态范围大 局部温度分布较平滑 相邻位置的温度相关 性较高，温差较小， 对比度较差。 有效场景信息集中于 少量灰度级 红外图像细节增强技术已经成为非均匀性校正技术后红外图像细节增强技术已经成为非均匀性校正技术后 提高热成像系统性能的又一研究热点问题提高热成像系统性能的又一研究热点问题 数字细节增强技术

6、（DDE，Digital Detail Enhancement） 研究背景、应用需求及意义 数字细节增强技术（DDE，Digital Detail Enhancement） FLIR B系列 FLIR P系列 FLIR S系列 FLIR M系列 FLIR HM系列 FLIR RANGE系列 红外图像细节增强处理在成像过程中的两个切入点： 对红外系统终端的输出 结果进行增强处理。 优点：优点： 处理速度快，存储空间 小 缺点：缺点： 关键细节信息损失严重 第一类切入点第一类切入点 对探测器前端高精度 A/D信号进行增强处理 优点优点 明显提升图像的细节表 现 缺点：缺点： 数据处理量大，硬件处

7、理平台的要求较高 第二类切入点第二类切入点 传统的空域和频域图像增强处理 空域处理典型方法：高频增强和非锐化掩膜（Unsharp Masking） 低通滤波（LP, LowPass Filtering）；高通滤波（HP, HighPass Filtering） 应用特点及适用图像应用特点及适用图像 高频增强：场景中包含大量的边沿、轮廓和线条信息。 非锐化掩膜：场景包含的细节信息以低对比度、小区域灰度值聚集的形式为主 ),(HP),(),( out yxfyxfyxf ),(LP),(),(),( out yxfyxfyxfyxf 高频增强高频增强 非锐化掩膜非锐化掩膜 传统的空域和频域图像增强

8、处理 频域处理：将图像转换到傅里叶频域，利用高通滤波滤波器实现对高 频成分的增强处理。 传统空域和频域图像增强处理特点：直观、易理解，运行效率高，方便 实现硬件的实时处理。 缺点：图像噪声会被放大，信噪比和视觉感受降低，出现“光晕”现象 传统红外图像细节增强原理及方法传统红外图像细节增强原理及方法 基于图像直方图的增强处理 直方图均衡化（HE, Histogram Equalization） 算法目的：概率密度分布函数（PDF, Probability Density Function）均匀分布，熵值最大化（理论值） 优点缺点 GHE 处理速度快；对PDF较大的灰度级能实现 有效地对比度增强；

9、易实现硬件的实时处 理 部分细节信息（小PDF灰度级）会损失； 结果有明显的“刷白”显示效果； LHE 对不同程度的细节信息都能实现有效地增 强 运算量大，计算复杂，不易硬件化实时处 理 GHEGHE处理结果处理结果 AHEAHE处理结果处理结果 ）局域直方图均衡化（ ）全局直方图均衡化（ ）直方图均衡化（ LHE/AHE GHE HE 传统红外图像细节增强原理及方法传统红外图像细节增强原理及方法 基于图像直方图的增强处理 直方图投影（HP, Histogram Projection） 算法原由：灰度级范围内存在PDF为零的灰度级，灰度级范围内会出现 冗余现象 HP改进算法： 1. 阈值处理：

10、设定PDF阈值，进一步有效提高图像对比度。 2. 非均匀性拉伸：给不同灰度范围指定不同的权重，实现不同程度的灰 度拉伸。 优点：HP处理能充分利用有限的灰度级来实现对比度增强；阈值的加入， 能有效降低处理结果中的噪声影响。 缺点：对细节的增强效果有限；阈值和非线性拉伸难以实现有效的自适 应选取。 原始图像及其直方图HE处理及其直方图HP处理及其直方图 HP处理图像可见光原图像 红外原图像HP处理图像 传统红外图像细节增强原理及方传统红外图像细节增强原理及方 法法 基于图像直方图的增强处理 平台直方图均衡化（PE, Plateau Equalization) 算法原由：HE处理会使高PDF灰度级

11、对低PDF灰度级造成“推挤”效应。 PE可以视作HE与HP的有机组合（高于阈值的部分，按照HP处理；低于阈值的部分，按照 HE处理） 优点：可以有效调节高PDF输出占用较大的灰度级范围，提高低PDF细节的对比度。 缺点：平台阈值无法根据图像特征自适应的选取，合适的阈值要靠人工判读和先验经验来确 定。 原始图像及 其直方图 HE处理及其 直方图 P=100时PE 处理及其直 方图 P=3000时 PE处理及其 直方图 传统红外图像细节增强原理及方法传统红外图像细节增强原理及方法 基于图像直方图的增强处理 对比度受限自适应直方图均衡化（CLAHE, Contrast Limited Adaptiv

12、e Histogram Equalization) 算法原由：HE处理会使高PDF灰度级对低PDF灰度级造成“推挤”效应。 优点：可以在降低高PDF的同时，提高低PDF的数值，从而使高PDF输出灰度级范围受到限 制，低PDF输出灰度级范围得到增加，最终实现对比度增强。 缺点：平台阈值无法根据图像特征自适应的选取，合适的阈值要靠人工判读和先验经验来确 定。 红外原图像HE处理图像CLAHE处理图像 传统红外图像细节增强原理及方传统红外图像细节增强原理及方 法法 基于图像直方图的增强处理 局域交叠子块直方图均衡化（POSHE，Partially Overlapped Sub- block Hist

13、ogram Equalization） 算法原由：在算法复杂度（GHE）和处理效果（AHE）之间实现折中的选择。 特点：图像分割成有限子块，对每个子块都进行HE处理，并通过添加权重来减小边界 分割效应 原始图像HE处理图像AHE处理图像POSHE处理图像原始图像HE处理图像AHE处理图像POSHE处理图像 可见光原图像POSHE处理图像 ab cd m n N M nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 012.n-4n-3n

14、-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 2n m nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n

15、-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 nnnnnnnn n-1n-1n-1n-1n-1n-1n-1n-1 . 22222222 11111111 nnnnnnnn n-1n-1n-1n-1n-1n-1n-1n-1 22222222 11111111 2m n 00000000 11111111 n-2n-2n-2n-2n-2n-2n-2n-2 n-1n-1n-1n-1n-1n-1n-1n-1 00000000 11111111 n-2n-2n-2n-2n-2n-2n-2n-2 n-1n-1n-1n-1n-1n-1n-1n-1 . . . . . . . .

16、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 新型图像对比度和细节增强方新型图像对比度和细节增强方 法法 Retinex图像增强方法 算法原由：模拟人眼对信息的获取过程，将图像模型化为光 照分布和场景反射两个过程。图像的大动态背景信息通常位 于光照分布中，而细节信息则位于场景反射中。 图像方程：

17、处理方程： 优点：处理结果包含的细节信息丰富，运算量较小。 缺点：空间的光照分布决定细节的表现程度，准确估计空间 光照有难度。 ),(),(),(yxryxoyxg ),(log),(log),(logyxryxoyxg 红外原图像Retinex增强处理图像 新型图像对比度和细节增强方新型图像对比度和细节增强方 法法 基于小波的图像增强方法 算法原由：傅里叶变换是一种整体信息的变换，因此无法针 对特殊的独立目标进行进行独立的增强处理。 特点：能够对所关心区域的图像细节进行增强，且对细节信 息的挖掘程度完全由小波的分解程度决定。可以对不同区域、 不同目标实现有针对性且有效地增强处理。 红外原图像

18、HE处理图像 UM处理图像小波处理图像 新型图像对比度和细节增强方法新型图像对比度和细节增强方法 红外图像的彩色化处理 算法原由：人眼对灰度的敏感度远不及对彩色的敏感度。 伪彩色处理 缺点：不利于长时间观察，人眼对场景的正常理解和感知存在较大的差异。 彩色融合 特点：在红外场景信息的基础上，添加进微光场景信息，从而增加融合图像的信息量并以彩色的方式 显示出来。 基于自然场景的图像彩色化处理 特点：经过处理的图像场景与人眼对正常真实场景的感知具有相似性。 微光图像 红外图像融合图像 热图像可见光图像自然感彩色融合图像 (c) AGC (a) 原始HDR红外图像 (d) 新型算法的处理效果 (b)

19、 HE处理图像 典型红外场景细节典型红外场景细节 增强处理增强处理 大动态红外场景细节大动态红外场景细节 增强处理增强处理 红外图像细节增强技术发展趋红外图像细节增强技术发展趋 势势 提高探测器空间分辨率和AD的量化精度 增强算法的通用性研究 细节评价客观标准的建立 1 2 3 8bit图像处理效果 4 2 3 1 14bit图像压缩及细节增强处理效果 图像超分辨率是指由一幅低分辨率图像或图像序列恢 复出高分辨率图像 图像超分辨率技术分为超分辨率复原和超分辨率重建 单帧图像超分辨 基于插值的方法 基于重建的方法 基于先验的方法 基于正则化的方法 基于学习的方法 Belief Propagati

20、on的方法 流形学习 稀疏编码 多帧图像超分辨 Satellite imaging 应应 用用 Aerial Imaging 应应 用用 8 images*, ratio 1:4 Data Transmission 应应 用用 Plate Reading 应应 用用 Surveillance cameras 应应 用用 应应 用用 Super-Resolution Vision System (SRVS) 大气扰动效应是影响近地成像系统分辨率大气扰动效应是影响近地成像系统分辨率 的关键因素的关键因素 利用由扰动产生的微引力透镜现象，可以利用由扰动产生的微引力透镜现象，可以 捕获高分辨率的图像信

21、息捕获高分辨率的图像信息 图像中鲜有高分辨率区域，但是在所有帧图像中鲜有高分辨率区域，但是在所有帧 中总有一些高分辨区域中总有一些高分辨区域 应应 用用 平均100帧短曝光时间的图像 利用100帧中的高分辨区域的超分辨图像 图像变形图像变形 Image filtering: change range of image g(x) = h(f(x) f x h g x f x h g x Image warping: change domain of image g(x) = h(f(x) Image filtering: change range of image g(x) = h(f(x) h

22、 h Image warping: change domain of image g(x) = h(f(x) fg f g 图像变形图像变形 参数参数( (全局全局) )变形变形 Examples of image warps: translationrotation aspect affineperspective cylindrical 图像变形图像变形 Transformation T is a coordinate- changing machine: p = T(p) What does it mean that T is global? Is the same for any po

23、int p can be described by just a few numbers (parameters) Represent T as a matrix: p = W*p T p = (x,y) p = (x,y) 图像变形图像变形 Scaling a coordinate means multiplying each of its components by a scalar Uniform scaling means this scalar is the same for all components: 2 图像比例变化图像比例变化 Non-uniform scaling: di

24、fferent scalars per component: X 2, Y 0.5 图像比例变化图像比例变化 Scaling operation: Or, in matrix form: scaling matrix S 图像比例变化图像比例变化 This is easy to capture in matrix form: Even though sin(q) and cos(q) are nonlinear to q, x is a linear combination of x and y y is a linear combination of x and y R 图像旋转图像旋转 W

25、hat types of transformations can be represented with a 2x2 matrix? 2D Identity? 2D Scale around (0,0)? ysy xsx y x * * y x s s y x y x 0 0 图像变换的矩阵表示图像变换的矩阵表示 What types of transformations can be represented with a 2x2 matrix? 2D Rotate around (0,0)? 2D Shear? 图像变换的矩阵表示图像变换的矩阵表示 What types of transfo

26、rmations can be represented with a 2x2 matrix? 2D Mirror about Y axis? 2D Mirror over (0,0)? yy xx 图像变换的矩阵表示图像变换的矩阵表示 Linear transformations are combinations of Scale, Rotation, Shear, and Mirror Properties of linear transformations: Origin maps to origin Lines map to lines Parallel lines remain par

27、allel Ratios are preserved 图像线性变换图像线性变换 Example of translation tx = 2 ty = 1 Homogeneous Coordinates 图像变换的矩阵表示图像变换的矩阵表示 Affine transformations are combinations of Linear transformations, and Translations Properties of affine transformations: Origin does not necessarily map to origin Lines map to lin

28、es Parallel lines remain parallel Ratios are preserved 图像变换的矩阵表示图像变换的矩阵表示 Projective transformations Affine transformations, and Projective warps Properties of projective transformations: Origin does not necessarily map to origin Lines map to lines Parallel lines do not necessarily remain parallel R

29、atios are not preserved 图像变换的矩阵表示图像变换的矩阵表示 Simple mappings: - Similarity - Affine mapping - Projective mapping More complex mappings: - Linear and nonlinear mapping - Parametric and non-parametric mapping 图像变形的类型图像变形的类型 A combination of 2-D scale, rotation, and translation transformations. Allows a

30、square to be transformed into any rotated rectangle. Angle between lines is preserved 5 degrees of freedom (sx,sy,tx,ty) Inverse is of same form (is also similarity). Given by inverse of 3X3 matrix above Have the form:In matrix notation: 图像相似性变换图像相似性变换 A combination of 2-D scale, rotation, shear, an

31、d translation transformations. Allows a square to be distorted into any parallelogram. 6 degrees of freedom (a,b,c,d,e,f) Inverse is of same form (is also affine). Given by inverse of 3X3 matrix above Good when controlling a warp with triangles, since 3 points in 2D determined the 6 degrees of freed

32、om Have the form:In matrix notation: 图像仿射变换图像仿射变换 Linear numerator v = g(x,y) copy pixel at source S(x,y) to T(u,v) Forward warping algorithm: (Optional Exercise) - How can we speed up the forward warping? 图像变形图像变形 Decompose 2D transform into two 1D transforms u = f(x,y) v = g(x,y) u = f(x,y) y = y

33、u = u v = g(x,y) 1 2 u y u v x y 可分变换可分变换 Catmull-Smith Algorithm First pass - map S(x,y) to an intermediate image I(u,y) Second pass - map the I(u,y) to the final image T(u,v) I(u,y) = S(f(x,y),y) T(u,v) = I(u,g(Hu(y),y) Where Hu(y) is the solution to u = f(x,y) for x Two Pass Perspective f g f(x,y

34、) g(x,y) T(u,v) I(u,y)S(x,y) u y u v x y u v x y - Works cleanly for affine and projective warps -1D filtering and resampling f g f(x,y) g(x,y) T(u,v) I(u,y)S(x,y) u y Two Pass Perspective Forward Warping x y u v S(x,y)T(u,v) for y = ymin to ymax for x = xmin to xmax u = f(x,y); v = g(x,y) copy pixe

35、l at source S(x,y) to T(u,v) - How can we speed up the forward warping? - Any problems for forward warping? Forward warping algorithm: x y u v S(x,y) T(u,v) Q: What if the transformed pixel located between pixels? A: Distribute color among neighboring pixels - known as “splatting” Forward Warping It

36、erate over source, sending pixels to destination Some source pixel map to multiple dest. pixels Some dest. pixels may have no corresponding source Holes in reconstruction! for y = ymin to ymax for x = xmin to xmax u = f(x,y); v = g(x,y) copy pixel at source S(x,y) to T(u,v) x y u v Forward Warping I

37、terate over source, sending pixels to destination Some source pixel map to multiple dest. pixels Some dest. pixels may have no corresponding source Holes in reconstruction! x y u v for y = ymin to ymax for x = xmin to xmax u = f(x,y); v = g(x,y) copy pixel at source S(x,y) to T(u,v) - How to remove

38、the holes? Forward Warping x y u v S(x,y)T(u,v) for v = vmin to vmax for u = umin to umax x = F(u,v); y = G(u,v) copy pixel at source S(x,y) to T(u,v) Inverse warping algorithm: Inverse Warping x y u v S(x,y)T(u,v) Q: What if pixel comes from “between” two pixels? A: Interpolate color values from ne

39、ighboring pixels Inverse Warping Specify a more detailed warp function Splines, meshes, optical flow (per-pixel motion) 非参数图像变形 How do we align two images automatically? Two broad approaches: Feature-based alignment Find a few matching features in both images compute alignment Direct (pixel-based) a

40、lignment Search for alignment where most pixels agree 图像配准 ) 1( tI ),( i ptI 1 p 2 p 3 p 4 p 1 v 2 v 3 v 4 v i v Optical flow is the relation of the motion field the 2D projection of the physical movement of points relative to the observer to 2D displacement of pixel patches on the image plane. 图像配准

41、 Motion estimation: Optical flow Will start by estimating motion of each pixel separately Then will consider motion of entire image 图像配准 Problem definition: optical flow How to estimate pixel motion from image H to image I? Solve pixel correspondence problem given a pixel in H, look for nearby pixel

42、s of the same color in I Key assumptions color constancy: a point in H looks the same in I For grayscale images, this is brightness constancy small motion: points do not move very far This is called the optical flow problem Optical flow constraints (grayscale images) Lets look at these constraints m

43、ore closely brightness constancy: Q: whats the equation? small motion: (u and v are less than 1 pixel) suppose we take the Taylor series expansion of I: H(x,y)=I(x+u, y+v) Optical flow equation Combining these two equations In the limit as u and v go to zero, this becomes exact Q: how many unknowns

44、and equations per pixel? 2 unknowns, one equation Optical flow equation 点扩散函数点扩散函数 Use camera manufacture information which is usually hard to get. Analysis a picture of a known object Blind estimation of the point spread function from the images . . 99 模糊模型模糊模型 Noise in the Imaging Model The noise

45、in the imaging model of the reconstruction-based super-resolution algorithms is usually considered to be an additive i.i.d Gaussian noise 噪声模型噪声模型 YIQ (luminance and chrominance) Bayer Pattern 101 彩色模型彩色模型 增加芯片的大小 所需代价昂贵 电容的增加 大的电容导致电荷转换速率降低 减小像素大小 降低CCD或者CMOS单元（像素）可接受的光 或者能量 造成散弹噪声 图像质量降低 因此，像素的大小存

46、在下界。目前的技术几乎达到了该下界 102 硬件改进手段硬件改进手段 超分辨方法超分辨方法 重构基的超分辨重构基的超分辨 基于插值的方法（matlab: imresize） 最近邻插值 用最近邻点的灰度值代替 双线性插值 用二维度的相邻点的线性插值代替 双立方插值 用相邻已知点的B-Spline插值实现，可以简化为卷积运算 基于回归的插值 基于自适应2-d回归模型 （IEEE TIP） （目前最好的基于差值的图像超分辨率算法） 算法程序下载地址：算法程序下载地址：http:/www.ece.mcmaster.ca/xwu/http:/www.ece.mcmaster.ca/xwu/ 结果比较

47、双立方插值回归模型Ground-truth Registrations, lighting and blur. High-resolution image, x. y1y2y3y4 Low-resolution images A4A3A2A1 重构基的超分辨重构基的超分辨 重构基的超分辨重构基的超分辨 重构基的超分辨重构基的超分辨 Registrations, lighting and blur. High-resolution image, X. y1y2y3y4 Low-resolution images A4A3A2A1 重构基的超分辨重构基的超分辨 重构基的超分辨重构基的超分辨 Def

48、inition of A: Different steps of Reconstruction-based Super- Resolution Algorithms: Warping Registration to some Reference Image Bluring De-Bluring Down-Sampling Up-Sampling 重构基的超分辨重构基的超分辨 基于重建的方法 基本假设: 高/低分辨率图像之间的关系 h I l I )*( hl IGI ：高分辨率图像 ：低分辨率图像 G：高斯核函数 ：下采样算子 )(|)*(|)( 2hhlh IRIGIIE 正则化模型： )(

49、minarg h I h IEI h 高分辨率图像的正 则化约束 通过梯度下降法或共轭梯度法进行优化通过梯度下降法或共轭梯度法进行优化 基于重建的方法 正则化项：基于图像边缘的光滑性或者统计性特征 Edge statistics Fattal, Siggraph 2007 )(IVx：描述沿着图像边缘相邻像素点之间的颜色差相对于其所满足的 高斯统计分布的似然值 光滑测度： 由自然图像学习所满足 的高斯分布 正则化项： 项目网址：项目网址： http:/www.cs.huji.ac.il/raananf/projects/upsampling/resulthttp:/www.cs.huji.ac

50、.il/raananf/projects/upsampling/result s.htmls.html Gradient profile prior Sun et.al., CVPR 2008 图像重建约束 图像边缘 梯度轮廓的参数化表达： 低分辨率梯度场高分辨率梯度场 高低分辨率梯度轮廓参数关系 正则化约束项： 结果比较 Edge statisticsGradient profile prior 基于学习的方法 基本想法：基本想法：给定观测到的低分辨率图像块，通过匹配低 分辨率图像块，在训练集合中找到最匹配的高/低图 像块组，应用其相应的高分辨图像块得到高分辨率图 像。 训练集：由高低分辨率

51、图像块组成的集合。实际应用中，低分辨率图像 块需要正规化，高分辨率图像块为middle frequency信息。 训练集 匹配 推理 ？ Markov network方法Freeman, IJCV, 2000 训练集 输入低分辨率图像 候选高分辨率图像块集 i y j y i y j y y为随机变量，对应于已知一低分辨率图像块；x为 所求随机变量，可取候选高分辨率图像块集中任意 一图像块 Markov随机网联合概率： 测度相邻高分辨率图像块重合部分颜色相似性 测度观测低分辨率图像块与所选高分辨率图 像块相应低分辨率图像块的相似性 (Belief Propagation): http:/peo

52、/pff/bp/ (Graph Cut): http:/www.cs.ucl.ac.uk/staff/V.Kolmogorov/software.html 稀疏表达方法Yang et al., IEEE TIP, 2010 训练集 : , hl DD训练集，即低/高分辨率基元集合 低分辨率集上的稀疏表达： 则高分辨率图像块为： h D , hl DD学习方法： 挑战？纹理超分辨率纹理超分辨率 边缘与纹理分别超分辨率边缘与纹理分别超分辨率Tai et al., CVPR 2010Tai et al., CVPR 2010 基本思想：采用梯度轮廓先验方法实现边

53、缘的超分辨率基本思想：采用梯度轮廓先验方法实现边缘的超分辨率 + + 采用基于例子的方法采用基于例子的方法 实现纹理的超分辨率（人工给定例子纹理）实现纹理的超分辨率（人工给定例子纹理） 基于纹理内容搜索的超分辨率基于纹理内容搜索的超分辨率Sun et al. CVPR 2010; Fattal, ICCP, Sun et al. CVPR 2010; Fattal, ICCP, 2010 20102010 2010 能量模型：能量模型： 多帧图像超分辨多帧图像超分辨 输入是低分辨率图像序列 LR帧之间存在移位帧之间存在移位 有公共区域 superresolution algorithm LR

54、frames high resolution image 多帧图像超分辨多帧图像超分辨 time time time Super-resolution in space and in time. time High-resolution output sequence: time Low-resolution input sequences 空间超分辨空间超分辨 Multiple low-resolution input images: High-resolution output image: Recover small details 什么是时间超分辨？什么是时间超分辨？ Recover dynamic events that are “faster” than frame-rate (Generate a “high-speed” camera) Application areas: sports events, scientific imaging, etc. Effects of “fast” events imaged by “slow cameras”: (1) Motion aliasing (