结构化人脸超分专题讲座PPT

1、1-制作 -2014.2.25 structured face hallucination结构化的人脸超分cvpr（ieee国际计算机视觉与模式识别会议），2013.2结构化的人脸超分引言相关工作本文算法算法效果3 引言 相关工作本文算法算法效果人脸超分： 由低分辨率图像（low-resolution images, lr）复原出高分辨率图像（high-resolution images, hr）的技术。图像超分辨率重建 vs 图像复原、图像插值 1. 图像复原是在不改变图像尺寸的情况下恢复一幅图像。1. 图像插值可以提高图像分辨率，但只是可以增加图像的像素尺寸，改变图像的视觉效 果，不能突破

2、原有的信息量。3. 图像超分辨率重建能使放大后图像仍能保持原始输入图像的细节部分，它涵盖了图像 复原技术和图像插值。lrhr超分辨率重建超分辨率重建 降采样降采样4 引言 相关工作本文算法算法效果(a) 低分辨率图像(b) bicubic 插值(c) 随机样本 (d) 自适应样本 (e) 全体样本 (f) 原始高分辨率图像(a) (b) (c) (d) (e) (f)图1 不同样本选择方法的 sr重建效果比较：5 引言 相关工作本文算法算法效果 why放大图像空间尺寸，图像会出现锯齿锯齿现象，尤其是原始输入图像中的细节信息，很容易出现过模糊过模糊现象。高分辨率图像能提供丰富的细节信息细节信息，

3、对客观场景的描述更准确细致。通常在视频监控等情况下获取的人脸图像分辨率较低，不能直接使用。超分辨率技术可以在高分辨率下高质量显示图像高质量显示图像。人脸图像超分辨率重建是图像超分辨率技术在人脸上的应用。它还可以应用在很多领域，除了人脸识别，还有人脸视频图像传输、人脸图像恢复、人脸图像表情分析等。6 引言 相关工作本文算法算法效果1. 基于重建的方法： 采用“重建约束”，即高分辨率图像经过变形和下采样，生成低分辨率的输入图像，来复原出高分辨率图像。2. 基于学习的方法： 通过学习低分辨率图像与高分辨率图像之间的关系，获得高分辨率图像的先验知识，同时结合重建约束来指导对图像的超分辨率。参见：参见：

4、图像超分辨率算法综述 江静，张雪松，红外技术，2012-01.7 引言 相关工作本文算法算法效果1 hallucination faces (s.barker ,t.kanade,2000) 通过利用以金字塔形式组织的正面人脸图像的梯度分布先验，在最大后验最大后验概率概率的框架下完成超分辨率重建。由于重建过程是逐像素逐像素进行的，因此容易缺失一些人脸的全局性约束，如对称性和亮度的一致性等。他们在定义hr图像的先验分布时，使用的是从训练人脸库中搜索出的最相似像素的水平和竖直梯度，这使得hr图像的先验项是与输入的lr图像相关的，即基于识别的梯度先验。9 face hallucination:the

5、ory and practice (c.liu ,h.-y.shum.etc,2007) liu 等人提出了人脸超分辨率的两步法两步法：首先,在特征脸子空间中，用一个全局参数模型根据低分辨率输入图像估计估计出高分辨率人脸图像；然后，用一个局部非参数马尔科夫网络模型来补偿补偿第一步中重建的高分辨率图像与原始高分辨率图像间的残差。但是第一步中的全局参数模型需要已知降晰函数，而且第二步中的马尔科夫网络也需要复杂的计算。8结构化的人脸超分摘要摘要 本文提出一种基于局部图像结构的人脸超分方法。每幅人脸图像可由面部器官（facial components）、轮廓（contours）、平滑区（smooth

6、regions）三部分表示。1. 面部器官：进行图像配准，产生准确的样本，变换高 频细节用来保存结构上的一致性。2. 轮廓： 在高分辨率图像（hr）中学习统计先验， 产生显著的结构。3. 平滑区： 块匹配方法。9 引言 相关工作本文算法算法效果本文算法的主要步骤本文算法的主要步骤10 引言 相关工作本文算法算法效果本文算法的大致描述本文算法的大致描述11 引言 相关工作本文算法算法效果lihigitsuii)( . .minarg2（1）本文算法本文算法：梯度算子：卷积：宽的高斯核宽的高斯核：下采样g：使目标函数取最小值时的变量值minargnote：关键问题：求关键问题：求becuuu,eu

7、cubuu整 合12即所谓的径向基函数径向基函数 (radial basis function， 简称 rbf)。高斯核函数高斯核函数2)*2/(2exp)(ccxxxxk 其中， 为核函数中心， 为函数的宽度参数 ，控制了函数的径向作用范围。cx 高斯函数是单值函数单值函数。这表明，高斯滤波器用像素邻域的加权均值来代替该点的像素值，而每一邻域像素点权值是随该点与中心点的距离单调单调增减增减的。这一性质是很重要的，因为边缘是一种图像局部特征，如果平滑运算对离算子中心很远的像素点仍然有很大作用，则平滑运算会使图像失真。 引言 相关工作本文算法算法效果1301020304050020406000.

8、050.10.150.2theta=4.66.4宽高斯核宽高斯核 引言 相关工作本文算法算法效果1401020304050020406000.10.20.30.4theta=1.66.1文中所用文中所用 引言 相关工作本文算法算法效果15 引言 相关工作本文算法算法效果landmarks样本库样本库multi-pie dataset（320*240，包含年龄，姿势，表情的变化）1. 289个人的2184张正面人脸图像2. 60个人的283张30度角的人脸图像1). 一个标记关键点标记关键点的文件；2). two labels: 一个标记姿势标记姿势,一个标记是否存在眼是否存在眼 镜（手动标记）

9、。镜（手动标记）。 two labels用来限制搜索区域 每张人脸图像对应每张人脸图像对应:16 引言 相关工作本文算法算法效果21,),(),(minargbibinieieiyxyxyxt（2）1. 面部器官的梯度图面部器官的梯度图（gradient maps for facial components）1.1 样本图像配准样本图像配准（alighing exemplar images）cunieieiyx1,：样本图像中标记器官的n个关键点。nibibiyx1,： 中标记器官的n个关键点， 由lr图像 双立方插值得到。bibilit：非反射对称变换。note:17 引言 相关工作本文算法

10、算法效果)(ghljj（3）jh：针对某一特定器官 （如鼻子，嘴巴，眼睛对眼睛对，眉毛对眉毛对等）的hr样本图像集。c1.2 样本图像确定样本图像确定（determining exemplar images）* * 通过比较 和 来确定器官 的最佳匹配样本图像。jllic1.3 变换各器官的梯度图变换各器官的梯度图（transferring gradients of components）*jl最佳匹配的lr样本图像cu*jh相应的hr原图像每个器官的梯度图组合起来18 引言 相关工作本文算法算法效果2*)()()(minarglipjlsjpvpvpmj（4）note:hm：hr掩模图，当像

11、素值属于器官 ，其值为1，否则，为0clm：通过公式（3），对 降采样得到hmv： 梯度图lijv： 梯度图jls:由器官 和眼镜标识确定c 如果某个器官（比如眼睛对）有眼镜遮挡，就可以通过眼镜标识排除 那些不戴眼睛的样本图像。s1.219 引言 相关工作本文算法算法效果yx ,，不同的器官来自不同的人的样本图像note:20 引言 相关工作本文算法算法效果kkqppfkk,.,1),/exp()(（5）k：方向p：以像素 为中心的图像块pkq：像素 的 方向上的邻近块pk：一个参数2.1 2.1 方向保持下采样方向保持下采样（direction-preserving upsampling）2

12、. 面部轮廓的梯度图面部轮廓的梯度图（gradient maps for facial contours） 已有算法是基于插值后图像产生边缘，这样产生的边缘会出现缺口（jaggy），而本文通过学习统计先验统计先验保存图像边缘结构，恢复边缘锐度。针对 中的每一个像素 ，计算其方向相似度（the directional similarity）：lipeu21 引言 相关工作本文算法算法效果lkkkidigitstifi)( . .)(minarg2（6）ks：由 计算得到的 方向上的相似性图likkt：由lr图像 双线性插值得到的hr图像ks 从 到 ，并不改变相应的梯度幅度，因此，保留了方向的相

13、似性。)(),.,(1pspsk)(),.,(1ptptk求方向保持的求方向保持的hr图像图像di22 引言 相关工作本文算法算法效果方向保持下采样方向保持下采样li ks ktdi图像 的边缘虽然clear，smooth，但不够sharp，需要恢复边缘锐度。di23 引言 相关工作本文算法算法效果otherwisemmandmmifpctpqp01)(（7）2.2 2.2 学习边缘锐度的统计先验学习边缘锐度的统计先验（learning statistical priors for edge sharpness）针对 的每个像素 ，提取特征集合dipdmmmcpp,标记边缘中心点标记边缘中心点

14、给定一个hr样本图像，经eq.(3)和eq.(6)得到 ,dim： 的梯度幅度rq,：在法线的两个相反方向上，与 相邻 的两个像素。pm：训练图像 的梯度图的幅度hidi24 引言 相关工作本文算法算法效果建立查询表建立查询表（lookup table）dmmcp,_pm2.3 2.3 生成梯度图生成梯度图（generating gradient maps）)()(_pummpudppe（8）du： 的梯度图eu：面部轮廓梯度图di25 引言 相关工作本文算法算法效果边缘锐度恢复边缘锐度恢复26 引言 相关工作本文算法算法效果3. 平滑区的梯度图平滑区的梯度图（gradient maps fo

15、r smooth regions）bu利用公式 ，从匹配的数据集中产生lr样本图像集。)(ghljj1 c. barnes, e. shechtman, d. b. goldman, and a. finkelstein.the generalized patchmatch correspondence algorithm.in eccv, 2010.利用块匹配方法1寻找最相似lr样本块，减少计算量。2 m. irani and s. peleg. improving resolution by image registration.cvgip, 53(3):231239, 1991.lr 块hr 块后向投影算法2hrbu梯度图对应27 引言 相关工作本文算法算法效果)1 ()(1 (deeecccuwuwwuwu（9）4. 整合梯度图整合梯度图（intergrating gradient maps ）ucw：所