频域图像处理

1、人脸部位的视觉显著性研究摘 要图像的显著性检测是计算机视觉领域最为活跃的研究方向之一，而基于视觉注意的显著性区域检测技术在遵循人视觉显著性规律的基础上，综合利用图像的颜色、强度局部方向等特征，计算图像中各个区域的显著程度。通过对图像显著性检测频域方法的研究，在统计大量样本数据后，得到人脸部位的视觉显著性差异。关键词：视觉显著性，显著性区域检测，人脸，统计目 录1 课题背景12 显著性检测方法22.1 显著性检测的主要方法22.2 显著性检测算法介绍22.2.1 PQFT 概述22.2.2 PQFT模型23 图像显著性检测器53.1 互补特征提取53.2 滤波53.3 显著性检测器测试54 数据

2、统计与分析74.1 数据图像采集74.2 数据统计74.3 数据处理与分析84.4 结论与说明95、参考文献111 课题背景随着计算机性能和功能的发展，人们越来越希望计算机可以更加自主智能地完成任务。要实现这个目标，需要计算机能够理解周围的环境。人类感知外界信息的最主要方式是通过视觉，因此计算机理解周围环境的关键是具有视觉感知处理能力1。而图像也成为越来越重要的信息传递媒介。由于视觉系统具有视觉注意机制，因此人类可以毫不费力地从复杂的背景中识别目标。与此对应，在计算机中，可以通过计算图像的区域显著性来高效地完成图像处理任务。由此可见，图像中最重要的部分经常集中在一些小的关键区域，即所谓的显著区

3、域23。图像显著性检测的任务是找出图像中哪些区域更容易成为人类视觉注意的焦点，一般用显著图来表示图像的显著性，显著图中的像素值表示图像对应区域的显著程度。目前，图像显著性检测在内容传输、图像压缩、图像分割、目标识别、图像缩放、图像恢复、图像编辑等方面都有应用。在图像检测与识别领域中，人脸识别是一个当前热门的研究方向。据统计，在2014年的中国国际社会公共安全博览会上，至少有20家企业展示了自己的人脸识别产品。同时，众多媒体也接连报道了人脸识别技术在学术界和工业界取得的巨大成果。在这些背景下，本课题采用频域显著性检测算法计算人脸样本照片的显著性区域，通过大量样本数据的统计分析，来研究人脸各个部位

4、的显著性差异，以便更加清晰直观且更具科学依据地了解人脸的显著性特点。2 显著性检测方法2.1 显著性检测的主要方法显著性检测方法有多种分类方式：按照显著模型可以分为三类：1) 基于低层视觉特征，代表性算法是模拟生物体视觉注意机制的选择性注意算法(Itti 算法)。2) 没有基于任何生物视觉原理的纯数学计算方法，如全分辨率算法(AC 算法)和基于空间频域分析的剩余谱算法(Spectral residual approach, SR)4。3) 将前两种进行融合的方法，代表性算法基于图论的算法(Graph-based visual saliency，GBVS)。按照处理空间的不同可以分为：考虑局部特

5、征的，如Itti 算法和GBVS 算法；和考虑整体性的，如SR 算法和IG 算法。而在本课题中，采用一个新的显著性区域检测算法（PQFT算法）。该算法主要在频域进行处理，同时利用了空间域信息。频域处理可以非常高效地抑制重复出现的背景，而空间域信息则用于选择一个突出整个显著物体的最佳显著图。因此，该算法具有突出整个显著物体，抑制重复出现的背景和计算效率高的等特点5。2.2 显著性检测算法介绍2.2.1 PQFT 概述PQFT（Phase Spectrum of Quaternion Fourier Transform）模型是有Guo等人在SR（Spectral Residual）算法基础上提出的

6、，该方法通过计算图像的四元傅里叶变换的相位谱得到图像的时空显著性映射。图像中的每一个像素点都用四元组表示：颜色，亮度和运动向量。PQFT算法模型独立于先验信息，不需要参数，计算高效，实时性好6。2.2.2 PQFT模型一幅图像所包含的信息可以分解为新的信息和已知信息。新的信息就是引起注意的部分，已知信息是应该被去除的冗余信息。冗余信息是内容比较单一、反复大量出现的图像模式。根据傅里叶变换公式，某种模式出现的次数越多，其幅度谱就越集中在一些频率，呈现出尖峰形状10。若一幅图像的背景是重复出现的冗余内容，而其中的显著目标非常独特。那么背景对应的幅度谱就比目标的幅度谱尖锐很多。这时，将幅度谱中冗余的

7、背景抑制住，则显著的目标就会凸显出来。于是问题转化为去燥问题。而中值滤波器对于尖峰噪声的效果非常好，显著目标对应的幅度谱比较平滑，在中值滤波后也能被保留下来7。在PQFT模型中，将图像分解为四个通道：M、I、RG和BY。其中，M为运动通道，I为亮度通道，RG和BY为颜色通道8。假设F(t)表示时间t时刻的输入图像，t=1,2,3,T，T为所有图像帧的总数。F(t)分为红、绿、蓝三个颜色通道，表示为r(t),g(t),b(t)，那么，可以将三个颜色通道扩展为四个广义的颜色通道：(1)(2)类似于人类视觉系统，对立颜色通道定义为亮度通道和运动通道定义为 (3)其中为延迟因子。则四元组图像可以表示为

8、(4)其中，满足可以写成如下形式(5)将图像中每一个像素点表示为为空间坐标，t为时间坐标。四元傅里叶图像变化写成(6)(7)表示频域坐标,N,M表示图像维度。四元逆傅里叶变化为(8)可将q(t)表示为Q(t)的极坐标形式(9)其中为的相位谱。设定，则只剩下相位信息q(t)。计算逆相位信息 可得到(10)时空显著性映射为(11)其中g表示二维高斯平滑滤波。当输入为静态图像时，12。3 图像显著性检测器3.1 互补特征提取在图像显著性检测中，首先从输入的图像中提取几个互补的特征通道，这里利用独立成分分析方式提取互补通道，这样可以大大消除图像中的冗余信息成分9。此外，这种独立性有助于从各个通道分别检

9、测图像的显著性。通常，使用独立成分分析法从原始颜色通道中得到的系数图有着显著不同的视觉特性，使得很难在相应的光谱中手动设计显著性检测器8。因此，要从相位和幅度两方面“训练”显著性检测器。在这里，从公众形象基准库MIT1003中选取903幅训练图像，将剩下的100幅作为测试对象。将处理后得到的32×32的系数图记为，同时将通过降采样固定密度图得到的32×32系数图记为。这样就得到了一个包含所有C个独立组件的训练集，记为。3.2 滤波为了从得到的系数图中计算图像显著性，首先通过傅里叶变换计算其频谱。采用高斯带通滤波器筛选出最低频率和抑制最高频率。于是对于一个训练实例，得到(12

10、)再利用中值滤波器去除幅度谱中的尖峰，并与原始相位谱合并，通过傅里叶逆变换得到显著图。总之，一个图像I的显著图S可以通过一下过程得到，(13)3.3 显著性检测器测试图像显著性检测器设计完成后，在matlab中运行，当输入一幅图像时，会得到一个32×32的矩阵，其中数值代表显著性强弱，范围为0255。为了便于观察比较，将矩阵转化为32×32像素的灰度图，并将黑白反转便于突出显著性区域。一个测试图像结果如下：图3.1 原始图图3.2 显著性矩阵图3.3 灰度图与反转后灰度图4 数据统计与分析4.1 数据图像采集首先，将得到的人脸正面免冠照片按照性别分为两组：female组和m

11、ale组。为了区分同一图像显著性区域的程度以便于按照显著性强弱排序，在计算图像区域显著性时，将得到的结果按如下命令处理：imagesc(abs(255-salMap);colormap(gray);saveas(gcf,'X:figf1-1.jpg');imagesc(abs(223-salMap);colormap(gray);saveas(gcf,'X:figf1-2.jpg');imagesc(abs(191-salMap);colormap(gray);saveas(gcf,'X:figf1-3.jpg');imagesc(abs(159

12、-salMap);colormap(gray);saveas(gcf,'X:figf1-4.jpg');imagesc(abs(127-salMap);colormap(gray);saveas(gcf,'X:figf1-5.jpg');将0255的数据按照每32一个梯次分为5个梯次变做绝对值处理，这样便可以在凸显第二显著区域的同时屏蔽第一显著区域的影响，同时将得到的灰度图直接保存，便于之后的统计分析和批量处理。如此，批量地将female和male组的图像全部进行区域显著性计算并将结果保存在两个文件夹中等待统计处理。4.2 数据统计将计算得到的灰度图与原始图像进

13、行对比，根据相应区域的灰度统计出每一幅图像中人脸部位的显著性强弱顺序并几录在表格中。部分统计数据如下表4.1，表4.2，表4.1 female组部分数据照片编号照片编号f1enmf11enf2anef12nf3mnef13nef4nf14ef5enf15eanf6enf39enf7nmef40nef8naf41nf9enf42nef10mef43mn注：f：forehead(额头）e：eye（眼睛）a：ear(耳）m：mouth(嘴）n：nose（鼻）表4.2 male组部分数据照片编号照片编号m1namm11mmam2mmnm12nmam3namm13nmam4mmam14nmam5mmam

14、15manm6mnam16nam7mamm17nam8mmam18nam9mam19nmm10mmam20n注：f：forehead(额头）e：eye（眼睛）a：ear(耳）m：mouth(嘴）n：nose（鼻）4.3 数据处理与分析分别按照显著性强弱顺序统计两组中各部位在每一梯次出现的次数，作为初步处理。在每一组中，首先将各部位按照第梯次数据排序，第一位即为本组中显著性最高的部位。接着将剩余数据并入第梯次并以此为标准排序，第梯次第一位即为本组显著性第二高的部位，以此类推知道排出所有部位显著性强弱顺序。另一组同理。这样可以得到如下表4.3，表4.4的统计结果，表4.3 female组统计结果部

15、位部位部位n26m17m33n>m>e>ae8e16e19a1a4a10f0f0f0注：f：forehead(额头）e：eye（眼睛）a：ear(耳）m：mouth(嘴）n：nose（鼻）表4.4 male组统计结果部位部位部位n85m20a66n>a>m>e>fe14m37m42a12e33e39f1f0f0注：f：forehead(额头）e：eye（眼睛）a：ear(耳）m：mouth(嘴）n：nose（鼻）4.4 结论与说明由统计结果可以看出，在女性中，脸部部位显著性由强到弱一次为鼻、嘴、眼睛、耳朵。而在男性中的脸部部位显著性由强到弱为鼻子、耳朵

16、、嘴、眼睛、额头。可以看出男女性在脸部部位的显著性上并不相同，主要差异在与女性人群中耳朵是一个显著性较低的部位，而在男性人群中耳朵的显著性则大大增强。通过观察发现，造成这一差异的主要原因是女性多为长发将耳朵遮住，而男性多为短发，正面照中耳朵清晰可见。而通过下图可以发现，头发在显著性检测中几乎是作为冗余信息被过滤掉，这就不难看出长发的存在直接将女性人群中耳朵的显著性抹去了。图 4.1 同一人不同发型在鼻子的显著性中，男性主要集中在鼻尖位置，而女性多表现在鼻梁及眼角，呈现出倒三角行，典型案例如下图，图 4.2 男性典型案例 图 4.3 女性典型案例5 参考文献1 吴金建. 基于人类视觉系统的图像信

17、息感知和图像质量评价D.西安电子科技大学,20142 陈倩. 显著性区域检测算法研究D.北京交通大学,2014.3 韩抒真,郭建民,郭迎春,柳青. 基于视觉注意机制的图像分类方法J. 天津工业大学学报,2015,04:47-51.4 王岩,卢宏涛,邓南，蔡能斌.基于频域与空间域分析的显著区域检测算法J.计算机工程,2012,09:165-170.5 孙晓飞,潘文文,王霞. 典型的图像显著性检测算法分析和比较J. 黔南民族师范学院学报,2014,05:100-105.6 张巧荣,顾国昌,刘海波,肖会敏. 利用多尺度频域分析的图像显著区域检测J. 哈尔滨工程大学学报,2010,03:361-365.7 陈倩,朱振峰,赵耀. 基于时-频结合的显著性区域检测J. 铁道学报,2014,07:62-69.8 刘尚旺,李铭,毛文涛,刘国奇. 基于改进HFT模型的显著性检测J. 计算机工程与设计,2015,08:2167-2173.9 苏磊磊. 基于小区域的图像显著度提取及应用研究D.山东师范大学,2015.10 ACHANTA R,HEMAMI S,ESTRADA F,et al. Frequencytuned salient region detectionC/Proceedings of the IEEE Co