频域图像处理

1、人脸部位的视觉显著性研究摘要图像的显著性检测是计算机视觉领域最为活跃的研究方向之一，而基于视觉注意的显著性区域检测技术在遵循人视觉显著性规律的基础上，综合利用图像的颜色、 强度局部方向等特征，计算图像中各个区域的显著程度。通过对图像显著性检测频域方法的研究，在统计大量样本数据后，得到人脸部位的视觉显著性差异。关键词：视觉显著性，显著性区域检测，人脸，统计目录 TOC o 1-5 h z HYPERLINK l bookmark6 o Current Document 1课题背景1 HYPERLINK l bookmark8 o Current Document 2显著性检测方法2显著性检测的主

2、要方法 2显著性检测算法介绍 2PQFT 概述2PQFT 模型2 HYPERLINK l bookmark10 o Current Document 3图像显著性检测器5互补特征提取5滤波5显著性检测器测试5 HYPERLINK l bookmark12 o Current Document 统计与分析7数据图彳象采集7数据统计7数据处理与分析8结论与说明9 HYPERLINK l bookmark16 o Current Document 5、参考文献11创新学分论文1课题背景随着计算机性能和功能的发展，人们越来越希望计算机可以更加自主智能地完成任务。要实现这个目标，需要计算机能够理解周围的

3、环境。人类感知外界信息的最主要方式是通过视觉，因此计算机理解周围环境的关键是具有视觉感知处理能力1。而图像也成为越来越重要的信息传递媒介。由于视觉系统具有视觉注意机制，因此人类可以毫不费力地从复杂的背景中识别目标。与此对应，在计算机中，可以通过计算图像的区域显著性来高效地完成图像处理任务。由此可见，图像中最重要的部分经常集中在一些小的关键区域，即所谓的显著区域23。图像显著性检测的任务是找出图像中哪些区域更容易成为人类视觉注意的焦点，一般用显著图来表示图像的显著性， 显著图中的像素值表示图像对应区域的显著程度。目前，图像显著性检测在内容传输、图像压缩、图像分割、目标识别、图像缩放、图像恢复、图

4、像编辑等方面都 有应用。在图像检测与识别领域中，人脸识别是一个当前热门的研究方向。据统计，在2014年的中国国际社会公共安全博览会上，至少有20家企业展示了自己的人脸识别产品。同时，众多媒体也接连报道了人脸识别技术在学术界和工业界取得的巨大成果。在这些背景下，本课题采用频域显著性检测算法计算人脸样本照片的显著性区域，通过大量样本数据的统计分析，来研究人脸各个部位的显著性差异，以便更加清晰直观且更具科学依据地了解人脸的显著性特点。第1页，共11页创新学分论文2显著性检测方法2.1显著性检测的主要方法显著性检测方法有多种分类方式：按照显著模型可以分为三类：1)基于低层视觉特征，代表性算法是模拟生物

5、体视觉注意机制的选择性注意算法(Itti算法)。2)没有基于任何生物视觉原理的纯数学计算方法，如全分辨率算法(AC算法)和基于空间频域分析的剩余谱算法 (Spectralresidual approach, SR)4。将前两种进行融合的方法，代表性算法基于图论的算法(Graph-based visual saliency ,GBVS)。按照处理空间的不同可以分为：考虑局部特征的，如 Itti算法和GBVS算法；和考虑 整体性的，如SR算法和IG算法。而在本课题中，采用一个新的显著性区域检测算法( PQFT算法)。该算法主要在频域 进行处理，同时利用了空间域信息。频域处理可以非常高效地抑制重复出

6、现的背景，而空间域信息则用于选择一个突出整个显著物体的最佳显著图。因此，该算法具有突出整个显著物体，抑制重复出现的背景和计算效率高的等特点5。2.2显著性检测算法介绍PQFT 概述PQFT(Phase Spectrum of Quaternion Fourier Transform )模型是有 Guo 等人在 SR( Spectral Residual)算法基础上提出的，该方法通过计算图像的四元傅里叶变换的相位谱得到图像的 时空显著性映射。图像中的每一个像素点都用四元组表示：颜色，亮度和运动向量。PQFT算法模型独立于先验信息，不需要参数，计算高效，实时性好 6。PQFT 模型一幅图像所包含的

7、信息可以分解为新的信息和已知信息。新的信息就是引起注意的部分，已知信息是应该被去除的冗余信息。冗余信息是内容比较单一、反复大量出现的图像模式。根据傅里叶变换公式，某种模式出现的次数越多，其幅度谱就越集中在一些频率，呈现出尖峰形状10。若一幅图像的背景是重复出现的冗余内容，而其中的显著目标非常独特。 那么背景对应的幅度谱就比目标的幅度谱尖锐很多。这时，将幅度谱中冗余的背景抑制住， 则显著的目标就会凸显出来。于是问题转化为去燥问题。 而中值滤波器对于尖峰噪声的效果非常好，显著目标对应的幅度谱比较平滑，在中值滤波后也能被保留下来7。在PQFT模型中，将图像分解为四个通道：M、I、RG和BY。其中，M

8、为运动通道，I为亮度通道，RG和BY为颜色通道8。假设F(t)表示时间t时刻的输入图像，t=1,2,3,T, 第2页，共11页创新学分论文T为所有图像帧的总数。F(t)分为红、绿、蓝三个颜色通道，表示为 r(t),g(t),b(t),那么，可R(t) = r(t) -G(t) =g(t)B(t) = b(t) -g(t) b(t)2r(t) b(t)2g(t) r(t)2以将三个颜色通道扩展为四个广义的颜色通道：(2)由b(t)类似于人类视觉系统，对立颜色通道定义为RG=R(t) -G(t),BY(t) =B(t)-Y(t)亮度通道和运动通道定义为I(t)=r(t) g(t) b(t)m (t

9、)= i(t)-i(t-n其中工为延迟因子。则四元组图像可以表示为(4)q(t) =M(t) RG(t) BY(t 尸2 I(t)3其中匕二1,2,3,满足丫=一1下2,也*4匕*3产2尸J%qC)可以写成如下形式q(t(t)fz(t)2f1(t) =M(t) RG(t)L f2(t) =BY(t) I(t)L四元傅里叶将图像中每一个像素点表示为q(n,m,t),(n,m)为空间坐标，t为时间坐标。图像变化写成Qu,v =F/u,vF2u,v2(6)M 4 N1112 (mv/ M nu/N),Fi(u,v)e 1 fin,m,MN m =0 n =0(u，v)表示频域坐标，N,M表示图像维度

10、。四元逆傅里叶变化为MN二(8)I12 二(mv/M nu/N)_fi(n,m)-= e1Fu,v、MN v/uf第3页，共11页创新学分论文可将q表示为Q的极坐标形式 TOC o 1-5 h z Q(t) = Q(t) J(9)其中中为Q的相位谱。设定llQ(t)ll =1,则只剩下相位信息q(t)o计算逆相位信息 可得到q(t) = ：0。) ：l(t)i：2。尸2：3(t)3(10)时空显著性映射为.2sM(t)=g*|q(t)|(11)其中g表示二维高斯平滑滤波。当输入为静态图像时，M (t) = 012。第4页，共11页创新学分论文3图像显著性检测器3.1互补特征提取在图像显著性检测

11、中，首先从输入的图像中提取几个互补的特征通道，这里利用独立成分分析方式提取互补通道，这样可以大大消除图像中的冗余信息成分9。此外，这种独立性有助于从各个通道分别检测图像的显著性。通常，使用独立成分分析法从原始颜色通道中得到的系数图有着显著不同的视觉特性，使得很难在相应的光谱中手动设计显著性检测器8。因此，要从相位和幅度两方面 “训练”显著性检测器。在这里，从公众形象基准库 MIT1003 中选取903幅训练图像，将剩下的100幅作为测试对象。将处理后得到的32X 32的系数图记为 屋，同时将通过降采样固定密度图得到的32X 323系数图记为Gk。这样就得到了一个包含所有C个独立组件的训练集，记

12、为Tc=Ick,Gk :,。=1,。3.2滤波为了从得到的系数图中计算图像显著性，首先通过傅里叶变换计算其频谱。采用高斯带通滤波器筛选出最低频率和抑制最高频率。于是对于一个训练实例，得到 TOC o 1-5 h z Fi =N(F I.I L Hbh),Fc =F lG 1(12)再利用中值滤波器去除幅度谱中的尖峰，并与原始相位谱合并，通过傅里叶逆变换得到显著图。总之，一个图像I的显著图S可以通过一下过程得到，Fi。=N(F lc L Hbh)c 1,C,c_，一、F|c =N(F|JHp)c 1,C,(13)c_2S= F小伍g1庐HbJ ,c=13.3显著性检测器测试图像显著性检测器设计完

13、成后，在 matlab中运行，当输入一幅图像时，会得到一个32X 32的矩阵，其中数值代表显著性强弱，范围为0255。为了便于观察比较， 将矩阵转化为32X 32像素的灰度图，并将黑白反转便于突出显著性区域。一个测试图像结果如下：第5页，共11页创新学分论文图3.2显著性矩阵图3.3灰度图与反转后灰度图第6页，共11页创新学分论文4数据统计与分析数据图像采集首先，将得到的人脸正面免冠照片按照性别分为两组：female组和male组。为了区分同一图像显著性区域的程度以便于按照显著性强弱排序，在计算图像区域显著性时，将得到的结果按如下命令处理：imagesc(abs(255-salMap);col

14、ormap(gray);saveas(gcf,X:figf1-1.jpg);imagesc(abs(223-salMap);colormap(gray);saveas(gcf,X:figf1-2.jpg);imagesc(abs(191-salMap);colormap(gray);saveas(gcf,X:figf1-3.jpg);imagesc(abs(159-salMap);colormap(gray);saveas(gcf,X:figf1-4.jpg);imagesc(abs(127-salMap);colormap(gray);saveas(gcf,X:figf1-5.jpg);将0

15、255的数据按照每32一个梯次分为5个梯次变做绝对值处理，这样便可以在凸显 第二显著区域的同时屏蔽第一显著区域的影响，同时将得到的灰度图直接保存，便于之后的统计分析和批量处理。如此，批量地将female和male组的图像全部进行区域显著性计算并将结果保存在两个 文件夹中等待统计处理。数据统计将计算得到的灰度图与原始图像进行对比，根据相应区域的灰度统计出每一幅图像中人脸部位的显著性强弱顺序并几录在表格中。部分统计数据如下表4.1,表4.2,表4.1female组部分数据InmInmf1enmf11enf2anef12nf3mnef13nef4nf14ef5enf15eanf6enf39enf7n

16、mef40nef8naf41nf9enf42nef10mef43mn注：f ： forehead(额头)e：eye (眼睛)a： ear(耳)m：mouth（嘴）n： nose （鼻）第7页，共11页创新学分论文表4.2 male组部分数据InmInmlnamm11mmam2mmnm12nmam3namm13nmam4mmam14nmam5mmam15manm6mnam16nam7mamm17nam8mmam18nam9mam19nmm10mmam20n注：f:forehead（额头）e：eye （眼睛）a： ear（耳）m：mouth（嘴）n： nose （鼻）数据处理与分析分别按照显著性强

17、弱顺序统计两组中各部位在每一梯次出现的次数，作为初步处理。在每一组中，首先将各部位按照第I梯次数据排序， 第一位即为本组中显著性最高的部位。 接 着将剩余数据并入第n梯次并以此为标准排序，第n梯次第一位即为本组显著性第二高的部位，以此类推知道排出所有部位显著性强弱顺序。另一组同理。这样可以得到如下表4.3,表4.4的统计结果，表4.3 female组统计结果n26m17m33nmeae8e16e19a1a4a10f0f0f0注：f： forehead（额头）e： eye （眼睛）a： ear（耳）m： mouth（嘴）n：nose （鼻）表4.4 male组统计结果I部位n部位mn85m20a

18、66namefe14m37m42a12e33e39f1f0f0注：f： forehead（额头）e：eye （眼睛）a：ear（耳）m:mouth（嘴）n： nose （鼻）第8页，共11页创新学分论文结论与说明由统计结果可以看出， 在女性中，脸部部位显著性由强到弱一次为鼻、嘴、眼睛、耳朵。而在男性中的脸部部位显著性由强到弱为鼻子、耳朵、嘴、眼睛、额头。可以看出男女性在脸部部位的显著性上并不相同，主要差异在与女性人群中耳朵是一个显著性较低的部位， 而在男性人群中耳朵的显著性则大大增强。通过观察发现，造成这一差异的主要原因是女性多为长发将耳朵遮住，而男性多为短发，正面照中耳朵清晰可见。而通过下图

19、可以发现，头发在显著性检测中几乎是作为冗余信息被过滤掉，这就不难看出长发的存在直接将女性人群中耳朵的显著性抹去了。图4.1同一人不同发型在鼻子的显著性中， 男性主要集中在鼻尖位置， 而女性多表现在鼻梁及眼角，呈现出倒三角行，典型案例如下图，图4.2男性典型案例第9页，共11页创新学分论文图4.3女性典型案例第10页，共11页(0侨庆笋创新学分论文5参考文献1吴金建.基于人类视觉系统的图像信息感知和图像质量评价D.西安电子科技大学,20142陈倩.显著性区域检测算法研究D.北京交通大学,2014.3韩抒真，郭建民，郭迎春，柳青.基于视觉注意机制的图像分类方法J.天津工业大学学报,2015,04:47-51.4王岩,卢宏涛，邓南，蔡能斌.基于频域与空间域分析的显著区域检测算法J.计算机工程,2012,09:165-170.5孙晓飞，潘文文，王霞.典型的图像显著性检测