视觉显著性算法概述

1、关于自底向上的显著性方法的综述报告人：周静波2012年08月30日南孑喔2丈学Nanjing University of Science and Tochaology报告一. 研究现状二. 算法模型介绍三. 实验结果及分析研究现状研究现状基于视觉注意的显著性区域检测对于图像 分析过程有着非常重要的意义。注意是人 类信息加工过程中的一项重要的心理调节 机制，它能够对有限的信息加工资源进行 分配，使感知具备选择能力。如果能够将 这种机制引入图像分析领域，将计算资源 优先分配给那些容易引起观察者注意的区 域，这样必将极大的提高现有的图像处理 分析方法的工作效率。显著性区域检测正 是在这个基础上提岀并

2、发展起来的。显著性检测一般分为两类-自下而上基于数据驱动的显著性区域突现-自上而下任务驱动的目标突现本报告只关注自下而上的显著性检测算法研究现状 Achanta将这些算法分成三类-基于低层视觉特征，代表性算法是文献中提出的模 拟生物体视觉注意机制的选择性注意算法(Itti算法)-没有基于任何生物视觉原理的纯数学计算方法，如Achanta等4提岀的全分辨率算法(AC算法)和Hou等5提出的基于空间频域分析的剩余谱算法(Spectralresidual approach, SR)-将前两种进行融合的方法，代表性算法是Harel等提 岀的基于图论的算法(Graph-based visual sali

3、ency,GBVS) Goferman将显著性分析算法分成以下三类-考虑局部特征的，如Itti算法和GBVS算法-考虑整体性的，如SR算法和Achanta等提出 的算法（IG算法）-局部与整体结合的，女OGoferman等和Liu等 提出的算法算法模型介乡 Itti模型中'显著值是像素点在颜色、亮度、方向 方面与周边背景的对比值。该模型包括两个步骤:-特征提取-显著图生成In put imageLinear filtering JcolorsFeatureCon spicuitymapsmapsintensityCenter-surround differences and norma

4、lization(12 maps) (6 maps)七(24 maps)Lin ear combinati onsSaliency map ”Winn ertakeallJIn hibiti on of returnAttended location AIM (Attention-based on Information Maximization)模型利用香农的自信息度量，将图像的特征平 面变换到对应于视觉显著性的维度上。AIM假设：一个视觉特征的显著性就是该特征相 对于它周围其他特征提供的信息的差别度。根据香农定理，图像特征对应的自信息通过下面 的公式进行计算为特征的槪率曹蒯醱。 pMGBV

5、S模型 GBVS (Graph-Based Visual Saliency)模型是 在Itti的模型基础之上运用马尔可夫随机场 的特点构建二维图像的马尔可夫链，通过 求其平衡分布而得到显著图算法步骤：-特征的提取：与itti算法类似-显著图生成：马尔可夫链方法 FTS (Frequency-Tuned Saliency)模型是由Achanta 等人提岀的一种自底向上的显著性检测方法，通 毘局郁側色和亮度特征的对比多尺度方法求像素 点显者值。将原始图像由SRGB颜色空间转化成CIE颜色空间， 然后显著性映射定义为S(“)=机-仏 II其中乙为图像特征的几何平均向量，G为对原始 图像的高斯模糊，采

6、用5做二项式核。| | 另厶范藪，X*为很秦点座标。SR模型 SR (Spectral Residual)模型是由Hou等人提出 来的，基于空间频域分析的算法之一，显著 图通过对剩余谱做傅里叶逆变换得到。剩余谱定义为R屮R =log(A(f) - hn (/)* log(A(/)其中，为原图二维傅里叶变换得到的频域空间为局部平均滤波器(一般n取3)PQFT模型 PQFT (Phase Spectrum of Quaternion Fourier Transform)模型是由Guo等人在SpectralResidual基础之上提出的，该方法通过计算图像 的四元傅里叶变换的相位谱得到图像的时空显著

7、 性映射。事实上，图像的相位谱即图像中的显著性目标。 图像中的每一个像素点都用四元组表示：颜色， 亮度和运动向量。PQFT模型独立于先验信息，不需要参数，计算 高效，适合于实时显著性检测假设尸表示时间t时刻的输入图像=为所有图像帧的总数。F(/)分为红、绿、蓝三个颜 色通道，表示为r(O,g(O,Z?(O,那么，可以将三 个颜色通道扩展为四个广义的颜色通道：砍)=e -竝严B(t) = b(t)-业圧0巾)=厂 gQ)类似于人类视觉系统，对立颜色通道定义为RG(t) = R(t) -= B(t) - Y(t)亮度通道和运动通道定义为/ 二厂(t) + g(O + b(/)M(t)二 |/(t)

8、 -/(t 一训其中厂为使用者设定的延迟因子。四元组图像可以表示为下列形式q(t) = M(t) +& + BYQ)卩2 + /他其中 H， 1,2,3 , Y两足= 1,卩2 丄 “3，"1 丄卩3,卩3 "1“2“丄如qQ)可以写成如下形式(0 = /1(0 + /2(02)=叽)+ )“PQFT模型写成仏加)二v=0 w=0将图像中每一个像素点表示为q(nzt)，(仏加)为空间坐标，了为时间坐标。四元傅里叶图像变化Qu, v = Fx u. v + F2 u. v/721MIN1可将g(f)表示为e(o的极坐标形式e(o 二 |0)| 严其中为。的相位谱。设定

9、|e(o|=1,则只剩 下相位信息曲)。计算逆相位信息/可得到q (0 = Po (0 + p (切 + 02 C)“2 + p3 (03时空显著性映射为sM二 g*|W(f)其中g表示二维高斯平滑滤波。当输入为静态图像 时亠，M(t) = 0 oSDSR模型 SDSR (Saliency Detection by SelfResemblance) 模型由Seo曙人提出的，通过 计算感兴趣像素点的特征矩阵与其相邻的 像素点的特征矩阵之间的相似性，来确定 像素点的显著性映射。每一个像素点的局部图像结构表示成一个 局部描述子(局部回归核)矩阵；然后， 利用矩阵余弦相似计算量化每一个像素点 和它相邻

10、的像素点对应的局部描述子矩阵 之间的相似性。对于像素点i,与之对应的特征矩阵刁，给定像素点i周围相邻的像素点特征矩阵巧, 显著性映射为其中PS）为矩阵 和 酌余弦相似性，G 为局部权重参数。局部特征矩阵的列表示 扃部指导核的输出SDSR模型SDSR模型DI E3Q EiEIEI E Cl 0 S 口 El 口 EIK1K3 口 CD.FL 二=珍，f/Tpc1_Fz SUN (Saliency Using Natural Statistics)模型由Zhang 等人提出的，模仿视觉系统检测潜在的目标。假设z代表视觉区域中的一个点。二值随机变量C代 表该点是否属于目标，L表示该点的坐标位置，F表

11、 示该点的视觉特征。定义为，分别表示点z的特征和坐标(碾据臾吐斯是理) fA6=P(C = 1IF二犬，厶=L)_p(F = miC = l)p(C = l)-p(F = fz,L = lJSUN模型假设特征和坐标相互独立，那么P(F = f“L = lJP(L = lJC = l)p(C = 1)P(F =P(F十'v_T arg etindependent bottom-up saliency)LikelihoodLocation priorT arg et de pendent (top-down saliency)对上式两边同时取对数，由于对数函数是单调增加的，因此不会影响各点

12、的显著值排列log = logp(F = /J+ log(FK= /JC = l)VSelf-inf onnationLog likelihood(bottom-up saliency)(top-down knowledge of appearance)+ logp(C = 1 L = k)KV匚Location prior(top-down knowledge of target's locatioii)-logXF = /依赖于点Z的视觉特征，独立于任何 先验信息。在信息论中，该项实际上求随机变量F 取值为时的眉信息。logXF = /c|C=体现了目标的先验信息。比如，当知 道目

13、标物体为绿色时，那么该项的值在遇到绿色点 时比遇到蓝色点要大。1。訥1|乙9独立于视觉特征，反映了目标物体位置的先验信息。一般情况下，我们并不知道目标的位置信息和目标的视觉特征，于是我们省略后两项 ，只剩下自信息这一项log、二一logP（F = £）GCS模型 GCS (Global Contrast based Saliency)模型是由程明 明等人基于输入图像的颜色统计特征提出的基于直 方图对比度的图像显著性值检测方法。具体的说， 一个像素的显著性值用它和图像中其他像素颜色的 对比度来定义。图像/中像素点厶的显著性定义为SQk»DQk，I)其中DU)为像素在Lab空间

14、的颜色距离度量。如果 忽略空间关系，使得具有相同颜色的像素归到一起 ，得到每一个颜色的显著性值NSQkXSCX 工 fjDC，Cj)为了加入空间关系，首先利用基于图的图像分割 方法将输入图像分割成若干个区域。然后对每一 个区域建立颜色直方图。对每一个区域h，通过测量它与图像其他区域的颜色对比度来计算它的显著值s（G二工叫）卩（".）GCS模型GCS模型响）为区域斤的权值，。（掬两个区域的颜色距离 度量。对于区域和 /2他们之间的颜色距离度量定义为0(G G 二为/(q，O/(q, JWc., c2j)f2k，确第i个颜色c最第k个区域 的所有种颜色中岀现的概率。为了增加区域的空间影响

15、效果，基于空间加权区 域对比度的显著性定义为：SE)=工rkriDsgi为区域和的空间距离，控制空间权 值强度。PBS模型对图像片矩阵x八X =兀x,x2 、七x使用PCA抽取特征。 计算 _ 召1=1对应的协方差矩阵为:A = (XrX)/Z?对A进行特征值分解，选择前d个最大特征值对应的 特征向量卩=绚山2，知了其中u的维度为PBS模型给定图像片P和Pj,它们之间的不一致 性为：、 distc°i°g,Pj)dissim ila Kty( p )= + dist(Pi，p)其中，ddistc°i”,Pj)=工”加 unjn-为绝对值函数。PBS模型PBS模型图

16、像片卩的显著性计算方法为:Sj = 1-exissim ila Kty （坏么）其中N为图像片总数。实验结果与分析实验结果与分析我们在Achanta等人提供的公开测试数据集上面 测试了上述所有方法。据我们所知，此数据集是 此类数据最大的测试集，并且有人工精确标注了 显著性区域。将所有方法都在1000张图片上进行计算得到显著 图。实验结果与分析实验结果与分析 实验结果与分析实验结果与分析根据不同模型中提到的方法对显著图进行二值化，并且与实际分割图进行比较，得到查准率 (precision)和查全率(recall)以及F三个指标值。F(1 + 02)precisions recall"

17、P1 x precision recall其中，我们设置02= 0.3，得到的查准率(precision)和查全率(recall)以及F指标如表1所示算法/指标precisionrecallF-measureItti0.620.230.45AIM0.810.640.76GBVS0.840.630.78FTS0.880.770.85SR0.710.280.52PQFT0.750.330.58SDSR0.83|0.710.8SUN0.780.720.76GCS (RC)0.90.90.9PBS0.88 0.810.86结束语结束语从上述10类自底向上的显著性检测模型中，所有算法都容 易受到背景中噪声的影响。这是因