基于双层稀疏性编码的区域标签方法

LabeltoRegionbyBi-LayerSparsityPriors基于双层稀疏性编码的区域标签方法

1.文献概述2.实现方法Backtoschool文献概述

应用背景：图像检索基于图像周围的文字进行检索从图像中直接得到语义区域基本目的：从含有image-levellabel的图像中识别出语义区域（semanticregion）。思路：ImagelabelSemanticregionregionlevelcorrespondenceRegionwithlabelsobtaineddifficulty思路：ImagelabelSemanticregion图像块(patch)原图像训练图库Patchtoregionrelationsobtaineddifficulty思路：ImagelabelSemanticregionlabelpairs图像块(patch)原图像训练图库原图patch构建

candidateregion训练图库patchwhithlabel重构candidateregioncross-imagepatch-to-regioncorrespondence实现流程首先，提出了一种新的两层稀疏编码技术，用于图像的重建任务其次，将两层稀疏编码转换为L1范式函数最优问题，并使用传统的数学优化技术解决问题最后，提出了一种基于重建关系的关键系传播算法，用于labeltoregion任务Contents实现方法

Over-segmentationI:SparseCodingforCandidateRegionII:SparsityforPatch-to-RegionContextualLabel-to-RegionAssignment&ImageannotationContentsBacktoschool基于阈值分割的分割方法基于区域分割基于边缘分割基于聚类分割efficientgraph-basedimagesegmation图像分割所谓基于图的分割技术通常用G=(V,E)表示一个无向图，顶点vi∈V，边(vi,vj)∈E有一个对应的权值((vi,vj))，是一个非负值，测量相邻顶点的相异程度。在图像分割的情况下，顶点V是像素，边的权值是这条边相连的两个像素的相异度（亮度差，颜色差等）。在基于图像的方法中，一个分割S是V的一种划分的一个部分，每个分组C属于S对应中一个连通区域G’=(V,E),E∈E’.基于图的图像分割用不同的方法测量一个分组的特性，通常我们希望在一个分组中的元素是相似的，在不同分组中的元素特性是相异的，这说明在同一个分组中连接两个顶点的边的权值相对较小，连接在不同分组中的点边的权值较大基于图的图像分割定义一个谓词测量两个分组边缘的元素的相异程度相对于测量分组内相邻元素的相异程度定义一个分组CV的内部差异为这个分组内最小生成树的最大权值MST（C,E）Int(c)=max(c)定义两个分组C1，C2，其间的差异为连接两个部分的边中权值的最小值Dif(C1，C2)=min（Vi，Vj）基于图的图像分割区域比较谓词通过检测分组之间的差异相对于内部差异，是否比其中一个大来判断是否有边界其中Mint(C1，C2)=min(Int(C1)+τ(C1),Int(C2)+τ(C2))，阀值函数τ控制两个分组之间差异比他们内部差异大的程度，这样是为了判断两个分组之间是否有边界。极端情况下，当C是一个点时，Int(C)=0基于图的图像分割算法中采用了一个与区域大小相关的阈值函数：τ(C)=k/︱C︱k是一个常数，事实上，k代表着一个感官上的度量，k较大则倾向于分出的区域更大。经过试验对比，取k=300，C取320×240时效果最好。基于图的图像分割算法流程算法流程例子不仅能捕捉到一定的重要的非局部图像特征，而且在时间上是比较有效率的，理论上n个像素的时间复杂度为O(nlogn),和经典算法不同的是这个算法根据图像中相邻区域的可变度，自适应地调整分割标准。优点Generatevisualwordsstep（生成具有视觉单词的步骤）1、Difference-of–Gaussianfilteronthegray-scaleimagetodetectsalientpoints2、computeSIFTfeatureoverlocalareasbydetectedsalientpoints3、K-meansclusteringapproachRepresentationHowtofindoutthesemantically-similarregion-pairfromtwoimagethatcontainscommonlabel提出双层稀疏编码技术用于图像的鲁棒重建任务将稀疏编码转换为L1范式凸函数最优问题I：Sparsecodingforcandidateregion稀疏编码模型认为，每幅图像都可以看成多个基函数的线性组合，在有足够多的训练好的图像库中，稀疏编码模型表示为y=AαY表示待测图像的representationα是一个相似系数A表示所有输入图像块数据库的representation

NP-hardquestionDense，havenoinformativeforreconstructingy考虑噪声影响，将噪声表示成得出最优解也就是得到了一幅图的多个具有标签的patchImagewithnoiseII:SparsityforPatch-to-RegionPurpose:Buildpairwisesemanticregioncorrespondence,whichisusedforlabelpropagationfromimage-leveltoregion-level.目的：建立语义区域相关性双层编码示意图定义如下变量以完成对a的第2次编码第i个图像的第j个图像块的标准化权重，根据i图像的大小和patch(j)的大小计算得来第1次编码得到的相似性系数矩阵每个图像的总权重对于第i个图像，其总权重为整体表示所有的图像权重第i个图像，其总权重为整体权重表示为：第二层编码的结果即为下式的最优化结果简化为如下形式：其中：利用双层稀疏性编码重构的图像重构出来的区域ContextualLabel-to-RegionAssignmentImageannotation目的：将识别出来的label组合成语义区域并进行语义标注Labelpropagation(i=1–N迭代过程)ReferenceimagexiSelectedpatche