稀疏表示算法及应用

稀疏表示算法及应用信息与通信工程专题课程报告报告人：王晶晶BA12006029导师：俞能海教授专业：信号与信息处理中国科学技术大学6系2016年5月20日书籍及作者简介目录研究背景稀疏表示稀疏表示建模稀疏表示求解算法不同算法的对比字典学习字典学习建模字典学习求解算法稀疏表示的应用图像处理视觉识别为什么需要稀疏表示信号压缩：压缩感知模型选择：奥卡姆剃刀法则特征选择：模型可解释性生物学解释稀疏表示的应用稀疏表示建模线性表示过完备字典方程组欠定，有无穷多解稀疏先验：中仅有k个非零值如何表示稀疏性：范数范数的定义

范数

范数

范数如何表示稀疏性：范数稀疏表示问题稀疏表示问题信号中的噪声有噪声情况下的稀疏表示问题范数下稀疏表示问题的三种形式有约束条件下的表示形式无约束条件下的表示形式范数下稀疏表示问题的三种形式有约束条件下的表示形式无约束条件下的表示形式稀疏表示优化算法贪婪策略算法MP算法OMP算法包含约束的优化策略GPSR算法算法基于近端算法的优化策略ISTA算法FISTA算法PALM算法DALM算法同伦算法OMP算法正交匹配追踪(OMP)算法包含约束的优化策略不可导的无约束优化问题有约束的平滑优化问题GPSR方法梯度投影稀疏重建方法(Gradientprojectionsparsereconstruction,GPSR)目标函数方法基于内点法的稀疏表示方法目标函数内点法基于近端算法的优化策略软阈值收缩操作符近端操作符：ISTA算法迭代收缩阈值算法(Iterativeshrinkagethresholdingalgorithm,ISTA)泰勒展开二阶近似子问题如何转换为简单形式？FISTA算法快速迭代收缩阈值算法(Fastiterativeshrinkagethresholdingalgorithm,FISTA)二阶近似更新基于同伦算法的稀疏表示分段线性起始点选择更新方向计算步长

不同算法的对比—数据集ORLExtendedYaleBLFWCOIL20Fifteenscene不同算法的对比—参数的影响ORLLFWCOIL20Fifteenscene不同算法的对比—分类结果字典学习固定的字典小波变换Bandelets变换Curvelets变换Contourlets变换FFT变换学习的字典更好的适应性在具体的任务上效果比固定字典好字典学习目标函数无监督字典学习有监督字典学习无监督字典学习范数字典学习范数字典学习局部约束线性编码拉普拉斯稀疏编码局部约束线性编码局部约束线性编码(Localityconstrainedlinearcoding,LLC)JinjunWang,JianchaoYang,KaiYu,FengjunLv,ThomasHuang,andYihongGong.Localityconstrainedlinearcodingforimageclassification.CVPR2010.LocalitySparsitySparsityLocality目标函数拉普拉斯稀疏编码拉普拉斯稀疏编码(Laplaciansparsecoding)ShenghuaGao,IvorWai-HungTsang,Liang-TienChia,andPeilinZhao.Localfeaturesarenotlonely–laplaciansparsecodingforimageclassification.CVPR2010.目标函数卷积稀疏编码卷积稀疏编码(Convolutionalsparsecoding)Song-ChunZhu,Cheng-EnGuo,YizhouWang,andZijianXu.Whataretextons?InternationalJournalofComputerVision,62(1-2):121–143,2005.目标函数判别性KSVD判别性KSVD(DiscriminativeKSVD,DKSVD)QiangZhangandBaoxinLi.Discriminativek-svdfordictionarylearninginfacerecognition.CVPR2010.目标函数简化形式标签一致性KSVD标签一致性KSVD(LabelconsistentKSVD)类别1类别2ZhuolinJiang,ZheLin,andLarrySDavis.Learningadiscriminativedictionaryforsparsecodingvialabelconsistentk-svd.CVPR2011.目标函数标签一致性简化形式Fisher判别性字典学习Fisher判别性字典学习MengYang,LeiZhang,XiangchuFeng,andDavidZhang.Fisherdiscriminationdictionarylearning

forsparserepresentation.ICCV2011.目标函数类内散度类间散度判别性重建字典学习求解算法两种形式基于随机梯度下降的求解算法目标函数对字典D求导梯度下降投影基于交替优化的方法

基于交替优化的方法KSVD方法目标函数同时优化字典和稀疏表示稀疏表示在图像处理中的应用主要步骤将退化的图像X分解成有重叠的图像块（Patches）构建字典D，对每一个图像块x求其稀疏表示利用稀疏表示和字典，重建相应的图像块将重构的图像块放到原先的位置，然后对重叠区域去平均值，从而获得整个重构的图像X′令X=X′，以新图像为重建目标，重复上面的步骤应用图像去燥图像修复图像超分辨率重构图像去噪

图像去噪结果图像修复目标函数图像超分辨率重构训练：重构：JianchaoYang,JohnWright,ThomasSHuang,andYiMa.Imagesuper-resolutionviasparserepresentation.ImageProcessing,IEEETransactionson,19(11):2861–2873,2010.稀疏表示在视觉识别中的应用稀疏表示在图像分类中的应用图像编码人脸识别图像块分类稀疏表示在目标跟踪中的应用基于稀疏表示的跟踪算法基于字典学习的跟踪算法稀疏表示在图像编码中的应用图像分类的框架稀疏表示在图像编码中的应用图像编码目标函数稀疏表示在人脸识别中的应用SRC(Sparse-representationbasedclassifier)方法JohnWright,AllenYYang,ArvindGanesh,ShankarSSastry,andYiMa.Robustfacerecognitionviasparserepresentation.PatternAnalysisandMachineIntelligence,IEEETransactionson,31(2):210–227,2009.稀疏表示在人脸识别中的应用对遮挡的处理对misalignment的处理稀疏表示在图像块分类中的应用基于重建误差分类稀疏表示在图像块分类中的应用基于稀疏表示系数分类稀疏表示在目标跟踪中的应用l1TrackXueMeiandHaibinLing.Robustvisualtrackingusingl1minimization.InComputerVision,2009IEEE12thInternationa