小波变换及稀疏表述初步-梅树立

小波变换及稀疏表示初步梅树立2023/2/61三维空间属于线性空间大多数的信号如图像等，无法在线性空间描述线性向量空间和泛函空间典型的泛函空间：距离空间，Banah空间，内积空间，Hilbert空间。构成线性空间的元素是向量（N维），构成泛函空间的基本元素是函数（基函数）。因此，泛函简称为“函数的函数”2023/2/62概述-从空间解析几何谈起2023/2/63基函数

和

三角板如何用数学公式表达这种基函数逼近？2023/2/64基函数如何用数学公式表达这种基函数逼近？如何提高逼近精度？2023/2/65基函数V0:在整数区间内为常数的所有平方可积函数构成的空间，可表示为以下形式：2023/2/66基函数空间V1:在半整数区间内为常数的所有平方可积函数构成的空间，可表示为以下形式：2023/2/67基函数空间V2:在1/4整数区间内为常数的所有平方可积函数构成的空间，可表示为以下形式：2023/2/68基函数空间V0V2V12023/2/69Vj:在1/2j整数区间内为常数的所有平方可积函数构成的空间，可表示为以下形式：2023/2/610基函数空间思考：将一个函数分别表达在V0空间和V1空间，这两种逼近表达之间的误差是多少？换句话说，我们能否找到误差补空间W0，满足:2023/2/611RECALL2023/2/612函数f(x)=a-(x-b)2在V0空间的映射（在V0空间被逼近）若a=b=1,则h=2/32023/2/613函数f(x)=a-(x-b)2在V1空间的映射（在V1空间被逼近）若a=b=1,则h1=5/12,h2=11/122023/2/614V0的补空间？2023/2/6152023/2/6162023/2/6172023/2/618TranslatingStretching2023/2/619f(x)=a-(x-b)2在V0空间内的逼近表达式（红色直线）：在V1空间内的逼近表达式（绿蓝色直线）：在补空间W1空间内的逼近表达式：2023/2/620….因此，有进一步可表示为2023/2/621Haar小波通过平移和伸缩可以得到Haar小波族2023/2/622平移2023/2/623伸缩2023/2/624小波的一般表达式Haar小波的正交特性2023/2/625多尺度分析Only0functioninallspaces如果某函数在所有空间中，必然在任意区间上是常数，而且平方可积，因此只能是0。所谓平方可积，即：2023/2/626多尺度分析可以逼近所有的平方可积函数f(x)以上尽管涉及到了内积运算，但实质属于插值。即以上讨论内容均在巴拿赫空间进行。完备的线性赋范空间称为Banach空间由于没有定义内积概念，只能用线性泛函代替内积。如插值算子，Laplace算子（微分算子）等。（算子是泛函的一种）。坐标就是线性泛函。完备的内积空间称为Hilbert空间。数值逼近理论在Hilbert空间定义。Banach空间和Hilbert空间设X是n维实向量空间，对其中向量内积举例定义内积正交的定义:(x,y)=0利用内积定义正交任何n维空间都存在正交基正交推论：Hilbert空间中的最佳逼近设线性内积空间的最佳逼近是线性内积空间X的n+1个线性无关元素，子集在中寻求对X的某一元素f的最佳逼近时指在中存在一元素S*，使对于任意都有定理：作为最佳逼近元素的充要条件是集对f的最佳逼近元素的充要条件是S1-f与所有的正交。假设f是集合中的元素，则，f可以被集合中的基函数精确线性表达。误差S1-f=0。若表达式的误差不为零，且误差仍然能被基函数表达，说明表达式还不完整。根据定理推导逼近向量表达式由下列方程组决定对应的矩阵形式为举例被逼近函数为F=MC=F39RelationtomeasurementsDenoisingByEnergyMinimizationThomas

Bayes1702-1761Priororregularizationy:Givenmeasurementsx:UnknowntoberecoveredManyoftheproposeddenoisingalgorithmsarerelatedtotheminimizationofanenergyfunctionoftheformThisisin-factaBayesianpointofview,adoptingtheMaximum-AposterioriProbability(MAP)estimation.Clearly,thewisdominsuchanapproachiswithinthechoiceoftheprior–modelingtheimagesofinterest.40TheEvolutionOfPr(x)DuringthepastseveraldecadeswehavemadeallsortofguessesaboutthepriorPr(x)forimages:Mumford&Shahformulation,Compressionalgorithmsaspriors,…EnergySmoothnessAdapt+SmoothRobustStatisticsTotal-VariationWaveletSparsitySparse&RedundantImageDenoisingViaLearnedDictionariesandSparserepresentationsBy:MichaelElad41TheSparselandModelforImagesMKNAfixedDictionaryEverycolumninD(dictionary)isaprototypesignal(Atom).Thevector

isgeneratedrandomlywithfew(sayL)non-zerosatrandomlocationsandwithrandomvalues.Asparse&randomvectorND-y

=-

OurMAPEnergyFunctionWeLonormiseffectivelycountingthenumberofnon-zerosin.Thevectoristherepresentation(sparse/redundant).Theaboveissolved(approximated!)usingagreedyalgorithm-theMatchingPursuit[Mallat&Zhang(`93)].Inthepast5-10yearstherehasbeenamajorprogressinthefieldofsparse&redundantrepresentations,anditsuses.WhatShouldDBe?OurAssumption:Good-behavedImageshaveasparserepresentationDshouldbechosensuchthatitsparsifiestherepresentationsTheapproachwewilltakeforbuildingDistrainingit,basedonLearningfromImageExamples

OneapproachtochooseDisfromaknownsetoftransforms(Steerablewavelet,Curvelet,Contourlets,Bandlets,…)欠定方程组的稀疏解测量矩阵有关欠定方程组的两个等价特性则:Z,X均为2-稀疏向量，且AX=AZ，但X~=Z欠定方程组稀疏解的唯一性表达式则表示矩阵A的列子矩阵(从N列中抽出S列构成的子矩阵)，类似地，对向量,我们用表示X中的S个元素构成的子向量，即四个等价的唯一性表达式如果x和z都是s-稀疏的,且Ax=Az,则x=z除0向量外，零空间核A中不包含任何2s-稀疏向量Proof.设v是零空间A中一2s-稀疏向量。若s-稀疏向量x和z中非0元素的位置不重叠，换句话说，x-z属于2s-稀疏向量。不失一般性，设v=x-z.根据(a),对于任一s-稀疏N维向量X和Z，若满足AX=AZ，则X=Z.因此,v=0(b)(a)设x,z是s-稀疏向量，且满足Ax=Az.X-z是2s-稀疏向量，且A(x-z)=0。如果A中不包含2s-稀疏非0向量，则x=z以上两条等价性定理说明：s-稀疏信号对应的测量矩阵A中不包含2s-稀疏向量；A的行数m<=2s取矩阵A的S列（card(S)<=2s）构成的子矩阵As是CS->Cm之间的单一映射矩阵(Y和X之间形成单一映射)Z,X均为2-稀疏向量，且AX=AZ，但X~=Z不符合前述哪些条件？矩阵的秩至少应该为2s2s-稀疏N维向量V的支撑区间为S=supp(v).因此，AV=AsVs.注意到S=suppV涵盖了[N]所有的可能子集。根据测量矩阵A得到的压缩信号：Y=AX，X∈CN，Y∈Cm稀疏表示的目标：根据压缩信号Y∈Cm恢复稀疏信号X∈CN该目标对A的要求是：由于稀疏表示对A的要求为：定理2(s-稀N维疏信号的压缩测量矩阵的存在性)对于N维s-稀疏信号X，一定存在2s*N测量矩阵A,使得压缩测量得到的向量Y可以唯一恢复。定理2因此，As可逆且是一单射矩阵，符合定理1中的等价性质c,定理得证。符合以上要求的矩阵还有很多，如上述讨论告诉我们：Y=AX，测量矩阵A对N维s-稀疏信号进行压缩测量得到的压缩数据Y，当A满足一定条件时，可由Y唯一恢复原始信号X。A是m*N（N>>m）矩阵，即A不存在逆矩阵。如何由Y恢复X？设N维向量x是s-稀疏向量，假设该向量是通过2s个离散Fourier变换系数：观测。其中考虑以下三角多项式当时，上式精确消失，因此我们重点寻找集合S欠定方程组的稀疏解MohimaniGH,Babaie-ZadehM,JuttenC.Fastsparserepresentationbasedo