某些发展动态和问题

图像处理：某些开展动态和问题1精选课件StephaneMallat：“AwaveletTourofSignalProcessing----TheSparseWay〞,ThirdEd.,Elsevier,2021.一、从一本书谈起：StephaneMallatisProfessorinAppliedMathematicsatEcolePolytechnique,Paris,France.From1986to1996hewasaProfessorattheCourantInstituteofMathematicalSciencesatNewYorkUniversity,andbetween2001and2007,heco-foundedandbecameCEOofanimageprocessingsemiconductorcompany.S.Mallat书的第二版〔1998〕中译本“信号处理的小波引导〞已于2002年由机械工业出版社出版

“PrefacetotheSparseEditionIcannothelpbutfindstrikingresemblancesbetweenscientificcommunitiesandschoolsoffish.Weinteractinconferencesandthrougharticles,andwemovetogetherwhileaglobaltrajectoryemergesfromindividualcontributions.Someofusliketobeatthecenteroftheschool,othersprefertowanderaround,andafewswiminmultipledirectionsinfront.Toavoiddyingbystarvationinaprogressivelynarrowerandspecializeddomain,ascientificcommunityneedsalsotomoveon.……….〞学习和理解一个成功数学教授的心路历程：将应用作为数学研究的归宿2精选课件我不禁发现科学界和鱼群之间惊人的相似之处。我们在会议和通过文章相互接触，有人抛出一个奉献时就会出现一个全局性的轨迹，大家往一起凑。我们当中有人喜欢处于鱼群的中心，有人喜欢在周围游荡，也有人在前面朝多个方向游动。在一个越来越狭窄和专门的领域内为了不被饿死，科学界也需要往前凑。计算调和分析仍然非常活泼，因为它超出了小波的范畴。写本书的目的是为了解译群体的轨迹并把一路上发现的珍珠收集起来。小波不再是中心题目。它只是一个重要工具，如同富氏变换那样。稀疏表示和处理当前处于核心位置。在80年代，许多研究人员集中关注建立时频分解，试图绕开不定性屏障，期望找出最终的表示方法。沿着构造小波正交基的路子，通过与物理学家和数学家的合作，开辟了新的前景。设计X-let相关的正交基变成了一种流行运动，连带着压缩和噪声抑制应用。近似和稀疏性的联系也变得更加明显。对稀疏性的研究已正当时，引导出新的基地：标准正交基被波形冗余词典所替代。在过去7年间我与工业界相遇。带着许多天真，和几个人共建了一个小公司。这让我们花了一点时间去学习到：在3个月内一个良好的工程应该生产出稳健的算法可以实时运算；与此对照，在过去我们习惯于用3年的时间来写那些有开展前景的新思想。是的，我们还活着，因为数学是信号处理工业创新的一个主要源泉。半导体技术提供了惊人的计算能力和灵活性。但是，特定算法常常不易估量，并且数学能够加速凑试开展过程。稀疏性使计算、存贮和数据搬运得以下降。虽然数学理解非常漂亮，但绝不奢侈。它是越来越精妙的信息处理元件所需要的。S.Mallat书序言简译：3精选课件FromWaveletToX-let

：

waveletcontourletsurfaceletshearletridgeletcurveletbandlet……关于X-let的解读：这些X-let关心信号和图像的表示，特别关心如何表达信号〔图像〕的不连续性〔或奇异性〕，包括点〔灰度〕不连续性〔wavelet〕；线不连续性〔ridgelet)；曲线不连续性(contourlet,surfacelet,Curvelet)；流场不连续性〔bandlet〕；等等理论要点：沿袭wavelet的理论模式，构造出表达信号或图像的“基〞或“标架〞，具有以下要求(1)有几何规那么性，能够逼近图像中任意方向的线、曲线的不连续性；〔2〕有容易计算的分析〔正变换〕和综合〔反变换〕表达；〔3〕对分析〔变换〕域的结果有明确的物理解释，便于实施去噪、压缩的近似处理，以及超分辨重建的进一步工作。

4精选课件1、由可缩放的Meyer窗函数V(t)和W(r)来定义。例：Curvelet

byE.Candès,D.Donoho(2003,2004)2、由V(t)和W(r)定义极坐标窗函数：3、将Ua内插为直角坐标函数Ua(ξ),作为根底curvelet小波函数的富氏变换4、由的富氏反变换，对空间双坐标x

作旋转和位移变换，得到curvelet函数族：这保证了在频域(ξ1,ξ2)平面有扇形支持域。5精选课件例：CurveletbyE.Candès,D.Donoho(2003,2004)〔续〕5、计算的富氏变换，有6、连续Curvelet变换定义为：7、逆curvelet变换：〔略〕8、离散curvelet函数族：用类似连续curvelet函数族的方法来建立。可以证明，离散Curvelet函数族能构成一个紧标架，因此离散curvelet变换是可逆的，有重建公式于是，在频域(ξ1,ξ2)平面有旋转的扇形支持域。6精选课件例：CurveletbyE.Candès,D.Donoho(2003,2004)〔续〕

几个要点：1、选用具有平滑性的Meyer窗函数V(t)和W(r)，分别用来构造射径方向和角度方向的频域窗。平滑窗的意义在于它的傅里叶变换有近似有限支持。2、用内插方法从极坐标变到直角坐标，便于使用FFT计算。3、在直角坐标下引入坐标旋转，使获得的curvelet标架具有平移、尺度、旋转三种表示能力。4、证明curvelet标架是紧标架，即Riesz基，因此curvelet变换是可逆的，有简单的反变换公式。几何解释：1、在频域上具有离散小波瓦片，有抛物型伪极坐标支持，如下图。2、由于空域图样和频域图样的垂直关系，可以看出，所构造的小波标架能够覆盖各种取向和各种尺度的空域棱边。事实上和平移量b无关，这和富氏变换性质相似。3、频域小波瓦片的全体形成一个紧支持。空域小波标架一定是不紧的。离散型curvelet标架是高度冗余的。7精选课件例：CurveletbyE.Candès,D.Donoho(2003,2004)〔续〕应用：1、去噪图像→Curvelet变换→去噪处理→重建算法→输出图像典型去噪处理算法：硬门限法，特别对高频、低电平小波系数。基于成像物理的处理方法。2、利用稀疏性的图像数据压缩。Curvelet变换能够适应性地表达图像上各种几何取向的棱边。棱边取向的几何规那么性越高，重要的变换系数个数越少，图像可压缩更有效。因此，对于纹理几何规那么性强的图像，适合于用Curvelet或Bandlet变换来实现去噪和压缩。如果图像纹理的几何规那么性不强，应该用常规的Wavelet变换。关于稀疏性和压缩后面专门介绍。根本观察：从wavelet到X-let，人们追求发现更有效的信号〔图像〕表示方法。目前这些方法的开展带有高度程式化、技巧性、和特定有效性的特征。学习和掌握这些方法和相关理论是有意义的和重要的，沿着类似的思路去寻求突破性的创新是困难的。8精选课件二、稀疏性和压缩感知(SparsityandCompressiveSensing)各种形态的稀疏性：信号〔图像〕本身可能是稀疏的；信号〔图像〕在变换域是稀疏的；信号〔图像〕中含有内部的相关性、规律性，当用某个数学模型描述时，只需要少量的模型系数；信号〔图像〕的规那么性：良好的图像具有卡通模式，噪声和干扰较少，这意味着具有变差稀疏性或总变差有限性。压缩采样：采样是一个线性泛函作用于信号，不限于获得信号的一个瞬时电平。例：信号xRn，将信号与随意选取的m个向量vi作内积〔滤波〕，m<n,内积结果y。这种采样可以用一个m×n代数方程描述：Φx=y。在一般情况下，重建x有无穷多解。K-稀疏性解：上述问题中，如果假定x中至多只有K个非零元，求解问题变成求解Φx=y，带着附加约束#supp(x)≤K。

9精选课件整数规划问题：求最稀疏解〔P0)min{||x||0：Φx=y，xRn}，其中ΦRm×n，yRm，m<n。||x||0=#supp(x)=x中非零元个数。〔1〕解通常不唯一；〔2〕具有NP-hard计算复杂性。凸松弛规划〔P1)min{||x||1：Φx=y，xRn}，等价的线性规划问题：多项式时间算法minΣaisubjecttoΦx=y-a≤x≤a整数规划问题凸松弛规划▬▬►10精选课件问题P1≡P0

的条件

:受限等量性质RestrictedIsometryPropertyofOderk(RIP)[E.J.Candes,etal.,2006]定义：假定k<m

是一个整数，一个矩阵Ф

Rm×n的等量常数δk

是指对所有k稀疏向量x

Rn，满足以下不等式的最小值：

(1-δk)||x||l22≤||Фx||l22

≤(1-δk)||x||l22

大致地说，RIP是要求Ф

的每个

m×k子矩阵Sk

是近似单位正交的，即任何一个SkTSk

的各个特征值不要偏离数值1太远。充分条件〔Candes，2006〕：如果δ2k<√2–1,那么对于所有k稀疏向量x，〔P1〕问题的解等于〔P0〕问题的解。有噪情况：〔Candes,2005〕去噪问题〔P1ε)min{||x||1:||Φx–y||2≤ε，xRn}，设Ф给定，且y＝Φx＋e，||e||2≤ε.如果δ2k<√2–1，那么||x*-x||2≤C0k-1/2σk(x)1+C1ε,其中x*是〔P1ε〕的解，而σk(x)1＝minzXk||x–z||1,Xk是全体k稀疏向量集合，C0和C1是两个小数值常数。这个结果说明：解的误差与观测误差在同样的数量等级上〔稳定性〕。11精选课件离散不定性原理：记---信号f

时域非零点的个数。---信号f

频域非零点的个数。一个大致的结果是：|T|+|Ω

|~2√N，N---信号长度典型的信号复原例子：信号长度N，频域谱线个数为K，那么在时域使用M~KlogN个样本，用l1最小化，可以得到完美的复原。更一般的稀疏信号重建问题：如果f在某个正交系统Ψ下是稀疏的：有f=Ψa,#{suppa}≤K,使用M个互不相关的“观测序列〞φk获得M个观测量yk=<f,φk>,因此有y=Фf。信号重建问题可以表达为min{||a||1：ΦΨa=y}，当M≥const•KlogN时，信号能够被精确地重建。这个结果适用于图像。找M个互不相关的“观测序列〞φk是容易的！12精选课件仍然在开展中的问题：1、如何更准确地估计解的k-稀疏性和需要的最小量测数m？2、如何构造观测矩阵〔或称词典矩阵〕Ф？使用随机数构造观测矩阵已证明可行，一定条件下能保证RIP条件。是否存在通用和对重建计算最有效的构造方法？3、如何将压缩感知的概念和方法应用于更广的图像处理？1〕将常规图像估计问题，改造成带稀疏性限制的估计问题，适合于成像、图像重建、反降晰、去噪、修复、超分辨，以及分割、配准、识别、跟踪、分类等。典型地，需要考虑变换域的稀疏性和变差稀疏性。2〕压缩感知原理的物理实现技术。Rice大学提出了一个CS照相机原型，工业实现仍然有大挑战。4、如何更有效地处理信号重建中遇到的数学规划〔优化〕问题？期待开展更加有效的凸优化和非凸优化算法。5、将稀疏性限制作为规整化方法处理更广泛的数学物理反问题。13精选课件三、多传感器图像融合(Multi-SensorImageFusion

)1、为什么要关注这个题目？1〕图像融合技术从70年代起，经30多年，开展缓慢，Why？2〕应用方面一直期待进步。〔例如对地观测应用〕3〕目前的研究兴趣仍然大量地集中在“象元级〞图像融合，这类研究的前景如何？有什么根本问题？这需要认真考虑。4〕图像融合的研究方向应该在哪里？2、对图像融合研究造成影响的一个工作：Pohl,C.,Genderen,J.L.,1998,MultisensorImageFusioninRemoteSensing:Concepts,MethodsandApplications,InternationalJournalofRemoteSensing,9(5)，823-854.关于图像融合的定义：“Imagefusionisthecombinationoftwoormoredifferentimagestoformanewimagebyusingacertainalgorithm〞“形成一个新图像〞，这对后续的研究造成了影响！Why？14精选课件它将研究集中地引导到象元级融合研究，而这个研究的合理性是值得怀疑的：1〕象元级融合特别关注“分辨率〞改善问题，其有效性对应用来说缺乏说服力。应用最需要的是对某个目标的各种属性提供尽量综合和全面的知识。2〕观测图像多于2时，象元级融合难以处理和结果表达，这很不合理。3〕象元级图像融合不能一般地与目标的物理属性找到相容性。因为，将目标理解为〞一个象元集合“或将图像的一组象元与目标形态建立一一对应关系常常是不正确的。例：(a)是多谱图，(b)是同一地域的红外图；(c)SAR图像中有飞机，但你看得见任何飞机吗？15精选课件又例：〔a〕VV极化SAR图像；〔b〕HH极化SAR图像。注意在两幅图像中，同一个钢架桥的图像有重要不同。16精选课件3、图像融合的更准确定义：多传感器图像融合是基于多传感器图像来了解图像中所含目标信息的信息融合。要点：1〕“组合两个或多个不同图像形成一个新图像〞对图像融合不是本质的。2〕在多传感器情况下，每个图像应理解为在特定传感器下，一种“目标的属性分布〞〔DAO〕。3〕特征级图像融合应该处理目标的数据关联。也就是，融合技术应该能够从每个图像中区分出指定的目标；能够抽取目标的属性；能够将各个图像中反映同一目标的属性数据关联起来。4〕决策级图像融合应该根据应用需求，利用关联数据产生出关于每个目标的数值描述。5〕产生一个或多个合成图像；用什么方式来显示原图、合成图像、或图形示意图；用什么方式来显示目标属性；。。。这些技术对显示图像融合结果是重要的，但是技术性的，非概念性的。17精选课件4、假设干技术关键问题1〕多传感器图像配准多模态图像配准：典型地基于互信息，比较两个图像区域分布模式差异来决定配准。分布模式差异的度量可以用Kullback-Leibler距离，Bregman距离，或其他广义距离。配准需要的几何校正可以依据“广义特征点〞来实施。图像融合中需要的配准技术一般不是全局配准，而是区域选择性配准和多幅不同图像的联合配准。典型地，“目标〞可能不适合于配准，但要进行描述。2〕分割公共感兴趣区域根据不同的应用需求需要不同的分割技术。感兴趣的区域可以是目标本身，也可以是目标所处的环境。一大类分割技术的依据是属性一致性〔灰度电平、纹理统计特征、速度分布等等〕。另一大类分割技术基于边界提取和区域属性的人工或自动指派。典型的分割技术是通过最优化一个能量泛函来实现。例如活动围道方法是通过增高泛函维数和水平截集方法来实现拓扑演化。融合技术中需要的分割技术可能包含提取目标和环境两层，并且是多幅图像联合分割。18精选课件4、假设干技术关键问题〔续〕3〕抽取和关联目标的特征属性典型目标属性：几何或形状特征；灰度特征；色度特征；各种特征的分布模式；不同传感器反映的特征差异；目标的移动属性；等等。目标属性描述的组织：目标属性描述协议和关联数据库。4〕信息融合和自动图像解释这个技术一定是应用指定的。所谓“图像内容〞依从于应用需求。可用的图像融合系统设计必须依据应用需求拟定出研究和开展的具体细那么，包括图像和目标的类别、主要特征、希望到达目标的具体描述等等。在这些前提下，信息融合和图像解释才有依据。有兴趣者可以参考“SomeNewConceptsandKeyTechniquesinMulti-SensorImageFusion〞，科学网地址：://blog.sciencenet/u/zoumouyan，也可以通过关键词从google上找到。19精选课件四、几点建议1、学习和积累

图像处理技术开展很热，要学习的知识多，学习者需要掌握一定的要点：例如：努力获取物理概念，为第一要点；先看数学推演的线条，搞清出发点和结果，再慢慢理解数学演绎过程；不要限于读一篇文章，而是同时读相关的几篇文章，并且特别要看重最源头的文章。如果有教科书可参考，可节省时间。遇新的数学知识，应作为增长数学知识的时机。

更多方面可以参考博文“同工科学生谈谈如何做研究〞和“谈谈工科学生如何学习数学〞〔可从“科学网〞获得〕20精选课件2、硕士和博士论文研究硕士生可以在开展现有技术上做研究。博士生那么必须争取有明确的创新点。博士生必须审视选题的可开展性，但选题不可能太难太高。例如，研究生论文仍然可以考虑稀疏性、压缩感知的研究，特别是将这些研究与专业应用结合起来。图像分割、配准、多幅超分辨、Retinex、高动态范围成像、基于视频的图像处理、面向医学应用的图像分析和3-D图像处理、面向对地遥感的目标识别和分类，PDE方法，manifold概念的应用，这些题目至今仍然有生命力。也可将X-let、压缩感知的知识结合到这些应用中。这些仍可作博士论文选题，能产生出有发表希望的结果〔但通常不是高度创新性的工作〕。更多方面可以参考博文“同工科学生谈谈如何做研究〞〔科学网〕四、几点建议〔续〕21精选课件3、创新性研究学院式的图像处理研究或者说“纯〞的图像处理研究很难产生出重要的创新性工作。只要当图像处理与重要的根底研究结合，才可能从结合中找到重要的位置。例如：对物理现象出现了新的观测方法或出现了产生新物理现象的技术；生物医学领域出现了新的敏感机制、新的测量和感应性质；对物质、物体、地下、水下等出现了新的物理探测感应性质；----由此开展出新成像原理/机理和技术；与其他应用学科结合，为重要的应用学科提供新观测处理手段；图像认知的进展。这是最艰难和最富挑战性的领域。有志者必须学习交叉学科知识，并有长期累计知识和捕捉灵感的准备。四、几点建议〔续〕22精选课件4、图像处理技术的产业开展时机专用图像处理芯片，始终为有创造性思想的人提供可能性。如何将你的先进处理方法开展成具有一定普适性、有明确应用目标、适合于硬件实现，是必须解决的问题。面向照相、摄像、通信编码的图像处理技术是各个大公司竞争开展的热点。另一方面，例如高清摄像机的开展对中国国内的小公司已经成为可行并且应用市场巨大，为图像处理技术提升介入提供了可能性。遥感应用。通常由政府部门管理，在我国该领域的产业化还未提到日程。然而，商业化、成熟、和有效的大型处理软件是非常需要的。国内许多单位目前靠进口。目前尚缺乏机制和能力来从事这项开展。医学仪器设备。医学成像技术设备是一个大市场。动态医学图像辅助手术治疗系统在国外是开展热点。对此，在现有成像视频系统根底上，需要3D配准、分割、分析和测量技术。压缩感知技术能够大大缩短MRI的采集时间，但图