图像处理：某些发展动态和问题(邹谋炎)

1、 82625719-8018中国科学院研究生院 2011年暑期讲座材料2011年7月6日一、从一本书谈起：一、从一本书谈起： Stephane Mallat is Professor in Applied Mathematics at Ecole Polytechnique, Paris, France. From 1986 to 1996 he was a Professor at the Courant Institute of Mathematical Sciences at New York University, and between 2001 and 2007, he co-fo

2、unded and became CEO of an image processing semiconductor company. S. Mallat 书的第二版（书的第二版（1998）中译本）中译本 “信号处理的小波引导信号处理的小波引导” 已于已于2002年由年由 机械工业出版社出版机械工业出版社出版 “ Preface to the Sparse EditionI cannot help but find striking resemblances between scientific communities andschools of fish. We interact in con

3、ferences and through articles, and we movetogether while a global trajectory emerges from individual contributions. Some ofus like to be at the center of the school, others prefer to wander around, and a fewswim in multiple directions in front. To avoid dying by starvation in a progressivelynarrower

4、 and specialized domain, a scientific community needs also to move on.”学习和理解一个成功数学教授的心路历程：将应用作为数学研究的归宿 关于 X-let 的解读： 这些 X-let 关心信号和图像的表示，特别关心如何表达信号（图像）的不连续性（或奇异性），包括点（灰度）不连续性（wavelet）；线不连续性（ridgelet)；曲线不连续性(contourlet, surfacelet, Curvelet)；流场不连续性（bandlet）；等等 理论要点： 沿袭 wavelet 的理论模式，构造出表达信号或图像的“基”或“标

5、架”，具有以下要求 (1) 有几何规则性，能够逼近图像中任意方向的线、曲线的不连续性；（2）有容易计算的分析（正变换）和综合（反变换）表达；（3）对分析（变换）域的结果有明确的物理解释，便于实施去噪、压缩的近似处理，以及超分辨重建的进一步工作。 1、由可缩放的 Meyer 窗函数V(t)和W(r)来定义。 例：Curvelet by E. Cands, D. Donoho (2003,2004)2、由V(t)和W(r)定义 极坐标窗函数：aVarWarUa)(: ),(433、将Ua内插为直角坐标函数 Ua(), 作为基础 curvelet 小波函数的富氏变换 )(: )(0 , 0 ,aaU

6、4、由 的富氏反变换 ，对空间双坐标 x 作旋转和位移变换，得到 curvelet 函数族：)(0 , 0 ,a)(0 , 0 ,xa)()(bxxa,0,0b,a,R这保证了 在频域 (1,2) 平面有扇形支持域。)(0 , 0 ,a例：Curvelet by E. Cands, D. Donoho (2003,2004) （续）（续）5、计算 的富氏变换，有)(xb,a,)()(Rab,b,a,Uej6、连续 Curvelet 变换定义为：2)()(,: )(Rfdffxxxb,a,b,a,b,a,7、逆 curvelet 变换：（略）8、离散 curvelet 函数族： )(,xlkj用

7、类似连续 curvelet 函数族的方法来建立。可以证明，离散 Curvelet 函数族能构成一个紧标架，因此离散 curvelet 变换是可逆的，有重建公式lkjlkjlkjff,)(b,a,于是， 在频域(1,2)平面有旋转的扇形支持域。例：Curvelet by E. Cands, D. Donoho (2003,2004) （续）（续） 几个要点：1、选用具有平滑性的 Meyer 窗函数V(t)和W(r)，分别用来构造射径方向和 角度方向的频域窗。平滑窗的意义在于它的傅里叶变换有近似有限支持。2、用内插方法从极坐标变到直角坐标，便于使用 FFT 计算。3、在直角坐标下引入坐标旋转，使获

8、得的 curvelet 标架具有平移、尺度、 旋转三种表示能力。4、证明 curvelet 标架是紧标架，即 Riesz 基，因此 curvelet变换是可逆的， 有简单的反变换公式。 几何解释：1、在频域上 具有离散小波瓦片，有 抛物型伪极坐标支持，如图所示。2、由于空域图样和频域图样的垂直关系，可以 看出，所构造的小波标架能够覆盖各种取向 和各种尺度的空域棱边。 事实上 和平移量 b 无关，这和富氏变换性质相似。3、频域小波瓦片的全体形成一个紧支持。空域 小波标架 一定是不紧的。离散型 curvelet 标架是高度冗余的。)(b,a,)(b,a,)(xb,a,例：Curvelet by E

9、. Cands, D. Donoho (2003,2004) （续）（续）应用：1、去噪 图像 Curvelet 变换 去噪处理 重建算法 输出图像 典型去噪处理算法：硬门限法，特别对高频、低电平小波系数。 基于成像物理的处理方法。2、利用稀疏性的图像数据压缩。 Curvelet 变换能够适应性地表达图像上各种几何取向的棱边。棱边取向 的几何规则性越高，重要的变换系数个数越少，图像可压缩更有效。 因此，对于纹理几何规则性强的图像，适合于用Curvelet 或 Bandlet变换 来实现去噪和压缩。如果图像纹理的几何规则性不强，应该用常规的 Wavelet 变换。 关于稀疏性和压缩后面专门介绍。

10、基本观察：从 wavelet 到 X-let，人们追求发现更有效的信号（图像）表示方法。目前这些方法的发展带有高度程式化、技巧性、和特定有效性的特征。学习和掌握这些方法和相关理论是有意义的和重要的，沿着类似的思路去寻求突破性的创新是困难的。二、稀疏性和压缩感知二、稀疏性和压缩感知 (Sparsity and Compressive Sensing)各种形态的稀疏性： 信号（图像）本身可能是稀疏的； 信号（图像）在变换域是稀疏的； 信号（图像）中含有内部的相关性、规律性，当用某个数学模型描述时， 只需要少量的模型系数； 信号（图像）的规则性：良好的图像具有卡通模式，噪声和干扰较少，这 意味着具有

11、变差稀疏性或总变差有限性。压缩采样： 采样是一个线性泛函作用于信号，不限于获得信号的一个瞬时电平。 例：信号 x Rn，将信号与随意选取的 m 个向量 vi 作内积（滤波），m n, 内积结果 y。这种采样可以用一个 mn 代数方程描述： x = y 。 在一般情况下，重建 x 有无穷多解。K-稀疏性解：上述问题中，如果假定已知 x 中至多只有 K 个非零元，求解问题 变成求解 x = y ， 带着附加约束 # supp(x) K。 整数规划问题：求最稀疏解 （P0) min |x|0 ： x = y，x Rn ， 其中 Rmn，y Rm，m n 。 |x|0 = # supp (x) = x

12、 中非零元个数。 （1）解通常不唯一；（2）具有 NP-hard 计算复杂性。凸松弛规划 （P1) min |x|1 ： x = y，x Rn ， 等价的线性规划问题：多项式时间算法 min ai subject to x = y - a x a整数规划问题凸松弛规划 问题 P1 P0 的条件 : 受限等量性质Restricted Isometry Property of Oder k (RIP) E.J. Candes, et al., 2006 定义： 假定k m 是一个整数，一个矩阵 Rmn的等量常数k 是指对所有k 稀疏向量 x Rn，满足以下不等式的最小值： (1 - k )| x

13、|l22 |x |l22 (1 - k )| x |l22 大致地说，RIP 是要求 的每个 mk 子矩阵 Sk 是近似单位正交的，即任何一个 SkTSk 的各个特征值不要偏离数值 1 太远。 充分条件（Candes，2006）：如果 2k 2 1, 那么对于所有 k 稀疏向量 x，（P1）问题的解等于（P0）问题的解。有噪情况：（Candes, 2005） 去噪问题 （P1) min |x|1 : | x y |2 ，x Rn ， 设 给定，且 y x e，| e |2 . 如果2k 2 1，则 | x* - x |2 C0k -1/2k(x)1 + C1,其中 x* 是 （P1）的解，而k

14、(x)1 min z Xk | x z |1 , Xk 是全体 k 稀疏向量集合，C0 和 C1 是两个小数值常数。这个结果表明：解的误差与观测误差在同样的数量等级上 （稳定性）。离散不定性原理：记- 信号 f 时域非零点的个数。- 信号 f 频域非零点的个数。一个大致的结果是： | T | + | | 2N ， N - 信号长度典型的信号复原例子： 信号长度 N，频域谱线个数为 K，则在时域使用 M K logN 个样本，用 l1 最小化，可以得到完美的复原。 更一般的稀疏信号重建问题： 如果 f 在某个正交系统 下是稀疏的：有 f = a, #supp a K, 使用 M 个互不相关的“观

15、测序列” k 获得 M 个观测量 yk = , 因此有 y = f 。信号重建问题可以表达为 min | a |1 ：a = y ， 当 M const K log N 时，信号能够被精确地重建。这个结果适用于图像。 找 M 个互不相关的“观测序列” k 是容易的 ！ 仍然在发展中的问题：1、如何更准确地估计解的 k-稀疏性和需要的最小量测数 m ？2、如何构造观测矩阵（或称词典矩阵） ？ 使用随机数构造观测矩阵已证明可行，一定条件下能保证 RIP 条件。 是否存在通用和对重建计算最有效的构造方法？3、如何将压缩感知的概念和方法应用于更广的图像处理 ？ 1）将常规图像估计问题，改造成带稀疏性限

16、制的估计问题，适合于成像、 图像重建、反降晰、去噪、修复、超分辨，以及分割、配准、识别、 跟踪、分类等。典型地，需要考虑变换域的稀疏性和变差稀疏性。 2）压缩感知原理的物理实现技术。 Rice 大学提出了一个 CS 照相机原型，工业实现仍然有大挑战。4、如何更有效地处理信号重建中遇到的数学规划（优化）问题 ？ 期待发展更加有效的凸优化和非凸优化算法。5、将稀疏性限制作为规整化方法处理更广泛的数学物理反问题。三、多传感器图像融合三、多传感器图像融合 (Multi-Sensor Image Fusion )1、为什么要关注这个题目？ 1）图像融合技术从70年代起，经30多年，发展缓慢，Why ？

17、2）应用方面一直期待进步。（例如对地观测应用） 3）目前的研究兴趣仍然大量地集中在“象元级”图像融合，这类研究的前 景如何 ？有什么基本问题？这需要认真考虑。 4）图像融合的研究方向应该在哪里？2、对图像融合研究造成影响的一个工作： Pohl, C., Genderen, J. L., 1998, Multisensor Image Fusion in Remote Sensing: Concepts, Methods and Applications, International Journal of Remote Sensing, 9(5)，823-854. 关于图像融合的定义：“Imag

18、e fusion is the combination of two or more different images to form a new image by using a certain algorithm” “形成一个新图像”，这对后续的研究造成了影响 ！Why ？ 它将研究集中地引导到象元级融合研究，而这个研究的合理性是值得怀疑的： 1）象元级融合特别关注“分辨率”改善问题，其有效性对应用来说缺乏说服力。应用最需要的是对某个目标的各种属性提供尽量综合和全面的知识。 2）观测图像多于 2 时，象元级融合难以处理和结果表达，这很不合理。 3）象元级图像融合不能一般地与目标的物理属性找

19、到相容性。因为，将目标理解为”一个象元集合“或将图像的一组象元与目标形态建立一一对应关系常常是不正确的。 例： (a) 是多谱图， (b) 是同一地域的红外图；(c) SAR 图像中有飞机，但你看得见任何飞机吗？ 又例：（a）V V 极化 SAR 图像； （b）H H 极化 SAR 图像。 注意在两幅图像中，同一个钢架桥的图像有重要不同。3、图像融合的更准确定义： 多传感器图像融合是基于多传感器图像来了解图像中所含目标信息 的信息融合。 要点： 1）“组合两个或多个不同图像形成一个新图像”对图像融合不是本质的。 2）在多传感器情况下，每个图像应理解为在特定传感器下，一种“目标 的属性分布”（D

20、AO）。 3）特征级图像融合应该处理目标的数据关联。也就是，融合技术应该 能够从每个图像中区分出指定的目标；能够抽取目标的属性；能够 将各个图像中反映同一目标的属性数据关联起来。 4）决策级图像融合应该根据应用需求，利用关联数据产生出关于每个 目标的数值描述。 5）产生一个或多个合成图像；用什么方式来显示原图、合成图像、或 图形示意图；用什么方式来显示目标属性；。这些技术对显示 图像融合结果是重要的，但是技术性的，非概念性的。4、若干技术关键问题1）多传感器图像配准 多模态图像配准：典型地基于互信息，比较两个图像区域分布模式差异来决定配准。分布模式差异的度量可以用Kullback-Leible

21、r 距离，Bregman距离，或其他广义距离。 配准需要的几何校正可以依据“广义特征点”来实施。 图像融合中需要的配准技术一般不是全局配准，而是区域选择性配准和多幅不同图像的联合配准。典型地，“目标”可能不适合于配准，但要进行描述。2）分割公共感兴趣区域 根据不同的应用需求需要不同的分割技术。感兴趣的区域可以是目标本身，也可以是目标所处的环境。一大类分割技术的依据是属性一致性（灰度电平、纹理统计特征、速度分布等等）。另一大类分割技术基于边界提取和区域属性的人工或自动指派。典型的分割技术是通过最优化一个能量泛函来实现。例如活动围道方法是通过增高泛函维数和水平截集方法来实现拓扑演化。 融合技术中需

22、要的分割技术可能包含提取目标和环境两层，并且是多幅图像联合分割。4、若干技术关键问题 （续）3）抽取和关联目标的特征属性 典型目标属性：几何或形状特征；灰度特征；色度特征；各种特征的分布模式；不同传感器反映的特征差异；目标的移动属性；等等。 目标属性描述的组织：目标属性描述协议和关联数据库。4）信息融合和自动图像解释 这个技术一定是应用指定的。所谓“图像内容”依从于应用需求。可用的图像融合系统设计必须依据应用需求拟定出研究和发展的具体细则，包括图像和目标的类别、主要特征、希望达到目标的具体描述等等。在这些前提下，信息融合和图像解释才有依据。有兴趣者可以参考 “Some New Concepts

23、 and Key Techniques in Multi-Sensor Image Fusion”，科学网地址： http:/ ，也可以通过关键词从 上找到。 四、几点建议四、几点建议1、学习和积累 图像处理技术发展很热，要学习的知识多，学习者需要掌握一定的要点： 例如： 努力获取物理概念，为第一要点； 先看数学推演的线条，搞清出发点和结果，再慢慢理解数学演绎过程； 不要限于读一篇文章，而是同时读相关的几篇文章，并且特别要看重最 源头的文章。如果有教科书可参考，可节省时间。 遇新的数学知识，应作为增长数学知识的机会。 更多方面可以参考博文“同工科学生谈谈如何做研究”和“谈谈工科学生如 何学习数

24、学” （可从“科学网”获得） 2、硕士和博士论文研究 硕士生可以在发展现有技术上做研究。博士生则必须争取有明确的创新点。博士生必须审视选题的可发展性，但选题不可能太难太高。例如，研究生论文仍然可以考虑稀疏性、压缩感知的研究，特别是将这些研究与专业应用结合起来。图像分割、配准、多幅超分辨、Retinex、高动态范围成像、基于视频的图像处理、面向医学应用的图像分析和3-D图像处理、面向对地遥感的目标识别和分类，PDE方法，manifold概念的应用，这些题目至今仍然有生命力。也可将 X-let、压缩感知的知识结合到这些应用中。这些仍可作博士论文选题，能产生出有发表希望的结果（但通常不是高度创新性的

25、工作）。 更多方面可以参考博文“同工科学生谈谈如何做研究”（科学网）四、几点建议四、几点建议 （续）（续）3、创新性研究 学院式的图像处理研究或者说“纯”的图像处理研究很难产生出重要的创新性工作。只要当图像处理与重要的基础研究结合，才可能从结合中找到重要的位置。例如： 对物理现象出现了新的观测方法或出现了产生新物理现象的技术； 生物医学领域出现了新的敏感机制、新的测量和感应性质； 对物质、物体、地下、水下等出现了新的物理探测感应性质； - 由此发展出新成像原理/机理和技术； 与其他应用学科结合，为重要的应用学科提供新观测处理手段； 图像认知的进展。这是最艰难和最富挑战性的领域。 有志者必须学习

26、交叉学科知识，并有长期累计知识和捕捉灵感的准备。四、几点建议四、几点建议 （续）（续）4、图像处理技术的产业发展机会 专用图像处理芯片，始终为有创造性思想的人提供可能性。如何将你 的先进处理方法发展成具有一定普适性、有明确应用目标、适合于硬件 实现，是必须解决的问题。 面向照相、摄像、通信编码的图像处理技术是各个大公司竞争发展的 热点。另一方面，例如高清摄像机的发展对中国国内的小公司已经成为 可行并且应用市场巨大，为图像处理技术提升介入提供了可能性。 遥感应用。通常由政府部门管理，在我国该领域的产业化还未提到日 程。然而，商业化、成熟、和有效的大型处理软件是非常需要的。国内 许多单位目前靠进口。目前尚缺乏机制和能力来从事这项发展。 医学仪器设备。医学成像技术设备是一个大市场。动态医学图像辅助 手术治疗系统在国外是发展热点。对此，在现有成像视频系统基础上， 需要3D配准、分割、分析和测量技术。压缩感知技术能够大大缩短MRI 的采集时间，但图像重建期待加速。实时动态 MRI 有更大的挑战。 某些民用市场，如智能交通、公共安全管理需要图像和视频处理技术。 该市场规模很大，国内有上百家公司以各种方式介入，低水平重复现 象严重，有很大的技术发展空间。四、几点建议四、几点建议 （续）（续）附注：本文为中科院研究生院 2011年暑期讲座教材