（模式识别与智能系统专业论文）从序列图像中提取高分辨率图像的方法研究.pdf

华中科技大学硕士学位论文 摘要 图像超分辨率复原的目的是从退化的观测图像r 1 ，承构j j 原始的末退化图像对于 超分辨率图像，我们通常是指滤除由于成像系统造成的噪声( 包括离焦模糊、运动模 糊、欠采样等因素) ，以及恢复出由于成像的光学系统限制造成的高频信息丢失以后 获得的清晰图像。这一复原过程是众多图像处理领域的关键工作和步骤。在很多图像 处理过程中都需要从一个低分辨率图像序列中提取一幅高分辨率图像。例如遥感处理 中，当有多幅同一区域图像，要求获得一幅质量更高的图像：在视频处理中，通常提 取的单幅图像是很模糊的，因此可以利用起前后序列图像进行超分辨率复原处理得到 一幅更高分辨率的图像。 虽然经典的插值方法，例如双线性插值、三次样条插值等得到了广泛的研究和应 用，但是这些方法使得图像中的边缘区域，不连续区域变得模糊，使得最终得到的图 像变得模糊。因此图像超分辨率复原问题于6 0 年代开始得到广泛研究。 图像超分辨率复原是一个病态方程求解的过程。这类问题的求解一般利用某些先 验知识来对解空间进行约束。通常采用两种方法：( 1 ) 获得尽可能多的观测数据， ( 2 ) 依据某种先验知识将解空间缩小。 对于图像超分辨率复原，有三个重要的因素会影响处理的结果。首先，准确的子 象素级运动信息对复原过程至关重要；其次，需要建立一个精确的成像模型来描述图 像的成像系统和退化过程；再次，图像的重构过程中，先验知识的描述必须使得病态 问题存在最优解。这是图像超分辨率复原研究要着重考虑的。一厂、 本文首先概述了在图像超分辨率领域一般方法的基本原理，对图像超分辨率复原 中存在的问题以及技术细节进行了探讨。 基于对成像系统和图像超分辨率问题的认识，本文提出种基于最大后验概率估 计( m a p ) 框架下的，采用g i b b s 成像模型，并利用多帧序列图像重构高分辨率图 像的方法。m a p 估计为图像的最优估计提供了良好的框架，便于数学求解，并且可 以充分的考虑各种先验模型。通过g i b b s 模型，可以从图像的局部特性考虑图像的构 华中科技大学硕士学位论文 成。 为了充分利用序列图像之间的冗余信息，以及更好的利用图像中的高频信息，本 文设计了一种基于图像中运动物体边缘信息的运动估计方法，川以更为精确的求取图 像运动物体边缘部分的运动信息，为图像的超分辨率复原带来更多便利。 本文最终在这些技术的基础上，利用序列图像复原出较其它方法更优的高分辨率 图像，并且在效率上优于其它类似方法。 关键字：壹坌辫率，i 季墨地量，复! 丕蝈堡墨! 羔丝v ! i 竺坚三! u 华中科技大学硕士学位论文 一：= ；_ = ；= ；# ；= = = = ；= = ；= = # = = ；z = ；= 。； a b s t r a c t t h eg o a lo fs u p e r - r e s o l u t i o nr e s t o r a t i o ni st or e c o n s t r u c tt h eo r i g i n a l s c e n ef r o mad e g r a d e do b s e r v a t i o n b y ”s u p e r 。r e s o l u t i o n ；w er e f e rt o r e m o v a lo fb l u rc a u s e db yt h ei m a g es y s t e m ( o u to ff o c u sb l u r , m o t i o nb l u r , n o n - i d e a l s a m p l i n g ，e t c ) a s w e l la s r e c o v e r y o f s p a t i a lf r e q u e n c y i n f o r m a t i o n b e y o n d t h ed i f f r a c t i o n i i m i to ft h e o p t i c a ls y s t e m t h i s r e c o v e r yp r o c e s si s c r i t i c a lt om a n yi m a g ep r o c e s s i n ga p p l i c a t i o n s a n d e x t r a c t i n gah i g h r e s o l u t i o n i m a g ef r o ms o m el o wr e s o l u t i o ni m a g e i s r e q u i r e d i n m a n yf a c e t s o fi m a g ep r o c e s s i n g f o re x a m p l e ，i nr e m o t e s e n s i n gf i e l d ，w h e r es e v e r a li m a g e so ft h es a m ea r e aa r eg i v e n ，a n da n i m p r o v e dr e s o l u t i o ni m a g ei sr e q u i r e d ；o ri n v i d e op r o c e s s i n g ，w h e r e s i n g l ef r a m e i nv i d e os i g n a li sg e n e r a l l yo fp o o rq u a l i t y e n h a n c e m e n to fa s i n g l ei m a g ec a nb ed o n eb yu s i n g s e v e r a ls u c c e s s i v ei m a g e sm e r g e d t o g e t h e rb yas u p p e r 。r e s o l u t i o na l g o r i t h m a l t h o u g hc l a s s i c a l l i n e a ri m a g er e s t o r a t i o ns u c ha sl i n e a ra n dc u b i c s p l i n ee x p a n s i o nh a s b e e n t h o r o u g h l ys t u d i e d ，t h e ya l s os m o o t ht h ei m a g e d a t ai nd i s c o n t i n u o u sr e g i o n s ，p r o d u c i n gal a r g e ri m a g ew h i c ha p p e a r s r a t h e rb l u r r y s ot h es u p e r r e s o l u t i o nr e s t o r a t i o n a l g o r i t h mh a sb e e n s t u d i e df r o m6 0 ，s s u p e r r e s o l u t i o n r e s t o r a t i o nf r o mas t i l l i m a g ei s aw e ld r e c o g n i z e d e x a m p l e o fa n i l l p o s e d i n v e r s e p r o b l e m s u c hp r o b l e m sm a yb e a p p r o a c h e du s i n gr e g u l a r i z a t l o n m e t h o d st h a tc o n s t r a i nt h ef e a s i b l e s o l u t i o ns p a c eb ye m p l o y i n ga - p r i o r ik n o w l e d g e t h i sm a yb ea c h i e v e di n t w o c o m p l i m e n t a r yw a y s ；( 1 ) o b t a i na d d i t i o n a ln o v e lo b s e r v a t i o nd a t aa n d ( 2 ) c o n s t r a i nt h ef e a s i b l es o l u t i o ns p a c ew i t ha - p r i o r ia s s u m p t i o n so nt h e f o r mo ft h es o l u t i o n 1 1 1 w e i d e n t i r yt h r e ec r i t i c a lf a c t o r sa f f e c t i n gs u p e r r e s o l u t i o nr e s t o r a t i o n f i r s t l y , r e l i a b l es u b p i x e lm o t i o ni n f o r m a t i o ni se s s e n t i a l s e c o n d l y , o b s e r v a t i o nm o d e l sm u s ta c c u r a t e l yd e s c r i b et h ei m a g i n gs y s t e ma n di t s d e g r a d a t i o n s t h i r d l y ，r e s t o r a t i o nm e t h o d sm u s t p r o v i d et h em a x i m u m p o t e n t i a if o ri n c l u s i o no fa - p r i o r ii n f o r m a t i o n t h i sp a p e r p r o v i d e s a no v e r v i e wo ft h eb a s i cp r i n c i p l e sb e h i n de x i s t i n g a l g o r i t h m s ，p r e s e n t sad e t a i l e dt e c h n i q u e t h a ta d d r e s s e st h ep r o b l e mo f s u d e r - r e s o l u t i o nr e s t o r a t i o n b a s e do nt h ek n o w l e d g eo ft h ei m a g es y s t e ma n dt h ep r o b l e mo f s u p e r - r e s o l u t i o n ，t h i sp a p e rp r o p o s e s am a pf r a m e w o r kb a s e do ng i b b st o e x t r a c tas i n g l es u p e rr e s o l u t i o ni m a g ef r o mi m a g es e q u e n c e s m a p e s t i m a t i o np r o v i d e sar i g o r o u st h e o r e t i c a lf r a m e w o r k ，s e v e r a ld e s i r a b l e m a t h e m a t i c a lp r o p e r t i e sa n dm a k e se x p l i c i tu s eo fa - p r i o r ii n f o r m a t i o ni n t h ef o r mo fap r i o rp r o b a b i l i t yd e n s i t yo nt h es o l u t i o ni m a g e a n df r o mt h e g i b b sm o d e l w ec a nc o n s t r u c ti m a g ef r o ml o c a lr e g i o n i no r d e rt oe x t r a c tr e d u n d a n ti n f o r m a t i o nb e t w e e nt h ei m a g e s e q u e n c e s a n dp r o v i d eu s e f u lh i g hf r e q u e n c yd a t ac o n s t r a i n t s ，w ed e v e l o p a n ”e d g eb a s e d “m o t i o ne s t i m a t i o nm e t h o dw h i c hp r o v i d i n gr o b u s t p e r f o r m a n c ea n dr e l i a b i l i t ym e a s u r e s o nm o t i o no b j e c te s p e c i a l l yi nt h e i r e d g e s t h i sc a nb ec o n v e n i e n t f o ro u r s u p e r r e s o l u t i o nr e s t o r a t i o n b a s e do nt h et e c h n i q u ea b o v e ，w es u c c e s s f u l l yr e c o n s t r u c tas i n g l e h i g h - r e s o l u t i o ni m a g e f r o mi m a g es e q u e n c e sa n di ti sm o r ee f f i c i e n tt h a n o t h e rm e t h o d s k e y w o r d s ：h i g h - r e s o l u t i o n ，m o t i o nv e t 0 5i m a g es e q u e n c e s 华中科技大学硕士学位论文 i v ：j _ ；= ；g = ；= j 自 ；_ = # ；i _ 1 绪论 1 1 本课题的意义 超分辨率复原是图像信号处理中具有挑战性的理论分支。该项理论和技术广泛应 用于图像观测以及图像获取、传递等众多图像处理和应用领域，成为图像处理研究 和发展的重要工具。 对于许多成像系统，如红外成像仪和c c d 相机等，在采集快速视场图像的过程 中，受其固有传感器阵列排列密度的限制，图像的分辨率不可能很高；同时欠采样 效应又会造成图像的频谱交叠，使获取的图像发生降质。虽然成像系统的光学元件 能够有效的限制传感器阵列上图像的频带宽度，使获取的图像有可能避免图像降质 的发生，但这要求光学元件与传感器阵列进行有效的组合，这在实际应用场合中是 很难做到的。如果采用增加传感器阵列密度的办法来提高图像的分辨率，则费用可 能很昂贵或者很难实现【l j 。 解决这一问题的一个有效方法就是超分辨率复原技术。这种技术的目的就是由一 序列低分辨率变形图像来估计一幅( 或一序列) 较高分辨率的非变形和质变图像。 同时消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊。 大多数超分辨率复原方法是从经典的单帧图像复原技术发展而来的。从失真或退 化的观测图像估计出原来没有失真的图像信号，这是许多领域希望解决的问题。这 个问题最早提出于第二次世界大战开始前后，当时由于战争的需要，关于从噪声和 干扰中检测和估计雷达信号的研究受到重视。先驱性的系统研究归功于r w i e n e r 。 著名的w i e n e r 滤波器已经成为一种经典的信号复原方法。这种滤波器既能减少收 发信道造成的信号失真，又能减轻噪声对信号的污染，至今仍有广泛的应用【z j 口j 。 单帧图像信号的复原技术的发展也已经历了约3 0 年的历史。二十世纪s 0 年代 开始的空间探索，人们总期待有一种技术能够弥补或找回由于图像采集系统不完善 造成的图像退化。例如1 9 6 4 年美国的“水手4 号”飞船探索火星计划耗资近1 0 0 0 华中科技大学硕士学位论文 = = ；g = ；。= = # = ；= = = = = i 目；自 万美元，其结果是为了得到2 2 幅高分辨率图像。任何一种因素造成的图像退化都会 降低图像的科学价值，同时也是巨大的经济损失。这就需要一种技术，能够从退化 的图像中复原有用的信息。这就是“图像复原”的目的和意义。 2 0 世纪6 0 年代后期起，国外在单帧图像复原领域取得了很多成果。例如月面 和火星表面探测，阿波罗登月事件，以及若干天文观测成果。1 9 7 8 年美国政府重新 调查肯尼迪总统被刺事件时，就利用了现场照片进行图像复原处理，并作为调查案 件的辅证。 现代的单帧图像复原技术在理论和算法上都已经更加系统和成熟。但是这类方法 的固有局限性严重阻碍了图像复原效果的大幅提高。在传统的单帧图像复原问题中， 因为只有一幅输入图像上的信息可p j , 和j 用，图像复原和分辨率增强的效果受到极大 的限制。为此，许多学者提出利用图像序列中的附加空域时域信息，这样能够重建 超过任何一幅低分辨率图像带宽的超分辨率图像【4 j 。 超分辨率复原有许多应用场合，在遥感、卫星成像、视频检视系统、视频信号增 强与恢复、视频信号转换、显微镜放大成像、医学图像处理以及军事领域，经常需 要得到目标的高分辨率图像，但一方面由于图像采集设备像元尺寸的限制，人们往 往得不到理想的高分辨率图像，特别是红外c c d 相机成像更是如此；另一方面，由 于高分辨率图像采集设备造价昂贵，体积和重量庞大，如航天用的相机。因此，可 以考虑利用低分辨率c c d 相机成像，再利用图像复原技术重构高分辨率图像，便能 降低风险和成本。例如在遥感应用中，通过利用图像超分辨率复原技术，在不改变 卫星图像探测系统和航拍设备的前提下，可实现高于系统分辨率的图像观测。又如 在战场条件下的侦察和监视任务中，图像超分辨率复原也起着非常重要的作用，例 如当人员和装备距离敌人较远的安全距离的时候，这种技术允许我方人员获得与敌 方相同数量的信息( 相对于无增强技术的图像) ；或者在与敌方相同的近距离情况下， 我方能获得较敌方更多的信息【5 】。 图像超分辨率复原技术还可以作为其它图像处理技术( 例如目标识别与跟踪) 的 前期处理工序，为其它的图像处理工作带来便利，其典型的应用领域包括： ( 1 ) 天文图像处理，克服大气扰动层对地基观测天文图像的降晰；克服观测成 华中科技大学硕士学位论文 像系统不理想造成的图像降晰；抑制各种因素引入的噪声；改善空阃飞行器获得的 摄像和录像质量等。 ( 2 ) 光学遥感图像处理，克服大气扰动层对星载遥感图像的降晰；克服摄像或 成像系统不理想以及载机( 星) 相对地面移动造成的图像降晰，抑制噪声和薄云等。 ( 3 ) 合成孔径雷达( s a r ) 遥感图像处理，改善图像的分辨率，抑制噪声，特 别是相干斑噪声，局部几何校正和反降晰等。 ( 4 ) 医学图像处理，抑制各种医学成像系统或图像获取系统的噪声，改善医学 图像分辨率等。 ( 5 ) 公安、侦察、军事领域，出于受到成像条件与成像系统分辨率的限制，不 可能获得高清晰度的图像，由多帧低分辨率图像来复原高分辨率图像具有十分重要 的意义。 ( 6 ) 图像压缩技术，可以利用人工欠采样技术将原有图像进行压缩，然后利用 图像复原技术进行重构。 由于以上原因，超分辨率恢复问题近年来已成为国际上图像复原领域最为活跃的 研究课题之一。 1 2 图像复原技术基本现状 图像的超分辨率复原问题从本质上说属于信号复原领域的课题，而图像超分辨率 复原的概念和方法最早是由h a r r i s 和g o o dm a n l b 儿于6 0 年代提出来的。随后人 们对其进行了研究，并相继提出了各种方法，如长椭球波函数法、线性外推法、叠 加正弦模板法等，但是在使用中，以上方法效果并不理想。这是因为在频域中，对 于高斯白噪声没有很好的消除方法，必然导致复原结果不理想。 从8 0 年代后期以来，超分辨率图像的复原问题取得了突破性的进展。h u n t 等 人不仅在理论上证明了超分辨率存在的可能性，人们还提出了更多具有实用价值的 方法。1 9 8 1 年t a s v 第一次提出了从多帧互为位移的图像序列中插值产生一帧高分 辨率图像的概念，从本质上解决了图像超分辨率无唯一解的问题。k i m 将建立在频 华中科技大学硕士学位论文 一一j = _ _ = = ；目= j ；= = # g j l = _ 域上的算法模型扩展到包含噪声的情况。而m i r a n i 提出的迭代背向投影算法( i b p 算法) 则提高了速度，减小了运算量。s t a r k 从集投影理论发展出凸集投影算法p o c s 大大的提高了求解目标方程的速度。s c h u l t z 提出了基于b a y e s i a n 估计的多帧图 像超分辨率算法，提高了成像质量【。 现在国外已经尝试着在实际应用中利用这些恢复技术，并已经有了相关的产品， 如法国、美国等利用卫星重访和多个卫星同时成像，从而重构高分辨率图像；美国 人曾在探测火星表面时，利用b a y e s i a n 方法对图像进行超分辨率恢复，从而清楚 地观察到火星表面状况；日本三菱公司也曾利用基于m a r k o v 原理，并结合知识库 训练的方法，对图像进行快速高质的恢复；国外的实验室还尝试着利用b a y e s i a n 决策的方法，研制出便携式的夜视增强设备，从而应用在坦克装甲车辆上p j 。 目前超分辨率复原技术主要分成两大类方法：频域方法和空域方法。 频域方法实际上是在频域内解决图像内插问题，其观察模型是基于傅立叶变换的 移位特性【1 0 】。频域方法的优点主要是理论简单、运算复杂度低、很容易实现并行处 理、具有直观的去变形超分辨率机制。但这类方法存在以下缺点，如对于所有的频 域分析方法来讲，它们或多或少的不能适应通常的图像观测模型，包括空间降采样， 摄像头景物间的非整体运动( n o n g l o b a lm o t i o n ) ，一些常用的先验约束，以及常 规噪声模型( 例如对于高斯白噪声，在频域里面是贯穿于整个频域空间的直线，很 难利用滤波器去除) ，以及包含空域先验知识能力有限等，使得在频域中的超分辨率 复原建模相对复杂，这些都限制了频域分析方法在超分辨率复原技术中的应用。 在空域方法中，其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动 模糊、空间可变点扩展函数、非理想采样以及其它一些内容。空域方法具有很强的 包含空域先验约束的能力，例如马尔可夫随机场和凸集等先验约束，这样在超分辨 率复原过程中可以产生带宽外推。由于空域分析的方法则能适应各种观测模型，有 效地缩小解空间带来方便。因此现在超分辨率的研究主要集中在空域分析领域。 空域分析的方法主要包括非均匀空域样本内插法、迭代反投影方法、集合理论复 原方法( 凸集投影p o c s ) 1 1 1 。、统计复原方法( 最大后验概率估计方法m a p 和最大 似然估计方法m l ) 、混合m a p p o c s 方法以及自适应滤波方法等。 4 华中科技大学硕士学位论文 ：；自= ；= ；= = 目= 目= ；= = _ 目= = l ； 非均匀空间样本内插方法是先对低分辨率视频序列进行运动补偿，再采用内插方 法产生单幅高密度合成图像，以这个合成图像为初始值，采用l a n d w e b e r 迭代法 柬熏建超分辨率图像。非均匀空间样本内插方法的缺点是过于简单化，无法重建比 单幅低分辨率图像更多的频域内容，其降质模型有限，也没有使用先验约束。 迭代反投影方法( i b p ) 是首先用输出图像的一个初始估计作为当前结果，并把这 个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像，低分辨率模拟图 像与实际观测图像的差值称为模拟误差。根据模拟误差不断更新当前估计。迭代反 投影方法通过观测方程使超分辨率复原与观测数据匹配，但这种方法的超分辨率重 建结果不惟一，而且把先验约束引入到这种方法中也不是一件容易的事情。 凸集投影方法( p o c s ) 是- - 类解决图像超分辨率复原问题的流行算法。超分辨率 图像解空间与一组凸形约束集合相交叉，而这组凸形约束集合代表了期望的超分辨 率图像的一些特性，如正定、能量有界、数据可靠、平滑等，这样通过这些约束集 合就可以得到简化的解空间。p o c s 是指一种迭代过程，在给定超分辨率图像空间 中任意一个点的前提下，可以定位一个能满足所有凸形约束集合条件的收敛解。 在统计复原方法中，超分辨率复原问题可以解释为一个统计估计问题。最大后验 概率( m a p ) 的含义就是在已知低分辨率视频序列的前提下，使出现高分辨率图像的 后验概率达到最大。根据贝叶斯原理，高分辨率图像的后验概率等价于以下两项之 积：1 已知理想高分辨率图像的前提下，低分辨率视频序列出现的条件概率：2 理 想高分辨率图像的先验概率。条件概率项通常采用高斯模型，先验概率项在不同的 算法中采用不同的模型。最大后验概率估计方法的收敛稳定性取决于先验概率项。 先验概率模型应该具有下面3 个特点：1 是一个局部平滑函数；2 具有边缘保持能 力；3 是一个凸函数。最大似然复原方法可以认为是最大后验概率复原方法在等概 率先验模型下的特例。 混合m a p p o c s 方法就是在最大后验概率方法的迭代优化过程中加入了一些先 验约束。已有的理论证实，只有采用梯度下降最优化方法才能保证这种混合 m a p p o c s 方法收敛到全局最优解【1 2 】。 在空域方法中，研究较多的是凸集投影方法和最大后验概率估计方法。凸集投影 华中科技大学硕士学位论文 = = = = ；= = = = ；= = = = = = = = 目= j = = = = 目口= = = = = = = 方法的优点是可以方便地加入先验信息，可以很好地保持高分辨率图像上的边缘和 细节；缺点是解不惟一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高 等。为了提高凸集投影算法的收敛稳定性，可以采用松弛投影算子，但松弛投影算 予不利于保持图像的边缘和细节。最大后验概率估计方法的优点是在解中可以直接 加入先验约束、能确保解的存在和惟一、降噪能力强和收敛稳定性高等；缺点是收 敛慢和运算量大。另外，最大后验概率估计算法的边缘保持能力不如凸集投影算法， 由这类方法获得的高分辨率图像上的细节容易被平滑掉。 1 3 超分辨率恢复的技术关键和解决方案 在图像的超分辨率恢复问题中，存在下列三个直接影响到处理结果的关键性因 素。 第一，系统退化模型参数的有效估计，对图像恢复来说这是至关重要的。尤其在 序列图像处理中，可靠的子象素级运动模糊参数对图像的恢复起了关键作用。对运 动模糊的错误估测，将比不进行运动估测给恢复造成更大的危害，所以一定要采用 可靠的运动估测和运动补偿算法。由于运动估计只能利用低分辨率序列上的信息， 所以很难达到比较精确的运动估计。虽然目前已经有许多比较成熟的运动估计方法， 但在实际应用场合仍然无法获得令人满意的运动补偿效果，同时这些运动估计方法 的适用场合非常有限。 第二，成像系统的观测模型要能更精确的描述系统性能和采集过程。数学模型是 对复杂现象和过程的简化描述，能够为问题的分析和数值处理提供基础框架。正确 的模型可以作为先验知识或约束条件用于图像重建。也只有在建立一个准确的观测 模型基础上，才能确定要对哪些参数进行估计，才能建立合适的目标方程，因此对 于图像恢复起着很重要的作用，尤其是对于很多特殊场景的图像，必须要找到合适 的数学模型才能达到恢复的效果。 第三，选择合适的重建算法，建立合适的目标方程。目前提出的很多超分辨率 复原算法，在一定程度上解决了实际应用中存在的问题，但这些方法仍然存在着较 6 华中科技大学硕士学位论文 ii -e j - _ 口= = = = 目g = ； = ；= ；= 目_ _ ； 大的缺陷和不足。有些方法，如频域方法，其适用范围非常有限，所基于的理论前 提过于理想化，因此不能有效地应用于多数应用场合。另外有些方法，如凸集投影方 法、迭代反投影方法、统计复原方法等，虽然其适用范围较广，但其运算量很大， 这严重限制了这些方法的使用，尤其在一些运算速度要求较高的场合。还有一些方 法，如非均匀空间样本内插方法、迭代反投影方法等。其结合先验信息的能力很弱， 在改善超分辨率复原效果方厩受到了极大的限制。再有一些方法，如迭代反投影方 法和凸集投影方法等，其算法稳定性不高，这类方法严重依赖于超分辨率复原的初 始估计，收敛解不惟一。另外还有些方法，如以上提到的多数方法，把运动估计与 复原过程分离开了，而实际情况是图像的运动变形与模糊和噪声等降质因素具有密 切的关系，把运动估计与复原过程分离开的做法是不合理的。总之，在超分辨率复 原算法方面，还需要做大量的研究工作。 1 4 本论文的主要内容 本文根据国内外研究概况和课题的任务要求，选用基于最大后验概率m a x i m u m ap o s t e r i o r i ( m a p ) 框架下的统计复原方法，利用多帧序列图像重构离分辨率图 像，深入探讨了在图像超分辨率问题中所考虑的图像成像原理、解决该问题所采用 的图像分布先验模型、运动估计以及图像重构的方法。在研究和利用g i b b s 成像模 型的时候，本文根据实际需要，设计了一组合理的先验模型参数；针对通常运动序 列图像的特点，设计了一种基于图像中不同景物分类处理的运动估计方法。 全文共分章，各章内容安排如下： 第二章论述了在超分辨率图像复原问题中所考虑的图像退化基本原理，推导出图 像复原的基本方法和解决框架。 第三章介绍超分辨率图像复原问题中，所采用的图像分布的先验模型，构造了一 种通用的概率模型。 第四章介绍在序列图像中的运动估计，并依据实际要求设计了一种基于边缘信息 的运动估计方法。 华中科技大学硕士学位论文 第五章论述了超分辨率图像的重构算法，依据图像的先验知识和序列图像中的补 偿信息对图像进行重构，获得高分辨率图像，最后对试验结果做了对比和分析。 一 8 华中科技大学项士学位论文 2 图像超分辨率复原技术中的成像过程 2 1 序贯低分辨率图像退化模型 图像的超分辨率复原是一个病态方程求逆的过程，要了解这个求逆的过程，首先 需要确定图像的成像过程。 在获取图像的过程中有许多因素会导致图像质量的下降( 退化) ，如光学系统的 像差、大气的扰动、运动产生的模糊、离焦和系统噪音等，它们都会造成图像的模 糊和变形。在本文中，主要考虑图像的运动和成像系统采样造成图像降质( 1 3 j ( j 4 j 。 设存在一个低分辨率图像序列，以及其对应的高分辨率图像序列，如图2 1 所 示： 低分辨率 圈像序列 高分辨率 田像序列 图2 1高分辨率图像与低分辨率图像的对应关系 每幅低分辨率图像含川2 个象素，向量霉表示第，帧低分辨率图像，用j ，嚣表 示该帧图像的第( f ，- ，) 个象素，那么一个短的图像序列可表示为向量 罗；防7 ，露+ ，形r 。设与图像序列的中心图像向量瓦对应的高分辨率图像向量牙含 q n 。q ：个象素，用z 。表示高分辨率图像中第( r ，j ) 个象素。矩阵c ，表示图像向量霉 相对于中心图像向量瓦的运动位移，矩阵s 表示采样矩阵；向量疗，表示加性、均值 为0 的高斯噪声，对于系统参数估计中出现的误差也可以归于高斯噪声之中，这样 可以简化系统模型。 华中科技大学硕士学位论文 = t ；= = = = = = = ；= = = ；= = = ；自_ _ ；一 图像的退化模型用矩阵形式表示为： 霉= s c ，2 + 驴，= 4 ，之+ 护， ( 2 1 ) 其中a ，= s c ，。 上式的频域表示为： y ( u ) = a ( u ) z ( u ) + u ( u ) ( 2 - - 2 ) 我们所要做的工作就是根据已知的低分辨率图像霉和所估测到的系统一有关的 参数( 称为点扩展函数) ，来求得高分辨率图像之，并尽可能多的恢复出其中的高频 信息。即： z ( “) = ( 】，( “) 一u ( u ) ) a ( u ) ( 2 - - 3 ) 成像系统的数学模型可以用下面的框图来表示： 理想 测低分辨圈像 测低分辨图像 f 图2 - - 2低分辨率图像成像过程 其中采样矩阵s 描述了将高分辨率图像通加权平均处理投影成低分辨率图像的 过程，它符合普通c c d 相机的成像过程。与高分辨率图像向量2 相对静止的一幅低 分辨率图像向量露，其采样过程表示为： y 古( 霎势+ ，：。， ( 2 - - 4 ) 用矩阵形式表示为： 0 华中科技大学硕士学位论文 s ：三 g ( 2 5 ) 位移矩阵c ，描述了以图像向量露为中心的低分辨率图像序列之间的运动关系， 从而可以利用邻近的序列图像提取与高分辨率图像相关的信息，对于图像向量元附 近的某幅低分辨率图像向量矿，经过运动估测以后获得的运动补偿采样矩阵可以描 述出z ( 。) 投影在向量只中的位置，定义运动补偿矩阵表示为：爿，= 5 q ，即对采样矩 阵s 的各行元素做相应的平移。 对于在高分辨率图像2 中出现而在低分辨率图像只中没有观测到的象素，对应于 矩阵4 中的某列为0 。通常对位移矩阵的求取是利用低分辨率图像序列j ；基础上的 插值图像来完成。 采样和位移过程如图2 3 所示： 2 2 退化图像的重建 图2 3 采样和移动 由公式( 2 一1 ) 所确定的退化模型，可知要从低分辨率图像重建高分辨率图像， 必须首先确定退化矩阵4 以及系统噪声玩的形式，然后再选择合适的重构算法求取 最优的高分辨率图像，据此可以将图像超分辨率复原分解成三个功能相互独立的模 华中科技大学硕士学位论文 块【1 6 】：1 运动参数估计，2 图像以及噪声分布形式，3 图像插值重构。如图2 - 4 所示： 系统参数估计 一 一 i 运动参数估计确定图像和图像插值和 e ，彭) 噪声分布形式重建 f 图2 - - 4 图像复原的功能模块 由于图像超分辨率复原问题是一个病态问题求逆的过程，那么在确定个低分辨 率图像序列的条件下，必定存在一个图像集合是满足给定条件。对这一问题的解决 的可行方法是依据先验知识，对解空间进行约束，并使方程收敛于某个最优解。 由于b a y e s i a n 估计( 也称最大后验概率估计m a x i m u ma p o s t e r i o r i ) 包含 对先验概率密度的估计项，并在病态方程求逆领域得到日益广泛的应用，本文选择 基于b a y e s i a n 估计的统计学模型对图像进行重构【1 7 】【1 8 1 。 根据b a y e s i a n 理论，在已知序列低分辨率图像尹的情况下，图像之的概率表达 为： a 嘲耻m a x ( 等斧j c 2 吲 其中p ( 2 1 尹) 为后验概率，p ( 矿1 2 ) 为高分辨率图像退化为低分辨率序列图像p 时的 条件概率，p ( 2 ) 和p ( i ) 分别表示高分辨率图像和退化图像的先验概率。式( 2 - - 6 ) 的最优估计之代表在已知低分辨率序列图像时最可能的高分辨率图像向量之。 由于项p ( 矿) 是对结果乞无影响的量，因此可将( 2 - - 6 ) 简化为： 2 = m a x p ( 矿l2 ) p ( 2 ) ) ( 2 7 ) 为便于计算，概率方程可取对数，表示为： 三：m i n - l o g p ( 1 i i 之) 】一1 。g 【j p ( 之) 】 ( 2 8 ) 对( 2 8 ) 式求最优解，我们首先要确定先验概率j p ( 乞) 和条件概率j p ( pj 之) 。 本文将在第三章和第四章详细介绍系统参数的估计，和先验概率p ( 2 ) 以及条件 概率p ( y l2 ) 的求解过程。 华中科技大学硕士学位论文 = t 4 目目= = = ；= ；。= = = ；= 目；= = j 目g _ 3 图像超分辨率复原中的图像分布模型 3 1 图像先验分布模型和意义 图像超分辨率复原能够改善图像质量，产生图像增强的效果。但是图像复原和图 像增强技术又有很大的不同之处。图像增强所指的图像处理技术，其习的是使图像 有更好的视觉效果，包括对图像灰度进行非线性的修改，使得低照度的图像部分变 得鲜明，对图像直方图进行均衡，以提高对比度；使用低通滤波器抑制噪声，使用 高通滤波器增强图像边缘，使用非线性滤波器在抑制噪声的同时保持棱边细节等等。 可以看出图像增强技术没有考虑到图像的降质机制和图像自身的固有性质。 而图像超分辨率复原技术的不同之处在于它恰恰是要找出图像降质的机理，以及 图像自身的特征和性质。 图像是以二维强度分布的形式作用于人的视觉。图像模型是用一种数学的解析式 来表达图像的特征或基本属性。或者说，图像模型表现了人对图像特征的某种抽象 认识。数学模型是对复杂现象和过程的简化描述，能够为问题的分析和数值处理提 供基础框架。对图像超分辨率复原问题来说，有睡类图像特征是需要了解和利用的， 一是图像内涵的某种相关性，二是人的感观对图像的某种抽象认识。其中图像象素 间的递推假定和纹理统计特性都表征了图像内涵的相关性。 图像先验模型对图像超分辨率复原的意义非常重要。首先，图像超分辨率复原是 一个病态方程求解过程，一个图像模型是一个附加的先验知识或约束，可以使病态 问题规整化。模型的数学表达使得图像和降质函数估计变得容易把握，区分图像和 噪声的不同统计特性有利于拟定适当的算法抑制噪声和复原图像。适当的图像模型 可以对复原过程实现局部控制，使得尽可能复原和保持图像中的棱边和细节。 而图像的概率分布模型提供了按照最大似然( m a x i m u ml i k e l i h o o d ，m l ) 和 最大后验( m a x i m u map o s t e r i o r i ，m a p ) 准则来估计图像的可能性。也就是利用 图像概率分布模型可以把图像超分辨率复原问题转化为关于图像的b a y e s i a n 估计 问题【l9 1 。 1 4 3 2 图像内插模型 现有的插值算法如最近点插值、双线性插值以及三次样条插值等都考虑了邻近点 的相关性【2 0 】( 2 1 】 22 1 。其中最近点插值函数不提供额外的图像信息。 在双线性插值方法中，考虑未知象素点( x ，y ) 的灰度值是其周围相邻四个象素点 灰度值的线性函数，如下式： x ( 2 i + 1 ，2 j + 1 ) = 口2 “，z ( 2 ( f + ) ，2 ( j + ，) ) ( 3 - 1 ) t 0 ，= o 其中a 代表该点与周围四个象素点的紧密程度，一般是该点与其周围四点距离，的函 数。 ；嚣；：簿耳： 一+ 一一卜一一一+ 一 liii 图3 1 线性插值示意图 三次样条插值方法是假设图像中象素点之间的拟合曲线符合三次方程。在一维情 况下，三次样条插值则是用一个二阶导连续的三次函数来拟合原函数，这使得三次 函数曲线非常平滑。假设已知未知函数s ( x ) 在区怕j 陋，b 】上有 + 1 个插值节点 x 。 x ， x 。，在每个区划【x i , x h 】上该函数可以用一个三次多项式表示，那么称 函数s ( z ) 是节点，。l ，x 。上的三次样条函数。若节点z 。处的函数值为m = f ( x ，) ， 并且s ( x ) = y ，成立，那么s ( x ) 就是三次样条插值函数。如果采用自然边界条件，则 对于任意工【x ，x + l 】( x ，x 。【x 0 x “】) ，有三次样条插值公式s ( x ) ： 华中科技大学硕士学位论文 = = = ；= = ；= = ；= = = = = ；= = = = = = = _ = = e 自；= 。 鼬一t ( 意九意m “( 意) 2 ( 意) + 棚。( 三兰止) 2 ( x 一扎) + m ( 三二兰l ) 2 ( x - - x k + i ) g k xk ix t i x k ( 3 2 ) 其中，所，为待插值函数在插值节点处的一阶导数。根据插值函数二阶导连续的 条件及自然边界条件求出，m ，满足下面的关系 2l 五l 2 0 2 - 00 00 00 l 0 2o - 0 。 0o 00 00 00 _ 2 z 。 l2 舯，小南胪靠俨b 。，舯，以2 卉一2 煮u 刮，肛1 ) g j = 3 ( 乃【“0 】+ t j f x j ，x j + i 】) ( j = 1 ，1 7 一1 ) g0 g l g 2 - g 。一 g 月 ( 3 - 3 ) 这个三转角矩阵可以通过追赶法利用计算机实现。当解出m ，的值后，可以很容 易地利用三次样条插值求出插值范围内所有点的数值。 9 0 年代以后出现了些新的插值方法，如文献【2 3 】考虑插值象素与其周围象素 的相关系数符合g a u s s i a n 分布。 插值模型一般不需迭代运算，插值速度较快，利于高速实现。 但是总的来说，这类方法的模型过于简单，图像的插值信息都来源于本幅图像， 并且大多以平滑的函数来拟合图像，使得图像的边缘信息大多丢失，获到的高分辨 率图像变得模糊。 1 6 舯肌肿一忖脚 华中科技大学硕士学位论文 3 3g a u s s