（信号与信息处理专业论文）基于压缩传感的背景提取与图像融合.pdf

摘 要 i 摘 要 采样技术是沟通现实世界的模拟信号与先进数字信号处理技术的桥梁。 在保 留信号完整信息的前提下，人们希望所用的采样速率越小越好，这样既可以方便 硬件实现又可以节省存储、传输和计算的开销。传统的信号处理方式通常是先进 行采样过程，然后将采样数据进行压缩，以节省信号的存储和传输开销。近几年 来，一种新型的理论压缩传感为信号处理方式提供了新的思路。它在已知信号 具有某种类型的稀疏表示特性后， 可以通过直接获取信号的少量线性投影来保留 信号的完整信息，并且可以通过稀疏求解方式进行信号的重建。压缩传感理论在 采样的同时实现了信息的压缩，并且采样速率不取决于信号带宽，而是与信号的 稀疏特性有关。单像素相机是基于压缩传感原理而搭建的用于成像的硬件设备， 它采用单个光子检测器来获取的是原始场景的随机测量值， 成像质量与测量值的 数量有关，这为低分辨率相机获取高分辨率图像提供了可能。 由于单像素相机的出现使得研究压缩传感测量值域的信号处理变得非常有 必要。 这种信号处理方式是寻找有效的处理手段直接在压缩传感域进行相应的操 作从而达到所期望的效果，避免了多次的重建过程。另外，在视频及图像处理领 域中，背景提取与图像融合是非常有实用价值的。所以，研究压缩传感域的背景 提取与图像融合是非常有意义的。 本文的研究内容就是针对单像素相机获取的图像和视频数据， 直接在压缩传 感域进行背景提取与图像融合。主要工作及贡献如下： 1. 概述了压缩传感的理论框架以及其各个组成部分的主要算法原理。介绍 了常用的稀疏表示方法、测量矩阵构造方法以及重建算法，比较了各种方法的优 缺点。分析了单像素相机的工作原理、组成结构等等。 2. 提出了一种压缩传感域背景提取处理框架，并给出了四种简单有效的压 缩传感域背景提取算法。该框架的工作原理是直接对压缩传感域的数据进行操 作，得到背景图像的压缩传感测量值，利用一次重建过程即可恢复背景图像，避 免了对每一帧图像的重建，有效地节省存储、传输以及计算开销。用来进行背景 提取的算法分别为均值、滑动平均、中值以及基于选择的方法。将用四种方法获 取的背景图像测量值作为已知背景进行基于压缩传感的背景减法， 取得了较满意 的效果。 3. 提出了一种压缩传感域图像融合算法。在已有的压缩传感域图像融合的 算法框架上，提出了一种基于测量值能量最大的融合规则。由压缩传感的重要准 则限制等容性原则可知，随机测量前后信号的能量大小变化不大；自然图像在小 摘 要 ii 波域上通常可以进行稀疏表示，即变换前后保持的是小波系数的能量，而小波系 数能量最大是一种常用的融合规则。 通过实验验证了基于测量值能量最大的融合 规则可以取得较好的实验结果。 关键词关键词：压缩传感、单像素相机、背景提取、图像融合、小波变换、能量、均值、 滑动平均、中值、选择 abstract iii abstract abstract sampling technology is the bridge that to communicate the real world analog signals with advanced digital signal processing technology. under the premise of that the sampling procedure can retain the complete information of the signal, people hope to use smaller sampling rate for better, so that makes hardware implementation easier and saves storage, transmission and computing overhead. traditional signal processing methods usually do the sampling process first, and then compress the sampled data to save storage and transmission cost. recent years, a new theory called compressed sensing provides a new way of signal processing. if the signal is known to have some type of sparse feature, then a small amount of linear projection of the signal can retain signal integrity information, and the reverse problem can be solved by sparse signal reconstruction algorithms. compressed sensing achieves compression while the sampling procedure and sampling rate does not determined by the signal bandwidth, but depends on sparse characteristics of the signal. single-pixel camera is the hardware built based on the theory of compressed sensing imaging, which uses a single photon detector to obtain the random measurements of the original scene. the imaging quality related to the number of measurements, which makes low resolution camera to obtain high-resolution images possible. since the emergence of single-pixel camera, it is very necessary to find the signal processing method in the compressed sensing domain. this kind of signal processing is to find effective ways to deal directly in the compressed sensing domain to achieve the desired effect, avoiding multiple reconstruction process. in addition, in the field of video and image processing, background extraction/modeling and image fusion has very practical value. therefore, the background extraction/modeling and image fusion in the compressed sensing domain is very meaningful. this study of this article is based on the image and video data that obtained by the single-pixel camera, and process background extraction and image fusion directly in the compressed sensing domain. the main work and contribution are as follows: 1. overview the framework of compressed sensing theory and the main algorithms of each components of the framework. introduce the commonly used sparse representation methods、methods of measurement matrix construction and reconstruction algorithms, and the advantages and disadvantages of each method. abstract iv analyze the working principle and structure of single-pixel camera. 2. propose a framework of compressed sensing domain background extraction processing, and presents four simple and effective algorithms for compressed sensing domain background extraction. the framework works by directly operates on the compressed sensing domain data to get the compressed sensing measurements of background image. the background image can be reconstructed by existing methods, avoiding the reconstruction of each frame, that saves storage, transmission and computing cost effectively. the algorithms used for background extraction were average, moving average, median, and the selected method. the measurements of the background image obtained by these four methods will be used as known in the operation of background subtraction based on compressed sensing, and achieved satisfactory results. 3. propose a fusion rule in compressed sensing domain. the fusion rule of maximum measurement energy is proposed in the existing image fusion framework of compressed sensing domain. based on the important criteria of compressed sensing-the restricted isometry principle (rip), we can infer that the processing of compressed sensing can maintain the energy of signals. natural images usually have sparse representation in the wavelet domain, so before and after the process of compressed sensing the energy of the wavelet transform coefficients didnt change too much. and the maximum energy of the wavelet coefficient is a commonly used fusion rules. based on these facts, the fusion rule of maximum measurement energy is proposed. keywords: compressed sensing, single-pixel camera, background extraction, image fusion, wavelet transform, energy, average, running average, selective 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文,是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 了明确的说明。 作者签名：_ 签字日期：_ 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅， 可以将学位论文编入中 国学位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内 容相一致。 保密的学位论文在解密后也遵守此规定。 公开 保密（_年） 作者签名：_ 导师签名：_ 签字日期：_ 签字日期：_ 第一章 绪论 1 第一章第一章 绪论绪论 1.1 研究背景和意义 随着信息技术的飞速发展，人们获取信息的手段也日新月异。在传统的信号 处理模式中，通常先将原始信号进行采样，根据奈奎斯特采样定理信号的采样频 率应大于信号最高频率的 2 倍，这样采样后的信号能保留原始信号的完整信息。 在过去的很长一段时间里，奈奎斯特采样定律一直指导着信号的采样过程。但是 按照这一定律，当信号带宽增大时，将会导致海量的数据信息，从而给数据的存 储和传输带来更多挑战。后来，有人提出了针对带通信号而进行的带通采样，在 一定的程度上降低了信号的采样频率。然而，对于具有更加稀疏特性的信号，这 两种采样方式都没有最有效地利用信号的特点。解决这一问题的很自然的想法 是：能否建立一个新的信号处理框架，使得在保证信号完整信息的前提下，利用 更少量的采样值来保留信号的有效信息？ 近年来，信号处理领域的一个热门研究方向压缩传感/压缩感知 (compressed/compressive sensing，cs)1为突破传统的信号处理模式提供了新 的思想；压缩传感的核心思想是在信号采样的同时实现信息的压缩，它突破了香 农限对信号采样频率的限制。用压缩传感实现信号的采样和压缩的前提是，已知 信号具有某种结构的稀疏性2，那么通过设计数据的采样编码算法即可实现数 据采样与压缩过程的统一。按照这一思想，信号的采样率不取决于信号的带宽， 如果信号足够稀疏， 那么其采样频率完全可以低于奈奎斯特采样频率。 也就是说， 如果能够在某种变换基上面找到信号的最稀疏的表达形式， 那么这种信号的采样 频率就可以由这一变换基上的稀疏性来确定。 这一信号处理框架的突出优点是实现了信号采样与压缩的统一，节省了采 样、数据传输、存储与处理的开销。同时，压缩传感过程得到的数据包含了原始 信号的完整信息，因此研究压缩传感域的信号处理方法是非常有必要的， 可以避 免不必要的重建过程，从而降低计算和传输开销。 压缩传感理论在信号处理领域得到了广泛的关注并引起了研究的热潮， 它的 理论基础1-7和应用8-14也得到了快速的发展，压缩传感的理论正处于完善 中，同时它也被应用到了信号处理的各个方向，取得了令人瞩目的成果。其中， rice 大学研制的单像素相机8就成功的将压缩传感理论应用到了实际的成像 系统中，该相机不直接获取原始信号(数据量为n)，而是获取它的m(mn) 第一章 绪论 2 次随机线性测量值，这为低质量相机获取高质量图像提供了可能，只要测量值足 够多，重建图像的质量就能够得到保证。单像素相机可以节省采样成本，并且成 像范围不限于可见光范围内，因此它的应用具有广阔的前景9。研究针对单像 素相机获取的数据的处理方法是具有重要实际意义的，它可以节省很多计算、传 输和存储开销。在针对单像素相机获取的数据进行的各种处理中，背景提取与图 像融合是非常有意义的研究方向。 在视频图像处理中，移动目标检测是一个重要的研究方向，在人们生活的各 个领域(例如公安、交通、家庭以及企业)都有着广泛的应用15。运动检测的主 要目的是从一段连续的视频序列中将运动目标提取出来作为后续目标识别跟踪 等的基础。交通视频检测是它的一个很重要的应用方向，从交通视频中分割出运 动车辆，进而分析这些车辆的运动参数是交通视频检测的首要问题。另外，在银 行等敏感区域的刻意运动目标的检测也是应用的一个重点， 它能够监测出有哪些 运动的目标并进行目标的跟踪和识别。 在众多的目标检测算法中， 基于背景相差法16的运动目标检测是视频检测 中的最简单方便的方法； 进行背景相差法进行运动目标检测的前提是获取一个准 确、稳定的背景，提取背景状况的好坏直接影响背景相差法的算法效果，因此背 景提取与建模的好坏成为了算法成败的关键。 研究利用单像素摄像机所获取的关 于原始场景的随机测量值进行背景的提取与建模是具有重要意义的。 这样便可以 不用恢复每一帧，直接在空间域进行背景的建模与提取，算法直接作用于压缩传 感域得到背景的随机测量值，然后通过重建算法得到背景。这样一来，便节约了 计算和存储的开销，因为算法只需进行一次重建过程，并且视频序列的测量值比 原始像素值小得多，即便是采用同样的操作，在压缩传感域的计算量也比空间域 的计算量小得多。 同样的，研究压缩传感域的图像融合算法也具有重要的意义。图像融合17 是综合来自多个传感器获取的对于同一场景的信息， 以生成一副新的对此场景的 更清晰的表示。图像融合在军事、医学图像处理、远程感知和目标检测中有着越 来越广泛的应用，能够用于融合的图像种类也越来越多。随着传感器种类的增多 以及传感器获取数据方式的不同，可供融合的数据源也越来越丰富。根据压缩传 感理论发展出来的单像素相机为图像融合提供了一种全新的数据源。 研究针对单 像素相机获取的关于原始场景的随机测量值的图像融合算法是一种简便且高效 的融合手段。这种在压缩传感域的图像融合可以大大提高计算、传输以及存储效 率。并且，由于单像素相机可以工作在不同的波段，对它所获取的数据进行图像 融合将不仅仅局限于可见光范围内，这将对实际的应用产生深远的影响。 第一章 绪论 3 1.2 研究现状 1.2.1 压缩传感 压缩传感1是一种全新的信号处理框架，它的核心思想是：如果已知信号 是稀疏的或者在某种基上可以进行稀疏表示， 那么就可以通过设计一种测量矩阵 将原始的高维信号投影到一个低维的空间上， 然后通过求解一个优化问题即可利 用这些少量的测量值以高概率重构原始信号。压缩传感的基本过程可以表示为： 已知信号 n rf在变换基上的变换系数向量为 1 x f，x只有少数的非零值， 即x是稀疏的。设计一个满足一定条件的测量矩阵获得信号f的投影测量值， , m ryfxax y(mn)，那么就可以通过设计一定的重建算法由y 恢复出原始信号f。其中称为测量矩阵，称为稀疏基，a叫做压缩传感矩阵 2。压缩传感领域的研究工作主要集中在以下四个方面：信号的稀疏表示、测 量矩阵的设计、重建算法的研究和压缩传感的应用。 信号的稀疏特性是压缩传感理论得以应用的前提和基础， 只有选择合适的基 表示信号，使信号呈现稀疏性，才能保证信号重建过程的精确度。文献4给出 了几种信号的稀疏表示基：光滑信号的小波分解系数、fourier 系数以及有界变 差函数的全变差范数是稀疏的；振荡信号的 gabor 系数；图像信号的 curvelet 系数等都是具有足够的稀疏度来应用压缩传感重构信号。 然而，如何构造适合一 类信号稀疏表示的正交基是一个有待进一步解决的问题。peyre 在文献18中提 出了一种由多个正交基构成的正交基字典，探索信号在正交基字典上的稀疏逼 近，找到最适合信号特性的正交基。信号在冗余字典19下的稀疏分解是一种全 新的信号表示理论，用冗余字典即超完备的冗余函数库取代基函数，其中字典中 的元素称为原子。字典的选择原则是使其尽可能接近被逼近信号的结构。信号在 超完备库20上进行分解， 可以自适应地根据信号本身的特点灵活地选取用来表 示信号的基，这种方式可以得到一个非常简洁的表达形式。由于信号稀疏表示呈 现出来的优良特性， 稀疏表示理论的研究很快在一维信号的表示中得到了广泛的 发展并扩展到二维图像信号中，并同样表现出了极大的优越性。稀疏表示理论在 信号去噪、压缩、特征提取、模式分类、盲源分离等方向中得到了广泛的应用。 已知了信号的稀疏性也就是满足了压缩传感理论的应用前提， 接下来的问题 是如何设计高效的编码矩阵，使得用较少的测量值即可保持信号的全部信息，从 而精确重构原始信号。测量矩阵的设计是压缩传感理论的核心，好的测量矩阵应 具有以下特性：使用尽可能少量的测量值即可保持重建原始信号的必要信息，并 且测量过程具有非适应性。目前为止，测量矩阵的设计都是基于限制等容性原则 第一章 绪论 4 (restrict isometry property，rip)5，它是测量矩阵需具备的充分条件。现有的 测量矩阵有一部分是随机矩阵，如高斯随机矩阵、伯努利随机矩阵1等等，它 们已被证明以较高的概率满足 rip。但是这些随机矩阵要求的存储空间大，编解 码时间长。ronald 在文献21中设计了一种满足 rip 条件的确定性结构的测量 矩阵，它的矩阵值都是二值的，有利于实际应用；并扩展出了一种确定性的循环 矩阵， 有利于实际的电路实现， 但是构造方法比较复杂， 构造时间较长。 文献22 提出了一种分块结构的矩阵，它所需的存储空间相对较小，解码时间短，得到了 广泛的关注。针对不同的稀疏基，文献23提出了一种最优的投影矩阵，使得测 量基与稀疏基的相关系数最小。此外，具有特定结构的测量矩阵，如 toeplitz 矩 阵24等也被提出来满足不同的应用场景要求。 目前所提出了测量矩阵都是以一 定的概率满足 rip，这仅仅能保证以较高的概率恢复信号，不能保证百分百的成 功。 对于构造一个稳定、 能保证精确重构的测量矩阵仍是一个具有挑战性的工作。 信号的重建算法是压缩传感理论非常关键的一部分， 它是指由少量的测量值 恢复出高维原始信号的过程。由于 0 l范数问题的解可以得到稀疏的结果，所以可 以通过求解最小 0 l范数来获得压缩传感的解，但是最小 0 l范数求解问题是一个 np-hard 问题25，很难求解。candes 等人发现，如果压缩传感矩阵a满足 rip 条件5，那么最小 0 l范数与最小范数 1 l问题具有相同的解，而最小 1 l范数问题的 求解可以通过凸优化进行，因此很多进行凸优化求解的工具可以应用到此问题 中。以最小 1 l范数为求解目标的方法也叫做基追踪方法(basis pursuit，bp)26， 它计算的结果精确，但是不适合大规模的实际应用。另外，一系列的基于贪婪迭 代追踪的稀疏重建算法也得到了广泛的重视。 最经典的求解此问题的方法是匹配 追踪(matching pursuit，mp)27以及它的一系列变种，如正交匹配追踪 (orthogonal matching pursuit，omp)28，分段正交匹配追踪(stagewise orthogonal matching pursuit，stomp)29等等。由于很多二维图像的离散梯度 是稀疏的，一种最小全变分方法3被提出来用来进行图像信号的重建过程。 目前，压缩传感的理论与应用研究正进行得如火如荼。我们做了一个大致的 统计， 在 ei compendex web 数据库中输入关键字 “compressed sensing” ， 从 2006 年开始进行检索，统计各年所发表的论文数量， 发现每一年的论文发表量都在千 篇以上，而且呈现增长趋势，可以看出这一方面的研究正在日益的增多。国内外 的许多知名的公司以及各种科研机构和高校也都致力于解决压缩传感的理论与 应用的研究工作。目前为止，压缩传感在信号处理的众多领域的应用也引起了研 究的热潮，包括图像处理、模式识别、信息论、无线通信以及雷达成像等。 压缩传感的理论研究工作刚刚开始 5 年左右，理论基础仍需完善。在压缩传 感的基础上，又发展出了分布式压缩传感理论30、1 比特压缩传感理论31、 第一章 绪论 5 贝叶斯压缩传感理论32等，使得压缩传感理论得到了丰富，并为更加广阔的应 用打下了理论基础。 国外的很多知名大学都成立了研究压缩传感的专门课题组， 如美国的麻省理 工学院、普林斯顿大学、斯坦福大学、莱斯大学以及杜克大学；德国的慕尼黑工 业大学；英国的爱丁堡大学等。其中，莱斯大学建立了专门的网站，其中包含了 压缩传感理论各个方面的研究成果， 分类汇总了这一方向上所发表的大部分的论 文，为众多研究者的研究工作提供了方便。此外，许多国际知名公司也组织人力 进行 cs 的相关研究工作，如 google、intel等等。在国内，众多的科研单位及高 校也投入越来越多的人力及物力进行压缩传感的研究工作。 1.2.2 背景提取与更新 背景提取与运动目标检测是统一的， 背景是指视频序列中不感兴趣的物体和 区域，而目标即前景是视频中感兴趣的部分，只要将背景区域识别出来，那么感 兴趣的运动物体也就自然找到了。然而视频的背景图像并不是固定不变的，它必 须适应各种环境的变化， 比如光线的变化， 其中包含缓慢的变化和突然的变化 （如 云朵的突然进入） ；运动变化，包括相机的抖动和高频率的背景物体（如树枝的 运动，波纹等等） ；背景几何形状的变化，如突然停入的车辆等等。这些因素给 视频背景的提取带来了严峻的挑战。 背景提取的最简单方法是用人工获取， 由人选择视频中没有车辆和行人等感 兴趣物体的一帧图像作为背景。这种方法简便、准确、适应性好；但是因为有人 的参与，在运动物体较多并且出现较频繁的场景，很难从视频中选出准确的背景 图像。现在，用人工进行挑选的背景图像通常用来与自动算法提取的结果进行比 较，用来评价算法的准确性。 背景提取最基本简单的方法是对每一像素位置，取其前n帧的平均，这种取 平均的方法非常简单快速，但是这种方法非常占用内存，它需要额外的内存空间 来存储前n帧视频序列的信息。另一种平均的方法叫做滑动平均，它仅仅通过当 前帧的信息和当前的估计背景值来估计下一时刻的背景信息， 滑动平均方法简单 并且不需要额外的存储空间，在算法中需要预先设定背景的更新速度，也叫做学 习率。这两种取平均的方法都是线性运算，简单方便。一种非线性的中值滤波法 33也可以被用来提取背景，如果运动物体在视频序列中停留的时间不长，那么 通过中值滤波的手段可以有效地去除运动物体，这是中值滤波方法应用的基础。 平均、滑动平均或者中值滤波的方法的准确性依赖于运动物体的速度和帧频。如 果背景是多模态的，场景中包含了很多缓慢移动的物体，移动物体运动速度很快 而帧频很低，或者光照条件随着时间的变化而变化，这些情况下，前面提到的算 第一章 绪论 6 法所得到的结果会受到制约。 一种基于选择机制的背景提取及更新算法的基本思想是对于每一帧图像， 每 一个像素都被标记成背景或者是前景(运动物体)，如果像素被标记成前景，那么 在背景模型的计算和更新中它将被忽略。通过这种选择机制，可以防止背景模型 被前景的像素值污染。 但是这种方法需要一个全局的阈值来判断像素点是属于背 景或者前景。平均、滑动平均、中值以及基于选择机制的方法都是在对每一像素 位置进行计算，背景提取的结果仅仅依赖于此像素位置的当前值和历史值，像素 之间的空间相关性没有被考虑并应用。 进行背景提取更精确的方法是对背景建模， 每个像素点建立自己相应的背景 模型，对于新到来的像素值则判断它是否在背景模型描述的范围内，如果在，则 认为它是背景像素；否则，则把它标记为前景像素。最简单的背景模型是单高斯 模型34，将每一个背景像素值设定为满足一定均值和方差的高斯随机变量。由 于背景像素点可能受周围环境的影响，它可能在不同区间呈参数不同的高斯分 布，所以可以用高斯混合模型来模拟35。此外，核函数密度估计法36，特征 背景法37，以及稳健 pca 背景提取法38也相继被提出用来估计背景模型。 上述所有的估计方法都是针对没有被压缩的视频而进行的。但是随着视频来 源的日益增多，各种各样的视频形式相继出现，这为数据的传输、存储和分析带 来了全新的挑战。为了缓解数据量急剧增长带来的压力，各种各样的压缩算法被 相继提出。随之而来的是产生了大量的压缩形式的视频/数据，如果按照传统的 视频处理算法，则需要将大量的压缩视频解码成原来的形式，这样不仅产生了很 大的计算开销而且解码后的视频存储也带来了一定的困难。为了应对此问题，多 媒体处理领域的许多学者提出了很多针对压缩视频进行处理的算法，这样可以在 压缩域直接进行处理，从而减少了解码的次数，而且压缩后的数据量较少，因此 计算开销也大大降低了。在背景提取领域，文献39在压缩域成功地进行了背景 的提取与更新，取得了良好的效果，为压缩域的背景提取提供了动力。 目前为止，国内外已经提出了许多有效的背景提取以及目标检测的算法，并 且他们的应用也得到了广泛的研究。背景提取以及目标检测的应用领域主要集中 在智能监控系统以及视频车辆检测系统中。智能视频监控系统利用各种智能监控 算法，自动检测并识别不同的物体，实时监测监控画面中出现的异常情况，并能 够快速地报告异常和提供有用信息。而视频车辆检测系统则可以对路面进行监 控，判断是否有车辆经过并检测出车辆参数。这两类系统在实际中都已经被应用 并取得了一定的成效，同时为以后的研究工作提供了动力。 1.2.3 图像融合 第一章 绪论 7 图像融合技术经过多年的发展，它在军事领域、航空航天、遥感、医学、自 动控制以及气象等方面有着越来越重要的应用。借助于图像融合技术，使得这些 领域得到的数据更加的可信，决策更加的可靠。与此同时，国内外涌现了大量的 讨论图像融合算法的文章，这些算法在像素级、特征级以及决策级上面分别讨论 了融合的方法和各自的优缺点。总体来看，目前研究和应用较多的融合算法主要 集中在像素级。 像素级的图像融合可以归纳为两大类17： 空间域的图像融合与变换域的图 像融合。像素级的图像融合需要待融合图像在空间上严格的配准，否则会大大降 低融合效果。空间域的图像融合就是在各个像素上进行融合操作，融合得到的结 果就是空间域的图像。空间域的图像融合算法主要有加权平均法、最大/最小值 选取法、图像代数法以及模拟退火法等等。而变换域的图像融合算法主要集中在 各种多分辨分解域、彩色空间域等。在变换域的图像融合中应用较多的是塔式分 解法以及小波变换法等。在这类算法中，融合规则的选取是至关重要的，主要的 融合规则包括：最大/最小值选取、加权平均、能量、方差、熵等等。目前为止， 特征级以及决策级的图像融合算法的研究工作还不多，有待进一步的探索。 由于单像素相机的出现， 出现了一种新型的待融合数据类型压缩传感域图 像测量值。针对这种类型的数据信息，人们提出了相应的融合算法框架。其中， 文献13中提出了一种基于熵加权的图像融合算法； 文献14中给出了一种基于 最大值选取的压缩传感域图像融合方法。 这两种融合规则所取得的良好效果为更 多的压缩传感域图像融合算法的研究提供了参考和动力。 尽管目前已经提出了一些非常有效的图像融合算法， 这些算法大都是基于特 定的图像类型以及不同的应用场合，但是由于实际的应用环境差异很大，这些算 法不具有普遍的应用性，所以为搭建普适的融合框架构成了障碍。 由于图像融合在很多领域的重要作用， 各国都对图像融合技术的研究投入了 大量精力。世界发达国家美国、英国以及法国等起步较早，在融合算法的研究以 及实际系统的开发上处于领先地位，并已研制出了上百种实用的图像融合体系， 这些系统极具价值，可以在军事、声纳等领域起到即为重要的作用。在国内，图 像融合也逐渐引起了各个应用领域的注意，从而带动了融合算法的快速发展。国 内的许多高校和研究机构也在图像融合的算法和应用的研究中取得了显著的成 果。但是，由于起步较晚，仍需要更多的努力来达到国际的先进水平。 1.3 本文主要研究内容和结构安排 本文主要以单像素相机获取的数据(包括图像和视频)为研究对象， 给出了对 第一章 绪论 8 于这类数据的融合算法以及背景提取的方法。其中，单像素相机是基于压缩传感 理论所搭建的一种新型的相机结构，具有其特有的优点。本论文的主要研究内容 以及结构安排如下： 第一章为绪论部分，主要给出了压缩传感、背景提取以及图像融合的背景以 及研究的意义。由于压缩传感是我们本文工作的基础，所以在第一节中首先介绍 了压缩传感的研究背景以及它的研究意义，并引出了单像素相机的概念。然后先 后介绍了传统的背景提取以及图像融合的研究背景和意义，进而结合单像素相 机，讨论了基于压缩传感的背景提取以及图像融合的研究意义。在第一章的第二 节中，分别介绍了压缩传感、背景提取以及图像融合的国内外发展和研究现状。 给出了压缩传感理论框架各个组成部分的最新理论以及算法结果， 介绍了传统背 景提取的常用算法以及最新进展， 阐述了图像融合的算法以及实际系统的研究情 况。 第二章主要介绍了压缩传感的基本理论以及其组成框架。 在第一节中介绍了 压缩传感理论的提出以及其理论框架。 压缩传感理论的提出是对传统信号处理方 式的深刻变革。它摒弃了先采样后压缩的处理方式，而是直接在采样的同时实现 信息的压缩，从而在根本上降低了采样的成本并使更高效的信号处理成为了可 能。压缩传感理论应用的前提是已知信号具有某种结构的稀疏表示形式，这一假 设在理论上是可以得到满足了，任意信号都具有它的稀疏表示形式，而问题就在 于如何能够找到它的这种表示。有了这一假设前提后，就可以设计测量矩阵实现 对信号的非自适应线性测量， 最后可以应用稀疏重建算法对信号进行恢复。 所以， 压缩传感的理论框架包括信号的稀疏表示、 测量矩阵的设计以及重建算法三个方 面。在本章的后续内容中，分别介绍了这三部分内容。分析了典型的信号稀疏表 示方法，如正交基、多正交基、冗余字典表示等等，并给出了常用信号的稀疏表 示域。在测量矩阵设计方面，给出了设计测量矩阵应该遵循的准则，并给出了已 有的常用的测量矩阵的结构，包括随机测量矩阵、托普雷兹测量矩阵、分块测量 矩阵、最优投影矩阵以及有效投影矩阵等等。介绍了它们的构造方法以及各自的 优缺点。在重建算法部分，分别介绍了最小 1 l范数法、匹配追踪算法以及迭代阈 值法等。给出了它们求解的目标方程并讨论了算法的优缺点。最后，介绍了压缩 传感在图像处理领域的应用，并详细重点地介绍了本文工作的基础单像素相 机，介绍了相机的结构、工作原理以及它的优越性等等。 第三章主要围绕背景提取工作展开。 目标检测是视频处理领域的重要研究内 容之一，而进行目标检测最简单常用的方法就是背景减法。背景减法的基本步骤 是将测试图像与背景图像进行相减，通过预先设定的阈值对差图像进行判断，从 而得到运动的目标。在背景减法中，一个稳定、准确的背景可以大大提高目标检 第一章 绪论 9 测的精度。本章首先简单介绍了目标检测的三种常用方法：光流法，帧间差法和 背景减法，分析了他们各自的优缺点。然后从背景减法中引出了背景提取的重要 性。 然后， 介绍了几种常用的背景提取算法， 包括空间域的平均法、 加权平均法、 中值滤波法、特征背景法以及基于统计建模的混合高斯模型法。给出了算法的基 于原理与计算方法，并分析了算法的计算量以及算法效果。然后，针对单像素相 机所获取的视频序列的测量值，给出了直接利用测量值获取背景的算法处理框 架，并详细介绍了四种在压缩传感域获取背景测量值的方法，分析了算法的计算 复杂度和算法效果。最后，介绍了基于压缩传感的背景减法的算法原理。它是基 于运动目标占有整幅图像空间的小部分这一假设前提下的， 即认为目标在空间域 上满足稀疏性，然后利用测试图像与背景图像的测量值的差值，通过稀疏恢复算 法直接恢复出运动目标区域。 应用上一节中所提到的四种方法得到的背景测量值 作为已知的背景测量值，验证了算法的有效性。 第四章主要讨论的是图像融合算法。首先介绍了图像融合的概念、分类以及 图像融合的分层结构。讨论了像素级融合、特征级图像融合以及决策级图像融合 所对应的操作数据，或者常用的特征，并分别介绍了各个层次图像融合的常用算 法以及各个层次图像融合算法的优缺点。 然后， 介绍了常用的传统图像融合算法。 分析了常用的空间域图像融合算法有加权平均法和最大/最小值选取方法；给出 了变换域图像融合的算法处理框架及常用的融合规则。进而，给出了压缩传感域 的图像融合处理框架： 对待融合图像的压缩传感测量值直接利用融合规则进行操 作， 得到融合后的测量值， 然后利用重建算法恢复出融合后的图像。 在这一节中， 简单介绍了已有的基于最大值选取以及基于熵加权的融合规则， 并根据压缩传感 理论的重要准则限制等容性得到了一种基于能量最大的融合规则。 为了评价融合 效果，本章给出了几种常用的主观和客观评价标准，给出了计算公式。通过设计 实验，验证了不同分块大小对融合质量的影响，并对不同的融合规则进行了主观 和客观评价。 第五章为总结与展望部分。总结了全文的主要内容， 并重点突出了本文的贡 献，然后针对存在的问题，对接下来的研究工作进行了展望。 第二章 压缩传感 10 第二章第二章 压缩传感压缩传感 2.1 压缩传感理论框架 近几年，信号处理领域最惹人注目的研究成果莫过于压缩传感理论的提出 了。 2006 年， donoho 的论文 “compressed sensing” 在 ieee trans. on information theory 上面一经发表就引起了信号处理界的广泛关注。压缩传感的概念之所以 会引起如此大的反响在于它提供了一种全新的信号采集与处理方式。 由于现实世界中的信号大部分是以模拟形式存在的， 要将先进的数字信号处 理方法应用于这些现实信号，那么采样就成为了必不可少的步骤。所以说采样是 沟通现实世界与先进信号处理方法的桥梁。对于传统的连续信号采样，香农/奈 奎斯特采样定律是一个指导性的准则， 它指出采样的频率必须大于等于信号截止 频率的两倍，才能确保采样后的精确重建。这样，对于截止频率高的信号来讲， 那么采样率无疑是巨大的， 这样除了将会产生海量的数据存储以外还会给采样的 硬件设备带来严峻的挑战。通常在进行传输前需要对采样信号进行压缩，以降低 传输的数据量。除此以外，传统的信号处理模式为先采样后处理，这种方式在香 农/奈奎斯特采样定律的限制下必将跟不上信息技术的高速发展。传统的信号处 理过程如图 2.1 所示： 原始信号解压缩压缩变换采样 重构 信号 传输 存储 图图 2.12.1 传统压缩采样流程图 在传统的压缩采样模式中，采样得到的数据往往还具有很大的冗余信息，为 了更加高效地进行信号处理， 一种在更大程度上降低信息冗余度的全新的信号处 理模式压缩传感应运而生。它的处理流程如图 2.2 所示： 原始可压 缩信号 稀疏重 建算法 压缩传 感测量 重构 信号 传输 存储 测量值 图图 2.22.2 压缩传感信号处理框架 第二章 压缩传感 11 压缩传感理论的主要创新之处在于它提出了一种全新的信号采集与处理模 式，它在采样的同时实现信息的压缩。压缩传感理论的应用有一个前提条件，就 是必须已知信号具有某种结构的稀疏表示特性。有了稀疏性的先验条件以后，根 据压缩传感的理论，那么就可以直接获取信号的压缩传感测量值，而不必首先获 得信号的采样然后再进行压缩。 随机测量值的大小可以根据对重建信号的精度要 求而进行适当调整，通常情况下，进行精确重建所需的测量值数都远远小于原始 信号的大小， 这就在采样的同时实现了压缩， 从而节省了采样的软件和硬