基于背景图像的视频图像压缩感知重构关键技术研究

1、基于背景图像的视频图像压缩感知重构关键技术研究引言口传统的信号采样主要基于奈奎斯特采样定理，需要较高的采样频率才能精确 重构出原始信号信息，对硬件提出了较高的要求。此外，编码时为了达到一定的 压缩比和一定成本，舍弃了很大的采样数据，没冇充分利用采样数据。而对丁视 频信号，主要采用运动估计、补偿、数据交换编码等算法来提高数据传输速率， 因此视频信号编解码的复杂度较高。口前的压缩感知(cs)理论4】，对具有一定 稀疏度的信号，采样观测矩阵和变换基对视频信号进行降维，通过少量的观测数 据重构出原始信号。因此一些学者将该理论应用于视频编码中。在处理监控视频 信号时，文献问考虑到视频帧与帧z间的相关性，

2、通过帧间差分图像本身具冇的 稀疏性和参考帧图像进行帧图像的重构，以及对当前帧图像进行运动估计和运动 补偿提高视频重构质量。但是参考帧图像的选取对帧图像重构质量有较大的影 响，本文将基于帧间差分法获取的背景图像作为后一帧图像的先验知识进行后一 帧帧图像的重构，通过获取的背景图像代替了原有的参考帧图像进行帧图像的重 构，避免了参考帧图像选取不同造成的重构误差，捉高了重构质量，节省了重构 时间。1基于压缩感知理论的视频图像的重构压缩感知是利用信号的稀疏特性，在远小于nyquist采样率的条件下，获取 信号的采用值，重建原始信号的方法© 如杲一个信号在某组基向量下的系数 含冇大量的零元素，则

3、可以称这个信号为稀疏的。对于一个冇限长度为n的一 维离散信号，可以表示为：x = l/s(1)其屮©为基向量，$基向量的稀疏表示系数。对长度为川的信号兀的重构方法，首先对其进行次的线性测量，表示短阵为：y = <x = l/s(2)式中为mxn的测量基，y为长度为n的信号x的测量值。其中稀疏基肖 的列向量不能用测量基的行向量来稀疏表示偸9。,反之亦然。由于m<n, 方程的个数远远少于未知数的个数，所以这是一个欠定问题，一般來讲无确定解。 然而，如果黔是k稀疏的(kvm)那么就冇望求出确定解。求解信号x的问题可以转化成最小厶范数问题3冈，即：5 = arg minbb ,

4、y =黔=0s(3)其屮arg min/(x)为使/(x)取最小值的兀，解出s，再通过卅重建信号兀。基于压缩感知理论的视频图像的编解码方法：先通过视频摄像头获取视频信 号，对每帧视频图像进行小波基稀疏表示，然后使用观测矩阵进行观测得到带加 性噪声的压缩信号，在接收端进行信息处理，使用结合压缩感知重构算法重构每 帧视频图像，具体流程如图1所示。(b)图1基于用缩感知理论的视频图像的重构原理框图(町视频图像编码(b)视频图像 角军码重*勾 fig. 1 schematic diagram of reconstruction of video image based on the theory of

5、compressed sensing (a) video imaging coding (b) video imaging decoding2基于帧间差分背景图像的视频图像的压缩感知重构视频图像的重构不同于单幅普通图像，因为视频序列的相邻帧图像间存在很 强的相关性，卜一帧视频图像的重构可以利用而一帧甚至而几帧的背景信息作为 先验条件。基于帧间差分背景图像的视频图像的压缩感知重构算法选用帧间差分 法实现背景的提取，为下一帧图像的重构提供一个先验知识，并结合压缩感知重 构算法，得到基于帧间差分背景图像的视频图像的压缩感知重构算法，充分利用 视频序列间相邻帧图像之间的相关性，实现视频图像的压缩感知重

6、构。2. 1帧间差分背景图像的获取基于帧间差分背景图像的视频图像的压缩感知重构过程中背景图像的获取 方法如下。假设第k帧视频图像与第k-1帧视频图像分别表示为fu 与 fkn，),利用帧间并分法可以求得背景图像殊心c 7)。(1) 利用第k帧图像fko 与第k-1帧图像fk血j)计算差分图像 fk,k-1(2) 根据设定的阈值t,将计算得到的差分图像fk，ks)进行二值化处 理得到图像ak.k】(z)；（3）将图像心（"）进行开、闭运算，去除噪声，填充运动目标内部的空洞，得到图像（4）根据图像 us各点像素值，确定背景图像,若图像中 的像素值为0,则背景图像屮的像素值等于前两帧图像相

7、应位置的像素平均值, 反之，背景图像的像素值置零。公式如下：b g "鼬（门）+你一血川bk,k- （门）=0kk1 j / 0bg（i，j）=l，八2. 2基于帧间差分背景图像的视频图像压缩感知重构算法基于帧间差分背景图像的视频图像压缩感知重构算法的原理框图如图2所 示。基于帧间羌分背景图像的视频图像压缩感知重构算法的流程图如图3所示， 具体步骤如下：输入：随机测量值y,测量矩阵，稀疏变换屮；a输出：原始信号兀的k-稀疏逼近x（1）初始化，迭代次数* = 0 ,止则化参数j参数"> ° ,变量初始值心,迭代停止值£ ；（2）判断是否为前两帧视频图

8、像重构，若是，则匕）=°,转到步骤（4） 继续执行，若否，则转到步骤（3）继续执行；（3）计算前两帧图像（第k-1帧图像fku与第k-2帧图像 你一2（'j）的背景图像，并对求得的背景图像进行小波变换，获得初始化向量即厶=屮7纵“2（门）；（4）计算中间变量忑'，即忑'=%+久；（5）通过人 和的向量值更新空域变量忑+1,更新空域变量公式如卜和=（<!/+ “/厂（、+丹伉 + dk）（5）（6）计算中间变量即人如一久；（7）通过/和心的向量值进行阈值算子操作，更新频威变量匕+x更新 空域变量公式如f （soft为软阈值算法）：/x«+i=sm

9、 （屮乜+-dj,三i"丿（6）（8）利用式了心+1=久+/+1一兀+更新迭代变量变量d；（9）更新迭代次数，用k+1替代k；（10）计算目标函数和迭代终止函数（迭代终止函数为c（ |/（+l）-/（xjc（耳+】,xk） =亢门）（11）判断是否满足迭代停止条件，若满足c返回当前估计值，反之"，则返回到步骤（2）继续执行。(b)图2基于帧间差分背景图像的视频图像压缩感知重构算法原理框图(a)视频图像 编码(b)视频图像解码 fig. 2 schematic diagram of reconstruction of video image by compressive se

10、nsing based on background image of inter frame difference (a) video imaging coding (b) video imaging decoding输入：随机测量值y,测量矩阵，稀疏基矩阵屮初始化，迭代次数k=0,正则化系数参数卩0,变化初始值do迭代终止值£否第-帧、第二帧图像初始化变量匕）=0求前两帧图像的背景图像 匕_*2（门）初始化变量 v0 = tr_i,_2（/,j）求解中间变量=vk+dkd更新空域变量严（7+（7 y +岬（匕4- j,）求解屮间变量vk'=txk+-clk更新频域变量sof

11、t （屮匕+1 -dj：更新迭代变量 仏产久+畑-屮55更新迭代次数kk+l求解终止函数c（%|宀）化；（°"是输出xk图3基于帧间差分背景图像的视频图像丿土缩感知重构算法流程fig. 3 flow diagramof reconstruction of video image by compressive sensing based on background image of interframe difference （a） video image coding （b） video image decoding3仿真实验研究选用随机矩阵作为测量矩阵以及正交小波进行视频

12、图像的稀疏表示，分别采用基丁压缩感知理论的重构算法与基丁帧间差分背景图像的视频图像重构算法 进行视频图像的仿真重构实验。釆用matlab软件作为仿真实验平台，选取五幅视 频序列图像进行仿真。图4 (c)为采用帧间差分法获取的背景图像。(a)(b)(c)图4基于帧间差分背景图像的仿真计算实验第一帧视频图像(b)第二帧视频图像 c 背景 i冬i 像 fig. 4 the simulation compute experiment of background image of inter framedifference (a) the first video image (b) the second

13、 video image (c) the background video image(a)(b)(c)图5原始视频图像(a)第三帧视频图像第四帧视频图像(c)第五帧视频图像fig.5 the original video image (a) the third video image (b) the forth video image (c) the fifth videoimage(a)(b)(c)图6基丁压缩感知算法的重构视频图像仿真实验(a)第三帧视频图像的重构图像(b)第四帧视频图像的重构图像(c)第五帧视频图像的重构图像fig. 6 thereconstruction of vid

14、eo image based on the theory of compressed sensing (a) the thirdreconstruction video image (b) the forth reconstruction video image (c) the fifth reconstmctionvideo image(a)(b)(c)图7基于帧间差分背景图像的视频图像压缩感知重构仿真实验第三帧视频 图像的重构图像(b)第四帧视频图像的重构图像(c)第五帧视频图像的重构图像fig. 6 the reconstruction of video image by compres

15、sive sensing based on background image ofinter frame difference (a) the third reconstruction video image (b) the forth reconstruction videoimage (c) the fifth reconstruction video image表1重构图像的psnrtable 1 the psnr of reconstructed imagescs帧间差分cs29. 5086 28. 345632. 1236 30. 243428. 900131.25463. 1峰值信

16、噪比对图5的原视频图像序列进行基丁压缩感知理论的重构算法与基于帧间差分 背景图像的视频图像重构算法的重构仿真实验，结果如图5、6所示。基于帧间差 分背景图像的压缩感知重构图像从视觉效果有所改善，说明帧间差分法获得的背 景图像作为先验知识起到积极作用。计算重构后图像的峰值信噪比(psnr)绘制 表1,可见：基于帧间差分背景图像的压缩感知重构图像的psnr高于基于压缩感 知理论的重构图像的psnr o3. 2重构时间计算基于压缩感知理论的重构算法与基于帧间差分背景图像的视频图像重 构算法的重构时间，绘制表2,可见基于帧间差分背景图像的视频图像重构时间 小于基于压缩感知理论的重构时间。表2重构时间t

17、able 2 the reconstruction time of reconstructed images第3帧第4帧第5帧cs2. 3699s 2. 1659s 2. 4727s帧间差分 cs1. 1345s 1.3421s 1.5077s5小结木文针对视频序列相邻帧图像之间的相关性，提出了基于帧间差分的背景图 像的视频图像重构算法，利用前两帧的视频图像的压缩感知重构图像求得背景图 像，作为卜一帧视频图像重构的先验知识，提高重构图像的质量，减少重构时间。 实验仿真结果表明，将帧间差分法与压缩感知重构算法相结合得到的视频重构算 法在视频图像重构的图像质量和重构速度上具有良好的效果。引用文献1

18、 yang xin che ng,he bin. video code based on compressed sensingj.computer science, 2013, 40(6a): 169-172 杨鑫诚,何斌基于压缩 感知理论的视频编解码方法j.计算机科学,2013, 40(6a): 169-1722 e. candes, m. wakin. an introduction to compressive samplingj.ieee signal processing magazine, 2008, 25(2): 21 303 j. romberg. imaging via co

19、mpressive samplingjeee signal processing magazine, 2008, 25(2): 14204 o katz, y. bromberg and y silberberg,compressive ghost imagingj. appl. phys. lett. 2009,95:1311105 li ang,ma qiang,cen yigang,zhao ruizhen,cen lihui. reconstruction of surveillanee video based on the compressed sensingj. caai tran

20、sactions on intelligent systems, 2013, 8(6): 1-5 李昂，马强，岑翼刚，赵瑞珍,岑丽 辉。基于压缩感知的监控视频重构j.智能系统学报,2013, 8(6): 1-56 chen xihao, qian liu, kai hong,et al. lensless ghost imaging with true thermal lightj.opt. lett., 2009, 34(5): 6956977 wenlin gong, shen she ng han. lens ghost imaging with thermal light: from

21、the far field to the near fieldj.phys. lett. a, 2010, 374(36): 372337258 wenlin gong, shen she ng han. a method to improve the visibility of ghost images obtained by thermal lightj.phys. lett. a, 2010, 374(8): 100510089 e. candps, j. romberg, t. tao. robust uncertainty principles: exact signal reconstruction from highly incomplete frequency information.ieee trans. information theory, 2006, 52(2): 48950910 j. haupt, r. nowak. signal rec on structi on from noisy random projectionsj. ieee trans. information theory, 2006, 52(9): 4036404811 vladimir katkov nik,jaakko astola.co