视频修复技术研究_图文

1、第43卷第12A期 2016年12月计算机科学Computer Science视频修复技术研究唐淮灿沈长达吴少华(厦门市美亚柏科信息股份有限公司 厦门361008摘要随着智能手机和监控安防设备的普及,视频随手拍和监控视频摄像头已经布满了生活中的各个角落。如 手机、行车记录仪、安防摄像头、执法记录仪等设备每天都大批量地制作出视频数据。这些视频数据可能记录着重 要的信息,视频取证已经成为取证系统中非常重要的一环。遗憾的是这些宝贵的视频数据有时会遭遇各种意外,有. 的是设备故障导致视频录制中断,录制出来的视频无法播放,有的则是被人为删除,虽然有数据恢复软件可以恢复 视频数据,但是由于某些视频封装格式

2、对文件的完整性要求较高,恢复出来的数据有时并不是完整的数据,其中有 一小部分数据可能已经被覆盖,这会导致视频损坏无法播放,但是没有被覆盖的数据可能就有关键信息,这时需要 有一项技术可以对这些不完整的视频进行修复,使得视频可以重新播放。关键词视频修复,视频损坏,视频取证中图法分类号TP309文献标识码AResearch on Repair Technology of VideoTANG H uaican SHEN Chang-da WU Shao-hua(Xiamen Meiya Pieo Information Co.,Ltd,Xiamen 361008,ChinaAbstract With

3、the popularity of Smartphone and Surveillance camera.It is easy to make a video.The equipment likes Smart_phone,Tachograph,Surveillance camera,Site enforcement Recorder,etc.make a large number of videos every day.This videos may take some important message.Video evidence has been a very important pa

4、rt of evidence system.It is pity that these valuable video data are easily destroyed,such as equipment failure and malicious delete file.Although there have recovery software can help US find lost files.But some video format is highly sensitive with the integrity of file.The files that were recovere

5、d by software may lost some parts or may be covered by other files. These files cant be opened by the player.In order tO solve these problems,we need a technology that can repair the videos that have been damaged.Keywords Video repair,Video damage,Video evidence1引言视频修复技术即基于视音频文件封装格式和 编码格式进行修复的技术。视频损

6、坏通常是由 于封装格式被破坏,导致播放器无法解析该视 频。修复视音频需要在可以组织制作特定封装 格式的视音频文件的前提下,基于特征码和特定 的视音频编码格式对视音频帧进行搜索提取。目前 主流的视频封装格式和编码格式多达十几种。本文 将最为常见的几种封装格式MP4,MOV,3GP,AVI 的视频修复作为切入点,对这几种视频封装格式进 行介绍,并分析视频损坏的原因,进而探究视频修复 的原理及实现方案。 2常见视频封装格式和编码格式常见的视频封装格式有MP4,MOV,3GP, AVI,RMVB,MKV,M4V等,常见的视频编码格式 有H263,H264,H265,MP4V等,常见音频编码格 式有MP

7、3,AAC,PCM,AMR等。视频封装格式和 编码格式的关系就如水杯和水的关系,水杯是封装 容器如封装格式,水是材料如编码格式。一个视频 如果不经过压缩,那么其大小将非常大,不利于进行 网络传输,或者广播电视传输,还会极大地占用存储 空间,视音频编码格式就是一种将视音频进行有损 压缩的技术,可以在保证画质最优化的情况下实现 最大的压缩比。几种常见的封装格式如下:唐淮jllll(1990-,男,本科,主要研究方向为视音频修复和数据恢复,E-mail:tanghc;沈长达(1989-,男,本科,主要研究方向为 文件系统解析及数据恢复,E-mail:shencd;吴少华(1985一,男,本科,主要研

8、究方向为计算机取证,E-mail:wush。 205(1MP4全称MPEG-4Part 14,是一种常见的 多媒体容器格式,现在大部分安卓智能手机的手机 录像都以MP4作为视频封装格式。MP4是在 “ISO/IEC 1449614”标准文件中定义的,属于 MPEG-4的一部分。(23GP是由3GPP定义的一种视频流媒体容 器格式,是MPEG4Part 14格式的一种简化版本, 3GP使移动电话和手机可以在有限的存储空间上传 输、收发音视频数据、运行音视频应用、播放音视频 文件。(3MOV是苹果公司开发的一种音视频文件 封装格式,即QuickTime封装格式。1998年2月11 H,国际标准组织

9、ISO认可QuickTime文件格式作 为MPEG-4标准的基础。QT可储存的内容相当丰 富,除了视频、音频以外还支持图片、文字等。(4AVI英文全称Audio Video Interleaved,即 音视频交错格式,是微软公司于1992年11月推出 的。AVl只允许一个视频轨道和一个音频轨道,而 且没有流媒体功能,无法进行在线播放。不过现在 的非标准插件可以加入最多两个音频轨道,还可以 添加文字。虽然AVI格式已经比较老,而且功能单 一,但是现在很多执法记录仪、行车记录仪都是使用 AVI作为媒体封装格式以存储视频文件,所以AVI 也是视频修复重点研究对象。3视频文件损坏的原因播放器在播放一个

10、视频文件时需要获取视频的 编码信息,如宽高、编码格式、视音频时长、帧率、 pts、码率、dts等信息。在视频文件中会记载这些信 息,如果记载这些信息的数据区域被破坏,播放器就 无法正确解析视频文件,进而无法选择合适的解码 策略来对视音频进行解码播放,这就是视频损坏的 原因。对于一些监控视频,即使任意破坏或者截取 视频的一段数据,该视频仍然可以正常播放。这是 因为这些监控设备使用特定的流来存放视音频数 据,如H264数据流、MPEG2一TS流等。这些数据流 的每个关键帧都会有解码的必需信息,所以即使被 破坏了,还是可以正常播放,这些视频流就无需修 复。MP4封装格式由一个个的box组成,外层的

11、box可以再包含子box。MP4最外层基本都会有3个box:ftyp,mdat,moov。视音频的解码信息就存 在于moov里。有些视频文件将nIOOv存放在视频 头部,而有些视频文件将moov写在视频尾部。当 206 moov被破坏时,MP4视频文件则无法播放。moov 中还记录了视音频帧在本视频文件中的偏移地址, 如果moov在视频头部,删除视音频数据中的某段 数据,则会导致后续的视音频帧偏移地址全部错误, 造成视频前面可以正常播放,播放一段时间后无法 播放的情况;如果moov在视频尾部,删除视频数据 中的某段数据,则会导致后续的视音频帧偏移地址 全部错误,而且连moov的偏移地址都会出现

12、错误, 播放器无法找到moov,这会导致整个视频都无法播 放。AVI视频文件由3大块组成:信息块、数据块和 索引块,这3个块在视频文件中依次排列,信息块在 文件头,接下来是数据块,索引块在文件尾部。信息 块记录了编码信息,如视频宽高、视音频编码格式、 视音频时长等;数据块是具体的视音频帧数据,占 整个文件的大部分存储空间;索引块记录了视音频 帧在本文件中的偏移地址,是否是关键帧等信息。 如果信息块遭到破坏,那么AVI视频就无法播放 了,但是由于AVI还可以封装一些流格式的视频, 因此一些AVI即使被破坏了信息块,视频还是能够 播放。如果是索引块被破坏,由于索引块在视频尾 部,被破坏并不会影响前

13、面的视频数据,视频还可以 正常播放,但是索引块记录了视音频偏移地址和是 否是关键帧的信息,索引块被破坏后视频虽然可以 播放,但可能会导致无法拖动进度条,或者因为关键 帧标记丢失,导致出现拖动进度条卡顿的情况。4视频修复原理探究视频损坏的原因后,可以知道视频损坏是 由于丢失了重要的解码信息。丢失解码信息的场景 有:(1视频录制过程中被外力突然中断,来不急写 入视频解码信息,如突然断电、无人机坠毁等。 (2硬盘被格式化或者视频被删除,使用数据恢 复软件进行恢复,但是没有完整恢复,只恢复出部分 数据,且恢复出的数据不包含解码信息,导致无法播 放。(3电脑中病毒,导致视频文件被破坏。以上的3种场景下,

14、解码信息都是无法找回的。 这就需要有一个参照视频可以提供最基础的解码信 息,如视频的宽高、编码格式。而其它解码信息如视 频时长、视音频帧偏移地址则需要根据损坏视频计 算得出。参照视频必须是同一设备型号录制出来的 可播放的视频。对于硬盘被格式化或者视频被删除的情况,通常文件在磁盘上的存放是不连续的,而是 由文件系统进行管理,这就导致数据恢复、软件恢复 出来的视频文件有可能存在碎片,使得视音频帧的 偏移地址出现变化,所以视频修复应该是去搜索损 坏视频的视音频帧,然后将搜索到的视音频帧根据 参照视频的一些必需信息,重新计算视音频时长、视 音频帧数、视音频偏移地址等信息,从而组成一个新 的视频文件。通

15、过以上的分析,可以得出视频修复 的大致步骤:(1解析参照视频,获取视频宽高、编码格式、视 音频帧头部等信息。(2根据从参照视频获取的视音频头部信息进 行帧搜索,得到损坏视频中的视音频帧。(3处理搜索到的视音频帧,计算总帧数、pts、 dts、帧大小、帧偏移地址、关键帧标志等信息。(4根据以上步骤得到的数据封装出新的视频 文件,完成修复。5MP4封装格式视频文件修复MP4,3GP,MOV,M4V封装格式均符合ISO/ IEC 1449612标准,针对这几个封装格式的视频修 复可以做统一处理,本文中简称为MP4修复。 (1解析参照视频MP4最外层是由3个box组成:typ,mdat和 moov,视

16、频修复的第一步需要解析参照视频,即解 析这3个box的内容。ftyp用于描述该MP4的版 本和兼容的格式,可以直接复制到待修复文件;mdat box里面记录的是视音频数据,在解析参照视频这 一步先跳过;moov由多个子box组成,如stsz box 描述了每个sample的大小,stsc box描述了sample 和chunk的映射关系,stss box记录了关键帧列表。 MP4的解码信息都存在于moov box,需要将moov 里面的内容全部解析并存放起来,后续步骤则根据 moov的内容进行相应的处理。(2搜索视音频帧由于MP4可以封装多种视音频编码,因此在搜 索视音频帧时需要对其进行区分。

17、需要掌握对应的 视音频编码的相关知识,熟悉视音频码流结构,根据 码流结构特征来搜索视音频帧。视频数据以帧的形 式进行编码,帧种类有3种,分别是I帧、P帧和B 帧,I帧即参考帧,由全帧图像压缩得来;P帧是前向 预测编码帧,它的解码需要参考I帧;B帧即双向预 测内插编码帧,B帧以前面的I帧和B帧为参考帧, 并且以后面的P帧为参考帧。(3计算更新moov boxmoov box里面有多个子box用以记录视音频 帧的相关信息,如帧在本文件的偏移地址、帧的总帧 数、是否是随机参考帧、帧的duration等信息。搜索 到视频帧后需要对相应的box进行更新,这一步的 策略是复制参照视频的moov,然后对需要

18、更新的 box进行更新,如stss box(随机参考帧列表需要根 据搜索到的视音频帧的实际情况进行更新。steo box(chunk偏移列表需要根据新文件视音频帧在 文件中的偏移地址进行设定。stsz box(sample大 小需要根据搜到的视音频帧的大小进行设定。还 需更新stts box(time to sample帧duration映射表 等box。(4生成新的视频文件有了以上步骤的准备就可以开始写入的新的视 频文件,写入一般步骤是先写入ftyp box,然后写入 mdat box,最后写入moov box。写入完毕后使用播 放器播放新生成的文件查看修复效果。6AVI封装格式视频修复AV

19、I封装格式的修复流程和MP4一样,都是先 解析参照视频,然后搜索视音频帧,更新相关视音频 解码信息后即可生成修复后的视频文件。(1解析参照视频AVI也是由一个个的box组成,最外层的是 RIFF box。AVI视频头部的信息块记录了解码信 息,如avih box记录了视频间隔时间、最大数据率、 总帧数、视频宽高等信息。strh box则记录了流类 型,其中“auds”代表音频流,“vids”代表视频流, “txts”代表文字流,strh box还记录流的开始时间和 长度等信息。数据块由movi box构成,里面记录的 是一帧帧交错的视音频数据。索引块用于记录视音 频帧在文件中的偏移地址、帧的大

20、小、是否为关键帧 等信息。(2搜索视音频帧AVI封装格式的一个特征是使用四字符码,即 每一帧视音频帧均由四字符码作为开头。由于这个 特性AVI修复可以忽略视音频编码格式,因此只需 要根据四字符特征码进行视音频帧搜索即可。以下 是AVI四字符特征码的含义:1xxdc压缩视频帧2xxdb非压缩视频帧3xxwb压缩音频帧其中,XX代表的是流的编号,例如视频流的编 号是00,那么四字符码就是00dc,音频流编号是01, 207.那么四字符码即为01wb。所以在搜索AVI封装格 式的视音频帧时需要先获得视音频流的编码,获得 编码后就可以得到四字符码从而进行视音频帧的搜 索。以上四字符码均为标准ASCII

21、编码。(3计算更新索引块找到视音频帧后需要重新计算索引块,索引块 的主要内容有视音频帧的偏移地址、帧大小、是否是 关键帧等信息。偏移地址和帧大小均可以在搜索视 音频帧时进行计算。关键帧则需要根据具体的编码 格式来进行判别。(4生成新的视频文件封装AVI格式的步骤一般是先写入信息块,再 写入数据块,然后写入索引块,制作完成后使用播放 器播放该视音频以查看修复效果。7修复效果与存在的问题从实验数据看只要能提供有效的参照视频, MP4视频画面修复率就可达90%以上,但修复出的 画面中仍偶尔会有一些视频碎片,这是由于MP4封 装格式的帧没有特征码,帧搜索数量达到一定量级 时会搜索出一些垃圾数据从而导致画面出现破损。 通过优化帧搜索算法,提高帧搜索正确率可以减少 画面破损。对于AVI视频修复,提供正确的参照视 频可以让修复率达95%以上,而且画面极少出现破 损的情况。AVI封装格式的每个视音频帧前都有四 字符码作为标识,帧搜索正确率