一种基于Hadoop的视频大数据分布式解码方法冯强

1、一种基于Hadoop的视频大数据分布式解码方法冯强 目录目录总结总结实验结果分析实验结果分析解码方案描述解码方案描述研究现状研究现状项目简介项目简介项目简介项目简介v项目名称：项目名称：HadoopCV Hadoop + Computer Visionv项目任务项目任务 存储海量视频数据；存储海量视频数据； 基于基于Hadoop处理视频数据；处理视频数据；视频大数据视频大数据 + 分布式解码分布式解码常规处理流程HadoopCV处理流程项目简介项目简介视频数据IplImageOpenCV算法处理MapperReducer视频数据IplImage算法处理项目简介项目简介v系统边界系统边界目录目录

2、总结总结实验结果分析实验结果分析解码方案描述解码方案描述研究现状研究现状项目简介项目简介研究现状研究现状v单机解码单机解码 使用单一计算节点进行解码，数据存储和解码都在本地完成，目前流行的视频播放软件均采用这种模式 优点：架构简单，无需提供额外的视频管理机制，即用即解； 缺点：解码效率受节点配置影响，拓展性较差，数据安全性也较差，对大数据的处理能力不足。v分布式解码（转码）分布式解码（转码） 利用分布式系统进行解码，视频数据先分割成适合分块处理的大小，然后上传到分布式文件系统上。需要进行解码的时候，再将数据下载到本地，通过第三方解码库的调用进行解码，处理完成之后重新上传。这种解码模式数据存储在

3、分布式文件系统上，但解码的时候需要数据的下载和上传。 优点：利用了分布式计算框架，通过并行处理提高了解码效率； 缺点：没有充分利用分布式文件系统存储的优点，数据上传和下载的过程增加了系统开销，另外数据需要进行分割之后上传，需要提供相应的管理机制。研究现状研究现状v基于基于Hadoop的视频大数据分布式解码方的视频大数据分布式解码方法：法： 架构简单，无需提供额外的视频管理机制； 利用了分布式计算框架，通过并行处理提高解码效率；研究现状研究现状v视频压缩原理视频压缩原理原始帧关键帧GOP解码需要：解码需要：头数据；头数据；1. 关键帧；关键帧；研究现状研究现状vHadoop直接处理视频数据直接处

4、理视频数据 问题一：问题一：帧不完整 问题二：问题二：分割后缺少关键帧 问题三：问题三：分割后缺少头数据目录目录总结总结实验结果分析实验结果分析解码方案描述解码方案描述研究现状研究现状项目简介项目简介解码方案描述解码方案描述v数据预处理：数据预处理： HDFS设计之初是为了处理文本大数据，但只要被写入的数据很少被改动，并且对数据的操作主要是大规模的流式读取和小规模的随机读取，原则上HDFS就可以存储任何类型的数据，因此，视频数据可以不加任何处理的上传到HDFS之上。v数据物理分割：数据物理分割： 视频文件在上传到HDFS之后，根据用户设定的Block大小，默认顺序分割成64M大小的数据块，分布

5、式的存储于集群中的DataNode之上，此时，所有大于64M的文件都被物理分割。NameNode通过维护文件系统的元数据（metadata）对文件进行管理，而HDFS面向用户的接口又是一个完整连续的文件，HDFS对用户隐藏了分割的细节。解码方案描述解码方案描述v数据逻辑分割：数据逻辑分割： Block:物理分割数据块；物理分割数据块； Split:逻辑分割数据块；逻辑分割数据块；解码方案描述解码方案描述vHadoop直接处理视频数据直接处理视频数据 问题一：问题一：帧不完整 问题二：问题二：分割后缺少关键帧 问题三：问题三：分割后缺少头数据v问题原因：问题原因： Hadoop不知道数据内部组织

6、方式； 按字节分割，不是按照帧的位置进行分割；v解决问题关键：解决问题关键： 如何进行按照帧的位置进行分割解码方案描述解码方案描述v数据逻辑分割：数据逻辑分割： Split定义：定义：依然按照Block起止位置进行定义，数据大小同Block大小； Split读取规则：读取规则：向前读取；丢弃第一个关键帧之前数据，确定Split的真正起始帧位置；Split的终止帧位置设定在Block结束字节位置附近，定义在结束字节位置之后的第一个I帧；解码方案描述解码方案描述v数据逻辑分割：数据逻辑分割： 问题一：问题一：帧不完整 问题二：问题二：分割后缺少关键帧解码方案描述解码方案描述v分布式解码：分布式解码

7、： FFmepg: FFmpeg是一个开源免费跨平台的视频和音频流方案，可以运行在windows和linux上，包括一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。 Fuse-dfs: fuse-dfs是hadoop项目自带的一个功能模块。主要实现把dfs上的数据映射至本地指定mount点。由于现存的软件无法直接使用hdfs上的数据，所以此时可以借助fuse来实现本地文件系统的映射。解码方案描述解码方案描述v分布式解码：分布式解码： Split确定数据边界；确定数据边界； RecorderReader循环读取；循环读取； 解码数据；解码数据；vFFmpeg解码：解码：

8、支持本地文件接口；支持本地文件接口； 不兼容不兼容HDFS；vFuse-dfs挂载挂载HDFS：v 虚拟本地文件接口，提高兼容性；虚拟本地文件接口，提高兼容性；v 隐藏网络传输细节，通过网络传输隐藏网络传输细节，通过网络传输 视频头数据；视频头数据；解码方案描述解码方案描述v分布式解码：分布式解码： 问题三：问题三：分割后缺少头数据解码方案描述解码方案描述v输入输入/输出：输出：解码方案描述解码方案描述v输入输入/输出：输出： FrameNumWritable：标识帧位于视频帧序列的播放位置，以及帧对于的视频文件路径； ImageWritable: 标识帧的图像数据； Text：图像数据Has

9、h过后的文本数据； VideoMapper: 负责将解码过后的图像Hash成文本数据； VideoReducer: 负责将图像文本数据写入文件；解码方案描述解码方案描述v解码方案整体架构解码方案整体架构目录目录总结总结实验结果分析实验结果分析解码方案描述解码方案描述研究现状研究现状项目简介项目简介实验结果分析实验结果分析v实验集群概述：实验集群概述： Hadoop集群由15台PC机组成，每台PC机CPU为Intel(R) Pentium(R) 4 CPU 2.80GHz，内存为1.5G，硬盘为80G。其中1台作为集群Master，14台作为集群Slaves。v运行环境： 操作系统：Ubuntu

10、 12.04.1 Hadoop版本：1.0.3 JDK版本：1.7.0_07 OpenCV版本：2.4.2 ffmpeg版本：1.0实验结果分析实验结果分析v分布式分布式/单机解码效率对比：单机解码效率对比：实验结果分析实验结果分析v分布式分布式/单机解码效率对比：单机解码效率对比：实验结果分析实验结果分析v解码准确率测试：解码准确率测试： 把单机解码的视频作为样本视频记录E，分布式解码的视频为实际视频记录A。 帧数对比：比较A与E的视频帧数是否相同； 严格对比：将每一帧图像Hash成只包含头信息(图像长、宽、大小、通道数、深度)、图像数据的hash码。对比两条记录的这些信息来确定两帧图像是否

11、相等。 计算包含百分比：如果帧数相同且严格对比结果匹配，A与E完全相同；如果帧数相同但是严格对比结果不匹配，计算实际记录A与样本记录E中相互包含帧的百分比。实验结果分析实验结果分析v解码准确率测试：解码准确率测试：视频大小（视频大小（MB）E countE countA countA countEqualEqualE contain AE contain AA contain EA contain E15151796179611001003030419641961100100606077967796110010010010015584155841100100300300395373953711

12、0010050050071272712721100100102410241434011434011100100实验结果分析实验结果分析v分割大小对解码效率的影响：分割大小对解码效率的影响：实验结果分析实验结果分析v集群配置对解码效率的影响：集群配置对解码效率的影响： BlockSize实验结果分析实验结果分析v集群配置对解码效率的影响：集群配置对解码效率的影响： 节点数量节点数量目录目录总结总结实验结果分析实验结果分析解码方案描述解码方案描述研究现状研究现状项目简介项目简介总结总结v方案概述：方案概述： 基于Hadoop的视频大数据分布式解码方法，是一种分布式解码方法； 原始视频可以不用提前将分割即可直接上传到HDFS，由Hadoop进行物理分割； 逻辑分割Split的边界根据帧的位置进