【移动应用开发技术】Android中如何提取和生成mp4文件

【移动应用开发技术】Android中如何提取和生成mp4文件

随着Android4.4及以上版本的逐渐普及，Android4.1引入的MediaExtractor类，以及Android4.3引入的MediaMuxer类，终于可以开始正式地“发光发热”了。MediaMuxer类主要用于将音频和视频数据进行混合生成多媒体文件（如：mp4文件），而MediaExtractor则刚好相反，主要用于多媒体文件的音视频数据的分离。本文将介绍如何利用AndroidSDK提供的MediaExtractor和MediaMuxer类来完成mp4文件的提取和生成，指出开发过程中会遇到的坑，并给出简单的Demo示例代码。Demo的目标：提取input.mp4文件中的视频数据，生成除去音频数据之后的纯视频output.mp4文件。代码可以在本博文最后的附件中下载，也可以到我的Github中下载：/Jhuster/Android/tree/master/MediaDemo由于AndroidSDK关于这两个类的介绍真是少之又少，因此，在给出demo之前，我们先简单地了解一下这两个类吧。1.MediaExtractor该类主要用于音视频混合数据的分离，接口比较简单，首先要通过setDataSource(Stringpath)函数设置数据源，数据源可以是本地文件地址，也可以使用HTTP协议的网络码流地址。然后，可以通过下面的代码块，来获取码流的详细信息，如：MimeType，分辨率、编码格式、码率、帧率等等。int

videoTrackIndex

=

-1;

int

audioTrackIndex

=

-1;

for(int

i

=

0;

i

<

mMediaExtractor.getTrackCount();

i++)

{

//获取码流的详细格式/配置信息

MediaFormat

format

=

mMediaExtractor.getTrackFormat(i);

String

mime

=

format.getString(MediaFormat.KEY_MIME);

if(mime.startsWith("video/"))

{

videoTrackIndex

=

i;

}

else

if(mime.startsWith("audio/"))

{

audioTrackIndex

=

i;

}

}获取到媒体文件的详细信息之后，就可以选择指定的通道，并分离和读取数据了：mMediaExtractor.selectTrack(videoTrackIndex);

//选择读取视频数据

while(true)

{

int

sampleSize

=

mMediaExtractor.readSampleData(buffer,

0);

//读取一帧数据

if(sampleSize

<

0)

{

break;

}

mMediaExtractor.advance();

//移动到下一帧

}

mMediaExtractor.release();

//读取结束后，要记得释放资源2.MediaMuxer该类主要用于将音频和视频进行混合生成多媒体文件，创建该类对象，需要传入输出的文件位置以及格式，构造函数如下：public

MediaMuxer(String

path,

int

format);创建对象之后，一个比较重要的操作就是addTrack()，添加数据通道，该函数需要传入MediaFormat对象，MediaFormat即媒体格式类，用于描述媒体的格式参数，如视频帧率、音频采样率等。在本示例中，可以直接使用MediaExtractor.getTrackFormat()解析得到的MediaFormat对象，如果你希望自己来创建这个MediaFormat对象的话，可以使用该类的如下静态方法创建：MediaFormat

format

=

MediaFormat.createVideoFormat("video/avc",320,240);注意，这里有一个比较大的坑，就是，如果手动创建MediaFormat对象的话，一定要记得设置"csd-0"和"csd-1"这两个参数：byte[]

csd0

=

{x,x,x,x,x,x,x...}

byte[]

csd1

=

{x,x,x,x,x,x,x...}

format.setByteBuffer("csd-0",ByteBuffer.wrap(csd0));

format.setByteBuffer("csd-1",ByteBuffer.wrap(csd1));至于"csd-0"和"csd-1"是什么，对于H264视频的话，它对应的是sps和pps，对于AAC音频的话，对应的是ADTS，做音视频开发的人应该都知道，它一般存在于编码器生成的IDR帧之中。通过addTrack()添加了数据通道之后，记录下函数返回的trackIndex，然后就可以调用MediaMuxer.writeSampleData()愉快地向mp4文件中写入数据了。这里会产生第二个坑，就是writeSampleData函数的最后一个参数是一个BufferInfo对象，你必须认真地填入“正确”的值：BufferInfo

info

=

new

BufferInfo();

info.offset

=

0;

info.size

=

sampleSize;

info.flags

=

MediaCodec.BUFFER_FLAG_SYNC_FRAME;

info.presentationTimeUs

=

timestamp;其中，info.size必须填入数据的大小info.flags需要给出是否为同步帧/关键帧info.presentationTimeUs必须给出正确的时间戳，注意单位是us，例如，对于帧率为xf/s的视频而言，时间戳的间隔就是1000/xms跳过了这些坑，你就可以顺利地完成mp4文件的写入了，同样，完成后记得关闭以及释放资源：mMediaMuxer.stop();

mMediaMuxer.release();3.小结有了上面的简单介绍和铺垫，demo代码就不难看懂了。运行demo代码的注意事项：（1）Android4.3以及以上系统的手机（2）把input.mp4文件拷贝到sdcard代码最核心的部分如下所示：

protected

boolean

process()

throws

IOException

{

mMediaExtractor

=

new

MediaExtractor();

mMediaExtractor.setDataSource(SDCARD_PATH+"/input.mp4");

int

mVideoTrackIndex

=

-1;

int

framerate

=

0;

for(int

i

=

0;

i

<

mMediaExtractor.getTrackCount();

i++)

{

MediaFormat

format

=

mMediaExtractor.getTrackFormat(i);

String

mime

=

format.getString(MediaFormat.KEY_MIME);

if(!mime.startsWith("video/"))

{

continue;

}

framerate

=

format.getInteger(MediaFormat.KEY_FRAME_RATE);

mMediaExtractor.selectTrack(i);

mMediaMuxer

=

new

MediaMuxer(SDCARD_PATH+"/ouput.mp4",

OutputFormat.MUXER_OUTPUT_MPEG_4);

mVideoTrackIndex

=

mMediaMuxer.addTrack(format);

mMediaMuxer.start();

}

if(mMediaMuxer

==

null)

{

return

false;

}

BufferInfo

info

=

new

BufferInfo();

info.presentationTimeUs

=

0;

ByteBuffer

buffer

=

ByteBuffer.allocate(500*1024);

while(true)

{

int

sampleSize

=

mMediaExtractor.readSampleData(buffer,

0);

if(sampleSize

<

0)

{

break;

}

mMediaExtractor.advance();

info.offset

=

0;

info.size

=

sampleSize;

info.flags

=

MediaCodec.BUFFER_FLAG_SYNC_FRAME;

info.presentationTimeUs

+=

1000*1000/framerate;

mMediaMuxer.writeSampleData(mVideoTrackIndex,buffer,info);