MediaMuxer和MediaExtractor类（音频和视频数据的混合和分离）

本文主要是介绍MediaMuxer和MediaExtractor类（音频和视频数据的混合和分离），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

MediaMuxer类主要用于将音频和视频数据进行混合生成多媒体文件（如：mp4文件），而MediaExtractor则刚好相反，主要用于多媒体文件的音视频数据的分离。

本文将介绍如何利用Android SDK提供的MediaExtractor和MediaMuxer类来完成mp4文件的提取和生成，指出开发过程中会遇到的坑，并给出简单的Demo示例代码。

Demo的目标：提取input.mp4文件中的视频数据，生成除去音频数据之后的纯视频output.mp4文件。代码可以在本博文最后的附件中下载，也可以到我的Github中下载：

https://github.com/Jhuster/Android/tree/master/MediaDemo

由于Android SDK关于这两个类的介绍真是少之又少，因此，在给出demo之前，我们先简单地了解一下这两个类吧。

1. MediaExtractor

该类主要用于音视频混合数据的分离，接口比较简单，首先要通过setDataSource(String path)函数设置数据源，数据源可以是本地文件地址，也可以使用HTTP协议的网络码流地址。

然后，可以通过下面的代码块，来获取码流的详细信息，如：MimeType，分辨率、编码格式、码率、帧率等等。

  int  videoTrackIndex = - 1 ; 
 int  audioTrackIndex = - 1 ; 
 for ( int  i =  0 ; i < mMediaExtractor.getTrackCount(); i++) { 
      //获取码流的详细格式/配置信息 
      MediaFormat format = mMediaExtractor.getTrackFormat(i); 
      String mime = format.getString(MediaFormat.KEY_MIME); 
      if (mime.startsWith( "video/" )) { 
          videoTrackIndex = i; 
      } 
      else  if (mime.startsWith( "audio/" )) { 
          audioTrackIndex = i; 
      } 
      .... 
 } 
 

获取到媒体文件的详细信息之后，就可以选择指定的通道，并分离和读取数据了：

  mMediaExtractor.selectTrack(videoTrackIndex);  //选择读取视频数据 
 while ( true ) { 
      int  sampleSize = mMediaExtractor.readSampleData(buffer,  0 );   //读取一帧数据 
      if (sampleSize <  0 ) { 
          break ; 
      } 
      mMediaExtractor.advance();  //移动到下一帧 
 } 
 mMediaExtractor.release();  //读取结束后，要记得释放资源 
 

2. MediaMuxer

该类主要用于将音频和视频进行混合生成多媒体文件，创建该类对象，需要传入输出的文件位置以及格式，构造函数如下：

  public  MediaMuxer(String path,  int  format); 
 

创建对象之后，一个比较重要的操作就是addTrack()，添加数据通道，该函数需要传入MediaFormat对象，MediaFormat即媒体格式类，用于描述媒体的格式参数，如视频帧率、音频采样率等。

在本示例中，可以直接使用MediaExtractor.getTrackFormat()解析得到的MediaFormat对象，如果你希望自己来创建这个MediaFormat对象的话，可以使用该类的如下静态方法创建：

  MediaFormat format = MediaFormat.createVideoFormat( "video/avc" , 320 , 240 ); 
 

注意，这里有一个比较大的坑，就是，如果手动创建MediaFormat对象的话，一定要记得设置"csd-0"和"csd-1"这两个参数：

  byte [] csd0 = {x,x,x,x,x,x,x...} 
 byte [] csd1 = {x,x,x,x,x,x,x...} 
 format.setByteBuffer( "csd-0" ,ByteBuffer.wrap(csd0)); 
 format.setByteBuffer( "csd-1" ,ByteBuffer.wrap(csd1)); 
 

至于"csd-0"和"csd-1"是什么，对于H264视频的话，它对应的是sps和pps，对于AAC音频的话，对应的是ADTS，做音视频开发的人应该都知道，它一般存在于编码器生成的IDR帧之中。

通过 addTrack() 添加了数据通道之后，记录下函数返回的 trackIndex，然后就可以调用 MediaMuxer.writeSampleData() 愉快地向mp4文件中写入数据了。

这里会产生第二个坑，就是writeSampleData函数的最后一个参数是一个BufferInfo对象，你必须认真地填入“正确”的值：

  BufferInfo info =  new  BufferInfo(); 
 info.offset =  0 ; 
 info.size = sampleSize; 
 info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME; 
 info.presentationTimeUs = timestamp; 
 

其中，

info.size 必须填入数据的大小

info.flags 需要给出是否为同步帧/关键帧

info.presentationTimeUs 必须给出正确的时间戳，注意单位是 us，例如，对于帧率为 x f/s 的视频而言，时间戳的间隔就是 1000/x ms

跳过了这些坑，你就可以顺利地完成mp4文件的写入了，同样，完成后记得关闭以及释放资源：

  mMediaMuxer.stop(); 
 mMediaMuxer.release(); 
 

3. 小结

有了上面的简单介绍和铺垫，demo代码就不难看懂了。运行demo代码的注意事项：

（1）Android 4.3以及以上系统的手机

（2）把 input.mp4文件拷贝到sdcard

代码最核心的部分如下所示：

     protected  boolean  process()  throws  IOException { 
        mMediaExtractor =  new  MediaExtractor();           
        mMediaExtractor.setDataSource(SDCARD_PATH+ "/input.mp4" );                 
                 
        int  mVideoTrackIndex = - 1 ; 
        int  framerate =  0 ; 
        for ( int  i =  0 ; i < mMediaExtractor.getTrackCount(); i++) { 
            MediaFormat format = mMediaExtractor.getTrackFormat(i); 
            String mime = format.getString(MediaFormat.KEY_MIME); 
            if (!mime.startsWith( "video/" )) {                 
                continue ; 
            } 
            framerate = format.getInteger(MediaFormat.KEY_FRAME_RATE);             
            mMediaExtractor.selectTrack(i); 
            mMediaMuxer =  new  MediaMuxer(SDCARD_PATH+ "/ouput.mp4" , OutputFormat.MUXER_OUTPUT_MPEG_4); 
            mVideoTrackIndex = mMediaMuxer.addTrack(format);   
            mMediaMuxer.start(); 
        } 
         
        if (mMediaMuxer ==  null ) { 
            return  false ; 
        } 
         
        BufferInfo info =  new  BufferInfo(); 
        info.presentationTimeUs =  0 ; 
        ByteBuffer buffer = ByteBuffer.allocate( 500 * 1024 );         
        while ( true ) { 
            int  sampleSize = mMediaExtractor.readSampleData(buffer,  0 ); 
            if (sampleSize <  0 ) { 
                break ; 
            } 
            mMediaExtractor.advance(); 
            info.offset =  0 ; 
            info.size = sampleSize; 
            info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;         
            info.presentationTimeUs +=  1000 * 1000 /framerate; 
            mMediaMuxer.writeSampleData(mVideoTrackIndex,buffer,info); 
        } 
        mMediaExtractor.release(); 
         
        mMediaMuxer.stop(); 
        mMediaMuxer.release(); 
         
        return  true ; 
    } 
 