Android中MediaMuxer和MediaCodec用例 - audio+video

2024-02-05 10:32
文章标签 android audio video 用例 mediacodec mediamuxer

本文主要是介绍Android中MediaMuxer和MediaCodec用例 - audio+video，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

http://blog.csdn.net/jinzhuojun/article/details/32163149


在Android的多媒体类中，MediaMuxer和MediaCodec算是比较年轻的，它们是JB 4.1和JB 4.3才引入的。前者用于将音频和视频进行混合生成多媒体文件。缺点是目前只能支持一个audio track和一个video track，而且仅支持mp4输出。不过既然是新生事物，相信之后的版本应该会有大的改进。MediaCodec用于将音视频进行压缩编码，它有个比较牛X的地方是可以对Surface内容进行编码，如KK 4.4中屏幕录像功能就是用它实现的。

注意它们和其它一些多媒体相关类的关系和区别：MediaExtractor用于音视频分路，和MediaMuxer正好是反过程。MediaFormat用于描述多媒体数据的格式。MediaRecorder用于录像+压缩编码，生成编码好的文件如mp4, 3gpp，视频主要是用于录制Camera preview。MediaPlayer用于播放压缩编码后的音视频文件。AudioRecord用于录制PCM数据。AudioTrack用于播放PCM数据。PCM即原始音频采样数据，可以用如vlc播放器播放。当然了，通道采样率之类的要自己设，因为原始采样数据是没有文件头的，如：
vlc --demux=rawaud --rawaud-channels 2 --rawaud-samplerate 44100 audio.pcm

回到MediaMuxer和MediaCodec这两个类，它们的参考文档见http://developer.android.com/reference/android/media/MediaMuxer.html和http://developer.android.com/reference/android/media/MediaCodec.html，里边有使用的框架。这个组合可以实现很多功能，比如音视频文件的编辑（结合MediaExtractor），用OpenGL绘制Surface并生成mp4文件，屏幕录像以及类似Camera app里的录像功能（虽然这个用MediaRecorder更合适）等。

这里以一个很无聊的功能为例，就是在一个Surface上画图编码生成视频，同时用MIC录音编码生成音频，然后将音视频混合生成mp4文件。程序本身没什么用，但是示例了MediaMuxer和MediaCodec的基本用法。本程序主要是基于两个测试程序：一个是Grafika中的SoftInputSurfaceActivity和HWEncoderExperiments。它们一个是生成视频，一个生成音频，这里把它们结合一下，同时生成音频和视频。基本框架和流程如下：


首先是录音线程，主要参考HWEncoderExperiments。通过AudioRecord类接收来自麦克风的采样数据，然后丢给Encoder准备编码：

[java]  view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. AudioRecord audio_recorder;  
  2. audio_recorder = new AudioRecord(MediaRecorder.AudioSource.MIC,         
  3.         SAMPLE_RATE, CHANNEL_CONFIG, AUDIO_FORMAT, buffer_size);                          
  4. // ...  
  5. audio_recorder.startRecording();  
  6. while (is_recording) {  
  7.     byte[] this_buffer = new byte[frame_buffer_size];  
  8.     read_result = audio_recorder.read(this_buffer, 0, frame_buffer_size); // read audio raw data  
  9.     // …  
  10.     presentationTimeStamp = System.nanoTime() / 1000;  
  11.     audioEncoder.offerAudioEncoder(this_buffer.clone(), presentationTimeStamp);  // feed to audio encoder  
  12.   
  13. }  
这里也可以设置AudioRecord的回调（通过setRecordPositionUpdateListener()）来触发音频数据的读取。offerAudioEncoder()里主要是把audio采样数据送入音频MediaCodec的InputBuffer进行编码：

[java]  view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. ByteBuffer[] inputBuffers = mAudioEncoder.getInputBuffers();  
  2. int inputBufferIndex = mAudioEncoder.dequeueInputBuffer(-1);   
  3. if (inputBufferIndex >= 0) {  
  4.     ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];  
  5.     inputBuffer.clear();  
  6.     inputBuffer.put(this_buffer);  
  7.     ...  
  8.     mAudioEncoder.queueInputBuffer(inputBufferIndex, 0, this_buffer.length, presentationTimeStamp, 0);  
  9. }  
下面，参考Grafika-SoftInputSurfaceActivity，并加入音频处理。主循环大体分四部分：

[java]  view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. try {  
  2.     // Part 1  
  3.     prepareEncoder(outputFile);  
  4.     ...  
  5.     // Part 2  
  6.     for (int i = 0; i < NUM_FRAMES; i++) {  
  7.         generateFrame(i);  
  8.         drainVideoEncoder(false);  
  9.         drainAudioEncoder(false);  
  10.     }  
  11.     // Part 3  
  12.     ...  
  13.     drainVideoEncoder(true);  
  14.     drainAudioEncoder(true);  
  15. }  catch (IOException ioe) {  
  16.     throw new RuntimeException(ioe);  
  17. } finally {  
  18.     // Part 4  
  19.     releaseEncoder();  
  20. }  
第1部分是准备工作，除了video的MediaCodec，这里还初始化了audio的MediaCodec：

[java]  view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. MediaFormat audioFormat = new MediaFormat();  
  2. audioFormat.setInteger(MediaFormat.KEY_SAMPLE_RATE, 44100);  
  3. audioFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1);  
  4. ...          
  5. mAudioEncoder = MediaCodec.createEncoderByType(AUDIO_MIME_TYPE);  
  6. mAudioEncoder.configure(audioFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);  
  7. mAudioEncoder.start();  
第2部分进入主循环，app在Surface上直接绘图，由于这个Surface是从MediaCodec中用createInputSurface()申请来的，所以画完后不用显式用queueInputBuffer()交给Encoder。drainVideoEncoder()和drainAudioEncoder()分别将编码好的音视频从buffer中拿出来（通过dequeueOutputBuffer()），然后交由MediaMuxer进行混合（通过writeSampleData()）。注意音视频通过PTS（Presentation time stamp，决定了某一帧的音视频数据何时显示或播放）来同步，音频的time stamp需在AudioRecord从MIC采集到数据时获取并放到相应的bufferInfo中，视频由于是在Surface上画，因此直接用dequeueOutputBuffer()出来的bufferInfo中的就行，最后将编码好的数据送去MediaMuxer进行多路混合。

注意这里Muxer要等把audio track和video track都加入了再开始。MediaCodec在一开始调用dequeueOutputBuffer()时会返回一次INFO_OUTPUT_FORMAT_CHANGED消息。我们只需在这里获取该MediaCodec的format，并注册到MediaMuxer里。接着判断当前audio track和video track是否都已就绪，如果是的话就启动Muxer。

总结来说，drainVideoEncoder()的主逻辑大致如下，drainAudioEncoder也是类似的，只是把video的MediaCodec换成audio的MediaCodec即可。
[java]  view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. while(true) {  
  2.     int encoderStatus = mVideoEncoder.dequeueOutputBuffer(mBufferInfo, TIMEOUT_USEC);  
  3.     if (encoderStatus == MediaCodec.INFO_TRY_AGAIN_LATER) {  
  4.         ...  
  5.     } else if (encoderStatus == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {  
  6.         encoderOutputBuffers = mVideoEncoder.getOutputBuffers();  
  7.     } else if (encoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {  
  8.         MediaFormat newFormat = mAudioEncoder.getOutputFormat();  
  9.         mAudioTrackIndex = mMuxer.addTrack(newFormat);  
  10.         mNumTracksAdded++;  
  11.         if (mNumTracksAdded == TOTAL_NUM_TRACKS) {  
  12.             mMuxer.start();  
  13.         }  
  14.     } else if (encoderStatus < 0) {  
  15.         ...  
  16.     } else {  
  17.         ByteBuffer encodedData = encoderOutputBuffers[encoderStatus];  
  18.         ...  
  19.         if (mBufferInfo.size != 0) {  
  20.             mMuxer.writeSampleData(mVideoTrackIndex, encodedData, mBufferInfo);  
  21.         }  
  22.         mVideoEncoder.releaseOutputBuffer(encoderStatus, false);  
  23.         if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {  
  24.             break;          
  25.         }  
  26.     }  
  27.   
  28. }  
第3部分是结束录制，发送EOS信息，这样在drainVideoEncoder()和drainAudioEncoder中就可以根据EOS退出内循环。第4部分为清理工作。把audio和video的MediaCodec，MediaCodec用的Surface及MediaMuxer对象释放。

最后几点注意：
1. 在AndroidManifest.xml里加上录音权限，否则创建AudioRecord对象时铁定失败：
 <uses-permission android:name="android.permission.RECORD_AUDIO"/>
2. 音视频通过PTS同步，两个的单位要一致。
3. MediaMuxer的使用要按照Constructor -> addTrack -> start -> writeSampleData -> stop 的顺序。如果既有音频又有视频，在stop前两个都要writeSampleData()过。

Code references：
Grafika: https://github.com/google/grafika
Bigflake: http://bigflake.com/mediacodec/
HWEncoderExperiments：https://github.com/OnlyInAmerica/HWEncoderExperiments/tree/audioonly/HWEncoderExperiments/src/main/java/net/openwatch/hwencoderexperiments
Android test：http://androidxref.com/4.4.2_r2/xref/cts/tests/tests/media/src/android/media/cts/ 
http://androidxref.com/4.4.2_r2/xref/pdk/apps/TestingCamera2/src/com/android/testingcamera2/CameraRecordingStream.java

这篇关于Android中MediaMuxer和MediaCodec用例 - audio+video的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/680625。

相关文章

Android数据库Room的实际使用过程总结

Android数据库Room的实际使用过程总结

《Android数据库Room的实际使用过程总结》这篇文章主要给大家介绍了关于Android数据库Room的实际使用过程,详细介绍了如何创建实体类、数据访问对象（DAO）和数据库抽象类,需要的朋友可以... 目录前言一、Room的基本使用1.项目配置2.创建实体类（Entity）3.创建数据访问对象（DAO
阅读更多...
Android WebView的加载超时处理方案

Android WebView的加载超时处理方案

《AndroidWebView的加载超时处理方案》在Android开发中,WebView是一个常用的组件,用于在应用中嵌入网页,然而,当网络状况不佳或页面加载过慢时,用户可能会遇到加载超时的问题,本... 目录引言一、WebView加载超时的原因二、加载超时处理方案1. 使用Handler和Timer进行超
阅读更多...
Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸： 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  （注意不能是bmp格式） 替换默认锁屏壁纸： 将图片资源放入vendo
阅读更多...
Android平台播放RTSP流的几种方案探究（VLC VS ExoPlayer VS SmartPlayer）

Android平台播放RTSP流的几种方案探究（VLC VS ExoPlayer VS SmartPlayer）

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候，不知道如何选的好，本文针对常用的方案，做个大概的说明： 1. 使用VLC for Android VLC Media Player（VLC多媒体播放器），最初命名为VideoLAN客户端，是VideoLAN品牌产品，是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式，并支持DVD影音光盘，VCD影
阅读更多...
android-opencv-jni

android-opencv-jni

//------------------start opencv--------------------@Override public void onResume(){ super.onResume(); //通过OpenCV引擎服务加载并初始化OpenCV类库，所谓OpenCV引擎服务即是 //OpenCV_2.4.3.2_Manager_2.4_*.apk程序包，存
阅读更多...
从状态管理到性能优化：全面解析 Android Compose

从状态管理到性能优化：全面解析 Android Compose

文章目录 引言一、Android Compose基本概念1.1 什么是Android Compose?1.2 Compose的优势1.3 如何在项目中使用Compose 二、Compose中的状态管理2.1 状态管理的重要性2.2 Compose中的状态和数据流2.3 使用State和MutableState处理状态2.4 通过ViewModel进行状态管理 三、Compose中的列表和滚动
阅读更多...
Android 10.0 mtk平板camera2横屏预览旋转90度横屏拍照图片旋转90度功能实现

Android 10.0 mtk平板camera2横屏预览旋转90度横屏拍照图片旋转90度功能实现

1.前言 在10.0的系统rom定制化开发中，在进行一些平板等默认横屏的设备开发的过程中，需要在进入camera2的 时候，默认预览图像也是需要横屏显示的，在上一篇已经实现了横屏预览功能，然后发现横屏预览后，拍照保存的图片 依然是竖屏的，所以说同样需要将图片也保存为横屏图标了，所以就需要看下mtk的camera2的相关横屏保存图片功能， 如何实现实现横屏保存图片功能 如图所示: 2.mtk
阅读更多...
android应用中res目录说明

android应用中res目录说明

Android应用的res目录是一个特殊的项目，该项目里存放了Android应用所用的全部资源，包括图片、字符串、颜色、尺寸、样式等，类似于web开发中的public目录，js、css、image、style。。。。 Android按照约定，将不同的资源放在不同的文件夹中，这样可以方便的让AAPT(即Android Asset Packaging Tool , 在SDK的build-tools目
阅读更多...
Android fill_parent、match_parent、wrap_content三者的作用及区别

Android fill_parent、match_parent、wrap_content三者的作用及区别

这三个属性都是用来适应视图的水平或者垂直大小，以视图的内容或尺寸为基础的布局，比精确的指定视图的范围更加方便。 1、fill_parent 设置一个视图的布局为fill_parent将强制性的使视图扩展至它父元素的大小 2、match_parent 和fill_parent一样，从字面上的意思match_parent更贴切一些，于是从2.2开始，两个属性都可以使用，但2.3版本以后的建议使
阅读更多...
Android Environment 获取的路径问题

Android Environment 获取的路径问题

1. 以获取 /System 路径为例 /*** Return root of the "system" partition holding the core Android OS.* Always present and mounted read-only.*/public static @NonNull File getRootDirectory() {return DIR_ANDR
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2