如何使用MediaCodec把多张图片合成视频(Kotlin)

2024-08-20 18:52

本文主要是介绍如何使用MediaCodec把多张图片合成视频(Kotlin),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.常规合成方式

MediaCodec 是 Android 提供的 API,用于实时编解码音视频数据。它可以用于将一组图片合成成视频。

要实现图片合成视频,首先需要将图片转换为视频帧。可以使用 MediaCodec 编码器将每张图片编码为视频帧,然后使用 MediaMuxer 将这些视频帧合成为视频文件。

import android.media.MediaCodec;
import android.media.MediaCodecInfo;
import android.media.MediaCodecList;
import android.media.MediaFormat;
import android.media.MediaMuxer;
import android.os.Environment;
import android.util.Log;import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;public class ImageToVideoConverter {private static final String TAG = "ImageToVideoConverter";private static final String MIME_TYPE = "video/avc";private static final int FRAME_RATE = 10;private static final int IFRAME_INTERVAL = 1;public static void convertImagesToVideo(String[] imagePaths, String outputVideoPath) {try {MediaCodecInfo codecInfo = selectCodec(MIME_TYPE);if (codecInfo == null) {Log.e(TAG, "Unable to find codec for " + MIME_TYPE);return;}MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE, 640, 480);format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);format.setInteger(MediaFormat.KEY_BIT_RATE, 500000);format.setInteger(MediaFormat.KEY_FRAME_RATE, FRAME_RATE);format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, IFRAME_INTERVAL);MediaCodec codec = MediaCodec.createByCodecName(codecInfo.getName());codec.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);codec.start();MediaMuxer muxer = new MediaMuxer(outputVideoPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);for (int i = 0; i < imagePaths.length; i++) {MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();int inputBufferIndex = codec.dequeueInputBuffer(-1);if (inputBufferIndex >= 0) {ByteBuffer inputBuffer = codec.getInputBuffer(inputBufferIndex);inputBuffer.clear();Bitmap bitmap = BitmapFactory.decodeFile(imagePaths[i]);if (bitmap == null) {Log.e(TAG, "Failed to decode image");continue;}inputBuffer.put(convertBitmapToByteArray(bitmap));codec.queueInputBuffer(inputBufferIndex, 0, inputBuffer.position(), 0, 0);}int outputBufferIndex = codec.dequeueOutputBuffer(bufferInfo, 0);if (outputBufferIndex >= 0) {ByteBuffer outputBuffer = codec.getOutputBuffer(outputBufferIndex);muxer.writeSampleData(0, outputBuffer, bufferInfo);codec.releaseOutputBuffer(outputBufferIndex, false);}}codec.stop();codec.release();muxer.stop();muxer.release();} catch (IOException e) {e.printStackTrace();}}private static MediaCodecInfo selectCodec(String mimeType) {int numCodecs = MediaCodecList.getCodecCount();for (int i = 0; i < numCodecs; i++) {MediaCodecInfo codecInfo = MediaCodecList.getCodecInfoAt(i);if (!codecInfo.isEncoder()) {continue;}String[] types = codecInfo.getSupportedTypes();for (String type : types) {if (type.equalsIgnoreCase(mimeType)) {return codecInfo;}}}return null;}private static byte[] convertBitmapToByteArray(Bitmap bitmap) {ByteArrayOutputStream stream = new ByteArrayOutputStream();bitmap.compress(Bitmap.CompressFormat.JPEG, 100, stream);return stream.toByteArray();}
}

调用方式

String[] imagePaths = {"/sdcard/image1.jpg", "/sdcard/image2.jpg", "/sdcard/image3.jpg"};
String outputVideoPath = "/sdcard/video.mp4";
ImageToVideoConverter.convertImagesToVideo(imagePaths, outputVideoPath);

2.升级版本

使用surface的方式,先把图片用canvas画布渲染,再用MediaCodec编码

fun convertImagesToVideo(imagePath: List<String>, videoPath: String, onSuccess: () -> Unit) {val mediaFormat =MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, 1920, 1080).apply {setInteger(MediaFormat.KEY_BIT_RATE, 1920 * 1080 * 10)setInteger(MediaFormat.KEY_FRAME_RATE, 25)setInteger(MediaFormat.KEY_COLOR_FORMAT,MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface)setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1)}val muxer = MediaMuxer(videoPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)val codec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC).apply {configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)}val surface = codec.createInputSurface()codec.start()val startTimeSeconds = System.currentTimeMillis() / 1000Lvar newFormat = codec.outputFormatvar videoTrackIndex = muxer.addTrack(newFormat)imagePath.forEachIndexed { index, path ->val bitmap = BitmapFactory.decodeFile(path) ?: return@forEachIndexedval canvas = surface.lockCanvas(Rect(0, 0, 1920, 1080))canvas.drawBitmap(bitmap, null, Rect(0, 0, 1920, 1080), null)surface.unlockCanvasAndPost(canvas)var outputBufferIndex: Intval info = MediaCodec.BufferInfo()while (true) {outputBufferIndex = codec.dequeueOutputBuffer(info, 20 * 1000)Log.e("Codec", "outputBufferIndex=$outputBufferIndex")when {outputBufferIndex == MediaCodec.INFO_TRY_AGAIN_LATER -> {Log.e("Codec", "no output from encoder available")break}outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED -> {newFormat = codec.outputFormatvideoTrackIndex = muxer.addTrack(newFormat)Log.e("Codec", "output format changes videoTrackIndex=$videoTrackIndex")muxer.start()}outputBufferIndex < 0 -> {Log.e("Codec", "outputBufferIndex=$outputBufferIndex")break}else -> {val encodedData = codec.getOutputBuffer(outputBufferIndex)if (encodedData == null) {Log.e("Codec", "encoderOutputBuffer $outputBufferIndex was null")break}if (info.size != 0) {info.presentationTimeUs = (startTimeSeconds + index) * 1000L * 1000Lif (index == imagePath.size - 1) {info.flags = MediaCodec.BUFFER_FLAG_END_OF_STREAM} else {info.flags = MediaCodec.BUFFER_FLAG_KEY_FRAME}Log.e("Codec", "videoTrackIndex=$videoTrackIndex info=$info")if (videoTrackIndex >= 0) {muxer.writeSampleData(videoTrackIndex, encodedData, info)}}codec.releaseOutputBuffer(outputBufferIndex, false)}}}}try {codec.stop()codec.release()muxer.stop()muxer.release()Log.e("Codec", "success...")} catch (e: Exception) {e.printStackTrace()}onSuccess()}

3.核心

使用MediaCodec创建虚拟图层

val surface = codec.createInputSurface()

在此Surface上使用画布渲染图片生成的bitmap

val bitmap = BitmapFactory.decodeFile(path) ?: return@forEachIndexed
val canvas = surface.lockCanvas(Rect(0, 0, 1920, 1080))
canvas.drawBitmap(bitmap, null, Rect(0, 0, 1920, 1080), null)
surface.unlockCanvasAndPost(canvas)
Rect(0, 0, 1920, 1080)坐标由图片的宽高决定,铺满可能会存在图片拉伸的问题

需要根据实际图片和合成的效果做调整。

这篇关于如何使用MediaCodec把多张图片合成视频(Kotlin)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1090894

相关文章

Java Spring 中 @PostConstruct 注解使用原理及常见场景

《JavaSpring中@PostConstruct注解使用原理及常见场景》在JavaSpring中,@PostConstruct注解是一个非常实用的功能,它允许开发者在Spring容器完全初... 目录一、@PostConstruct 注解概述二、@PostConstruct 注解的基本使用2.1 基本代

C#使用StackExchange.Redis实现分布式锁的两种方式介绍

《C#使用StackExchange.Redis实现分布式锁的两种方式介绍》分布式锁在集群的架构中发挥着重要的作用,:本文主要介绍C#使用StackExchange.Redis实现分布式锁的... 目录自定义分布式锁获取锁释放锁自动续期StackExchange.Redis分布式锁获取锁释放锁自动续期分布式

springboot使用Scheduling实现动态增删启停定时任务教程

《springboot使用Scheduling实现动态增删启停定时任务教程》:本文主要介绍springboot使用Scheduling实现动态增删启停定时任务教程,具有很好的参考价值,希望对大家有... 目录1、配置定时任务需要的线程池2、创建ScheduledFuture的包装类3、注册定时任务,增加、删

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

Pandas透视表(Pivot Table)的具体使用

《Pandas透视表(PivotTable)的具体使用》透视表用于在数据分析和处理过程中进行数据重塑和汇总,本文就来介绍一下Pandas透视表(PivotTable)的具体使用,感兴趣的可以了解一下... 目录前言什么是透视表?使用步骤1. 引入必要的库2. 读取数据3. 创建透视表4. 查看透视表总结前言

Python 交互式可视化的利器Bokeh的使用

《Python交互式可视化的利器Bokeh的使用》Bokeh是一个专注于Web端交互式数据可视化的Python库,本文主要介绍了Python交互式可视化的利器Bokeh的使用,具有一定的参考价值,感... 目录1. Bokeh 简介1.1 为什么选择 Bokeh1.2 安装与环境配置2. Bokeh 基础2

Android使用ImageView.ScaleType实现图片的缩放与裁剪功能

《Android使用ImageView.ScaleType实现图片的缩放与裁剪功能》ImageView是最常用的控件之一,它用于展示各种类型的图片,为了能够根据需求调整图片的显示效果,Android提... 目录什么是 ImageView.ScaleType?FIT_XYFIT_STARTFIT_CENTE

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数