使用ffmpeg在视频中绘制矩形区域

2024-09-05 21:04

本文主要是介绍使用ffmpeg在视频中绘制矩形区域,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

由于项目需要对视频中的人脸做定位跟踪,

我先使用了人脸识别算法,对视频中的每个帧识别人脸、通过人脸库比对,最终记录坐标等信息。

然后使用ffmpeg中的 drawbox 滤镜功能,选择性的绘制区域。从而实现人脸定位跟踪

1、drawbox

在FFmpeg中,drawbox 滤镜的 enable 参数用于控制矩形框绘制的条件和时机。通过这个参数,你可以指定在何时或者在哪些帧上启用 drawbox 滤镜。

enable 参数的语法

drawbox=enable='条件表达式':x=...:y=...:w=...:h=...:color=...:t=...

1.1、常用条件表达式

条件表达式通常是一个布尔表达式,当表达式的值为 true 时,drawbox 滤镜将会被应用。

注意在eq函数中的 反斜杠 \

1.1.1、基于帧编号 (n)

n 表示当前帧的编号,从 0 开始计数。

  • 示例: 仅在第50帧绘制矩形框:
     
    enable='eq(n\,50)'
    解释: eq(n\,50) 表示当帧编号等于50时启用。

1.1.2、基于时间 (t)

t 表示视频当前的时间(单位:秒)。

  • 示例: 在视频的第1秒到第2秒之间绘制矩形框:
     
    enable='between(t,1,2)'

1.1.3、基于帧间隔 (mod)

你可以使用 mod 函数来基于帧间隔绘制矩形框,例如每隔 10 帧绘制一次。

  • 示例: 每10帧绘制一次矩形框:
     
    enable='mod(n\,10)'
    解释: mod(n\,10) 表示 n 除以 10 的余数为 0 时启用滤镜,即每 10 帧启用一次。

1.1.4、基于帧关键帧 (key)

key 表示关键帧的布尔值,1 表示关键帧,0 表示非关键帧。

  • 示例: 仅在关键帧上绘制矩形框:
     
    enable='key'
    解释: 当帧是关键帧时启用滤镜。

1.2、组合条件表达式

你可以通过逻辑操作符(如 and, or, not 等)组合多个条件。

示例:在关键帧中且时间在第1秒到第2秒之间绘制矩形框

enable='key*between(t,1,2)'

示例:从第50帧到第100帧之间,且帧编号是5的倍数时绘制矩形框

enable='between(n,50,100)*eq(mod(n,5),0)'

1.3、完整脚本

ffmpeg -i input.mp4 -vf "drawbox=enable='between(n,50,150)':x=100:y=50:w=200:h=100:color=red@0.5:t=5" output.mp4

参数说明

  • x=100: 矩形框的左上角 x 坐标。
  • y=50: 矩形框的左上角 y 坐标。
  • w=200: 矩形框的宽度。
  • h=100: 矩形框的高度。
  • color=red@0.5: 矩形框的颜色和透明度(0.5 表示半透明)。
  • t=5: 边框的厚度。设置为 t=fill 时表示填充整个矩形。
  • -frames:v 1: 提取第1帧的结果。

上述命令表示 选择帧在50,100之间,绘制(100,50) 到(300,150)的红色区域

注:

如果需要截取某一帧的图片,并保存,使用如下命令

ffmpeg -i input.mp4 -vf "drawbox=x=100:y=50:w=200:h=100:color=red@0.5:t=5" -frames:v 1 output.png

2、批量绘制

需要针对一个视频,进行大批量自定义帧,自定义区域绘制

2.1、使用concat组合多个drawbox

如果需要处理的帧较多,可以使用FFmpeg的滤镜链来组合多个 drawbox 滤镜。这里需要定义每个 drawbox 的启用条件和对应的矩形参数。

假设你需要在第1到第5帧上绘制不同大小的矩形框:

ffmpeg -i input.mp4 -vf "
[0:v]drawbox=enable='eq(n\,1)':x=10:y=10:w=100:h=50:color=red@0.8:t=2,
drawbox=enable='eq(n\,2)':x=20:y=20:w=150:h=75:color=blue@0.8:t=2,
drawbox=enable='eq(n\,3)':x=30:y=30:w=200:h=100:color=green@0.8:t=2,
drawbox=enable='eq(n\,4)':x=40:y=40:w=250:h=125:color=yellow@0.8:t=2,
drawbox=enable='eq(n\,5)':x=50:y=50:w=300:h=150:color=purple@0.8:t=2
" output.mp4

解释

  • 在第1帧(n=1)绘制一个红色的矩形框。
  • 在第2帧(n=2)绘制一个蓝色的矩形框,依此类推。

这种方法适合帧数量较少的情况,随着帧数的增加,命令行也会变得更复杂。

2.2、使用编程语言生成滤镜链

对于100多帧,手动编写每个滤镜配置可能非常繁琐。你可以使用Python等编程语言生成FFmpeg的滤镜配置脚本。

Python 代码生成滤镜链

以下是一个简单的Python脚本,它可以根据输入生成相应的FFmpeg命令:

frames = [{"n": 1, "x": 10, "y": 10, "w": 100, "h": 50, "color": "red@0.8"},{"n": 2, "x": 20, "y": 20, "w": 150, "h": 75, "color": "blue@0.8"},{"n": 3, "x": 30, "y": 30, "w": 200, "h": 100, "color": "green@0.8"},# 继续添加帧的配置...
]filters = []
for frame in frames:filters.append("drawbox=enable='eq(n\,{n})':x={x}:y={y}:w={w}:h={h}:color={color}:t=2".format(n=frame["n"], x=frame["x"], y=frame["y"], w=frame["w"], h=frame["h"], color=frame["color"]))ffmpeg_command = "ffmpeg -i input.mp4 -vf \"{}\" output.mp4".format(",".join(filters))
print(ffmpeg_command)

这个脚本将生成一个适用于FFmpeg的命令,可以根据需要调整帧号和矩形框的参数。

3、Java完整代码

在下面的代码中,进行转码时,只保留视频部分,音频部分被移除

如果需要可以使用 

-c:a copy 代替 -an

  
import lombok.Data;
import lombok.extern.slf4j.Slf4j;import java.io.BufferedReader;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.List;
import java.util.concurrent.TimeUnit;/**** ffmpeg 命令工具,要求主机必须已安装ffmpeg命令* @author xuancg* @date 2024/8/19*/
@Slf4j
public class FfmpegUtil {/**进行视频区域绘制并进行视频截取 只提取视频,忽略声音 */private static final String RECT_CUT_FORMAT = "ffmpeg -i %s -vf \"[0:v]%s\" -ss %s -to %s -an -y %s";private static final String RECT_FORMAT = "drawbox=enable='eq(n\\,%d)':x=%d:y=%d:w=%d:h=%d:color=red@0.8:t=2";/*** 先经过批量的视频帧区域绘制,然后在进行视频剪裁* @param src 输入文件* @param rectList 区域绘制* @param startTime 剪裁开始时间00:00:03* @param endTime 剪裁结束时间 00:00:23* @param dest 目标文件* @return*/public static boolean drawRectByBatchFrame(File src, List<FrameRect> rectList, String startTime, String endTime, File dest) {String source = src.getAbsolutePath();String output = dest.getAbsolutePath();if(!src.isFile()){log.error("源文件不存在source=" + source);return false;}if(dest.exists()){log.error("目标文件已存在dest=" + output);}long start = System.currentTimeMillis();Process process = null;BufferedReader reader = null;try {int size = rectList.size();StringBuilder builder = new StringBuilder();for (int i = 0; i < rectList.size(); i++) {FrameRect rect = rectList.get(i);builder.append(String.format(RECT_FORMAT,rect.getFrameIdx(), rect.getX(), rect.getY(), rect.getWidth(), rect.getHeight()));if(i < size - 1){builder.append(",");}}String cmd = String.format(RECT_CUT_FORMAT,source.replace("\\","/"), builder.toString(),startTime, endTime,  output.replace("\\","/"));log.info("ffmpeg执行命令=" + cmd);// 执行命令process = Runtime.getRuntime().exec(cmd);// 获取命令输出结果reader = new BufferedReader(new InputStreamReader(process.getErrorStream()));String line;while ((line = reader.readLine()) != null) {log.debug(line);}process.waitFor(120, TimeUnit.SECONDS);return  dest.isFile() && dest.length() > 100;} catch (IOException e) {e.printStackTrace();} catch (InterruptedException e) {log.error("剪裁视频超时source=" + source);} finally {if(null != process){process.destroy();}if(null != reader){try {reader.close();} catch (IOException e) {log.error("关闭流失败" + e.getMessage());}}log.info("耗时ms=" + (System.currentTimeMillis() - start));}return false;}@Datapublic static class FrameRect {private int frameIdx;private int x;private int y;private int width;private int height;/*** 区域外扩10像素* @param detail*/public FrameRect(VideoDetail detail){this.frameIdx = detail.getFrameIdx();this.x = detail.getLeftX() - 10;this.y = detail.getTop() - 10;this.width = detail.getRightX() - detail.getLeftX() + 20;this.height = detail.getBottom() - detail.getTop() + 20;}}}

ffmpeg部分脚本命令如下

ffmpeg -i G:/download/20240618121820-video.mp4 -vf "[0:v]drawbox=enable='eq(n\,102)':x=1141:y=158:w=90:h=90:color=red@0.8:t=2,

drawbox=enable='eq(n\,104)':x=1165:y=167:w=94:h=94:color=red@0.8:t=2,

drawbox=enable='eq(n\,105)':x=1179:y=169:w=94:h=94:color=red@0.8:t=2"

-ss 00:00:02 -to 00:00:08 -an -y G:/download/20240618121820.mp4 

视频效果如下图

 

使用eq单独帧,任务较多,

后续可以使用between 范围帧 

这篇关于使用ffmpeg在视频中绘制矩形区域的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1140058

相关文章

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

C#中Guid类使用小结

《C#中Guid类使用小结》本文主要介绍了C#中Guid类用于生成和操作128位的唯一标识符,用于数据库主键及分布式系统,支持通过NewGuid、Parse等方法生成,感兴趣的可以了解一下... 目录前言一、什么是 Guid二、生成 Guid1. 使用 Guid.NewGuid() 方法2. 从字符串创建

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客