使用ffmpeg在视频中绘制矩形区域

2024-09-05 21:04

本文主要是介绍使用ffmpeg在视频中绘制矩形区域,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

由于项目需要对视频中的人脸做定位跟踪,

我先使用了人脸识别算法,对视频中的每个帧识别人脸、通过人脸库比对,最终记录坐标等信息。

然后使用ffmpeg中的 drawbox 滤镜功能,选择性的绘制区域。从而实现人脸定位跟踪

1、drawbox

在FFmpeg中,drawbox 滤镜的 enable 参数用于控制矩形框绘制的条件和时机。通过这个参数,你可以指定在何时或者在哪些帧上启用 drawbox 滤镜。

enable 参数的语法

drawbox=enable='条件表达式':x=...:y=...:w=...:h=...:color=...:t=...

1.1、常用条件表达式

条件表达式通常是一个布尔表达式,当表达式的值为 true 时,drawbox 滤镜将会被应用。

注意在eq函数中的 反斜杠 \

1.1.1、基于帧编号 (n)

n 表示当前帧的编号,从 0 开始计数。

  • 示例: 仅在第50帧绘制矩形框:
     
    enable='eq(n\,50)'
    解释: eq(n\,50) 表示当帧编号等于50时启用。

1.1.2、基于时间 (t)

t 表示视频当前的时间(单位:秒)。

  • 示例: 在视频的第1秒到第2秒之间绘制矩形框:
     
    enable='between(t,1,2)'

1.1.3、基于帧间隔 (mod)

你可以使用 mod 函数来基于帧间隔绘制矩形框,例如每隔 10 帧绘制一次。

  • 示例: 每10帧绘制一次矩形框:
     
    enable='mod(n\,10)'
    解释: mod(n\,10) 表示 n 除以 10 的余数为 0 时启用滤镜,即每 10 帧启用一次。

1.1.4、基于帧关键帧 (key)

key 表示关键帧的布尔值,1 表示关键帧,0 表示非关键帧。

  • 示例: 仅在关键帧上绘制矩形框:
     
    enable='key'
    解释: 当帧是关键帧时启用滤镜。

1.2、组合条件表达式

你可以通过逻辑操作符(如 and, or, not 等)组合多个条件。

示例:在关键帧中且时间在第1秒到第2秒之间绘制矩形框

enable='key*between(t,1,2)'

示例:从第50帧到第100帧之间,且帧编号是5的倍数时绘制矩形框

enable='between(n,50,100)*eq(mod(n,5),0)'

1.3、完整脚本

ffmpeg -i input.mp4 -vf "drawbox=enable='between(n,50,150)':x=100:y=50:w=200:h=100:color=red@0.5:t=5" output.mp4

参数说明

  • x=100: 矩形框的左上角 x 坐标。
  • y=50: 矩形框的左上角 y 坐标。
  • w=200: 矩形框的宽度。
  • h=100: 矩形框的高度。
  • color=red@0.5: 矩形框的颜色和透明度(0.5 表示半透明)。
  • t=5: 边框的厚度。设置为 t=fill 时表示填充整个矩形。
  • -frames:v 1: 提取第1帧的结果。

上述命令表示 选择帧在50,100之间,绘制(100,50) 到(300,150)的红色区域

注:

如果需要截取某一帧的图片,并保存,使用如下命令

ffmpeg -i input.mp4 -vf "drawbox=x=100:y=50:w=200:h=100:color=red@0.5:t=5" -frames:v 1 output.png

2、批量绘制

需要针对一个视频,进行大批量自定义帧,自定义区域绘制

2.1、使用concat组合多个drawbox

如果需要处理的帧较多,可以使用FFmpeg的滤镜链来组合多个 drawbox 滤镜。这里需要定义每个 drawbox 的启用条件和对应的矩形参数。

假设你需要在第1到第5帧上绘制不同大小的矩形框:

ffmpeg -i input.mp4 -vf "
[0:v]drawbox=enable='eq(n\,1)':x=10:y=10:w=100:h=50:color=red@0.8:t=2,
drawbox=enable='eq(n\,2)':x=20:y=20:w=150:h=75:color=blue@0.8:t=2,
drawbox=enable='eq(n\,3)':x=30:y=30:w=200:h=100:color=green@0.8:t=2,
drawbox=enable='eq(n\,4)':x=40:y=40:w=250:h=125:color=yellow@0.8:t=2,
drawbox=enable='eq(n\,5)':x=50:y=50:w=300:h=150:color=purple@0.8:t=2
" output.mp4

解释

  • 在第1帧(n=1)绘制一个红色的矩形框。
  • 在第2帧(n=2)绘制一个蓝色的矩形框,依此类推。

这种方法适合帧数量较少的情况,随着帧数的增加,命令行也会变得更复杂。

2.2、使用编程语言生成滤镜链

对于100多帧,手动编写每个滤镜配置可能非常繁琐。你可以使用Python等编程语言生成FFmpeg的滤镜配置脚本。

Python 代码生成滤镜链

以下是一个简单的Python脚本,它可以根据输入生成相应的FFmpeg命令:

frames = [{"n": 1, "x": 10, "y": 10, "w": 100, "h": 50, "color": "red@0.8"},{"n": 2, "x": 20, "y": 20, "w": 150, "h": 75, "color": "blue@0.8"},{"n": 3, "x": 30, "y": 30, "w": 200, "h": 100, "color": "green@0.8"},# 继续添加帧的配置...
]filters = []
for frame in frames:filters.append("drawbox=enable='eq(n\,{n})':x={x}:y={y}:w={w}:h={h}:color={color}:t=2".format(n=frame["n"], x=frame["x"], y=frame["y"], w=frame["w"], h=frame["h"], color=frame["color"]))ffmpeg_command = "ffmpeg -i input.mp4 -vf \"{}\" output.mp4".format(",".join(filters))
print(ffmpeg_command)

这个脚本将生成一个适用于FFmpeg的命令,可以根据需要调整帧号和矩形框的参数。

3、Java完整代码

在下面的代码中,进行转码时,只保留视频部分,音频部分被移除

如果需要可以使用 

-c:a copy 代替 -an

  
import lombok.Data;
import lombok.extern.slf4j.Slf4j;import java.io.BufferedReader;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.List;
import java.util.concurrent.TimeUnit;/**** ffmpeg 命令工具,要求主机必须已安装ffmpeg命令* @author xuancg* @date 2024/8/19*/
@Slf4j
public class FfmpegUtil {/**进行视频区域绘制并进行视频截取 只提取视频,忽略声音 */private static final String RECT_CUT_FORMAT = "ffmpeg -i %s -vf \"[0:v]%s\" -ss %s -to %s -an -y %s";private static final String RECT_FORMAT = "drawbox=enable='eq(n\\,%d)':x=%d:y=%d:w=%d:h=%d:color=red@0.8:t=2";/*** 先经过批量的视频帧区域绘制,然后在进行视频剪裁* @param src 输入文件* @param rectList 区域绘制* @param startTime 剪裁开始时间00:00:03* @param endTime 剪裁结束时间 00:00:23* @param dest 目标文件* @return*/public static boolean drawRectByBatchFrame(File src, List<FrameRect> rectList, String startTime, String endTime, File dest) {String source = src.getAbsolutePath();String output = dest.getAbsolutePath();if(!src.isFile()){log.error("源文件不存在source=" + source);return false;}if(dest.exists()){log.error("目标文件已存在dest=" + output);}long start = System.currentTimeMillis();Process process = null;BufferedReader reader = null;try {int size = rectList.size();StringBuilder builder = new StringBuilder();for (int i = 0; i < rectList.size(); i++) {FrameRect rect = rectList.get(i);builder.append(String.format(RECT_FORMAT,rect.getFrameIdx(), rect.getX(), rect.getY(), rect.getWidth(), rect.getHeight()));if(i < size - 1){builder.append(",");}}String cmd = String.format(RECT_CUT_FORMAT,source.replace("\\","/"), builder.toString(),startTime, endTime,  output.replace("\\","/"));log.info("ffmpeg执行命令=" + cmd);// 执行命令process = Runtime.getRuntime().exec(cmd);// 获取命令输出结果reader = new BufferedReader(new InputStreamReader(process.getErrorStream()));String line;while ((line = reader.readLine()) != null) {log.debug(line);}process.waitFor(120, TimeUnit.SECONDS);return  dest.isFile() && dest.length() > 100;} catch (IOException e) {e.printStackTrace();} catch (InterruptedException e) {log.error("剪裁视频超时source=" + source);} finally {if(null != process){process.destroy();}if(null != reader){try {reader.close();} catch (IOException e) {log.error("关闭流失败" + e.getMessage());}}log.info("耗时ms=" + (System.currentTimeMillis() - start));}return false;}@Datapublic static class FrameRect {private int frameIdx;private int x;private int y;private int width;private int height;/*** 区域外扩10像素* @param detail*/public FrameRect(VideoDetail detail){this.frameIdx = detail.getFrameIdx();this.x = detail.getLeftX() - 10;this.y = detail.getTop() - 10;this.width = detail.getRightX() - detail.getLeftX() + 20;this.height = detail.getBottom() - detail.getTop() + 20;}}}

ffmpeg部分脚本命令如下

ffmpeg -i G:/download/20240618121820-video.mp4 -vf "[0:v]drawbox=enable='eq(n\,102)':x=1141:y=158:w=90:h=90:color=red@0.8:t=2,

drawbox=enable='eq(n\,104)':x=1165:y=167:w=94:h=94:color=red@0.8:t=2,

drawbox=enable='eq(n\,105)':x=1179:y=169:w=94:h=94:color=red@0.8:t=2"

-ss 00:00:02 -to 00:00:08 -an -y G:/download/20240618121820.mp4 

视频效果如下图

 

使用eq单独帧,任务较多,

后续可以使用between 范围帧 

这篇关于使用ffmpeg在视频中绘制矩形区域的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1140058

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

git使用的说明总结

Git使用说明 下载安装(下载地址) macOS: Git - Downloading macOS Windows: Git - Downloading Windows Linux/Unix: Git (git-scm.com) 创建新仓库 本地创建新仓库:创建新文件夹,进入文件夹目录,执行指令 git init ,用以创建新的git 克隆仓库 执行指令用以创建一个本地仓库的