java获取近期视频流关键帧与截图

2023-11-09 13:15

本文主要是介绍java获取近期视频流关键帧与截图,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、背景

最近在做视频转发的开发时,遇到一个问题,前端订阅播放h264视频流时,有时会出现一段时间黑屏,经过测试发现是没有收到关键帧,只有第一帧是关键帧才能保证后续播放正常。所以后端需要实现一个功能,就是前端在进入播放页面时,后端把最近的一个关键帧发过去。

2、思路(环形缓存区)

后端接收到的视频流是一个个的字节数组,所以在接收时没法直接判断一帧的开始和结束,需要将最近的一段视频流截取出来,然后利用ffmpeg工具进行整体的解析和关键帧提取。
查看ffmpeg工具的代码,可以发现ffmpeg工具入参是inputstream,该工具会不断调用inputstream的read方法进行字节的读取。所以就想通过一个环形缓存区不断的记录最新的一段视频流数据。该环形缓存区再实现inputstream的接口,重写read方法,read读取的开始位置即是环形缓存区头,到环形缓存区的尾时自动结束。

3、依赖包

<!--   javacv    -->
<dependency><groupId>org.bytedeco</groupId><artifactId>javacpp</artifactId><version>1.4.3</version>
</dependency>
<dependency><groupId>org.bytedeco</groupId><artifactId>javacv</artifactId><version>1.4.3</version>
</dependency>
<dependency><groupId>org.bytedeco.javacpp-presets</groupId><artifactId>ffmpeg-platform</artifactId><version>4.0.2-1.4.3</version>
</dependency>

4、环形缓存区定义

public class CycleBufferInputStream extends InputStream {/************************************************  环形缓冲区  ***********************************************/private ByteBuffer buffer = null;private int readPos = 0; //将要读取的位置private int writePos = 0; //将要写入的位置private boolean isCycle = false; //判断是否已经形成一个环public CycleBufferInputStream(int capacity) {this.buffer = ByteBuffer.allocateDirect(capacity);}/*** 将字节数组以覆盖的方式放入环形缓冲区*/public void put(byte[] bytes) {int used = buffer.capacity() - buffer.position();if (used < bytes.length) {buffer.put(bytes, 0, used);buffer.clear();buffer.put(bytes, used, bytes.length - used);isCycle = true;} else if (used == bytes.length) {buffer.put(bytes, 0, used);buffer.clear();isCycle = true;} else {buffer.put(bytes, 0, bytes.length);}writePos = buffer.position();}/*** 定位读取的初始位置(执行inputstream 读取前,必须要先调用该方法)*/public void readPrepare() {if (buffer.capacity() == writePos || !isCycle) {readPos = 0;} else {readPos = buffer.position() + 1;}}/*************************************************** 输入流传输  ***************************************************//*** Reads the next byte of data from the input stream. The value byte is returned as an int in the range 0 to 255. If no byte is available because the end of the stream has been reached, the value -1 is returned. This method blocks until input data is available, the end of the stream is detected, or an exception is thrown.* A subclass must provide an implementation of this method.* Returns: the next byte of data, or -1 if the end of the stream is reached.* Throws: IOException – if an I/O error occurs.*/@Overridepublic int read() throws IOException {if (readPos == buffer.capacity()) readPos = 0;if (readPos == writePos) return -1;int value = buffer.get(readPos++);if (value < 0) value = value + 256;return value;}}

5、从环形缓存区提取关键帧

    /*** 从环形缓存环获取最近一帧关键帧字节数组* 这里返回的堆外内存,所以注意要及时进行内存释放* @param inputStream*/public static ByteBuffer dealVideo(InputStream inputStream)  {try {int j = 0;FFmpegFrameGrabber ff = new FFmpegFrameGrabber(inputStream);ff.start();Frame frame = null;Frame last = null;while ((frame = ff.grabKeyFrame()) != null && frame.image != null) {last = frame.clone();System.out.println("获取一帧" + j++);}ff.stop();if (last != null) {System.out.println("获取最近的一个关键帧");ByteBuffer byteBuffer = (ByteBuffer)last.image[0];return byteBuffer;}} catch (Exception e) {log.error("提取最近一个关键帧异常\n",e);}return null;}

6、使用

    public static void main(String[] args) throws Exception {CycleBufferInputStream stream = new CycleBufferInputStream(1024 * 1024 * 10);FileInputStream fis = new FileInputStream("D:\\tmp-data\\1694511149969.h264");byte[] bytes = new byte[fis.available()];fis.read(bytes);stream.put(bytes);stream.readPrepare();dealVideo(stream);}

7、扩展:获取近期视频的截图

其实就是从近期的关键帧中提取出图片,关键代码如下:

    public static void dealImage(InputStream inputStream) {try {Java2DFrameConverter converter = new Java2DFrameConverter();FFmpegFrameGrabber ff = new FFmpegFrameGrabber(inputStream);ff.start();int j = 0;Frame frame = null;Frame last = null;while ((frame = ff.grabImage()) != null) {last = frame.clone();System.out.println("获取一张图片" + j++);}ff.stop();if (last != null && last.image != null) {System.out.println("存储最后一张图片 ");BufferedImage fecthedImage = converter.getBufferedImage(last);File screenshotFile = new File("D:\\tmp-data\\", System.currentTimeMillis() + ".jpg");ImageIO.write(fecthedImage, "jpg", screenshotFile);}} catch (Exception e) {log.error("提取最近一个图片异常\n",e);}}

8、整体代码

package com.qq.utils;import lombok.extern.slf4j.Slf4j;
import org.bytedeco.javacv.FFmpegFrameGrabber;
import org.bytedeco.javacv.Frame;
import org.bytedeco.javacv.Java2DFrameConverter;import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.*;
import java.nio.ByteBuffer;@Slf4j
public class CycleBufferInputStream extends InputStream {/************************************************  环形缓冲区  ***********************************************/private ByteBuffer buffer = null;private int readPos = 0; //将要读取的位置private int writePos = 0; //将要写入的位置private boolean isCycle = false; //判断是否已经形成一个环public CycleBufferInputStream(int capacity) {this.buffer = ByteBuffer.allocateDirect(capacity);}/*** 将字节数组以覆盖的方式放入环形缓冲区*/public void put(byte[] bytes) {int used = buffer.capacity() - buffer.position();if (used < bytes.length) {buffer.put(bytes, 0, used);buffer.clear();buffer.put(bytes, used, bytes.length - used);isCycle = true;} else if (used == bytes.length) {buffer.put(bytes, 0, used);buffer.clear();isCycle = true;} else {buffer.put(bytes, 0, bytes.length);}writePos = buffer.position();}/*** 定位读取的初始位置(执行inputstream方法前,必须要先调用该方法)*/public void readPrepare() {if (buffer.capacity() == writePos || !isCycle) {readPos = 0;} else {readPos = buffer.position() + 1;}}/*************************************************** 输入流传输  ***************************************************/@Overridepublic int read() throws IOException {if (readPos == buffer.capacity()) readPos = 0;if (readPos == writePos) return -1;int value = buffer.get(readPos++);if (value < 0) value = value + 256;return value;}/*** 从环形缓存环获取最近一帧关键帧字节数组* 这里返回的堆外内存,所以注意要及时进行内存释放* @param inputStream*/public static ByteBuffer dealVideo(InputStream inputStream)  {try {int j = 0;FFmpegFrameGrabber ff = new FFmpegFrameGrabber(inputStream);ff.start();Frame frame = null;Frame last = null;while ((frame = ff.grabKeyFrame()) != null && frame.image != null) {last = frame.clone();System.out.println("获取一帧" + j++);}ff.stop();if (last != null) {System.out.println("获取最近的一个关键帧");ByteBuffer byteBuffer = (ByteBuffer)last.image[0];return byteBuffer;}} catch (Exception e) {log.error("提取最近一个关键帧异常\n",e);}return null;}public static void dealImage(InputStream inputStream) {try {Java2DFrameConverter converter = new Java2DFrameConverter();FFmpegFrameGrabber ff = new FFmpegFrameGrabber(inputStream);ff.start();int j = 0;Frame frame = null;Frame last = null;while ((frame = ff.grabImage()) != null) {last = frame.clone();System.out.println("获取一张图片" + j++);}ff.stop();if (last != null && last.image != null) {System.out.println("存储最后一张图片 ");BufferedImage fecthedImage = converter.getBufferedImage(last);File screenshotFile = new File("D:\\tmp-data\\", System.currentTimeMillis() + ".jpg");ImageIO.write(fecthedImage, "jpg", screenshotFile);}} catch (Exception e) {log.error("提取最近一个图片异常\n",e);}}}

这篇关于java获取近期视频流关键帧与截图的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/376320

相关文章

Spring Boot 整合 SSE的高级实践(Server-Sent Events)

《SpringBoot整合SSE的高级实践(Server-SentEvents)》SSE(Server-SentEvents)是一种基于HTTP协议的单向通信机制,允许服务器向浏览器持续发送实... 目录1、简述2、Spring Boot 中的SSE实现2.1 添加依赖2.2 实现后端接口2.3 配置超时时

Spring Boot读取配置文件的五种方式小结

《SpringBoot读取配置文件的五种方式小结》SpringBoot提供了灵活多样的方式来读取配置文件,这篇文章为大家介绍了5种常见的读取方式,文中的示例代码简洁易懂,大家可以根据自己的需要进... 目录1. 配置文件位置与加载顺序2. 读取配置文件的方式汇总方式一:使用 @Value 注解读取配置方式二

一文详解Java异常处理你都了解哪些知识

《一文详解Java异常处理你都了解哪些知识》:本文主要介绍Java异常处理的相关资料,包括异常的分类、捕获和处理异常的语法、常见的异常类型以及自定义异常的实现,文中通过代码介绍的非常详细,需要的朋... 目录前言一、什么是异常二、异常的分类2.1 受检异常2.2 非受检异常三、异常处理的语法3.1 try-

Java中的@SneakyThrows注解用法详解

《Java中的@SneakyThrows注解用法详解》:本文主要介绍Java中的@SneakyThrows注解用法的相关资料,Lombok的@SneakyThrows注解简化了Java方法中的异常... 目录前言一、@SneakyThrows 简介1.1 什么是 Lombok?二、@SneakyThrows

Java中字符串转时间与时间转字符串的操作详解

《Java中字符串转时间与时间转字符串的操作详解》Java的java.time包提供了强大的日期和时间处理功能,通过DateTimeFormatter可以轻松地在日期时间对象和字符串之间进行转换,下面... 目录一、字符串转时间(一)使用预定义格式(二)自定义格式二、时间转字符串(一)使用预定义格式(二)自

Spring 请求之传递 JSON 数据的操作方法

《Spring请求之传递JSON数据的操作方法》JSON就是一种数据格式,有自己的格式和语法,使用文本表示一个对象或数组的信息,因此JSON本质是字符串,主要负责在不同的语言中数据传递和交换,这... 目录jsON 概念JSON 语法JSON 的语法JSON 的两种结构JSON 字符串和 Java 对象互转

JAVA保证HashMap线程安全的几种方式

《JAVA保证HashMap线程安全的几种方式》HashMap是线程不安全的,这意味着如果多个线程并发地访问和修改同一个HashMap实例,可能会导致数据不一致和其他线程安全问题,本文主要介绍了JAV... 目录1. 使用 Collections.synchronizedMap2. 使用 Concurren

Java Response返回值的最佳处理方案

《JavaResponse返回值的最佳处理方案》在开发Web应用程序时,我们经常需要通过HTTP请求从服务器获取响应数据,这些数据可以是JSON、XML、甚至是文件,本篇文章将详细解析Java中处理... 目录摘要概述核心问题:关键技术点:源码解析示例 1:使用HttpURLConnection获取Resp

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组

Java中Switch Case多个条件处理方法举例

《Java中SwitchCase多个条件处理方法举例》Java中switch语句用于根据变量值执行不同代码块,适用于多个条件的处理,:本文主要介绍Java中SwitchCase多个条件处理的相... 目录前言基本语法处理多个条件示例1:合并相同代码的多个case示例2:通过字符串合并多个case进阶用法使用