在国产芯片上实现YOLOv5/v8图像AI识别-【4.2】RK3588获取USB摄像头图像推流RTSP更多内容见视频

本文主要是介绍在国产芯片上实现YOLOv5/v8图像AI识别-【4.2】RK3588获取USB摄像头图像推流RTSP更多内容见视频,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本专栏主要是提供一种国产化图像识别的解决方案,专栏中实现了YOLOv5/v8在国产化芯片上的使用部署,并可以实现网页端实时查看。根据自己的具体需求可以直接产品化部署使用。

B站配套视频:https://www.bilibili.com/video/BV1or421T74f
在这里插入图片描述

前言

在实际生产过程中,有很多时候不光是通过网络获取rtsp视频流,通常会采用在板子上插上USB摄像头获取画面。
今天我将向搭建演示该如何通过USB获取画面后推流出RTSP视频流。

本课程相关代码以开源在V8的项目中,有开源链接的朋友可以重新拉取一下代码。

前期准备

首先我们需要确定一下基本原理,usb的获取和推流到rtsp是这里面存在编码不一致的问题。

通常我们会采用opencv获取usb摄像头的画面然后进行推理,这时候图像是RGB编码的。

而推流到RTSP中就变成了YUV编码,那自然就会想到RK3588的固有能力,硬件编码器MPP。

那RTSP的推流我们就选择官方推荐的ZLMediakit来实现。正题结构如下所示:

opencv
yolo
mpp
mpp
ZLMediakit
USB
RGBimg
推理画面
YUVimg
RTSP

下载和编译zlmediakit、mpp

代码讲解查看视频 https://www.bilibili.com/video/BV1or421T74f](https://www.bilibili.com/video/BV1or421T74f

cd ZLMediaKit
git submodule init
git submodule update
cmake . -B build && cmake --build build -j4
cd ../mpp
cmake . -B build && cmake --build build -j4
cp ./submodules/mpp/build/utils/libutils.a libs/
cp ./submodules/ZLMediaKit/release/linux/Debug/libmk_api.so libs/

源码核心部分

int process_video_file(rknn_app_context_t *ctx, const char *video_path)
{// 读取视频cv::VideoCapture cap(video_path);if (!cap.isOpened()){printf("Failed to open video file: %s", video_path);}// 获取视频尺寸、帧率int cap_width = cap.get(cv::CAP_PROP_FRAME_WIDTH);int cap_height = cap.get(cv::CAP_PROP_FRAME_HEIGHT);int fps = cap.get(cv::CAP_PROP_FPS);ctx->media = mk_media_create("__defaultVhost__", ctx->push_path_first.c_str(), ctx->push_path_second.c_str(), 0, 0, 0);codec_args v_args = {0};mk_track v_track = mk_track_create(MKCodecH264, &v_args);mk_media_init_track(ctx->media, v_track);mk_media_init_complete(ctx->media);mk_media_set_on_regist(ctx->media, on_mk_media_source_regist_func, ctx);// 初始化编码器MppEncoder *mpp_encoder = new MppEncoder();MppEncoderParams enc_params;memset(&enc_params, 0, sizeof(MppEncoderParams));enc_params.width = cap_width;enc_params.height = cap_height;enc_params.fmt = MPP_FMT_YUV420SP;enc_params.type = MPP_VIDEO_CodingAVC;mpp_encoder->Init(enc_params, ctx);ctx->encoder = mpp_encoder;// mpp编码配置void *mpp_frame = NULL;int mpp_frame_fd = 0;void *mpp_frame_addr = NULL;int enc_data_size;int frame_index = 0;int ret = 0;// 画面cv::Mat img;while (true){// 读取视频帧cap >> img;if (img.empty()){printf("Video end.");break;}frame_index++;// 结束计时auto end_time = std::chrono::high_resolution_clock::now();// 将当前时间点转换为毫秒级别的时间戳auto millis = std::chrono::time_point_cast<std::chrono::milliseconds>(end_time).time_since_epoch().count();mpp_frame = ctx->encoder->GetInputFrameBuffer();mpp_frame_fd = ctx->encoder->GetInputFrameBufferFd(mpp_frame);mpp_frame_addr = ctx->encoder->GetInputFrameBufferAddr(mpp_frame);rga_buffer_t src = wrapbuffer_fd(mpp_frame_fd, cap_width, cap_height, RK_FORMAT_YCbCr_420_SP);int enc_buf_size = ctx->encoder->GetFrameSize();char *enc_data = (char *)malloc(enc_buf_size);rga_buffer_t rgb_img = wrapbuffer_virtualaddr((void *)img.data, cap_width, cap_height, RK_FORMAT_BGR_888);// 将RGB图像复制到src中imcopy(rgb_img, src);if (frame_index == 1){enc_data_size = ctx->encoder->GetHeader(enc_data, enc_buf_size);}// 内存初始化memset(enc_data, 0, enc_buf_size);enc_data_size = ctx->encoder->Encode(mpp_frame, enc_data, enc_buf_size);ret = mk_media_input_h264(ctx->media, enc_data, enc_data_size, millis, millis);if (ret != 1){printf("mk_media_input_frame failed\n");}}cap.release();
}

代码讲解查看视频 https://www.bilibili.com/video/BV1or421T74f](https://www.bilibili.com/video/BV1or421T74f

这篇关于在国产芯片上实现YOLOv5/v8图像AI识别-【4.2】RK3588获取USB摄像头图像推流RTSP更多内容见视频的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1133185

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推