瑞昱半导体AMB82 MINI SD卡加载模型RTSP视频流AI识别图像和声音分类

2024-06-11 07:28
文章标签 ai 加载 图像 分类 模型 sd 识别 声音 半导体 rtsp mini 视频流 瑞昱 amb82

本文主要是介绍瑞昱半导体AMB82 MINI SD卡加载模型RTSP视频流AI识别图像和声音分类，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

AMB82 MINI Arduino的方法迭代更新十分及时，github维护也十分频繁。最新推出的4.0.7版本开始支持SD卡加载模型。有的网友装了4.0.6版本是看不到摄像头和模型加载选项的。
用这个实例来呈现RTSP视频流AI识别图像，同时展示对声音进行分类效果。

SDK升级到4.0.7b

在这里插入图片描述

怎么获得官方提供的各种训练好的模型

去github上下载Ambiot发布的最新版Arduino SDK ，解压以后训练好的模型文件在\Ameba_misc\All_NN_models里面。
在这里插入图片描述

SD卡加载模型文件

SD卡用sd-memory-card格式化一下，在根目录创建NN_MDL文件夹，然后将yamnet.nb和yolov7_tiny.nb两个模型文件复制进去。这两个模型的文件12.7M,可见瑞昱半导体增加sd卡加载模型是为了方便用户使用尺寸比较大的模型资料，功能也日臻完善。

介绍YAMNet和YOLOv7 Tiny

YAMNet（Yet Another Multi-Task Network）是一个用于音频事件检测的深度学习模型，由谷歌开发。它是基于卷积神经网络（CNN）的，能够识别音频中的多种声音事件，如狗吠、汽车喇叭声、电话铃声等。YAMNet 模型可以应用于各种音频分析任务，包括声音识别、环境声音分类和音频场景理解等。
YAMNet 模型的特点包括：
多任务学习：YAMNet 不仅能识别音频中的特定声音事件，还能同时进行音频特征提取等任务。
端到端模型：YAMNet 从原始音频波形直接学习到声音事件的识别，无需手动特征提取。
可扩展性：YAMNet 可以扩展到不同的音频数据集和任务，具有很好的泛化能力。
实时性能：YAMNet 模型设计时考虑了实时处理的需求，可以在实时或近实时环境中使用。

YOLOv7 Tiny 是 YOLO（You Only Look Once）系列目标检测算法的一个变体，专为需要在资源受限的环境中使用而设计。YOLOv7 是 YOLO 系列的第七代版本，它在速度和精度上都有所提升。“Tiny” 版本意味着它是一个轻量级的模型，适用于计算能力较低的设备，如移动设备或嵌入式系统。
YOLOv7 Tiny 保持了 YOLO 算法的核心特点，即快速和高效，同时在以下几个方面进行了改进：
网络结构优化：YOLOv7 Tiny 采用了更高效的网络结构，以减少计算量和模型大小。
性能提升：通过改进的网络结构和训练技术，YOLOv7 Tiny 在保持较小模型大小的同时，仍然能够提供较高的检测精度。
多尺度检测：YOLOv7 Tiny 支持多尺度输入，可以处理不同大小的图像，提高检测的灵活性。
实时性能：YOLOv7 Tiny 特别适合需要实时处理的应用场景，如视频监控、自动驾驶等。
YOLOv7 Tiny 通常使用较小的输入图像尺寸，并减少网络层的数量，以降低模型的复杂度。这样虽然可能会牺牲一些精度，但可以显著提高运行速度，使其更适合在资源受限的设备上运行。

在这里插入图片描述

安装VLC播放器和SSCOM串口工具

因为AMB82 MINI采集使用的RTSP视频流通过无线网络传递，为了便于观察电脑或者手机上安装VLC播放器 ，并且为了观察串口输出要去Microsoft Store安装SSCOM串口工具。

程序如下：

#include "WiFi.h"
#include "StreamIO.h"
#include "VideoStream.h"
#include "RTSP.h"
#include "NNAudioClassification.h"
#include "AudioClassList.h"
#include "NNObjectDetection.h"
#include "VideoStreamOverlay.h"
#include "ObjectClassList.h"#define CHANNEL 0
#define CHANNELNN 3// 较低的分辨率用于神经网络处理
#define NNWIDTH 576
#define NNHEIGHT 320//神经网络音频分类需要16KHz
VideoSetting config(VIDEO_FHD, 30, VIDEO_H264, 0);
VideoSetting configNN(NNWIDTH, NNHEIGHT, 10, VIDEO_RGB, 0);
AudioSetting configA(16000, 1, USE_AUDIO_AMIC); // 采样率，通道计数，麦克风类型
Audio audio;
NNAudioClassification audioNN;
NNObjectDetection ObjDet;
RTSP rtsp;
StreamIO videoStreamer(1, 1);
StreamIO audioStreamerNN(1, 1);                 // 1输入音频-> 1输出Audio Classification
StreamIO videoStreamerNN(1, 1);char ssid[] = "您的WiFi名称";  
char pass[] = "您的WiFi密码";     
int status = WL_IDLE_STATUS;IPAddress ip;
int rtsp_portnum; void setup() {//为音频数据格式配置音频外设Serial.begin(115200);// 尝试连接Wifi网络:while (status != WL_CONNECTED) {Serial.print("Attempting to connect to WPA SSID: ");Serial.println(ssid);status = WiFi.begin(ssid, pass);// 休息呀2秒delay(2000);}ip = WiFi.localIP();//配置摄像机视频通道和视频格式信息//根据你的WiFi网络质量调整比特率config.setBitrate(2 * 1024 * 1024);     // 建议使用2Mbps的RTSP流，避免网络拥塞Camera.configVideoChannel(CHANNEL, config);Camera.configVideoChannel(CHANNELNN, configNN);Camera.videoInit();// 配置RTSP，配置相应的视频格式信息rtsp.configVideo(config);rtsp.begin();rtsp_portnum = rtsp.getPort();audio.configAudio(configA);audio.begin();audioNN.configAudio(configA);audioNN.setResultCallback(ACPostProcess);audioNN.modelSelect(AUDIO_CLASSIFICATION, NA_MODEL, NA_MODEL, NA_MODEL, CUSTOMIZED_YAMNET);audioNN.begin();//使用相应的视频格式信息配置对象检测//选择神经网络(NN)任务和模型ObjDet.configVideo(configNN);ObjDet.setResultCallback(ODPostProcess);ObjDet.modelSelect(OBJECT_DETECTION, CUSTOMIZED_YOLOV7TINY, NA_MODEL, NA_MODEL);ObjDet.begin();//配置StreamIO对象将数据从视频通道流到RTSPvideoStreamer.registerInput(Camera.getStream(CHANNEL));videoStreamer.registerOutput(rtsp);if (videoStreamer.begin() != 0) {Serial.println("StreamIO link start failed");}Camera.channelBegin(CHANNEL);// 配置StreamIO对象以将数据从音频流到音频分类audioStreamerNN.registerInput(audio);audioStreamerNN.registerOutput(audioNN);if (audioStreamerNN.begin() != 0) {Serial.println("StreamIO link start failed");}// 配置StreamIO对象将数据从RGB视频通道流到对象检测videoStreamerNN.registerInput(Camera.getStream(CHANNELNN));videoStreamerNN.setStackSize();videoStreamerNN.setTaskPriority();videoStreamerNN.registerOutput(ObjDet);if (videoStreamerNN.begin() != 0) {Serial.println("StreamIO link start failed");}// 为NN启动视频频道Camera.channelBegin(CHANNELNN);// 在RTSP视频通道上启动OSD绘图OSD.configVideo(CHANNEL, config);OSD.begin();
}void loop() {}// 用户回调函数
void ACPostProcess(std::vector<AudioClassificationResult> results) {printf("No of Audio Detected = %d\r\n", audioNN.getResultCount());if (audioNN.getResultCount() > 0) {for (int i = 0; i < audioNN.getResultCount(); i++) {AudioClassificationResult audio_item = results[i];int class_id = (int)audio_item.classID();if (audioNames[class_id].filter) {int prob = audio_item.score();printf("%d class %d, score: %d, audio name: %s\r\n", i, class_id, prob, audioNames[class_id].audioName);}}}
}//用户回调函数对目标检测结果进行后处理
void ODPostProcess(std::vector<ObjectDetectionResult> results) {uint16_t im_h = config.height();uint16_t im_w = config.width();Serial.print("Network URL for RTSP Streaming: ");Serial.print("rtsp://");Serial.print(ip);Serial.print(":");Serial.println(rtsp_portnum);Serial.println(" ");printf("Total number of objects detected = %d\r\n", ObjDet.getResultCount());OSD.createBitmap(CHANNEL);if (ObjDet.getResultCount() > 0) {for (uint32_t i = 0; i < ObjDet.getResultCount(); i++) {int obj_type = results[i].type();if (itemList[obj_type].filter) {    // check if item should be ignoredObjectDetectionResult item = results[i];//结果坐标为0.00到1.00之间的浮点数//与RTSP分辨率相乘得到坐标像素int xmin = (int)(item.xMin() * im_w);int xmax = (int)(item.xMax() * im_w);int ymin = (int)(item.yMin() * im_h);int ymax = (int)(item.yMax() * im_h);// 绘制边界框printf("Item %d %s:\t%d %d %d %d\n\r", i, itemList[obj_type].objectName, xmin, xmax, ymin, ymax);OSD.drawRect(CHANNEL, xmin, ymin, xmax, ymax, 3, OSD_COLOR_WHITE);// 打印识别文本char text_str[20];snprintf(text_str, sizeof(text_str), "%s %d", itemList[obj_type].objectName, item.score());OSD.drawText(CHANNEL, xmin, ymin - OSD.getTextHeight(CHANNEL), text_str, OSD_COLOR_CYAN);}}}OSD.update(CHANNEL);
}

如何修改模型文件名称

如果需要修改模型名称请移步到C:\Users\用户名\AppData\Local\Arduino15\packages\realtek\hardware\AmebaPro2\4.0.7-build20240610\libraries\NeuralNetwork\src\SD_Model.CPP 里面做修改。

烧录和观察实验效果

烧录程式到AMB82 MINI 的Arduino IDE设置见下图：
在这里插入图片描述
程序烧录好以后，按一下rest键重启一下AMB82 MINI 开发板，打开SSCOM串口工具可以可能到RTSP视频流的地址，譬如 rtsp://192.168.3.18:554 ，然后在VLC media player输入该地址就可以看到AMB82 MINI 开发板拍摄到的视频了。
在这里插入图片描述

如果您对着水杯，在视频流中就会用方框框住并标注。同时SSCOM串口工具也会输出图像和声音的识别情况。

这篇关于瑞昱半导体AMB82 MINI SD卡加载模型RTSP视频流AI识别图像和声音分类的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1050523。

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
AI绘图怎么变现？想做点副业的小白必看！

AI绘图怎么变现？想做点副业的小白必看！

在科技飞速发展的今天，AI绘图作为一种新兴技术，不仅改变了艺术创作的方式，也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式，帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具，可以扫描下方，免费获取 定制服务：个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如，姓氏头像在电商平台上非常受欢迎，
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
从去中心化到智能化：Web3如何与AI共同塑造数字生态

从去中心化到智能化：Web3如何与AI共同塑造数字生态

在数字时代的演进中，Web3和人工智能（AI）正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术，正相互交织，共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界，并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展，它基于去中心化的区块链技术，旨在创建一个开放、透明且用户主导的数字生态。不同于传统
阅读更多...
认识、理解、分类——acm之搜索

认识、理解、分类——acm之搜索

普通搜索方法有两种：1、广度优先搜索；2、深度优先搜索； 更多搜索方法： 3、双向广度优先搜索； 4、启发式搜索（包括A*算法等）； 搜索通常会用到的知识点：状态压缩（位压缩，利用hash思想压缩）。
阅读更多...
AI一键生成 PPT

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人，是不是经常需要制作各种PPT来分享我的生活和想法。但是，你们知道，有时候灵感来了，时间却不够用了！😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手！🌟 什么是Kimi？ 一款月之暗面科技有限公司开发的AI办公工具，帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师，Kimi都能够为你的办公文
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2