2023 电赛 E 题 激光笔识别有误--使用K210/Openmv/树莓派/Jetson nano实现激光笔在黑色区域的目标检测

本文主要是介绍2023 电赛 E 题 激光笔识别有误--使用K210/Openmv/树莓派/Jetson nano实现激光笔在黑色区域的目标检测,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. 引言

1.1 激光笔在黑色区域目标检测的背景介绍

在许多应用领域,如机器人导航、智能家居和自动驾驶等,目标检测技术的需求日益增加。本博客将聚焦于使用K210芯片实现激光笔在黑色区域的目标检测。

激光笔在黑色区域目标检测是一个有趣且具有挑战性的问题。我们将通过使用K210芯片和相关算法,能够准确地检测出激光笔在黑色区域的位置和姿态,以便后续应用。

1.2 K210芯片的概述和优势

K210芯片是由矽速科技(Sipeed)开发的一款高性能、低功耗的人工智能边缘计算芯片。它采用RISC-V架构,具备强大的计算能力和丰富的外设接口,特别适合用于嵌入式人工智能应用。

K210芯片的主要优势包括:

  • 高性能:K210芯片搭载了双核64位处理器和一颗专门的神经网络加速器,可以实现快速而高效的神经网络推断。
  • 低功耗:K210芯片采用先进的低功耗设计,能够在边缘设备上实现节能运行和长时间使用。
  • 丰富的外设接口:K210芯片具备多种外设接口,如摄像头和显示器接口,方便与其他硬件设备进行连接和交互。
  • 开源优势:K210芯片使用RISC-V架构,而且软硬件都有开源社区支持,提供了更灵活、可定制的开发环境。

2. 硬件准备

2.1 K210芯片介绍

K210芯片是一款先进的人工智能边缘计算芯片,具备强大的计算能力和丰富的外设接口。为了实现激光笔在黑色区域的目标检测,我们需要准备以下硬件设备:

  • K210开发板:选择一款基于K210芯片的开发板,如Sipeed Maixduino等。
  • 摄像头模块:选择一款兼容K210开发板的摄像头模块,常用的有OV2640和GC0328等。
  • 激光笔:准备一支激光笔,用于在黑色区域绘制目标标记。

2.2 连接摄像头和激光笔

在进行目标检测之前,我们需要将摄像头和激光笔连接到K210开发板上。

首先,将摄像头模块插入到K210开发板的摄像头接口上。确保插入牢固,并注意摄像头的方向。

接下来,将激光笔的电源线与K210开发板的电源接口相连。根据激光笔的规格和开发板的接口类型,选择合适的连接方式,如直插或使用杜邦线连接。

完成连接后,确保所有接口插头都插入正确,并且牢固稳定。这样,我们就完成了摄像头和激光笔与K210开发板的硬件连接。

在进行下一步之前,建议对连接进行检查,确保没有松动或错误连接的情况。

3. 软件准备

3.1 K210开发环境搭建

K210 技术文档

为了开始进行激光笔在黑色区域的目标检测,我们需要搭建K210的开发环境。以下是一些主要的步骤和要求:

官方安装方法

  • 安装MaixPy IDE:MaixPy IDE是一个适用于K210芯片的集成开发环境。您可以从官方网站上下载并安装MaixPy IDE。请确保选择适用于您的操作系统的版本,并按照安装向导进行安装。

  • 安装kflash_gui:kflash_gui是一个用于将固件烧录到K210芯片的图形化工具。您可以在GitHub上找到kflash_gui的源代码,并按照说明进行安装。

  • 固件下载:K210芯片使用的固件是MicroPython的一个分支,称为MaixPy固件。您可以从官方网站或GitHub仓库下载MaixPy固件。请根据您的K210开发板型号和硬件配置选择正确的固件版本。固件下载地址

  • 固件烧录:使用kflash_gui工具,将下载好的MaixPy固件烧录到K210芯片上。连接K210开发板到计算机上,并按照kflash_gui的指南选择正确的端口和固件文件,然后开始烧录过程。

  • 连接硬件设备:在进行激光笔目标检测之前,需要连接适当的硬件设备,例如摄像头或传感器等。根据您的具体需求和硬件配置,确保正确连接硬件设备到K210开发板。

3.2 安装相关Python库

在进行激光笔目标检测之前,我们需要安装一些必要的Python库,安装python用于实现将图片进行标注:

labelimg

pip install labelimg -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install PyQt5_tools -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install PyQt5_tools -i https://pypi.tuna.tsinghua.edu.cn/simple

安装结束后,在cmd中输入labelimg,出现弹框即为labelimg页面 

 图1  labelimg 初始界面

 图2  labelimg 标注界面 

4. 模型训练与优化

4.1 数据采集和准备

在开始实现激光笔目标检测算法之前,我们需要进行数据采集和准备。以下是一些主要的步骤:

  • 采集黑色区域图片:使用摄像头模块拍摄一系列黑色区域的图片。确保图片中有激光笔绘制的目标标记,并控制光线和背景条件的一致性。

图3 拍摄的激光笔黑色区域 

  • 标注目标位置:对采集到的图片进行目标位置的标注。可以使用图像标注工具(如LabelImg)来标注目标的边界框,并生成对应的标注文件。

  • 划分训练集和测试集:将采集到的数据分为训练集和测试集。通常将数据的80%用于训练,20%用于测试。

  • 数据增强:对训练集进行数据增强操作,以扩充训练数据的多样性。例如,可以进行随机旋转、翻转、缩放和平移等操作。

完成上述步骤后,您就准备好了用于训练和测试激光笔目标检测算法的数据集。

注意:在对数据集进行采集时,采集的数据要与使用场地的图片一致。比如:该模型要在白天使用,那么就在白天拍摄图片;该模型要在晚上使用,那么就在晚上拍摄图片;该模型要在球场使用,那么就在球场拍摄图片。对于收集的数据量,一般来说,对于一个类别,那就在500张左右。

注意:在进行收集图像时,图像的尺寸大小最好为[640,640] ,尺寸太小或太大都会影响识别的准确率。

4.2 模型选择

为了实现激光笔目标检测,我们需要选择合适的目标检测模型,并进行训练。

对于K210来说,不同的型号使用的最佳模型不同,在官方的模型,使用的模型有yolov2、yolov3、

yolov4、yolov7、yolovx。这些模型,对于一般的K210,建议使用yolov3模型进行训练。当然,模型越高,训练的效果越好,但是要看自己的开发板能否实现。

4.3 模型训练

可以在线训练和本地训练两种方法。

K210:

Maixhub 模型训练 - Sipeed Wiki

K210 在线训练 官网

本地模型训练 for Linux - Sipeed Wiki

本地训练 for windows - Sipeed Wiki

Openmv:

OpenVINO应用案例:部署YOLO模型到边缘计算摄像头_将算法部署到摄像机中_同学来啦的博客-CSDN博客

https://github.com/SingTown/Traffic-Sign-FOMO/blob/main/README-CN.md
 

树莓派:

树莓派4B训练yolo模型

Jetson nano:

Jetson nano上使用trt部署自己训练的YOLOv5模型(亲测可用!!)_查看yolov5版本_计算之声的博客-CSDN博客

选择模型后,我们可以使用已准备好的数据集对模型进行训练。通常,训练目标检测模型的步骤如下:

  1. 加载数据集:将准备好的数据集导入到模型中,包括训练集和测试集。

  2. 模型初始化:根据选择的模型架构,初始化一个空的目标检测模型。

  3. 优化器选择:选择合适的优化器,如Adam或SGD,用于优化模型参数。

  4. 模型训练:使用训练集数据对模型进行训练,并在每个训练周期(epoch)结束后,使用测试集数据评估模型性能。

  5. 模型保存:在训练过程中,选择合适的检查点(checkpoint)来保存训练过程中的模型参数。

注意:在使用训练时,一般不用修改参数,需要修改的参数为训练轮数、识别类别、GPU是否使用、模型文件、输入图像大小。

完成上述步骤后,一个激光笔目标检测模型就可以使用了。

4.4 模型预测

在模型训练好后,就可以使用训练好的模型进行检测,识别激光笔。

 K210 识别代码

from fpioa_manager import * 
import sensor,image,lcd,time  import KPU as kpu
task = kpu.load(0x300000)   # 加载模型lcd.init(freq=15000000) sensor.reset()  
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA) sensor.set_windowing((224, 224))
sensor.set_brightness(2)  #设置亮度(范围为[-2~2])
#sensor.set_contrast(-1)  #设置对比度(范围为[-2,+2])
#sensor.set_auto_gain(1,2) #设置摄像自动增益模式
sensor.run(1)  #图像捕捉控制(1:开始捕捉;0:关闭捕捉)clock = time.clock() #获取clock对象
classes = ['light']anchor = (1, 1.2, 2, 3, 4, 3, 6, 4, 5, 6.5)
a = kpu.init_yolo2(task, 0.17, 0.3, 5, anchor) #为yolov2网络模型传入初始化参数
#(task, 0.17, 0.3, 5, anchor)分别为 kpu网络对象、概率阙值、box_iou门限、锚点数、锚点参数与模型参数一致while(True):clock.tick() #记录开始时间(ms)img = sensor.snapshot()    #使用摄像头拍摄一张照片code = kpu.run_yolo2(task, img)  #task为 kpu_load 返回的 kpu_net 对象#img为从sensor 采集到的图像#run_yolo2返回的值为kpu_yolo2_find 的列表if code:for i in code:a=img.draw_rectangle(i.rect()) #在图像上绘制一个矩形。此处为作为元组传递回坐标框出矩形#传回的是检测到的图像的四个坐标a = lcd.display(img) #在液晶屏上显示被框框框起来的imageprint("物体是:",classes[i.classid()]) # 打印出识别的类别print("概率为:",100.00*i.value()) # 打印出置信度else:a = lcd.display(img) # 如果没有识别出物体,则继续呈现图像a = kpu.deinit(task) #反初始化。kpu_load 返回 kpu_net 对象

5. 最终效果 

 

图4 模型识别结果

 注意:模型识别的准确度与图片标注的质量和图片数量有关。

硬性的标准其实限制不了无限可能的我们,所以啊!少年们加油吧!

这篇关于2023 电赛 E 题 激光笔识别有误--使用K210/Openmv/树莓派/Jetson nano实现激光笔在黑色区域的目标检测的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/770967

相关文章

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象