超维空间M1无人机使用说明书——31、基于模板匹配的物体识别功能

本文主要是介绍超维空间M1无人机使用说明书——31、基于模板匹配的物体识别功能,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言:ROS提供的物体识别功能包find_object_2d,该功能包用起来相对简单,只需要简单进行模板匹配即可。需要接显示器进行模板训练,远程比较卡,不建议

一、功能包find_object_2d简介

ROS的优点之一是有大量可以在应用程序中复用的软件包。在我们的例程中,想要实现对一个物体的识别和检测。而find_object_2d包就是一个物体识别和检测的ROS功能包,它实现了SURF、SIFT、FAST和BRIEF特征检测器和用于物体检测的描述符。通过此包提供的GUI,可以标记待检测的物体,保存后可用来进行特征检测。而此包提供的检测器节点可检测摄像头图像中的物体,并通过主题发布物体的具体信息。此包还能通过3D传感器估计物体的深度信息和朝向信息。整体来说这个功能包安装是相当方便的,不过因为是模板匹配,所以局限性比较大,在目标物体未正对摄像头的情况下识别成功率不高,而且想要得到良好的匹配效果需要认真的调节参数,旋转合适的算法,另外输出的tf中心点坐标大致准确,但是姿态就不是很靠谱了。
使用find_object_2d功能包进行物体识别,该功能包采用模板匹配算法,相比较于yolov其优点在于操作简单,对硬件配置要求低,因此在树莓派和jetson nano两种主控板上都可以使用此功能包。其缺点在于模板匹配通常需要正对着图像效果较好。系统镜像都已经配置好了环境,按照使用说明即可操作。

先看一下这个功能包的效果:

在这里插入图片描述

二、启动摄像头

默认普通USB摄像头,不支持转换出真实的相对位置信息,如果需要获取位置的话,可以使用深度摄像头

注:适当降低摄像头发布频率,可以降低机载电脑计算压力

步骤1、启动USB摄像头或者D435摄像头(根据实际硬件选择)

roslaunch usb_cam usb_cam_test.launch //USB摄像头
或
roslaunch realsense2_camera rs_camera.launch //D435深度摄像头

在这里插入图片描述

三、启动find_object_2d功能包,启动后如下

终端输入:roslaunch find_object_2d find_object_2d.launch //USB摄像头
或
终端输入:roslaunch find_object_2d find_object_3d.launch //D435深度摄像头

find_object_3d.launch用于深度摄像头,可以获取相对坐标系位置

在这里插入图片描述

该命令将打开如图所示的物体检测器窗口,可以在其中看到摄像头采集到的图像和物体上的特征点。

在这里插入图片描述

那么如何用它来检测一个物体呢?下面是使用此工具执行基本检测的步骤。
①、右键单击此窗口左侧面板(Objects),将会出现Add objects from scene选项,选择此选项,将会弹出一个Add object对话框,它将引导你标记所关注的物体,在完成标记之后,标记物体即开始被跟踪。下图显示了第一步,它正在拍摄包含该物体的场景。
②、将物体对准摄像头后,按Take Picture按钮获取物体快照。
③、下一个窗口用于从当前快照中标记物体,如图所示。首先使用鼠标指针来标记框选物体,然后单击“Next”按钮裁剪物体,接着继续下一步。
在这里插入图片描述
④、裁剪物体后,将显示物体特征描述符总数,你可以点击“End”按钮添加此物体模板进行检测。
⑤、恭喜!你已经添加了一个待检测物体。一旦添加好物体,你将会看到物体周围多了一个边框,这说明此物体被检测到了,如图所示。

在这里插入图片描述在这里插入图片描述
5.2、查询物体的位置
步骤1、终端输入:rosrun find_object_2d print_objects_detected
在这里插入图片描述

步骤2、你还可以通过/object主题获取被检测物体的完整信息。该主题发布一个多维数组,该数组包含物体的宽、高信息和单应性矩阵信息,这些信息用来计算物体的位置、方向和剪切值。利用话题回显命令,回显话题/object将得到如图所示的结果。
在这里插入图片描述

date:后面第二、三个数据是宽度和高度,剩下的9个数据构成一个3x3的矩阵,
可以用下图公式计算位置和方向

其中,H是3×3的单应性矩阵,(x1,y1)是物体在存储图像中的位置,(x2,y2)是物体在当前帧中的位置。
这就对我们开发机器人很便利了,我们只需要订阅这个话题,获取我们想要的消息。

以下功能只针对深度摄像头,如果是普通的USB摄像头,可以直接跳过以下内容

启动坐标系转换节点

rosrun visual_trans visual_trans

此节点会监听物体相对于摄像头的位置,然后发布三维位置信息,信息如下:

①、未识别到物体的时候,会有红色,表示没有识别到对应的物体

在这里插入图片描述

②、识别到物体后发布三维位置信息

在这里插入图片描述

此文相当于介绍性质,这里不再做进一步的分析。

这篇关于超维空间M1无人机使用说明书——31、基于模板匹配的物体识别功能的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/577470

相关文章

详解Vue如何使用xlsx库导出Excel文件

《详解Vue如何使用xlsx库导出Excel文件》第三方库xlsx提供了强大的功能来处理Excel文件,它可以简化导出Excel文件这个过程,本文将为大家详细介绍一下它的具体使用,需要的小伙伴可以了解... 目录1. 安装依赖2. 创建vue组件3. 解释代码在Vue.js项目中导出Excel文件,使用第三

Linux alias的三种使用场景方式

《Linuxalias的三种使用场景方式》文章介绍了Linux中`alias`命令的三种使用场景:临时别名、用户级别别名和系统级别别名,临时别名仅在当前终端有效,用户级别别名在当前用户下所有终端有效... 目录linux alias三种使用场景一次性适用于当前用户全局生效,所有用户都可调用删除总结Linux

java图像识别工具类(ImageRecognitionUtils)使用实例详解

《java图像识别工具类(ImageRecognitionUtils)使用实例详解》:本文主要介绍如何在Java中使用OpenCV进行图像识别,包括图像加载、预处理、分类、人脸检测和特征提取等步骤... 目录前言1. 图像识别的背景与作用2. 设计目标3. 项目依赖4. 设计与实现 ImageRecogni

Java中Springboot集成Kafka实现消息发送和接收功能

《Java中Springboot集成Kafka实现消息发送和接收功能》Kafka是一个高吞吐量的分布式发布-订阅消息系统,主要用于处理大规模数据流,它由生产者、消费者、主题、分区和代理等组件构成,Ka... 目录一、Kafka 简介二、Kafka 功能三、POM依赖四、配置文件五、生产者六、消费者一、Kaf

python管理工具之conda安装部署及使用详解

《python管理工具之conda安装部署及使用详解》这篇文章详细介绍了如何安装和使用conda来管理Python环境,它涵盖了从安装部署、镜像源配置到具体的conda使用方法,包括创建、激活、安装包... 目录pytpshheraerUhon管理工具:conda部署+使用一、安装部署1、 下载2、 安装3

Mysql虚拟列的使用场景

《Mysql虚拟列的使用场景》MySQL虚拟列是一种在查询时动态生成的特殊列,它不占用存储空间,可以提高查询效率和数据处理便利性,本文给大家介绍Mysql虚拟列的相关知识,感兴趣的朋友一起看看吧... 目录1. 介绍mysql虚拟列1.1 定义和作用1.2 虚拟列与普通列的区别2. MySQL虚拟列的类型2

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

关于@MapperScan和@ComponentScan的使用问题

《关于@MapperScan和@ComponentScan的使用问题》文章介绍了在使用`@MapperScan`和`@ComponentScan`时可能会遇到的包扫描冲突问题,并提供了解决方法,同时,... 目录@MapperScan和@ComponentScan的使用问题报错如下原因解决办法课外拓展总结@

mysql数据库分区的使用

《mysql数据库分区的使用》MySQL分区技术通过将大表分割成多个较小片段,提高查询性能、管理效率和数据存储效率,本文就来介绍一下mysql数据库分区的使用,感兴趣的可以了解一下... 目录【一】分区的基本概念【1】物理存储与逻辑分割【2】查询性能提升【3】数据管理与维护【4】扩展性与并行处理【二】分区的

使用Python实现在Word中添加或删除超链接

《使用Python实现在Word中添加或删除超链接》在Word文档中,超链接是一种将文本或图像连接到其他文档、网页或同一文档中不同部分的功能,本文将为大家介绍一下Python如何实现在Word中添加或... 在Word文档中,超链接是一种将文本或图像连接到其他文档、网页或同一文档中不同部分的功能。通过添加超