机械狗还会给植物浇水?搭载OAK相机让机械狗拥有识别视觉的能力!

2024-03-18 18:36

本文主要是介绍机械狗还会给植物浇水?搭载OAK相机让机械狗拥有识别视觉的能力!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

编辑:OAK中国
首发:oakchina.cn
喜欢的话,请多多👍⭐️✍
内容可能会不定期更新,官网内容都是最新的,请查看首发地址链接。

Hello,大家好,这里是OAK中国,我是Ashely。

专注科技,专注分享。

今日和大家聊一聊仿生四足机器人,也就是我们平时说的四足机械狗,这也是我们一部分朋友们在关注和应用的领域。

▌怎么大厂都来造机械狗了?

在去年的世界机器人大会上(也就是2023年),有三只狗吸引了不少目光:CyberDog2、追觅DreameDog和兵器装备集团的“四足仿生机器人”。

CyberDog2更是作为雷军2023年度演讲上压轴出场,一时风头无两。1万多的售价,相比于快赶上一辆车售价的波士顿动力来说,可以说是非常有性价比了。
在这里插入图片描述
而这一赛道除了小米,国内还有不少企业也在加速布局。比如腾讯Robotics X实验室、云深处、宇树、追觅、蔚蓝等等。

多家企业的加入,大概可以窥探到这一赛道的价值。

四足机械狗作为一种仿生机器人,具有灵活的移动能力和稳定性,可以在各种复杂环境中执行任务。

比如用在灾难现成进行探索和救援,用狗代替人进入到危险区域,搜索幸存者或检测潜在的危险物品,帮助救援人员进行决策和行动。
在这里插入图片描述
再比如用在农业领域,机械狗可以用于巡视农田、监测植物生长情况、施肥、喷洒农药或收集农作物等。这有助于提高农业生产效率和减轻劳动负担。
在这里插入图片描述
而本期分享的这个用户应用,便是与农业领域相关。

只不过这只狗有点mini。
在这里插入图片描述

▌FREISA:麻雀虽小五脏俱全

FREISA 是 Four-legged Robot Ensure Intelligent Sprinkler Automation 的首字母缩写,是 B-AROL-O 团队的心血结晶。

这个团队曾参加了2022年的OpenCV Spatial AI大赛,用OAK-D-Lite相机、树莓派4B、乐高机械零件等组建了名为 ARNEIS 的包装机。

顺便说一句,ARNEIS这个项目也是开源的,感兴趣的朋友可以在这里查看【45】号项目。

【开源项目45】TOP10项目:智能分拣设备ARNEIS。 #OpenCV Spatial AI Contest

不过FREISA这个项目不是从头开始创建机器狗的,而是基于支持ROS和树莓派的开源 Mini Pupper 2。

【开源】OAK-D-Lite用于迷你机械狗视觉追踪

谈起项目的起源,其中一位团队成员 Gianluca Teti 说:“正如我们团队名称所暗示的那样,我们对葡萄园的熟悉激发了我们开发一种自动浇水系统,旨在协助农场。”这个想法是使用计算机视觉来浇灌植物,并提出一种能够执行这项工作的设备。
在这里插入图片描述这个团队在开始设想技术方案时,首先便排除了在轮子和轨道上运行的机器人的可能性,因为这种方式会让机器人在崎岖不平的地面上有较弱的躲避障碍的能力。他们还短暂地考虑过四轴飞行器,但认为它的电池和有效载荷会很差。之所以选择四足平台,是因为它能够驾驭复杂的地形。

“我们与团队发起了一次头脑风暴会议,以评估我们为该项目提供的硬件选项,”Gianluca 补充道,“我们的团队成员之一 Orso Eric 拥有一台 Mini Pupper 2。因此,我们全员同意在我们的项目中使用该特定模型。”

▌为何决定通过视觉来实现项目功能?

Mini Pupper 2 是一个开源机器人套件,在众筹活动的支持下诞生。四足机器人支持Raspberry Pi,该团队计划用它来处理FREISA的导航。为了确保它适合作为机器人植物浇水器,连接了具有3D人工智能性能的
相机。
在这里插入图片描述
谈起选择这款深度相机的原因,该团队表示
相机可以在专用硬件上运行计算机视觉管道,这将减轻树莓派资源的负担。
在这里插入图片描述
为了确保该项目真正适合其预期目的,该团队进行了一些研究。“我们采访了几位经验丰富的农民和园丁,”Gianluca说,“他们的见解表明,目视检查植物可以对其状况进行可靠的评估。”

考虑到这一点,该团队开始工作,训练两个神经网络来判别哪些植物需要浇水,哪些不需要。在这一点上,他们已经放弃了分析葡萄树的想法,因为他们注意到叶子会长得太高,机器人看不到它们,而且葡萄园的地形太不平坦。相反,他们决定将精力集中在一个种满番茄植物的家庭花园上。
在这里插入图片描述
“目的是通过分析植物的叶子和茎的状态来评估植物的状况,”Gianluca解释说,“我们的方法从收集大量图像开始,然后训练各种网络和模型。我们的基础设施由一台台式计算机组成,配备 AMD Ryzen 2600X CPU、48 GB RAM 和 NVidia GTX 1660 Super GPU,运行 Ubuntu 23.04,可通过 JupyterLab 容器远程访问。

▌验证成功

目前,该团队认为使用视觉效果就足够了,尽管还有进一步提高准确性的余地。“将其他传感器(例如测量湿度、温度等的传感器)集成到 FREISA 项目的框架中可能是有益的,”Gianluca 说,“FREISA项目的架构具有足够的适应性,可以很容易地容纳这些传感器作为补充·。”
在这里插入图片描述
好消息是,该项目利用了Docker(一个允许开发人员快速构建、测试和部署应用程序的软件平台)和OpenCV,并且已经有效。该机器人在骨盆位置有一个洒水器,上面有储水器,它能够自由移动以便给植物浇水。
在这里插入图片描述
“我们的机器人在识别目标植物、导航到目标植物和检查其叶子方面表现出良好的能力,然后精确调整其位置以有效地给植物浇水,”Gianluca 解释说。

FREISA在2023年的OpenCV AI竞赛中获得了大奖。尽管如此,该团队不会满足于现状。它已经确定了潜在的改进,例如使用
立体深度相机来估计目标的距离。

▌一个小补充

虽然没找到FREISA这个项目的演示效果视频,不过我们也有用户做这种类似的项目。

能给植物浇水的机械狗,只因装配了OAK-D深度相机,让四足机械狗拥有视觉能力!

只不过上面的视频,用的是第一代产品OAK-D相机。

如果大家现在想做这个方向的应用,其实可以用更新的产品,如二代升级款OAK-D-S2、还有防水款的OAK-D-S2-PoE、广角款的OAK-D-W等等。

还想观看更多OAK相机用在机械狗上的视频?为你罗列一部分了!

这只STELLA 四足机械狗有点过分灵活!#ICRA2023

斯坦福大学Pupper机械狗配激光雷达加OAK-D-Lite相机,做物体追踪。

最新机械狗mini puper搭载OAK相机手势控制测试!

▌参考资料

https://www.raspberrypi.com/news/freisa-the-plant-watering-robot-dog-magpimonday/
https://www.oakchina.cn/selection-guide/


OAK中国
| OpenCV AI Kit在中国区的官方代理商和技术服务商
| 追踪AI技术和产品新动态

戳「+关注」获取最新资讯↗↗

这篇关于机械狗还会给植物浇水?搭载OAK相机让机械狗拥有识别视觉的能力!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/823258

相关文章

使用PyTorch实现手写数字识别功能

《使用PyTorch实现手写数字识别功能》在人工智能的世界里,计算机视觉是最具魅力的领域之一,通过PyTorch这一强大的深度学习框架,我们将在经典的MNIST数据集上,见证一个神经网络从零开始学会识... 目录当计算机学会“看”数字搭建开发环境MNIST数据集解析1. 认识手写数字数据库2. 数据预处理的

Pytorch微调BERT实现命名实体识别

《Pytorch微调BERT实现命名实体识别》命名实体识别(NER)是自然语言处理(NLP)中的一项关键任务,它涉及识别和分类文本中的关键实体,BERT是一种强大的语言表示模型,在各种NLP任务中显著... 目录环境准备加载预训练BERT模型准备数据集标记与对齐微调 BERT最后总结环境准备在继续之前,确

讯飞webapi语音识别接口调用示例代码(python)

《讯飞webapi语音识别接口调用示例代码(python)》:本文主要介绍如何使用Python3调用讯飞WebAPI语音识别接口,重点解决了在处理语音识别结果时判断是否为最后一帧的问题,通过运行代... 目录前言一、环境二、引入库三、代码实例四、运行结果五、总结前言基于python3 讯飞webAPI语音

使用Python开发一个图像标注与OCR识别工具

《使用Python开发一个图像标注与OCR识别工具》:本文主要介绍一个使用Python开发的工具,允许用户在图像上进行矩形标注,使用OCR对标注区域进行文本识别,并将结果保存为Excel文件,感兴... 目录项目简介1. 图像加载与显示2. 矩形标注3. OCR识别4. 标注的保存与加载5. 裁剪与重置图像

Python爬虫selenium验证之中文识别点选+图片验证码案例(最新推荐)

《Python爬虫selenium验证之中文识别点选+图片验证码案例(最新推荐)》本文介绍了如何使用Python和Selenium结合ddddocr库实现图片验证码的识别和点击功能,感兴趣的朋友一起看... 目录1.获取图片2.目标识别3.背景坐标识别3.1 ddddocr3.2 打码平台4.坐标点击5.图

如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解

《如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解》:本文主要介绍如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别的相关资料,描述了如何使用海康威视设备网络SD... 目录前言开发流程问题和解决方案dll库加载不到的问题老旧版本sdk不兼容的问题关键实现流程总结前言作为

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

基于UE5和ROS2的激光雷达+深度RGBD相机小车的仿真指南(五):Blender锥桶建模

前言 本系列教程旨在使用UE5配置一个具备激光雷达+深度摄像机的仿真小车,并使用通过跨平台的方式进行ROS2和UE5仿真的通讯,达到小车自主导航的目的。本教程默认有ROS2导航及其gazebo仿真相关方面基础,Nav2相关的学习教程可以参考本人的其他博客Nav2代价地图实现和原理–Nav2源码解读之CostMap2D(上)-CSDN博客往期教程: 第一期:基于UE5和ROS2的激光雷达+深度RG

EasyPlayer.js网页H5 Web js播放器能力合集

最近遇到一个需求,要求做一款播放器,发现能力上跟EasyPlayer.js基本一致,满足要求: 需求 功性能 分类 需求描述 功能 预览 分屏模式 单分屏(单屏/全屏) 多分屏(2*2) 多分屏(3*3) 多分屏(4*4) 播放控制 播放(单个或全部) 暂停(暂停时展示最后一帧画面) 停止(单个或全部) 声音控制(开关/音量调节) 主辅码流切换 辅助功能 屏

计算机视觉工程师所需的基本技能

一、编程技能 熟练掌握编程语言 Python:在计算机视觉领域广泛应用,有丰富的库如 OpenCV、TensorFlow、PyTorch 等,方便进行算法实现和模型开发。 C++:运行效率高,适用于对性能要求严格的计算机视觉应用。 数据结构与算法 掌握常见的数据结构(如数组、链表、栈、队列、树、图等)和算法(如排序、搜索、动态规划等),能够优化代码性能,提高算法效率。 二、数学基础