OK-Robot机器人实现零样本算法 可在非结构化环境下完成拾取与放置任务

本文主要是介绍OK-Robot机器人实现零样本算法 可在非结构化环境下完成拾取与放置任务,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

纽约大学的机器人专家团队与Meta人工智能学院研发人员共同合作开发了一种新型机器人,该机器人具备在非结构化环境下的认知能力,可在陌生房间利用视觉语言模型(VLMs),进行物品的抓取与放置。在论文当中,该团队详细阐述了机器人的编程过程以及其在多个实际环境中的测试表现。

研究人员指出,视觉语言模型(VLMs)在过去几年中取得了很快的进步,在根据语言提示识别物体方面已经非常出色。此外团队成员也提到目前机器人夹具控制技术也在进步,机器人可以轻松的将物体拾起,即便是易碎或柔软材料,也不会将其弄坏。但基于VLMs与机器人结合的相关应用依旧处于待探索阶段。

在这里插入图片描述

该项研究当中,科学家们尝试运用Hello Robot公司所售的一款机器人来完成这一测试。该机器人具备轮子、杆子以及可伸缩手臂,手部设有夹具。研究团队为其配备了先前经过训练的视觉语言模型(VLMs),并将其命名为OK-Robot。
在这里插入图片描述

在这里插入图片描述

在实际落地测试方面,研究团队将OK-Robot分别带入10 个志愿者家中,用iPhone对室内场景进行扫描,使用LangSam和CLIP进行计算,并存储在语义内存中。之后给定一个必须选择的对象的语言查询,查询的语言表示与语义记忆相匹配。随后,导航和拾取基元将按顺序分步执行,移动到所需夹取的物品前进行拾取,之后在需要放置的位置,将物品放置。实际测试过程当中,OK-Robot顺利将架子上粉色的瓶子放置在垃圾桶当中。
在这里插入图片描述

OK-Robot共执行了多达170项抓取与放置测试,任务成功率为58%。然而这种成功率很大一部分受环境因素影响,比如物品太大,物品呈现半透明状态,以及物品太滑难以夹取等方面,研究团队重新整理空间之后,成功率提升至82%。

在这里插入图片描述

研究团队指出,OK-Robot所搭载的系统是零样本算法,这意味着OK-Robot没有在工作环境中接受过训练,因此所取得这样的成绩,证明搭载VLMs功能的机器人是可行的。

这篇关于OK-Robot机器人实现零样本算法 可在非结构化环境下完成拾取与放置任务的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/712195

相关文章

Qt把文件夹从A移动到B的实现示例

《Qt把文件夹从A移动到B的实现示例》本文主要介绍了Qt把文件夹从A移动到B的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录如何移动一个文件? 如何移动文件夹(包含里面的全部内容):如何删除文件夹:QT 文件复制,移动(

Flask 验证码自动生成的实现示例

《Flask验证码自动生成的实现示例》本文主要介绍了Flask验证码自动生成的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习... 目录生成图片以及结果处理验证码蓝图html页面展示想必验证码大家都有所了解,但是可以自己定义图片验证码

VSCode配置Anaconda Python环境的实现

《VSCode配置AnacondaPython环境的实现》VisualStudioCode中可以使用Anaconda环境进行Python开发,本文主要介绍了VSCode配置AnacondaPytho... 目录前言一、安装 Visual Studio Code 和 Anaconda二、创建或激活 conda

使用mvn deploy命令上传jar包的实现

《使用mvndeploy命令上传jar包的实现》本文介绍了使用mvndeploy:deploy-file命令将本地仓库中的JAR包重新发布到Maven私服,文中通过示例代码介绍的非常详细,对大家的学... 目录一、背景二、环境三、配置nexus上传账号四、执行deploy命令上传包1. 首先需要把本地仓中要

pytorch+torchvision+python版本对应及环境安装

《pytorch+torchvision+python版本对应及环境安装》本文主要介绍了pytorch+torchvision+python版本对应及环境安装,安装过程中需要注意Numpy版本的降级,... 目录一、版本对应二、安装命令(pip)1. 版本2. 安装全过程3. 命令相关解释参考文章一、版本对

JAVA封装多线程实现的方式及原理

《JAVA封装多线程实现的方式及原理》:本文主要介绍Java中封装多线程的原理和常见方式,通过封装可以简化多线程的使用,提高安全性,并增强代码的可维护性和可扩展性,需要的朋友可以参考下... 目录前言一、封装的目标二、常见的封装方式及原理总结前言在 Java 中,封装多线程的原理主要围绕着将多线程相关的操

MySQL中实现多表查询的操作方法(配sql+实操图+案例巩固 通俗易懂版)

《MySQL中实现多表查询的操作方法(配sql+实操图+案例巩固通俗易懂版)》本文主要讲解了MySQL中的多表查询,包括子查询、笛卡尔积、自连接、多表查询的实现方法以及多列子查询等,通过实际例子和操... 目录复合查询1. 回顾查询基本操作group by 分组having1. 显示部门号为10的部门名,员

java导出pdf文件的详细实现方法

《java导出pdf文件的详细实现方法》:本文主要介绍java导出pdf文件的详细实现方法,包括制作模板、获取中文字体文件、实现后端服务以及前端发起请求并生成下载链接,需要的朋友可以参考下... 目录使用注意点包含内容1、制作pdf模板2、获取pdf导出中文需要的文件3、实现4、前端发起请求并生成下载链接使

Java的volatile和sychronized底层实现原理解析

《Java的volatile和sychronized底层实现原理解析》文章详细介绍了Java中的synchronized和volatile关键字的底层实现原理,包括字节码层面、JVM层面的实现细节,以... 目录1. 概览2. Synchronized2.1 字节码层面2.2 JVM层面2.2.1 ente

Linux下修改hostname的三种实现方式

《Linux下修改hostname的三种实现方式》:本文主要介绍Linux下修改hostname的三种实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux下修改ho编程stname三种方式方法1:修改配置文件方法2:hFvEWEostnamectl命