人形机器人进展:IEEE Robotics出版双臂通用协同机械手操作架构

本文主要是介绍人形机器人进展:IEEE Robotics出版双臂通用协同机械手操作架构,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 1. Main
  • 2. My Thoughts
  • Reference
  • 彩蛋
    • a. OpenAI 投资: 人形机器人公司 Figure AI
    • b. 人工智能软件工程师 Devin 上线

1. Main

在这里插入图片描述

图1 人居环境下的人形双臂机器人系统

通用人形机器人 作为近年来机器人与AI交叉领域的研究热点和技术竞争高地,因其具备在 非结构化人居环境 中承担各种琐碎家务的潜力而得到广泛关注。 人形双臂系统 直接承载着人形机器人操作任务的执行能力,通用且灵巧的操作不仅依赖先进的感知与推理决策,而且对复杂的协同规划控制设计提出了极高要求。

现有研究工作大多专注在解决某一特定层级的问题 ,例如环境-物体的感知、推理与策略生成、机器人系统的规划或操作控制, 并且方案通常与特定的被操作物体或任务强相关,难以迁移和泛化。

任意抓取和操作具有各种几何和物理特性的任意物体是人形双臂机器人系统通用化的技术体现,构建一个通用的感知-规划-控制架构有望能利用双臂系统硬件本体能力并充分发挥其灵巧性和多功能性的特点,弥合AI技术与机器人技术间的鸿沟。近日, 机器人领域顶级期刊IEEE Transactions on Robotics 上在线出版了长文 Enabling Versatility and Dexterity of the Dual-Arm Manipulators: A General Framework toward Universal Cooperative Manipulation。这项研究工作设计并提出了业界首个双臂通用协同灵巧操作架构, 该架构在感知层、双手抓取、协同操作规划和底层控制等方面提供了丰富的接口,具有很高的通用性、可扩展性和兼容性

基于该框架研究人员实现了包括协同旋拧、人机物理协同操作、协同倒水、基于物体可供性和意图识别的动态交互、干扰抑制和大体积物体的自主交接等各种显著差异化的任务。

在这里插入图片描述

图2 干扰抑制

该项研究一作兼通讯作者为任义博士,共同作者包括张正友教授和Martin Buss教授两位IEEE Fellow,人形机器人总师倪风雷教授郑宇博士以及杨扬教授两位IEEE Senior Member等多位机器人领域专家。

在这里插入图片描述

图3 协同抓取与操作的双臂系统

在这里插入图片描述

图4 双臂协同操作多优先级优化框架

Long-Horizon重排实验

在long-horizon重排实验中,双臂机器人系统连续抓取和操作人居环境中常见的桌面书架,储物篮和显示器支架这3个未建模物体,实验结果表明双臂机器人在所设计的通用架构下能协同抓取大尺寸物体并能在执行复杂协同操作任务过程中全自主高精度避自碰。

在这里插入图片描述

近期引发业界热议的 Tesla Optimus 机器人以及 Mobile ALOHA 在双臂灵巧操作方面的最新成果均采用基于模仿学习的人-机技能迁移路线,以期望达成双臂灵巧操作技能的泛化。自上而下研究具身智能并自下而上研究机器人操作规划与控制,有助于弥合AI与Robotics之间的技术鸿沟,提升基于AI生成的操作策略在物理世界中执行的稳定性和可靠性,加速双臂系统全自主通用化的到来。


更多内容和视频资料可阅读论文原文。
IEEE Transactions on Robotics:Enabling Versatility and Dexterity of the Dual-Arm Manipulators: A General Framework toward Universal Cooperative Manipulation

https://ieeexplore.ieee.org/document/10449470

2. My Thoughts

我看到的是人工智能大模型方法 对 传统机器人自下而上的控制方法的降维打击,或者更准确的说 结合。智能技术 对现有信息电子世界的影响,就像上世纪 数字/模拟电子技术 对精密机械生产技术的颠覆影响,比如IBM数字计算器的诞生对机械式打字机的替换,直接让机械技术淡出历史舞台。智能技术 展现出让现有一切信息技术 被颠覆式影响的可能。 ​​​

世界各地 商业化公司/资本 重金介入机器人领域的研究后,通用人形机器人的进展得到了极快提高。过往机器人研究团队30年、5年的进展成果,近期 初始团队/公司 在十几天、一年、两年的时间里就推出类似成果,2023年大模型的兴起 再次点燃了人们对于机器人操作能力的想象。

通用人形机器人正在进入产业爆发的前夕。

Reference

https://mp.weixin.qq.com/s/GVS-39N6oSgwfDmeDUa0tA

彩蛋

a. OpenAI 投资: 人形机器人公司 Figure AI

北京时间2024年 3 月 13 日深夜,一段人形机器人的视频开始在 X 上热传。

在视频中,Figure 的人形机器人,可以完全与人类流畅对话,理解人类的意图,同时还能理解人的自然语言指令进行抓取和放置,并解释自己为什么这么做。

在过去一年的具身智能进展中,或许你曾经看过类似的机器人自主决策、拿取物品的展示,但在这段视频中,Figure 人形机器人的对话流畅度、展现出的智能感,接近人类操作速度的动作流畅性,绝对都是第一流的。

Figure 还特意强调,整段视频没有任何加速,也没有任何剪辑,是一镜到底拍摄的。同时,机器人是在完全自主的情况下进行的行为,没有任何远程操纵

在这里插入图片描述
Figure 01 引入 AI 学会做咖啡 | 图片来源:Figure

比起机器人的智能表现,更可怖的是——从 OpenAI 宣布与 Figure 共同合作推进人形机器人领域的前沿,到这个视频的发布,只有短短的十三天。而 Figure 本身,成立于 2022 年。

图片来源:Corey Lynch 的 X
图片来源:Corey Lynch 的 X


2024 年 3 月初,OpenAI 和其他投资人一起,参与了 Figure 的 B 轮融资,使其成立两年,就达到了 26 亿美金估值

Figure 的创始人 Brett Adcock,是个「擅长组局」的连续创业者,整个职业生涯中创立过至少 7 家公司,其中一家以 27 亿美元的估值上市,一家被 1.1 亿美元的价格收购。创建公司后,他招募到了研究科学家 Jerry Pratt 担任首席技术官,前波士顿动力/苹果工程师 Michael Rose 担任机器人控制主管。此次进行分享的 AI 团队负责人 Corey Lynch,则原本是 Google Deepmind 的 AI 研究员。

Figure 宣布自己在电机、固件、热量、电子产品、中间件操作系统、电池系统、执行器传感器、机械与结构方面,都招募了硬核的设计人才。公司的确进展很快。在与 OpenAI 合作之前,已经做出了不少成绩。

2024 年 1 月,Figure 01(Figure 的第一款人形机器人) 学会了做咖啡,公司称,这背后引入了端到端神经网络,机器人学会自己纠正错误,训练时长为 10 小时。2024年 2 月,公司对外展示 Figure 01 的最新进展,在视频里,这个机器人已经学会搬箱子,并运送到传送带上,但速度只有人类的 16.7%。

商业化上,也已经迈出了第一步:Figure 宣布与宝马制造公司签署商业协议,将 AI 和机器人技术整合到汽车生产中,部署在宝马位于南卡罗来纳州斯巴达堡的制造工厂。


北京时间 3 月 13 日,来自谷歌研究团队、加州大学伯克利分校、斯坦福大学教授等一群研究者新成立的一家机器人 AI 公司 Physical Intelligence,被彭博社爆料也拿到了 OpenAI 的融资。毫无意外,该公司也是研究未来能够成为通用机器人系统的人工智能。

https://mp.weixin.qq.com/s/YdWRNPkNdt1iYcfD4S26pw

b. 人工智能软件工程师 Devin 上线

近日,首个人工智能软件工程师 Devin 发布。在 SWE-bench 基准测试中,它无需人类帮助,可解决 13.86% 的问题。相比之下,GPT-4 只能处理 1.74% 的问题,且都需要人类提示告知处理哪些文件。Devin 被介绍为世界首个完全自主的 AI 软件工程师。据介绍,它已经成功通过一家 AI 公司面试,并且在 Upwork 上完成了实际工作。

Devin 背后公司名为 Cognition AI,总部设在纽约和旧金山,定位是一家专注于推理的应用 AI 实验室。目前该团队规模仅有 10 人,但共揽获了 10 枚 IOI 金牌。

目前,Devin 尚未对外开放,但已经有不少开发人员和产品人员拿到了测试资格,并再次引发了 AI 能否替代程序员的讨论。

https://mp.weixin.qq.com/s/TUxFqotS2pzPvTCpSt0hTw

这篇关于人形机器人进展:IEEE Robotics出版双臂通用协同机械手操作架构的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/808464

相关文章

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

业务协同平台--简介

一、使用场景         1.多个系统统一在业务协同平台定义协同策略,由业务协同平台代替人工完成一系列的单据录入         2.同时业务协同平台将执行任务推送给pda、pad等执行终端,通知各人员、设备进行作业执行         3.作业过程中,可设置完成时间预警、作业节点通知,时刻了解作业进程         4.做完再给你做过程分析,给出优化建议         就问你这一套下

系统架构设计师: 信息安全技术

简简单单 Online zuozuo: 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo :本心、输入输出、结果 简简单单 Online zuozuo : 文章目录 系统架构设计师: 信息安全技术前言信息安全的基本要素:信息安全的范围:安全措施的目标:访问控制技术要素:访问控制包括:等保

利用命令模式构建高效的手游后端架构

在现代手游开发中,后端架构的设计对于支持高并发、快速迭代和复杂游戏逻辑至关重要。命令模式作为一种行为设计模式,可以有效地解耦请求的发起者与接收者,提升系统的可维护性和扩展性。本文将深入探讨如何利用命令模式构建一个强大且灵活的手游后端架构。 1. 命令模式的概念与优势 命令模式通过将请求封装为对象,使得请求的发起者和接收者之间的耦合度降低。这种模式的主要优势包括: 解耦请求发起者与处理者

动手学深度学习【数据操作+数据预处理】

import osos.makedirs(os.path.join('.', 'data'), exist_ok=True)data_file = os.path.join('.', 'data', 'house_tiny.csv')with open(data_file, 'w') as f:f.write('NumRooms,Alley,Price\n') # 列名f.write('NA

线程的四种操作

所属专栏:Java学习        1. 线程的开启 start和run的区别: run:描述了线程要执行的任务,也可以称为线程的入口 start:调用系统函数,真正的在系统内核中创建线程(创建PCB,加入到链表中),此处的start会根据不同的系统,分别调用不同的api,创建好之后的线程,再单独去执行run(所以说,start的本质是调用系统api,系统的api

Java IO 操作——个人理解

之前一直Java的IO操作一知半解。今天看到一个便文章觉得很有道理( 原文章),记录一下。 首先,理解Java的IO操作到底操作的什么内容,过程又是怎么样子。          数据来源的操作: 来源有文件,网络数据。使用File类和Sockets等。这里操作的是数据本身,1,0结构。    File file = new File("path");   字

MySQL——表操作

目录 一、创建表 二、查看表 2.1 查看表中某成员的数据 2.2 查看整个表中的表成员 2.3 查看创建表时的句柄 三、修改表 alter 3.1 重命名 rename 3.2 新增一列 add 3.3 更改列属性 modify 3.4 更改列名称 change 3.5 删除某列 上一篇博客介绍了库的操作,接下来来看一下表的相关操作。 一、创建表 create