具身智能狂潮背后:泡沫还是技术革命的前奏?

2024-04-29 10:20

本文主要是介绍具身智能狂潮背后:泡沫还是技术革命的前奏?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

2024年机器人浪潮继续汹涌着,机器人领域从未像今天一样火热,目前学术界、工业界在这样的热潮下议论纷纷,到底是泡沫还是爆发的前夕?实际上,判断一个事情是否是泡沫,要从技术底层去思考,有了技术底座就会诞生应用,如果技术弭平了市场需求,那么爆发是自然而然地。
就如同判断VR是否是泡沫,在VR元年的时候,也是这样类似的热潮,如今退却之后,大浪淘沙,很多公司稳住了,长期来看VR尤其是MR稳中向好,无论是Vision Pro还是Meta Quest 3、PICO这样的作品,还是Half Life2:Alyx这样的娱乐内容,都证明了这个市场长期的价值。从技术角度上看,高分辨率MR技术成熟度已经达到可用地步,市场价值的产生就随之而来了。
同样的,具身智能机器人目前处于何种状态呢?
▍感知和规划部分的短板:被大型视觉语言模型基本弥补

长久以来,机器人领域的感知和控制技术一直在慢慢发展着,我们看过去的机器人,尤其是从业内人士的视角看来,机器人最大的弱点是“傻”,这种傻的主要来源是对上层任务规划非常机械,几乎由简单的逻辑判断或者状态机来实现,所有的智能都是机械的,这也是业内人士普遍说,离落地还有很大距离的原因。目前商业上最成熟的扫地机器人,上层任务无非是清扫、避障、回冲这几个状态来回切换,无论是学术界还是工业界都无法做出很有效的突破。

但是ChatGPT发布之后,利用大语言模型进行指令生成,让传统机器人第一次可以把知识注入到上层规划领域,尤其是配合多模态大语言模型,智能这件事竟然被顺理成章的初步实现了,这带给人无限遐想,可以说技术端的一大短板被堵上了,所以具身智能概念顺势就爆发了。

大型视觉语言模型(VLMs)通过学习视觉和文本数据之间的关联,提供理解复杂任务、进行连续对话、跨模态理解,执行零样本推理等任务,把感知和认知都融合到了机器人的大脑里,还只是整个工作的第一步,仅仅解决了Planning和部分Navigation的下游任务。并且这样的技术方案在开放世界的稳定性和正确性还有很大的进步空间。微亿智造在封闭的工业场景里,精进工业机器人的元操作,通过微调过的大模型进行行为树的生成,让机械臂执行柔性化的需求,稳定性达到了比较高的程度。
在这里插入图片描述

图1:基于视觉语言模型机械臂完成自主清障及取放(来源:微亿智造)

▍3D Gaussian Splatting-based SLAM:为建图和环境操作提供新方法

在这里插入图片描述

图2:使用高斯泼溅方法实现单目相机的3D重建(来源:微亿智造)

▍Manipulation:才是具身智能机器人的最后一公里

机器人的操作是最困难的,传统上有模仿学习和强化学习的路径。比如斯坦福的UMI(Universal Manipulation Interface)是通过构建一个统一的机器人执行器来收集样本,用于任务的学习,这种方案的难点在于,机器人本身的性能没有被很好的发挥。而强化学习的方案,存在样本收集困难,任务学习缺乏知识导入的困难。
在这里插入图片描述

图3:Universal Manipulation Interface(来源:斯坦福大学)

OpenAI的Sora是一个非常好的示例,让人们意识到世界模型的有效性。通俗的讲,我们不需要这么多的材料力学、理论力学、流体力学和热力学公式,就可以构建一个比较有效地预测系统。Sora起码说明了两个问题,第一,基于世界模型的生成模型将会为manipulation提供非常可靠轨迹级别的预测,它既有知识、又有物理定律、又可以交互,可以说解决了各种问题。第二,基于Sora的环境重建和技能学习,可以快速让机器人获取新的技能,元操作的学习样本更加丰富,配合上UMI、ALOHA等系统获取的少量人类操作样本,可以把技能学习的成本和时间降低到工业界能接受的程度。微亿智造搭建了整套数据采集环境,并尝试在工业现场重复的采集各种样本,庞大的应用数据将会成为再现工业Sora的有力支撑。
在这里插入图片描述

图4:基于世界模型实现动态跟踪目标并实时估计抓取方案(来源:微亿智造)
▍端到端和松耦合是个问题吗?

在具身智能机器人领域,端到端还有很长的路要走,因为其操作对象多变、对操作对象的精度要求高、要求复杂,端到端带来的训练成本实在太大。因此在工业界落地,松耦合基本上是目前的最优解,这是由多轴机械系统特性和应用特性决定的。

从不同的模块来说,上层感知和任务规划、建图是比较紧密的,完全可以端到端。具体到操作层面,元操作需要精心的设计该模块的学习方式和实现方式,有基于传统规划控制的元操作,也要有基于世界模型的AIGC生成式操作,然后被统一安排进入任务里,整个系统就可以闭环。微亿智造搭建了完整的工业机器人框架,感驱控一体化去控制原来只负责执行的机械臂,框架里包含了高级任务规划、高频的视觉响应、行为的定义和元操作执,可以驱动机械臂来执行各种任务,也可以快速的响应需求的变化。
在这里插入图片描述

图5:松耦合框架下的多任务节点柔性切换(来源:微亿智造)
上述每个环节技术成熟度都有了雏形,但是距离通用机器人的完全落地应用,判断仍有1~2年的时间,因此限定场景、限定任务,成为目前进行实践的最优解。微亿智造从工业应用出发,在有限集场景下运用具身智能技术,将最新的技术组合进入框架里,打造具身智能工业机器人(EIIR),是一种务实有效的做法。比如对物体的位姿估计,我们充分考虑了工业场景下的变化量和不变量,采用预先训练的方式,用2D相机实现了已知对象的pose估计,在成本和精度上都领先3D相机,推理速度也达到了实时,让manipulation成本极低,这就是有限集场景带来的好处。

随着对技术的集聚和深入应用,很多泛泛而谈的“落地太远”言论将会轰然碎裂,我们希望带来巨大的冲击,让智能突然来到大家身边。

这篇关于具身智能狂潮背后:泡沫还是技术革命的前奏?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/945825

相关文章

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

使用Python实现表格字段智能去重

《使用Python实现表格字段智能去重》在数据分析和处理过程中,数据清洗是一个至关重要的步骤,其中字段去重是一个常见且关键的任务,下面我们看看如何使用Python进行表格字段智能去重吧... 目录一、引言二、数据重复问题的常见场景与影响三、python在数据清洗中的优势四、基于Python的表格字段智能去重

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

Python3脚本实现Excel与TXT的智能转换

《Python3脚本实现Excel与TXT的智能转换》在数据处理的日常工作中,我们经常需要将Excel中的结构化数据转换为其他格式,本文将使用Python3实现Excel与TXT的智能转换,需要的可以... 目录场景应用:为什么需要这种转换技术解析:代码实现详解核心代码展示改进点说明实战演练:从Excel到

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

读书摘录《控糖革命》

又到了每周推荐时间,这周末给大家推荐一本书《控糖革命》。身体是革命的本钱,只有保持健康的身体,才能保证持久的生产力,希望我的读者都可以身体健康,青春永驻。 推荐前,首先申明在《控糖革命》一书中,作者提出了一些颇具争议的观点,这些观点并没有经过系统的科学论证,但这并不妨碍我们从中获取一些有益的控糖建议。作者通过分享作者的个人经验和研究,为我们提供了一种全新的饮食理念,帮助我们更好地控制血糖峰值

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业