具身智能狂潮背后:泡沫还是技术革命的前奏?

2024-04-29 10:20

本文主要是介绍具身智能狂潮背后:泡沫还是技术革命的前奏?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

2024年机器人浪潮继续汹涌着,机器人领域从未像今天一样火热,目前学术界、工业界在这样的热潮下议论纷纷,到底是泡沫还是爆发的前夕?实际上,判断一个事情是否是泡沫,要从技术底层去思考,有了技术底座就会诞生应用,如果技术弭平了市场需求,那么爆发是自然而然地。
就如同判断VR是否是泡沫,在VR元年的时候,也是这样类似的热潮,如今退却之后,大浪淘沙,很多公司稳住了,长期来看VR尤其是MR稳中向好,无论是Vision Pro还是Meta Quest 3、PICO这样的作品,还是Half Life2:Alyx这样的娱乐内容,都证明了这个市场长期的价值。从技术角度上看,高分辨率MR技术成熟度已经达到可用地步,市场价值的产生就随之而来了。
同样的,具身智能机器人目前处于何种状态呢?
▍感知和规划部分的短板:被大型视觉语言模型基本弥补

长久以来,机器人领域的感知和控制技术一直在慢慢发展着,我们看过去的机器人,尤其是从业内人士的视角看来,机器人最大的弱点是“傻”,这种傻的主要来源是对上层任务规划非常机械,几乎由简单的逻辑判断或者状态机来实现,所有的智能都是机械的,这也是业内人士普遍说,离落地还有很大距离的原因。目前商业上最成熟的扫地机器人,上层任务无非是清扫、避障、回冲这几个状态来回切换,无论是学术界还是工业界都无法做出很有效的突破。

但是ChatGPT发布之后,利用大语言模型进行指令生成,让传统机器人第一次可以把知识注入到上层规划领域,尤其是配合多模态大语言模型,智能这件事竟然被顺理成章的初步实现了,这带给人无限遐想,可以说技术端的一大短板被堵上了,所以具身智能概念顺势就爆发了。

大型视觉语言模型(VLMs)通过学习视觉和文本数据之间的关联,提供理解复杂任务、进行连续对话、跨模态理解,执行零样本推理等任务,把感知和认知都融合到了机器人的大脑里,还只是整个工作的第一步,仅仅解决了Planning和部分Navigation的下游任务。并且这样的技术方案在开放世界的稳定性和正确性还有很大的进步空间。微亿智造在封闭的工业场景里,精进工业机器人的元操作,通过微调过的大模型进行行为树的生成,让机械臂执行柔性化的需求,稳定性达到了比较高的程度。
在这里插入图片描述

图1:基于视觉语言模型机械臂完成自主清障及取放(来源:微亿智造)

▍3D Gaussian Splatting-based SLAM:为建图和环境操作提供新方法

在这里插入图片描述

图2:使用高斯泼溅方法实现单目相机的3D重建(来源:微亿智造)

▍Manipulation:才是具身智能机器人的最后一公里

机器人的操作是最困难的,传统上有模仿学习和强化学习的路径。比如斯坦福的UMI(Universal Manipulation Interface)是通过构建一个统一的机器人执行器来收集样本,用于任务的学习,这种方案的难点在于,机器人本身的性能没有被很好的发挥。而强化学习的方案,存在样本收集困难,任务学习缺乏知识导入的困难。
在这里插入图片描述

图3:Universal Manipulation Interface(来源:斯坦福大学)

OpenAI的Sora是一个非常好的示例,让人们意识到世界模型的有效性。通俗的讲,我们不需要这么多的材料力学、理论力学、流体力学和热力学公式,就可以构建一个比较有效地预测系统。Sora起码说明了两个问题,第一,基于世界模型的生成模型将会为manipulation提供非常可靠轨迹级别的预测,它既有知识、又有物理定律、又可以交互,可以说解决了各种问题。第二,基于Sora的环境重建和技能学习,可以快速让机器人获取新的技能,元操作的学习样本更加丰富,配合上UMI、ALOHA等系统获取的少量人类操作样本,可以把技能学习的成本和时间降低到工业界能接受的程度。微亿智造搭建了整套数据采集环境,并尝试在工业现场重复的采集各种样本,庞大的应用数据将会成为再现工业Sora的有力支撑。
在这里插入图片描述

图4:基于世界模型实现动态跟踪目标并实时估计抓取方案(来源:微亿智造)
▍端到端和松耦合是个问题吗?

在具身智能机器人领域,端到端还有很长的路要走,因为其操作对象多变、对操作对象的精度要求高、要求复杂,端到端带来的训练成本实在太大。因此在工业界落地,松耦合基本上是目前的最优解,这是由多轴机械系统特性和应用特性决定的。

从不同的模块来说,上层感知和任务规划、建图是比较紧密的,完全可以端到端。具体到操作层面,元操作需要精心的设计该模块的学习方式和实现方式,有基于传统规划控制的元操作,也要有基于世界模型的AIGC生成式操作,然后被统一安排进入任务里,整个系统就可以闭环。微亿智造搭建了完整的工业机器人框架,感驱控一体化去控制原来只负责执行的机械臂,框架里包含了高级任务规划、高频的视觉响应、行为的定义和元操作执,可以驱动机械臂来执行各种任务,也可以快速的响应需求的变化。
在这里插入图片描述

图5:松耦合框架下的多任务节点柔性切换(来源:微亿智造)
上述每个环节技术成熟度都有了雏形,但是距离通用机器人的完全落地应用,判断仍有1~2年的时间,因此限定场景、限定任务,成为目前进行实践的最优解。微亿智造从工业应用出发,在有限集场景下运用具身智能技术,将最新的技术组合进入框架里,打造具身智能工业机器人(EIIR),是一种务实有效的做法。比如对物体的位姿估计,我们充分考虑了工业场景下的变化量和不变量,采用预先训练的方式,用2D相机实现了已知对象的pose估计,在成本和精度上都领先3D相机,推理速度也达到了实时,让manipulation成本极低,这就是有限集场景带来的好处。

随着对技术的集聚和深入应用,很多泛泛而谈的“落地太远”言论将会轰然碎裂,我们希望带来巨大的冲击,让智能突然来到大家身边。

这篇关于具身智能狂潮背后:泡沫还是技术革命的前奏?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/945825

相关文章

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

读书摘录《控糖革命》

又到了每周推荐时间,这周末给大家推荐一本书《控糖革命》。身体是革命的本钱,只有保持健康的身体,才能保证持久的生产力,希望我的读者都可以身体健康,青春永驻。 推荐前,首先申明在《控糖革命》一书中,作者提出了一些颇具争议的观点,这些观点并没有经过系统的科学论证,但这并不妨碍我们从中获取一些有益的控糖建议。作者通过分享作者的个人经验和研究,为我们提供了一种全新的饮食理念,帮助我们更好地控制血糖峰值

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

金融业开源技术 术语

金融业开源技术  术语 1  范围 本文件界定了金融业开源技术的常用术语。 本文件适用于金融业中涉及开源技术的相关标准及规范性文件制定和信息沟通等活动。

智能交通(二)——Spinger特刊推荐

特刊征稿 01  期刊名称: Autonomous Intelligent Systems  特刊名称: Understanding the Policy Shift  with the Digital Twins in Smart  Transportation and Mobility 截止时间: 开放提交:2024年1月20日 提交截止日

基于 YOLOv5 的积水检测系统:打造高效智能的智慧城市应用

在城市发展中,积水问题日益严重,特别是在大雨过后,积水往往会影响交通甚至威胁人们的安全。通过现代计算机视觉技术,我们能够智能化地检测和识别积水区域,减少潜在危险。本文将介绍如何使用 YOLOv5 和 PyQt5 搭建一个积水检测系统,结合深度学习和直观的图形界面,为用户提供高效的解决方案。 源码地址: PyQt5+YoloV5 实现积水检测系统 预览: 项目背景

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出 在数字化时代,文本到语音(Text-to-Speech, TTS)技术已成为人机交互的关键桥梁,无论是为视障人士提供辅助阅读,还是为智能助手注入声音的灵魂,TTS 技术都扮演着至关重要的角色。从最初的拼接式方法到参数化技术,再到现今的深度学习解决方案,TTS 技术经历了一段长足的进步。这篇文章将带您穿越时

系统架构设计师: 信息安全技术

简简单单 Online zuozuo: 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo :本心、输入输出、结果 简简单单 Online zuozuo : 文章目录 系统架构设计师: 信息安全技术前言信息安全的基本要素:信息安全的范围:安全措施的目标:访问控制技术要素:访问控制包括:等保

【C++学习笔记 20】C++中的智能指针

智能指针的功能 在上一篇笔记提到了在栈和堆上创建变量的区别,使用new关键字创建变量时,需要搭配delete关键字销毁变量。而智能指针的作用就是调用new分配内存时,不必自己去调用delete,甚至不用调用new。 智能指针实际上就是对原始指针的包装。 unique_ptr 最简单的智能指针,是一种作用域指针,意思是当指针超出该作用域时,会自动调用delete。它名为unique的原因是这个